Чтобы сделать тест по инструкции с помощью нейросети, передайте ей утверждённый текст и попросите для каждого вопроса указать правильный ответ, объяснение и пункт источника. Затем ответственный за процесс должен сверить этот комплект с инструкцией. Если модель добавила правило или в задании допустимы разные ответы, вопрос нельзя отдавать сотрудникам без исправления.
Так можно подготовить небольшую внутреннюю обучающую проверку после знакомства с внутренним порядком работы. Например, выяснить, понимает ли сотрудник, когда заявку можно передавать дальше. Этот материал не заменяет обязательную аттестацию, проверку квалификации или практическую демонстрацию навыка. Реальный сервис или форму по этому материалу не испытывали; примеры ниже составлены автором для обучения.
Подготовьте одну действующую инструкцию
Сначала определите, что сотрудник должен уметь после чтения. «Знать регламент» слишком широко. «Понять, кому передать заявку без адреса доставки» уже позволяет составить проверяемую ситуацию.
Выберите актуальную версию документа и запишите её дату или обозначение. Уберите отменённые разделы и черновые предложения. Если в двух действующих пунктах разные правила, сначала передайте противоречие ответственному за процесс. Нейросеть не должна выбирать, по какому из них оценивать человека.
Для короткой инструкции удобно пронумеровать пункты. Сохраняйте исключения вместе с основным правилом: «можно передать после проверки» и «нельзя передавать при расхождении» понадобятся в разных вопросах. Если действующего текста ещё нет, начните с подготовки регламента.
Передавайте документ только в сервис, который компания разрешила использовать для таких данных. Удалите из рабочей копии реальные имена клиентов, контакты и другие сведения, не нужные для теста. Отдельно проверьте подготовку документа перед загрузкой. Для первой проверки достаточно вставить небольшой разрешённый фрагмент текстом; загрузка всего архива компании не нужна.
Запросите вопросы вместе с основаниями ответов
Генерация вопросов уже встречается в готовых инструментах. Например, справка Microsoft Forms описывает создание черновика теста через Copilot: с названием, вопросами и ответами. Для этого в описанном сценарии нужны учётная запись Microsoft 365 и лицензия Copilot. Но выбор сервиса и проверка содержания теста остаются разными задачами.
В обычном разрешённом текстовом помощнике можно начать с такого задания. Это предлагаемый шаблон запроса, а не результат испытания конкретной модели:
Подготовьте черновик теста по инструкции ниже.
Для кого: [роль сотрудника и его исходные знания].
Цель: [какие решения он должен уметь принимать].
Версия инструкции: [дата или обозначение].
Используйте только эту инструкцию. Не добавляйте правила,
сроки, полномочия и требования из общих знаний.
Сначала перечислите противоречия и недостающие условия.
По спорным пунктам вопросы не составляйте.
Для каждого важного действия предложите вопрос о рабочей
ситуации. Проверяйте также запреты и исключения.
Для каждого вопроса верните:
- формулировку и формат ответа;
- правильный ответ и его объяснение;
- номер пункта и короткий фрагмент инструкции;
- для вариантов выбора: почему неверен каждый другой вариант.
Если ответ не следует из текста, пометьте вопрос «Исключить».
Не назначайте проходной балл и последствия ошибки.
Отдельно перечислите важные пункты без вопросов.
ИНСТРУКЦИЯ
[Текст с номерами пунктов]Сохраните исходную инструкцию с её версией и ответ модели рядом. Пока идёт проверка, не переносите вопросы в общедоступную форму. Просьба «используйте только текст» задаёт ограничение, но не доказывает, что модель его выполнила.
Проверьте ключ: какой ответ тест считает правильным
Ключом здесь называется набор правильных ответов с объяснениями. Проверяйте его до оформления формы и назначения баллов. Иначе можно получить аккуратный тест, который отмечает ошибочное действие как верное.
Возьмём вымышленную инструкцию по передаче заявки на доставку. Это учебные данные, не порядок работы реальной компании:
- П1. Менеджер проверяет в заявке адрес доставки и согласованную дату.
- П2. Если адреса нет, менеджер запрашивает его у клиента. До получения адреса заявка остаётся у менеджера.
- П3. Если адрес и дата заполнены, менеджер передаёт заявку логисту.
- П4. Если клиент изменил дату после передачи, менеджер уведомляет логиста об изменении. Срок уведомления в этой инструкции не указан.
Ниже намеренно составлены примеры вопросов и ошибок. Это не ответы конкретного сервиса.
Вопрос: дата согласована, адреса нет. Кому передать заявку? Если ключ предлагает «логисту, чтобы он уточнил адрес», он противоречит П2. Верный ответ по этому тексту: оставить заявку у менеджера и запросить адрес у клиента. Вопрос лучше сформулировать шире: «Что должен сделать менеджер?» Тогда он проверит и действие, и запрет на передачу.
Вопрос: адрес и дата заполнены. Что делать дальше? Ответ «передать логисту» следует из П3. В условии должны присутствовать оба признака. Если оставить только адрес, сотруднику придётся угадывать, согласована ли дата.
Вопрос: за сколько минут сообщить логисту об изменении даты? Такого ответа в П4 нет. Уберите вопрос о минутах; можно спросить, кого нужно уведомить. Если срок важен для процесса, сначала согласуйте его и обновите инструкцию.
Для каждого задания пройдите три проверки:
- Ответ подтверждается источником. Откройте указанный пункт: номер сам по себе ничего не доказывает. Убедитесь, что сохранены условие, исполнитель и запрет.
- Вопрос допускает предусмотренный ответ. При одном верном варианте среди остальных не должно быть второго допустимого. Вариант «всё перечисленное» особенно внимательно сверяйте с каждым действием.
- Проверяется нужное решение. Вопрос «Как называется инструкция?» не показывает, что сотрудник правильно обработает неполную заявку. Попросите выбрать действие или объяснить его на ситуации.
После этого пройдите по всей инструкции и найдите вопрос для каждого важного решения. Модель могла составить несколько заданий по простому началу документа и пропустить исключение. Необязательно проверять каждую строку: выбор важных действий подтверждает ответственный за процесс.
Разделите версию для сотрудника и материалы проверяющего
После согласования сохраните два комплекта. Сотруднику нужны условия заданий и варианты ответа, если они есть. Проверяющему нужны те же задания плюс ключ, объяснения и ссылки на пункты исходника. При ручном переносе проверьте номера: правильный ответ «Б» может стать неверным, если варианты переставили, а ключ остался прежним.
Для свободного ответа заранее запишите, какие смысловые части обязательны и какие перефразирования допустимы. В примере с отсутствующим адресом нужны оба действия: запросить адрес и не передавать заявку до его получения. Ответ «уточню данные» требует дополнительного вопроса: из него не ясно, будет ли заявка передана дальше.
Если ответы оценивает ИИ, сначала проверьте оценивание на учебных ответах. Дайте ему правильный ответ другими словами, неполный ответ и ответ с опасной ошибкой. Например: «Адрес уточню, а заявку пока отправлю логисту». Если такой ответ засчитан, автоматическую оценку ещё нельзя использовать как основание вывода о знаниях сотрудника. Сверьте критерии и спорные результаты вручную.
Проходной балл, вес ошибок и дальнейшие действия задаёт ответственный за обучение. Случайное число, предложенное нейросетью, не подтверждает пригодность человека к работе. Не принимайте кадровые решения по автоматическому баллу. Здесь задача теста ограничена пониманием конкретной инструкции.
Пройдите тест до назначения сотрудникам
Попросите коллегу, знакомого с процессом, пройти задания без ключа и без ваших пояснений. Пусть отдельно отметит вопросы, где не хватает условия или подходят несколько ответов. Это предварительная проверка формулировок, а не измерение качества обучения всей команды.
Если переносите тест в форму, откройте её в режиме участника на компьютере и телефоне. Проверьте, видны ли все варианты и пояснения, не раскрыт ли ключ заранее и правильно ли записывается выбранный ответ. Затем сверяйте результат попытки с утверждённым ключом. Наличие кнопки «Отправить» ещё не показывает, что проверка настроена правильно.
Перед выдачей зафиксируйте версию инструкции, тест, ключ и имя ответственного за проверку. При изменении рабочего правила найдите связанные задания по номерам пунктов и проверьте их заново. Старый тест нельзя оставлять действующим только потому, что он продолжает открываться.
Готовый результат этой работы: вопросы по важным действиям, подтверждённые ответы и понятный разбор ошибки. По ним можно увидеть, какой пункт нужно объяснить сотруднику ещё раз. Умение выполнить саму работу проверяйте отдельно на безопасной практической задаче.