Чтобы проверить извлечение данных из писем нейросетью, заранее определите смысл каждого поля и сравните заполненную карточку с исходным письмом. Отдельно проверьте отсутствующие сведения, отрицания и противоречия. Пустое поле «монтаж» не означает, что клиент отказался от установки, а число без единицы ещё не говорит, сколько товара он заказывает.
Начните с вымышленных писем и черновиков карточек без записи в CRM, программу учёта клиентов. Ниже приведён порядок приёмки по документации и учебным примерам. Работающее извлечение в почтовом ящике здесь не испытывалось. Порядок ниже относится к читаемому тексту письма. Распознавание сканов и перенос таблиц из PDF в эту инструкцию не входят.
Согласуйте смысл полей до подключения модели
Для первой проверки выберите небольшой понятный набор: товар, количество, единица заказа, нужен ли монтаж и желаемый срок. Для каждого поля запишите, что считается подтверждением в письме и какое значение допустимо при отсутствии сведений.
Например, договоритесь переносить количество в той единице, в которой клиент заказывает. Если он просит упаковки, не заменяйте их штуками без отдельного согласованного правила. Сведения о фасовке сохраняйте в примечании. Для срока сохраняйте исходную формулировку: «к пятнице» нельзя незаметно превратить в календарную дату без установленного основания.
Попросите исполнителя показывать рядом со значением статус и подтверждающий фрагмент письма:
| Статус | Что он означает | Что хранить |
|---|---|---|
| Указано | В письме есть однозначное основание | Значение и исходный фрагмент |
| Не указано | Для этого поля сведений нет | Согласованное пустое значение и этот статус |
| Противоречие | В письме найдены несовместимые сведения | Спорные фрагменты без выбранного за клиента значения |
Согласованным пустым значением может быть null, то есть отсутствие значения. Способ хранения и допустимость такой пустоты в рабочей системе проверяет исполнитель. Текст «не указано» нельзя молча записывать в поле, которое ждёт число.
Явное «монтаж не нужен» получает статус «указано» и значение «не нужен». Если монтаж вообще не упоминается, это «не указано». Если самого поля нет в ответе модели, считайте это отдельной ошибкой формата, а не доказательством отсутствия сведений у клиента.
Проверьте, какой текст дошёл до извлечения
Попросите показать входной текст, который получает модель. Есть ли в нём тема письма, основной текст, цитата старой переписки, подпись? Уточните, какие части относятся к текущей заявке. Модель не должна брать старое количество из процитированного заказа только потому, что оно встретилось первым.
Если исполнитель убирает подпись или историю, сохраните исходное письмо и копию фактически переданного текста. Проверяйте оба перехода: сначала что осталось после подготовки, затем что попало в поля. Потерянную при подготовке строку нельзя исправить просьбой к модели внимательнее прочитать то, чего она не получила.
Рабочие письма используйте только по правилам компании. Для согласования способа достаточно вымышленных примеров без клиентских контактов и закрытых условий; границы данных разобраны в политике использования ИИ.
Не принимайте правильный формат за правильные сведения
В n8n есть Information Extractor. Он извлекает структурированные сведения из входного текста. Поле Text задаёт, какой текст обрабатывается. Состав результата можно описать атрибутами или схемой данных.
Обратите внимание на Generate From JSON Example: при таком способе n8n использует имена и типы полей примера, игнорирует его конкретные значения и считает все поля обязательными. JSON здесь означает текстовый формат обмена данными между программами. Если в демонстрационном письме был срок, это ещё не значит, что срок указан в любом следующем письме. Попросите исполнителя отдельно показать, как его настройка обрабатывает отсутствие сведений.
Даже жёсткая схема не заменяет сверку значений. В документации OpenAI о Structured Outputs прямо отмечено, что структурированные ответы могут содержать ошибки. Для входа, не подходящего под задачу, нужно предусмотреть отдельное поведение. Поэтому проверьте и письмо, в котором вообще нет заказа, например простую благодарность.
Эти возможности приведены по документации. Наличие узла или схемы не подтверждает качество вашей связки и не даёт модели права заполнять пропуски догадками.
Сравните каждое поле с заранее подготовленным эталоном
До запуска модели разметьте учебные письма вручную по согласованным правилам. Затем передайте их исполнителю и сравните ответ с эталоном. Таблица ниже показывает ожидаемый разбор четырёх вымышленных писем, а не ответы реально испытанной нейросети.
| Учебное письмо | Что проверить в карточке |
|---|---|
| «Нужны 6 шт. жалюзи. Монтаж не нужен» | Количество 6, единица «шт.», монтаж явно не нужен; срок не указан |
| «Пришлите прайс на жалюзи» | Не додуманы количество, единица заказа, монтаж и срок |
| «В теме письма: 6 шт. жалюзи. В основном тексте: 8 шт. жалюзи» | Противоречие количества передано человеку; одно из чисел не выбрано автоматически |
| «Нужны 2 упаковки крючков, по 6 крючков в каждой» | Количество 2, единица «упаковки», фасовка сохранена отдельно; единица не подменена штуками |
Для каждого заполненного значения найдите подтверждение в переданном тексте. Затем двигайтесь в обратную сторону: не потерялись ли существенные сведения из письма? Сам фрагмент тоже прочитайте: наличие в нём нужного слова ещё не подтверждает смысл поля. Так обнаруживается, например, потеря «не» рядом с монтажом.
Добавьте свои пограничные случаи: несколько товаров с разными количествами, явное исправление заказа, старое письмо внутри цитаты. Если карточка рассчитана только на один товар, заранее согласуйте передачу многопозиционной заявки человеку, а не молчаливый выбор первой позиции.
Как принять результат и оставить спорное менеджеру
До проверки назначьте сотрудника, который разбирает пустые и спорные поля. Договоритесь, какие сведения он может уточнить у клиента и кто подтверждает запись в рабочую систему. На первом запуске сохраняйте результат как черновик, который человек сопоставляет с письмом. Ошибка формата, противоречие или неподтверждённое значение не должны обходить этот контроль.
Попросите исполнителя показать на тестовых примерах не только заполненную карточку, но и остановку: письмо без заказа, отсутствующее поле в ответе, несовместимые количества. Принимайте этот участок только если каждый такой случай виден ответственному сотруднику, а спорное значение не записалось как подтверждённое. Доставку карточки и права записи проверяйте отдельно от точности извлечения.
Сохраните письма, эталон, ответы, найденные расхождения и версию задания модели. После изменения набора полей или модели повторите проверку, включая случаи прежних ошибок. Если хотя бы одна существенная ошибка не закрыта, оставьте автоматическую запись выключенной для затронутого сценария. Универсальный проходной процент здесь не задан: последствия неверного количества и пропуска необязательного примечания различаются.
Выбор отдела для уже разобранной заявки решает другую задачу. Для него есть отдельная инструкция о маршрутизации заявок нейросетью. Правильный отдел не исправляет неверное количество в карточке, поэтому эти результаты принимают раздельно.