Ling 3.0 Flash и складские вопросы: когда отказ полезнее уверенного ответа

Что известно о модели из публикации

The Decoder пишет, что Ling 3.0 Flash чаще отказывается отвечать на вопросы без надёжного основания и показывает снижение доли галлюцинаций относительно предыдущей версии на AA Omniscience. Там же сообщается о выпуске весов модели под лицензией MIT.[1]

В статье приведены общие сравнительные результаты, а не испытание на документах российского склада. Первичные карточки тестов здесь отдельно не проверялись. Поэтому выбирать модель для закупок только по этому сообщению было бы преждевременным выводом из вторичного источника.

Ниже предложен собственный тест рабочего поведения. Его предмет — не прогнозирование числового ряда, а ответы помощника на вопросы сотрудника об остатках, резервировании и возможной дате пополнения. Эти функции стоит оценивать отдельно от математического прогноза спроса.

Собрать вопросы без готового ответа

Обычная демонстрация начинается с полной карточки товара. Для проверки отказов предложим обратное: карточку с отсутствующим сроком поставки, два противоречащих остатка или резерв без срока действия. В каждом случае заранее определяют, какую информацию помощник обязан запросить.

Например, вопрос о возможности отгрузить товар завтра нельзя решать только по количеству на полке. В тестовой задаче могут быть уже согласованные резервы. Ожидаемый ответ должен обозначить ограничение и ссылку на нужный источник, а не уверенно обещать отгрузку.

Другой случай — одинаковое название у разных артикулов. Здесь лучше попросить уточнение кода, чем выбрать наиболее знакомый вариант. Проверка должна сохранять и исходный вопрос, и доступные записи, иначе отказ невозможно отличить от невнимательного чтения корректных данных.

Различать полезный отказ и беспомощность

Полный отказ на любой сложный вопрос тоже неудобен. Предлагаем оценивать, насколько конкретно помощник называет недостающее поле и кому адресует следующий шаг. Формулировка «недостаточно информации» слабее, чем запрос подтверждения срока у ответственного закупщика.

• При полном наборе согласованных данных помощник отвечает и показывает основание, не прячась за общими оговорками.

• При конфликте записей он выводит обе версии и не выбирает удобную без установленного правила приоритета.

• При отсутствии документа он сообщает об отсутствии, не создавая правдоподобный номер накладной.

• При устаревшей выгрузке он обозначает её дату и не выдаёт остаток за текущее состояние склада.

Каждый ответ размечают по ожидаемому действию: ответить, уточнить, передать сотруднику или остановить операцию. Такое разделение позволяет видеть не только ошибки фактов, но и лишние остановки, из-за которых люди перестают пользоваться помощником.

Проверить поведение после подключения документов

Следующий прогон проводят с поиском по разрешённым документам. Правильная формулировка без действительной ссылки не засчитывается как подтверждённый ответ. Проверяющий открывает указанную запись и сверяет артикул, дату и единицу измерения с вопросом сотрудника.

Полезно отдельно проверить недоступные пользователю документы. Помощник не должен компенсировать отсутствие прав догадкой о содержимом. Он может объяснить, что ответ требует обращения к уполномоченному сотруднику, не раскрывая скрытые условия поставщика или чужие договорённости.

В результате сравнения модель выбирают по профилю ошибок на собственных задачах, а не по одному месту в таблице. Если отказ стал корректнее, но ответы требуют слишком много ручных уточнений, настройку продолжают.

До проверки закупщик остаётся ответственным за решение, а модель — за ограниченное объяснение доступных данных.