AI-исследователь для прогноза спроса: проверять гипотезу, а не отчёт

Где заканчивается прочитанный материал

The Decoder описывает подход Shadow Evaluation: агент получает вопрос из неопубликованной работы, а её авторы оценивают полученный результат. В доступном фрагменте сказано, что рецензенты отклонили обе подготовленные агентом работы.[1]

Извлечённый текст обрывается во время описания замечаний рецензента. Поэтому здесь не пересказываются дальнейшие выводы исследования и не утверждается, что автономная наука невозможна. Для бизнеса это повод поставить более узкий вопрос: как отличить полезный эксперимент от убедительно оформленной неудачи.

Предлагаемый далее протокол относится к проверке складского прогноза. Он не применялся авторами новости и не является доказанным способом увеличить продажи. Его задача — сделать ход проверки доступным для повторения другим аналитиком.

Сформулировать одну проверяемую гипотезу

Вместо поручения «улучши запасы» предложим агенту проверить, помогает ли отдельный признак объяснять изменение продаж выбранной группы товаров. Например, можно изучить наличие промоотметки. При этом агент не должен самостоятельно объявлять акцией любой необычный всплеск.

До запуска фиксируют прогнозный горизонт и доступность признака в момент расчёта. Если сведения появляются только после завершения недели, включать их в прогноз этой недели нельзя. Такая проверка важнее длинного перечня использованных алгоритмов в итоговом отчёте.

Сравнение проводят с текущим правилом компании, сохраняя одинаковые товарные позиции и даты оценки. Исключение неудобных товаров требует отдельного обоснования. Иначе исследователь может улучшить красивую среднюю оценку, просто убрав случаи, ради которых затевалась работа.

Отделить исполнителя от проверяющего

Агенту можно поручить подготовку кода, таблиц ошибок и объяснений. Но итоговую оценку лучше рассчитывать отдельным проверочным скриптом, входы которого закреплены до эксперимента. Исполнитель не получает права менять критерий успеха после просмотра результатов.

• Сохранить исходную гипотезу, список признаков и ожидаемый способ сравнения до первого прогона.

• Выделить закрытый период проверки и не использовать его для подбора параметров.

• Потребовать воспроизводимый расчёт, а не только график или словесное утверждение об улучшении.

• Записать все попытки, включая варианты, которые дали худший результат или завершились ошибкой.

Человек проверяет не каждую строчку рассуждений, а опорные точки: соответствие данных времени прогноза, отсутствие утечки будущего и воспроизводимость таблицы. Если результат невозможно получить повторно, его статус остаётся исследовательским независимо от уверенности автора отчёта.

Когда точности недостаточно

Даже честное улучшение ошибки прогноза не отвечает автоматически на вопрос о закупке. Предлагаем отдельно проиграть правило заказа с ограничениями по партии, сроку и свободному бюджету. Это самостоятельный этап оценки, а не дополнительная подпись под исследовательским графиком.

Стоит также разобрать позиции, для которых прогноз ухудшился. Общая метрика может скрыть дорогие ошибки в отдельной группе. Решение о допуске принимает владелец процесса, видя распределение последствий, а не только общий рейтинг вариантов модели.

Заключение пилота должно содержать и отрицательные результаты: какая гипотеза не подтвердилась, где не хватило истории, что нельзя переносить на другой ассортимент. Такой документ полезнее обещания полной автономии, потому что следующий эксперимент начинает работу с известными ограничениями, а не повторяет уже скрытые ошибки.