Optima и аудит рекламы: как проверить помощника на своих задачах

Что описано в публикации

По материалу The Decoder, в Optima можно загрузить готовые наборы оценивания или записи работы агентов. Другой путь — описать задачу и показать примеры входных и выходных данных. Предложенные платформой тесты пользователь может уточнить до запуска.

Автор описывает два способа оценки: по заданным критериям и через попарное сравнение ответов. Во втором случае пользователь отмечает предпочтения на части пар. Также платформа сравнивает стоимость и время выполнения задачи. Эти возможности в статье изложены со ссылкой на Artificial Analysis.

Издание отдельно подчёркивает ограничение: пользовательский тест не становится методологически надёжным только потому, что использует собственные данные. Представительность примеров и определение правильного результата остаются ответственностью составителя проверки.

Составьте тест для рекламного отчёта

Возьмите обезличенные выгрузки расходов, обращений и сделок за согласованные периоды. Удалите телефоны, имена и лишние комментарии. До передачи внешнему сервису проверьте, разрешены ли такая обработка и хранение данных условиями вашей компании.

Попросите аналитика подготовить эталонные разборы без помощи проверяемой модели. Включите задержку поступления лидов, повторные обращения, разные часовые пояса и отсутствующую метку кампании. У каждого случая должно быть объяснение, какие данные позволяют сделать вывод.

• Там, где расходы и заявки относятся к разным периодам, правильный ответ сначала отмечает несовпадение.
• Если источник сделки неизвестен, помощник не должен приписывать её самой дорогой кампании.
• Когда изменение цены заявки связано с дублями, ответ должен показать правило их исключения.
• При недостаточных данных допустимый результат — конкретный запрос недостающего отчёта, а не выдуманная причина.

Разделите примеры для настройки инструкции и итогового испытания. Не исправляйте промпт после каждого ответа на контрольном наборе, продолжая называть его независимой проверкой. Сохраните версию инструкции, модели и исходных файлов для повторного сравнения.

Оцените цену ошибки

Задайте отдельные критерии: правильность чисел, ссылка на строки исходного отчёта, обоснованность вывода и допустимость предлагаемого действия. Красивый текст с неверной причиной перерасхода должен проигрывать краткому ответу, который честно показывает пробел в данных.

Попарное предпочтение полезно для удобства чтения, но не заменяет сверку расчётов. Дайте проверяющему доступ к эталону и возможность отметить, что оба ответа неверны. Иначе система выберет более приятную формулировку одной и той же ошибки.

Как читать итог сравнения

Включайте в стоимость принятого разбора повторные вызовы, исправления аналитика и время ожидания. Укажите долю случаев, где результата вообще не получили. Сравнение только успешно завершённых простых задач скроет расходы на сложные отчёты.

Отчёт испытания должен назвать пригодный участок работы: например, поиск расхождений периодов, но не рекомендации о перераспределении бюджета. Сохраните неудачные примеры для следующей проверки. Это даст обоснование ограниченному внедрению, не превращая обзор Optima в обещание результата для вашей рекламы.