Рейтинг ИИ-моделей изменился: как выбрать помощника для проверки заявок

Что изменилось в Intelligence Index

По сообщению The Decoder, Artificial Analysis выпустила Intelligence Index версии 4.2. В индекс добавлены AA-Briefcase для задач интеллектуальной работы и GDP.pdf для анализа PDF; GPQA-Diamond исключён. Также исправлены ошибки подсчёта и изменены процедуры оценки.

В прочитанном материале говорится, что закрытые тестовые данные теперь составляют 40% веса индекса. После пересмотра GPT-6 Astra получила преимущество в четыре балла относительно предшественника. Это результат обновлённой методики, а не измерение работы отдела продаж.

Автор обзора предполагает связь обновления с критикой прежнего результата. Это объяснение автора, не установленная нами причина. Практически важнее другое: баллы разных версий рейтинга нельзя сравнивать так, будто состав испытаний оставался прежним.

Соберите набор по решениям менеджера

Для предлагаемого теста выберите обращения, где сотруднику нужно определить продукт, извлечь требования и задать уточнение. Отделите оценку этих действий от интеграции с CRM. Ошибка записи в систему и неправильное понимание клиента требуют разных исправлений.

• Обычный запрос с полными данными проверяет извлечение без лишних вопросов.
• Обращение без бюджета и срока проверяет сохранение неизвестных значений.
• Противоречивые условия проверяют способность показать конфликт вместо его выдуманного разрешения.
• Жалоба среди вопросов о покупке проверяет корректную передачу сервисной команде.

Эталон готовят менеджеры до просмотра ответов моделей. Для каждой задачи укажите обязательные поля, допустимые варианты и запрещённые выводы. Не требуйте единственной красивой формулировки, если несколько ответов одинаково верно сохраняют смысл обращения.

Одинаковые условия сравнения

Каждому кандидату дайте одинаковую разрешённую базу продуктов, инструкции и исходные сообщения. Зафиксируйте версию модели, настройки, ограничения времени и доступные инструменты. Если одному помощнику разрешён поиск, а другому нет, сравниваются уже разные системы.

Разделите примеры для настройки и для итогового испытания. После исправления инструкции не подбирайте бесконечно удачный ответ на том же наборе. Отложенные обращения помогут увидеть, работает ли правило за пределами разобранных ошибок.

1. Проведите повторные запуски на критичных случаях, чтобы заметить нестабильное поведение.
2. Скройте названия моделей при человеческой оценке, если это возможно.
3. Запишите стоимость запросов, задержку и время исправления карточки.
4. Храните ошибочные ответы вместе с основаниями оценки, а не только итоговую таблицу мест.

Что нельзя усреднять

Время до первого ответа не равно времени до пригодной карточки. Если менеджер вынужден перечитывать всю историю и исправлять поля, включите эту работу в сравнение. Дешёвая генерация может оказаться дорогой подготовкой результата.

Итог оформите как выбор для ограниченной задачи: какие обращения допустимы, где требуется ручная обработка, когда повторить испытание. Обновление модели или каталога продуктов должно запускать повторную проверку важных случаев, а не автоматическое доверие новому названию.

Если кандидаты не дают преимущества перед текущими шаблонами, это полноценный результат испытания. Сохраните набор и вернитесь к нему при изменении требований. Закупку следует обосновывать проверенной работой, а не желанием следовать обновившемуся рейтингу.