Память агента и качество анализа: урок настройки ARC-AGI-3

Почему одного имени модели недостаточно

OpenAI пишет, что первоначально низкие результаты вызвали вопросы у команды. После изменения двух настроек результат на публичном наборе вырос. Важный для покупателя вывод здесь методический: сравнение затрагивает модель вместе с программной оболочкой, контекстом и способом передачи истории.

Публикация называет retained reasoning и compaction. В данном разборе они означают описанные автором механизмы сохранения предшествующей работы и сокращения занимаемого ею контекста. Мы не проверяли полный протокол теста и не утверждаем, что одинаковые настройки доступны в любом сервисе.

Особенно осторожно следует обращаться с числовым результатом. Успех в игре показывает поведение в конкретной среде. Он не измеряет правильность вывода о причине остановки конвейера, где записи могут быть неполными, противоречивыми или сделанными после события.

Что агент должен помнить о простое

Предлагаемый производственный эксперимент касается разбора длинного журнала. В нём помощник связывает сигналы оборудования, действия оператора и результаты ремонта. Для каждого вывода нужно сохранять исходные записи, а также различать подтверждённую причину и рабочую гипотезу технолога.

Сжатая история может потерять отрицательный результат: проверенный датчик оказался исправен. Если это исчезнет, агент снова предложит ту же проверку. Поэтому в памяти полезно явно хранить уже выполненные действия, их исход и вопрос, который остаётся открытым.

Другая опасность — потеря последовательности. Запись «давление восстановилось после замены» отличается от «замена выполнена после восстановления давления». Итоговое краткое резюме должно сохранять временные метки или ссылки на события, позволяющие восстановить порядок без догадки.

Сравните настройки на одинаковом материале

Подготовьте архивные эпизоды с заключением специалиста и отделите их от примеров для настройки. В одном прогоне передавайте историю целиком в пределах допустимого объёма. В другом применяйте выбранный механизм сокращения. Модель, инструкции и критерии проверки оставьте одинаковыми.

Эксперт сравнивает пропущенные события, неподтверждённые причинные связи и повторные предложения уже выполненных действий. Отдельно измеряют расход и время. Снижение токенов полезно лишь при приемлемом качестве: короткое ошибочное заключение дешевле, но задачу не решает.

• Включите исправление первоначальной версии причины.
• Добавьте одинаковые сигналы у разных единиц оборудования.
• Проверьте продолжение анализа после длинного перерыва.
• Попросите показать первичную запись для каждого вывода.

Память не должна превращать догадку в факт

В промежуточном резюме сохраняйте статус утверждения и автора подтверждения. Предположение модели нельзя повышать до установленной причины при очередном сокращении истории. Для важных полей полезна структурированная запись, а свободное объяснение остаётся дополнительным текстом.

Если история восстановлена не полностью, отчёт отмечает этот пробел. Помощник запрашивает недостающий журнал или передаёт эпизод технологу. Продолжение с уверенным тоном не компенсирует потерю контекста, особенно когда результат используется для решения о техническом обслуживании.

Принимайте конфигурацию целиком

В протоколе сохраняют версию модели, правила памяти, ограничения объёма и набор проверок. После обновления любого из этих компонентов контрольные эпизоды проходят заново. Иначе прежняя оценка качества может относиться к системе, которой уже нет.

Новость OpenAI полезна как напоминание о честном сравнении. Предприятие выбирает не победителя игровой таблицы, а воспроизводимую конфигурацию для собственных документов. Если улучшение проявилось только на удобном примере, расширять доступ помощника к рабочим процессам рано.