Данные для обучения ИИ: почему одного примера правильной работы мало

Что утверждает исследователь

В статье от 30 июля 2026 года Эндрю Хо связывает неровное качество языковых моделей с нехваткой специализированных данных. По пересказу The Decoder, он считает масштабирование недостаточным и ожидает крупных вложений лабораторий в целевой сбор примеров профессиональной работы.

Издание описывает его первые направления: сложный анализ в биоинформатике и повседневные лабораторные задачи, включая оценку фотографий экспериментов. Эти планы не подтверждают, что готовые наборы уже решают проблемы конкретной лаборатории или предприятия. Независимые результаты их применения в заметке не представлены.

Особенно полезно замечание о контексте. Наблюдая правильный путь сотрудника, трудно оценить все другие пути, которыми могла пойти модель. Статья передаёт исследовательскую позицию и обсуждение обобщения, а не установленный научный консенсус о пределах языковых моделей.

Сохранить причину решения

Возьмём предлагаемый пример из технической поддержки. Опытный специалист советует заменить узел после сочетания нескольких признаков. В закрытой заявке остаётся только итоговая рекомендация. Если превратить такие записи в обучающий набор, из него исчезнет основание, по которому исключили другие причины.

Для полезного примера нужны доступные на тот момент сведения, допустимые действия и объяснение выбора. Отмечайте также неизвестное: отсутствующий замер, сомнительное описание клиента, неподтверждённую версию оборудования. Иначе будущий помощник будет получать более определённую картину, чем имел настоящий специалист.

Не добавляйте в исходные условия информацию, появившуюся после ремонта. Итоговая находка удобна для оценки ответа, но её присутствие во входных данных превращает сложную диагностику в угадывание по подсказке. Такой набор может дать убедительную демонстрацию и слабую работу с новыми обращениями.

Альтернативы тоже требуют разметки

Попросите эксперта оценить несколько правдоподобных действий: запросить уточнение, назначить осмотр, предложить замену. Для каждого варианта укажите, почему он допустим или опасен именно в этом случае. Просто пометить один текст правильным недостаточно, когда существует несколько разумных продолжений.

Разногласия специалистов сохраняйте, а не скрывайте голосованием без объяснения. Они могут показывать нехватку данных или различие правил между подразделениями. Для таких задач корректным ответом помощника иногда будет запрос дополнительного измерения, а не выбор одного из спорящих экспертов.

Отдельно формируйте случаи, где уверенная рекомендация недопустима. Например, описание неисправности противоречиво или относится к неизвестной модификации. Эти примеры проверяют способность остановиться, которую трудно увидеть в коллекции успешно закрытых однотипных заявок.

Набор для проверки не должен обучать

Сначала отделите контрольные случаи от материала для настройки. Не используйте их в демонстрациях промпта и не исправляйте систему только под обнаруженные ответы. Иначе повторный тест начнёт измерять знакомство с набором, а не способность работать с новым обращением.

Версионируйте разметку вместе с правилами обслуживания. Рекомендация, допустимая до изменения регламента, может стать неверной позже. Полезно знать, какая редакция инструкции действовала при подготовке каждого примера и кто имеет право пересмотреть его оценку.

Цена такой работы включает время экспертов и разрешение спорных случаев, а не только выгрузку архива. Начните с небольшого однородного участка, где можно проверить пользу разметки. Количество строк само по себе не показывает, достаточно ли в них контекста для решения задачи.

Позиция Хо помогает поставить вопрос о качестве данных, но не обещает окупаемость собственного набора. Сначала подтвердите, что экспертные объяснения улучшают ответы на отложенных случаях. После этого будет предмет для обсуждения обучения, закупки данных или изменения рабочего процесса.