Оценка AI-рассказов: как отделить качество текста от реакции на авторство

Что сравнивали исследователи

В сохранённой статье The Decoder пересказывает работу Сидни Сирс и Дины Сколник Вайсберг. Участникам предъявляли рассказы людей и ChatGPT, а сведения об авторстве варьировались отдельно. Такая конструкция позволяла рассматривать текст и подпись к нему как разные факторы.

По изложению издания, машинные рассказы получали более высокие оценки качества и погружения. При этом указание на человеческое авторство повышало оценки независимо от действительного происхождения. Собственное отношение участников к AI также было связано с их реакцией.

Источник сообщает, что в описанных заданиях распознавания участники не определяли происхождение лучше случайного выбора. Это результат конкретной процедуры, а не доказательство невозможности распознать любой сгенерированный текст. Обобщать его на другие жанры и аудитории было бы неправильно.

Где заканчивается вывод исследования

The Decoder приводит объяснение авторов: более гладкий и доступный текст может нравиться сильнее, не будучи обязательно лучше в литературном смысле. Удовольствие от чтения, оригинальность и художественная сложность не обязаны совпадать в одной оценке.

В публикации также отмечено ограничение короткой формы. Связность небольшого рассказа не подтверждает способность удерживать композицию большого произведения. Поэтому на основании этой статьи нельзя объявлять замену писателя в работе над романом или сложным авторским проектом.

Мы не изучали первичную научную статью и экспериментальные материалы. Для редакционного применения ниже предлагается самостоятельная процедура проверки, а не воспроизведение опубликованного эксперимента. Она предназначена для выбора материала, а не для научного доказательства превосходства технологии.

Разделить критерии до чтения

Предлагаем заранее определить, что нужно редакции: ясность, соответствие задаче, выразительность, композиционная устойчивость или узнаваемый голос. Каждому критерию требуется короткое описание. Общий вопрос «какой текст лучше» позволяет разным проверяющим оценивать совершенно разные свойства.

Первое чтение внутри команды можно провести без сведений об инструменте подготовки, если это согласовано с участниками процедуры. Скрытие технической карточки для внутренней оценки не означает разрешения вводить публику в заблуждение относительно авторства или условий создания материала.

После первичной оценки проверяющим раскрывается происхождение и предлагается отдельно обсудить редакционные ограничения. Так можно увидеть, какой недостаток замечен в самом тексте, а какое решение связано с политикой издания, договорённостями с автором или ожиданиями аудитории.

Не подменять испытание удобной выборкой

Для сравнения нужны тексты одинакового назначения и сопоставимого объёма. Если человеческий материал выбран за экспериментальную сложность, а машинный специально оптимизирован для лёгкого чтения, преимущество по доступности не отвечает на вопрос о художественном диапазоне.

Следует сохранять задания, версии и существенные редакторские вмешательства. Текст после глубокой ручной переработки нельзя описывать так, словно он без изменений вышел из модели. Аналогично неудачный первый черновик автора не представляет автоматически его окончательную работу.

Предлагаем фиксировать не только баллы, но и конкретные места, повлиявшие на оценку. Замечание о слабой мотивации героя полезнее общего недовольства искусственностью. Оно позволяет исправить произведение или понять, что выбранный способ подготовки не подходит заданию.

Как принять редакционное решение

Итогом могут стать две независимые записи: оценка материала по согласованным критериям и решение о допустимости его публикации с честным обозначением происхождения. Первая помогает улучшать текст, вторая сохраняет договорённости с аудиторией. Одной высокой оценки недостаточно для обеих задач.