Контроль диалогов с ИИ: очередь спорных разговоров вместо рейтинга сотрудников

Сначала договоритесь, что считать ошибкой

Разберите с наставниками несколько завершённых диалогов. Для каждого критерия запишите положительный пример, нарушение и случай, когда оценка невозможна. Если два проверяющих расходятся, уточняйте правило до подключения модели: автоматизация не разрешит спор о смысле хорошего обслуживания.

Например, клиент отказался от повторного звонка. Отсутствие обещания перезвонить здесь не нарушение. В карточке критерия нужны условия применимости, иначе помощник станет отмечать правильные действия как ошибки и отвлекать руководителя на бесполезную проверку.

Версию регламента привязывают к дате разговора. Новый скрипт не должен задним числом ухудшать оценки старых звонков. Изменения критериев сохраняют вместе с объяснением, кто их утвердил и на какие обращения они распространяются.

Какие данные передать на разбор

Для звонка подготовьте запись, расшифровку с временными метками, обозначения говорящих и разрешённые сведения о результате обращения. Для чата сохраняйте порядок сообщений, пересылки между операторами и вложения, если без них ответ непонятен.

Удалите сведения, которые не нужны для оценки. Ответственный за данные должен заранее определить допустимость обработки, срок хранения записей и круг сотрудников с доступом. Учебная подборка не должна превращаться в общедоступный архив клиентских разговоров.

• Отдельно отмечайте обрыв записи, шум и наложение голосов.
• Сохраняйте связь разговора с обращением, но не раскрывайте лишние данные клиента.
• Передавайте только действующие правила для выбранного типа обслуживания.
• Не смешивайте первичный запрос и повторную жалобу в одну оценочную группу.

Карточка, которую удобно оспорить

На выходе попросите критерий, предварительный результат, точную цитату, временную метку и короткое обоснование. Добавьте состояние «недостаточно данных». Оно полезнее уверенного вывода, когда конец фразы потерялся или модель перепутала участников.

Условный пример: расшифровка содержит «не вернём деньги», но в записи слышно «не позднее пятницы вернём деньги». Наставник открывает указанный фрагмент, исправляет расшифровку и снимает отметку. Исправление должно попасть в журнал качества распознавания, а не в историю проступков оператора.

Как проверить очередь замечаний

Проверяющий сначала самостоятельно оценивает разговор, затем смотрит карточку помощника. Такой порядок уменьшает влияние готовой формулировки на его решение. Спорные примеры передавайте второму наставнику и сохраняйте итоговое основание оценки.

Нужны две подборки: замечания модели и случайные разговоры без замечаний. Первая показывает, сколько тревог подтверждается; вторая помогает искать пропуски. Если смотреть только отмеченные звонки, спокойный отчёт может скрывать плохо работающий отбор.

Ведите отдельные причины исправлений: неверная расшифровка, перепутанный говорящий, неподходящий критерий, потерянный контекст. Эти причины требуют разных действий. Перенастройка оценки не исправит микрофон, а новая запись не устранит противоречивый скрипт.

Как использовать результат без тотального надзора

В отчёте руководителя показывайте подтверждённые темы и примеры для обучения. Не переносите предварительные баллы в премирование. Для сотрудника предусмотрите просмотр основания, возможность объяснить контекст и понятный маршрут пересмотра с участием человека.

Успех испытания оценивайте по времени проверки, найденным существенным пропускам и доле отменённых замечаний. Если наставник вынужден заново разбирать каждый разговор, нужно менять задачу или качество входных данных, а не увеличивать поток автоматических оценок.