Непонимание в AI-диалогах — это не ошибка, а цепочка сбоев

Главная проблема AI-диалогов может быть не в том, что агент иногда отвечает неправильно. Хуже другое: ошибка смысла способна возникнуть незаметно, усилиться в следующих сообщениях и не дойти до этапа исправления.

В статье на arXiv непонимание разбирают как цепочку из нескольких стадий. Сначала появляется расхождение между тем, что один участник хотел передать, и тем, что другой восстановил. Затем оно может усилиться — например, когда следующая реплика уже строится на неверной интерпретации. И только после этого возникает вопрос: заметил ли кто-нибудь проблему и попытался ли её исправить.

Авторы собрали подходы из девяти исследовательских областей и выделили 11 точных механизмов сбоя. Они распределены по восьми слоям коммуникативного процесса: восемь механизмов в основном порождают расхождение, два усиливают уже существующее, а один отвечает за обнаружение и восстановление.

Практический вывод здесь важнее самой классификации: проверять нужно не только финальный ответ агента. Система может выглядеть связной на выходе, хотя ошибка появилась намного раньше — при интерпретации запроса, выборе контекста или реконструкции намерения пользователя.

Авторы формализуют восемь слоёв, добавляют матрицу доказательств по источникам, руководство по кодированию и девять разобранных диалогов. Но из описания не следует, что модель уже проверена в рабочих AI-системах или что она сама по себе снижает число ошибок. Пока это скорее карта для анализа и проектирования проверок, чем готовый рецепт.

Если AI-агент ошибся в понимании задачи, на каком этапе вы бы сначала искали сбой: в формулировке пользователя, контексте или проверке результата? Источник: cs.AI updates on arXiv.org