Отмена требования не работает: LLM может продолжить ему следовать

Самая неприятная ошибка многошагового диалога — не когда модель не поняла новое требование, а когда она не отпустила старое. Пользователь отменяет условие, модель подтверждает отмену, а затем всё равно продолжает ему следовать.

Авторы называют это behavioral relapse — поведенческим рецидивом, или инерцией отмены. И это важный сдвиг в постановке проблемы: речь не о случайной «забывчивости» модели, а о свойстве состояния диалога, которое можно измерять по каждому отдельному условию.

Для этого предлагается contract ledger — журнал обязательств. Каждое требование связывается с исполняемой проверкой, отменённые условия помечаются как tombstones, а перед выдачей ответа система собирает актуальный набор ограничений в одну спецификацию.

Идея практически полезная: вместо надежды на то, что модель сама разберётся в длинной истории сообщений, ей заранее передают уже очищенное состояние контракта. Проверка работает через API модели, без доступа к её внутренним весам.

В экспериментах на задачах HumanEval с проверяемыми условиями частота рецидива у модели уровня 8B росла вместе с числом ограничений. При этом у более сильных моделей показатель оставался на минимальном уровне. Предварительная компиляция состояния заметно снижала число нарушений по сравнению с подходом «попробовали — проверили — повторили» при сопоставимых модели, проверках и бюджете.

Есть и более скромный вариант: короткая заметка об отмене требования возвращала примерно треть эффекта компиляции. А адаптивная лестница дополнительных исправлений поверх компиляции не дала обнаружимого прироста. Это хороший антидот против идеи, что ещё один раунд самопроверки автоматически решит проблему.

Ограничения тоже существенны. Метод проверяли на задачах HumanEval и формализованных условиях, поэтому переносимость на обычные разговоры, где требования расплывчаты и не имеют исполняемого чекера, остаётся открытым вопросом. Подход требует дополнительных проверок и API-вычислений для каждого результата. Кроме того, сам факт того, что модель написала «условие отменено», нельзя считать доказательством: поведение после этой фразы может говорить обратное.

Если модель не умеет надёжно забывать отменённые требования, готовы ли мы доверять ей длинные диалоги без отдельного журнала состояния? Источник: cs.AI updates on arXiv.org