Почему успешный AI-агент может действовать непоследовательно

Высокий success rate ещё не значит, что AI-агент надёжен. Он может успешно решать задачи, но каждый раз идти к результату по совершенно разной логике — и ломаться там, где условия немного изменились.

Авторы работы предлагают смотреть не только на итог, но и на сам процесс выполнения. Их Behavioral Consistency Metric (BCM) анализирует признаки поведения в трассах работы агента и оценивает, насколько похожи объясняющие успех поведенческие профили разных запусков.

Здесь важен неожиданный разрыв. Агент может быть воспроизводимым внутри одной задачи: повторные попытки выглядят похоже. Но при переходе к другим задачам у него не обнаруживается общей стратегии — поведение становится фрагментированным. Бывает и наоборот: система сохраняет устойчивый стиль между задачами, хотя внутри отдельной задачи ведёт себя менее одинаково.

Именно поэтому одного теста на повторяемость недостаточно. В исследовании проанализировали около 9000 трасс шести языковых агентов на задачах разработки ПО. Системы с похожим уровнем успеха заметно различались по согласованности, а разрыв между frontier-моделями и open-source-системами сохранялся даже при контроле сложности задач.

Есть и важная оговорка. BCM не измеряет «надёжность» напрямую: метрика обучает отдельную модель предсказывать успех по признакам поведения, а затем сравнивает полученные векторы атрибуции. Поэтому результат зависит от того, насколько осмысленно этот предиктор связывает поведение с успехом. Сами авторы подчёркивают, что BCM имеет смысл только при определённых условиях, а в аннотации эти условия подробно не перечислены.

Практический вывод простой: при выборе агента стоит спрашивать не только «как часто он справляется?», но и «насколько стабильно он действует в новых сценариях?». Вы бы предпочли агента с чуть меньшим success rate, но устойчивой стратегией, или более успешную систему, чьё поведение каждый раз непредсказуемо? Источник: cs.AI updates on arXiv.org