AgentLens: бенчмарк для оценки траекторий работы код-агентов

Большинство существующих бенчмарков для код-агентов сводят оценку к бинарному результату — выполнил задачу или нет. Однако реальные пользователи сталкиваются с полным процессом работы агента: тем, как он следует инструкциям, применяет инструменты, проверяет собственные действия, восстанавливается после ошибок и взаимодействует с человеком. Проект AgentLens предлагает оценивать именно эту траекторию целиком.

Подход к оценке

Бенчмарк объединяет несколько методов:

• формальная проверка — применяется там, где существует объективный критерий успешности;
• LLM-обзоры траекторий — текстовые отзывы о ходе выполнения задачи;
• сравнение бок о бок — параллельный анализ разных запусков.

Каждый прогон выдаёт читаемое объяснение того, почему получена конкретная оценка. По словам авторов, это делает AgentLens полезным не только для ранжирования моделей, но и для диагностики поведения, сравнения последовательных версий собственного агента и отслеживания регрессий в nightly-пайплайне.

Исходный код бенчмарка опубликован в открытом доступе в репозитории agent-lens-bench.

Источник: cs.AI updates on arXiv.org