AWS выпустила aws-bench: бенчмарк для агентов, который работает только на AWS

AWS анонсировала research preview aws-bench — open-source бенчмарка, который измеряет, насколько точно и эффективно AI-агенты выполняют реальные задачи на инфраструктуре AWS. Это не очередной синтетический тест на рассуждение, а набор кейсов, собранных из анализа реального использования облака: investigation, troubleshooting, создание инфраструктуры.

Дизайн бенчмарка заслуживает внимания. Каждый тестовый кейс — это тройка: natural-language запрос, заданное состояние облачных ресурсов и ground-truth ответ. То есть агент получает задачу на естественном языке, работает с конкретным окружением, а результат сравнивается с эталоном. Это даёт воспроизводимость, которой давно не хватало в оценке агентов: вместо «модель хорошо пишет код» — «агент правильно диагностировал проблему в VPC и создал нужный ресурс».

В комплекте — CLI-инструмент: поднимает тестовое окружение, запускает и оценивает агента, сбрасывает состояние ресурсов. Для команд, которые строят агентов поверх AWS, это реальная экономия времени. Не нужно собирать свой eval-стенд с нуля.

Но есть очевидный trade-off, который маркетинговый текст не упоминает. aws-bench измеряет агентов на задачах AWS — и только на них. Это бенчмарк, который по определению заточен под одну платформу. Если ваш агент работает в multi-cloud или on-premise, полезность ограничена: паттерны траблшутинга в AWS не всегда переносятся на GCP или Azure. Плюс сам факт, что вендор определяет, какие задачи считаются «реальными», создаёт конфликт интересов — даже если кейсы честно собраны из usage-данных.

Тем не менее для практики это шаг вперёд. Сообщество давно нуждается в воспроизводимых eval-наборах для агентов, которые работают с реальной инфраструктурой, а не с игрушечными песочницами. aws-bench — не универсальный стандарт, но конкретный инструмент для конкретной ниши. Вопрос, который стоит задать: появится ли у него независимый аналог, не привязанный к одному облаку?

Источник: Hacker News - Newest: ""AI" "LLM""