Вкус не сделал AI-исследователя лучше — только сменил маршрут
Sh0ny
11 августа 20262 мин чтения
Коротко
Автономный AI-исследователь может честно проверять гипотезы, но это ещё не означает, что он найдёт лучший результат. Исследование показывает практический компромисс: жёсткая структура защищает от самообмана, а человеческие предпочтения влияют прежде всего на направление поиска.
Автономный AI-исследователь не обязательно становится эффективнее, когда ему добавляют «вкус» пользователя. В эксперименте лучший результат в обучении политики навигации четвероногого робота получила как раз версия без preference oracle — специального модуля, который хранит исследовательские предпочтения.
Но это не делает oracle бесполезным. Обе версии запускали одинаковый цикл по одиннадцати исследовательским направлениям, и обе опровергали примерно три четверти собственных гипотез. Разница оказалась не в честности проверки и не в итоговом score, а в том, куда система вообще решала смотреть.
Авторы добавили в цикл три элемента. Каждый эксперимент получает неизменяемую карточку: в ней заранее фиксируются предсказание и результат, поэтому неудачную гипотезу нельзя задним числом переписать как успех. Субагенты получают узкие механические роли, а субъективные решения передаются только kkanbu — preference oracle, оформленному как типизированный граф знаний о предпочтениях пользователя.
Именно это разделение выглядит самым полезным. Карточки и ограничения не дают исследованию незаметно скатиться в бесконечную оптимизацию одной метрики. А kkanbu задаёт вкус: версия с ним единственная исследовала test-time adaptation, создала лучшие конструкции в тех направлениях, куда сама повела поиск, и переносила уроки между потоками вместо повторного открытия одних и тех же идей.
Получается важный trade-off: «вкус» не является ускорителем качества сам по себе. Он скорее навигатор. Можно прийти к более интересным или перспективным гипотезам, но это не гарантирует лучший измеримый результат — в данном эксперименте победила система без oracle.
Ограничения здесь существенные. Работа проверяет подход в симуляции навигации четвероногого робота, а не в реальной лаборатории. В доступном описании нет подробностей о статистической устойчивости результатов и о том, насколько выводы перенесутся на другие области. Поэтому это пока аргумент в пользу архитектуры исследовательского цикла, а не доказательство того, что AI с «памятью вкуса» в целом лучше проводит исследования.
Если выбирать для собственного AI-агента только одну вещь — защиту от переписывания провалов или передачу ему исследовательского вкуса, — что вы бы поставили первым? Источник: cs.AI updates on arXiv.org