Полезный ИИ может проигрывать тесты в одиночку

Проблема современных AI-бенчмарков может быть не в том, что они слишком сложные, а в том, что они проверяют не то. Если модель побеждает человека в одиночном тесте, это ещё не значит, что вместе они решают задачи лучше.

Авторы position paper считают, что нынешняя логика оценки неявно задаёт цель: сделать ИИ способным работать вместо человека. Такой подход удобно измерять — есть задача, ответ и результат. Но он плохо отражает сценарии, где человек задаёт направление, проверяет выводы и принимает решение, а модель ускоряет рутинную часть.

Предлагаемый сдвиг — оценивать производительность human–AI team. Тогда важен не рекорд модели сама по себе, а то, улучшает ли она итог человека: помогает ли быстрее найти решение, снижает ли число ошибок и дополняет ли способности пользователя.

Это меняет и сам критерий «хорошей» системы. Модель может быть не лучшей в автономном тесте, но более ценной в работе, если она умеет вовремя объяснить, подсветить риск или оставить человеку контроль. Для прикладного ИИ это, возможно, важнее ещё одного показателя превосходства над людьми.

Но пока это именно position paper, а не набор экспериментальных результатов. В представленном материале нет конкретной методики оценки команд, новых метрик или доказательства, что такой подход уже даёт лучшие результаты. Главный открытый вопрос — как измерять вклад человека и ИИ так, чтобы тест не превращался в субъективное впечатление пользователя.

Если выбирать между моделью, которая лучше всех работает одна, и моделью, которая заметно усиливает вас в реальной задаче, что должно считаться более сильным результатом? Источник: cs.AI updates on arXiv.org