Агентные архитектуры для ARC-AGI-1 без дообучения: 67% при $0.62 за задачу

Прогресс на бенчмарке ARC-AGI-1 в последнее время шёл двумя путями: либо массивный test-time compute поверх фронтальных моделей (эволюционный поиск, исчерпывающее сэмплирование, длинный chain-of-thought), либо специализированное дообучение маленьких моделей на ARC-данных. Авторы работы изучают третий режим — open-weight модель в режиме без размышления (DeepSeek V3.2) при жёстком бюджете и без какого-либо ARC-специфичного файн-тюнинга.

Подход

Основная идея — извлечь максимум из архитектуры агента, а не из обучения. Предложены две схемы:

• Explorer-Definer Pipeline — двухстадийный пайплайн, разделяющий обнаружение паттернов и синтез исполняемых преобразований. Сначала агент исследует структуру задачи, затем формирует программу трансформации.
• Reflective Orchestrator — надстройка над пайплайном, которая автономно запускает повторное исследование новых преобразований, когда предыдущие гипотезы не проходят проверку на тренировочных примерах.

Результаты

На публичном наборе из 400 задач ARC-AGI-1:

• Explorer-Definer Pipeline: 57.50% pass@2 при $0.25 за задачу
• Reflective Orchestrator: 67.25% pass@2 при $0.62 за задачу

Обе архитектуры поднимают one-shot базовый уровень 15.50% примерно на 52 процентных пункта без бенчмарк-специфичного обучения и тяжёлого test-time compute.

Диагностика и анализ

Оркестратор проверяет фальсифицируемый диагностический прогноз, который генерирует пайплайн. Анализ unbiased pass@k показывает, что пайплайн ограничен на этапе генерации, а не отбора: точность на тренировочных парах покрывает около 95% потолка кандидатов. Это означает, что существенное улучшение требует более широкого генерирования, а не лучшего ранжирования.

Оркестратор реализует этот прогноз через адаптивное переисследование и подтверждает его: прирост unbiased pass@1 составил +9.81 пп, что совпадает с приростом через selection-mediated pass@2.

Дополнительный аблационный анализ выявил, что инструмент think — значимый компонент пайплайна: его удаление снижает pass@2 на 5.75 пп.

Источник: cs.AI updates on arXiv.org