9B модель обошла 30B в задаче для local LLM-агента

Есть устойчивое убеждение: чем больше параметров у модели, тем она умнее и тем лучше справится с задачей. На практике это не всегда так, особенно когда речь идёт не о простом ответе на вопрос, а о работе LLM-агента, который должен планировать шаги, вызывать инструменты и доводить задачу до конца.

Автор поста три месяца работал с локальными агентами и провёл наглядный эксперимент: одну и ту же задачу дали двум моделям — на 9 миллиардов параметров и на 30 миллиардов. Результат оказался неожиданным.

Что показал эксперимент

• 30B-модель потратила 24 шага на решение задачи и в итоге выдала неверный ответ.
• 9B-модель справилась с той же задачей всего за 3 шага и получила правильный результат.

Разница не в «интеллекте» модели как таковом, а в том, как организован процесс её работы в агентном контуре.

Почему размер — не главный фактор

Когда речь идёт о local LLM-агенте, итоговое качество зависит не только от количества параметров, но и от целого набора инженерных решений вокруг самой модели:

• как выстроен цикл рассуждений и действий (планирование, вызов инструментов, проверка результата);
• насколько чётко и лаконично сформулирован системный промпт;
• как модель работает с контекстом и не теряет фокус на длинных цепочках шагов;
• есть ли механизмы, которые останавливают агента от лишних, избыточных действий;
• насколько хорошо инструменты и их описания подобраны под конкретную модель.

Большая модель, лишённая такой обвязки, может «застревать» в избыточных рассуждениях, накручивая шаги без реальной пользы. Меньшая же модель, работающая в грамотно настроенном контуре, действует более прямо и предсказуемо — а значит, быстрее приходит к верному ответу.

Вывод для тех, кто строит агентов локально

Главный практический урок в том, что при разработке локальных агентов стоит вкладываться не только в выбор самой крупной доступной модели, но и в архитектуру взаимодействия с ней: систему промптов, логику остановки, инструменты и способ передачи контекста.

Именно эти детали, а не количество параметров, определяют, сколько шагов агенту потребуется на задачу и насколько точным будет итоговый результат.

Источник: Хабр