Слабая модель может чинить рассуждения сильной — но не учить её напрямую

Сильная языковая модель может ошибиться не потому, что не умеет решать задачу, а из-за одного сбоя посреди рассуждения. Исследование Woodpecker Distillation показывает неожиданный вариант исправления: слабая модель находит место для короткой коррекции и иногда возвращает сильную модель на правильную траекторию.

Но слабая модель здесь не выступает учителем в привычном смысле. Её текст исправления сам по себе плохо переносится в обучение: если просто дообучать сильную модель на таких патчах или готовых исправленных решениях, полезный эффект не всегда усваивается.

Авторы предлагают смотреть не на саму вставку, а на последствия. Для одного и того же префикса сравниваются удачные и неудачные исправления слабой модели, после чего строится сигнал о том, как должна измениться вероятность будущих токенов. Иными словами, модель учат не копировать чужую реплику, а выбирать другую линию продолжения после обнаруженной ошибки.

В этом и состоит практическая ценность идеи: слабая модель может быть полезна как дешёвый диагностический слой для сильной. Она не обязана знать правильный ответ целиком — достаточно, чтобы её локальное вмешательство помогало отличить перспективную траекторию рассуждения от сломанной.

Ограничения пока существенные. Результаты заявлены на математических бенчмарках, а в доступном описании нет деталей о моделях, масштабе экспериментов и переносе на другие типы задач. Поэтому это ещё не доказательство универсального способа чинить рассуждения: скорее, убедительный аргумент в пользу обучения по последствиям вмешательства, а не по его тексту.

Если слабая модель умеет надёжно находить локальные ошибки, что для вас практичнее: использовать её как проверяющего агента или всё-таки пытаться напрямую дообучать сильную модель на её исправлениях? Источник: cs.AI updates on arXiv.org