FrogNano находит ошибки в репозитории, но тесты не гарантируют безопасность

Компактная модель может пройти путь от поиска ошибки до предложенной правки в репозитории. Но качество результата зависит не только от самой модели: FrogNano работает через специальный набор инструментов, а успешные тесты не гарантируют, что патч безопасен.

FrogNano-4B-2609 построена на Qwen3.5-4B и дополнительно обучена для задач разработки. Microsoft использовала около 1 500 синтетических сред с задачами по программированию и обучение с подкреплением. Тренировали на полных сценариях работы с кодом: навигация по проекту, отладка, запуск тестов.

Здесь важна связка с Leaf. Модель формирует структурированные вызовы инструментов, а Leaf выполняет разрешённые действия в изолированной среде репозитория и создаёт кандидат на патч. Такой подход позволяет небольшой модели работать с задачей целиком, но часть результата зависит от качества инструментов и тестов, на которые она опирается.

Ограничения тоже есть. Модель чувствительна к настройке Leaf и качеству тестов. Обучающие данные преимущественно на Python и английском. Патч может оказаться ошибочным или небезопасным даже после успешного прохождения доступных тестов. FrogNano сама изменения не разворачивает, а любой патч требует проверки человеком, регрессионного тестирования и проверки безопасности.

Доверили бы вы такой модели подготовить патч для своего проекта, если финальное решение всё равно остаётся за вами?

Источник: LocalLlama