Сравнение 11 LLM в задаче рефакторинга кода: эксперимент с god node

Что такое god node

В разработке ИИ-агентов на базе LangGraph иногда возникает антипаттерн, известный как god node. Это узел графа состояний, который берёт на себя слишком много логики — итерации, проверки, маршрутизацию, вызовы LLM и коррекцию результатов. В эксперименте рассматривается нода plan объёмом около 350 строк, скрывающая в себе всю оркестрацию агента.

Проблема такого подхода в том, что граф перестаёт быть наглядным представлением системы: его сложнее объяснять, отлаживать, тестировать и изменять. Задача рефакторинга — не просто разбить функцию на части, а вынести управляющую логику на уровень графа.

Суть эксперимента

Автор попросил 11 языковых моделей — 5 американских и 6 китайских — предложить варианты реорганизации god node. Затем модели оценивали предложения друг друга. Чтобы определить, кому из них стоит доверять, использовались три подхода:

• Сходимость оценок — проверка, насколько модели согласны друг с другом при выборе лучшего предложения.
• Сравнение анализов по тезисам — выявление лучшего аналитика на основе детальности разбора.
• Центр мнений и медоид — статистический метод для определения наиболее «типичного» и репрезентативного аналитика.

Зачем это нужно

Эксперимент помогает понять, какие LLM лучше справляются с архитектурным рефакторингом, а какие — с ролью критика. Это особенно актуально при проектировании сложных ИИ-агентов, где чистая и модульная структура графа критична для дальнейшей поддержки и масштабирования.

Источник: Все статьи подряд / Машинное обучение / Хабр