Память для LLM-эволюции помогает только с правом промолчать

Главный результат этой работы не в том, что LLM научили помнить. Важно другое: прошлый опыт действительно ускоряет поиск новых алгоритмов, только если система умеет вовремя его не использовать.

ε-MemEvo сохраняет не исходный код, а короткие описания удачных стратегий — tactic memories. Такой формат переносим между задачами с разными API и проверяющими функциями: системе не нужно буквально копировать старое решение.

Но память легко превращается в помеху. Поэтому перед добавлением найденного опыта работает adaptive injection gate: он решает, пропустить подсказку или нет, и насколько сильно на неё опереться. В процессе улучшения поиск чаще выбирает skip, а на раннем или позднем плато может переключиться на hint. Иными словами, память здесь не база обязательных инструкций, а условный совет.

На восьми задачах оптимизации ε-MemEvo показал лучший AUCC, чем AdaEvolve, на каждой из них при использовании GPT-5: средний относительный прирост составил 8,7%, а ранняя сходимость улучшилась в среднем на 9,4%. Дополнительные вычислительные затраты — менее 1%.

Ограничения тоже существенные. Это результат на восьми бенчмарках, а основной показатель получен на одном backbone — GPT-5; протокол Leave-One-Out исключал память целевой задачи, но не превращает эксперимент в доказательство универсальности метода. Кроме того, абляции показали: наивная инъекция памяти может проваливаться катастрофически, тогда как адаптивные ворота оставались безопасными на пяти проверенных задачах.

Практический вывод для агентных систем довольно приземлённый: собирать историю успешных действий мало. Нужен отдельный механизм, который оценивает уместность воспоминания прямо по ходу поиска. Иначе «память» будет не опытом, а ещё одним источником уверенных ошибок.

Если вы уже используете память в AI-агенте, она чаще помогает ему находить новое или мешает выйти из неудачного шаблона? Источник: cs.AI updates on arXiv.org