Главный барьер для AI-агентов может быть не в модели, а в данных

AI-агент может уверенно ошибаться не потому, что ему не хватает интеллекта, а потому что он не понимает, что именно означает поле в данных. Описание вроде «статус клиента» или «тип обращения» часто не содержит правил, исключений и локального контекста, которые очевидны сотрудникам внутри компании.

Именно этот разрыв рассматривает работа ISEE — Interactive Semantic Enrichment system. Её тезис важнее самой системы: качество работы агента ограничено не только моделью, но и качеством семантики, доступной этой модели.

Семантика, которой нет в документации

В прикладных данных значительная часть смысла живёт в головах пользователей и редко публикуется или формально документируется. Для человека это не всегда проблема: он знает, что означает кастомное поле и какие значения считать эквивалентными. Для агента такая недосказанность становится причиной ошибок в анализе, поиске и задачах вроде entity-linking.

ISEE предлагает не просто автоматически переписать описание поля. Система сначала оценивает его качество по своей шкале, затем собирает доменные знания у пользователей и вместе с ними обогащает описание. Это важное отличие от подхода «пусть LLM сама догадается»: неизвестный контекст не генерируется, а извлекается через взаимодействие с человеком.

Авторы проверяли систему несколькими способами: в пользовательском исследовании, с помощью автоматической симуляции пользователей, количественной оценки и кейс-стади. По их данным, ISEE снижает когнитивную нагрузку, повышает качество описаний и улучшает результаты последующих задач. При этом в доступном описании работы нет числовых результатов, поэтому масштаб улучшений оценить нельзя.

Практический вывод для команд, которые строят агентов поверх корпоративных данных, довольно приземлённый: прежде чем добавлять ещё одну модель или усложнять цепочку промптов, стоит проверить, насколько однозначно описаны сами поля. Если смысл приходится восстанавливать из устных договорённостей, агенту нужен не только доступ к таблице, но и процесс сбора этого контекста.

ISEE выглядит полезным именно как такой процесс — с измерением качества и участием эксперта. Но это не отменяет главного ограничения: система помогает зафиксировать знания пользователей, а не заменяет их. Там, где никто не может объяснить правила поля, улучшать описание будет нечем.

Источник: cs.AI updates on arXiv.org