Интерпретируемый AI научили не доверять плохим концептам

Главная проблема объяснимого AI здесь не в том, что модель не умеет показывать свои признаки. Она может честно показать концепты, но если один из них пропущен или определён неправильно, ошибка начинает распространяться дальше — вместе с убедительным, но неверным объяснением.

ReCBM предлагает чинить это не за счёт отказа от интерпретируемости, а прямо внутри концептуального «узкого места». Между концептами задаются смысловые отношения: совместное появление, следование одного из другого и взаимоисключение. Так модель может уточнять один признак через другие.

Ключевой механизм — неопределённость. Чем менее уверенно система распознала концепт, тем меньше его вклад в обмен информацией с соседними концептами. Это важнее, чем просто добавить больше связей: без оценки надёжности сама структура отношений могла бы лишь быстрее разносить ошибку.

По описанию авторов, на разных наборах данных ReCBM лучше восстанавливал концепты и итоговые задачи, когда признаки были пропущены или намеренно перевёрнуты. Также система поддерживала вмешательство с учётом неопределённости и выделяла компактные наборы концептов, важных именно для конкретной задачи, без ухудшения итоговой производительности.

Но есть повод не превращать результат в универсальное решение. В аннотации нет численных сравнений, названий наборов данных, деталей построения отношений и стоимости такой схемы. Поэтому пока можно уверенно говорить о перспективном подходе к ненадёжным концептам, но не о доказанном преимуществе для любого прикладного AI.

Если бы вы проверяли такую систему в продукте, что было бы важнее: понятное объяснение каждого решения или возможность безопасно исправлять отдельные концепты во время работы? Источник: cs.AI updates on arXiv.org