Почему Explainable AI пока не даёт права на объяснение

Право человека получить объяснение автоматизированного решения уже закреплено в европейском регулировании. Но систематический обзор исследований показывает неприятную вещь: между этим правом и реальным Explainable AI пока нет надёжного моста.

Авторы начали с 2643 публикаций и после отбора изучили 57 полнотекстовых работ. Только 19 из них действительно совмещают юридическую и техническую перспективы. Это не означает, что остальные бесполезны: проблема в том, что правоведы и разработчики часто отвечают на разные вопросы, используя один и тот же термин — «объяснение».

Объяснение — это не просто feature importance

В контексте Art. 15(1)(h) GDPR, Art. 86 AI Act и связанных норм недостаточно показать, какие признаки сильнее всего повлияли на предсказание модели. Нужно понимать, кому предназначено объяснение и какую юридическую задачу оно решает: информировать, дать возможность оспорить решение или обеспечить иной вид подотчётности.

Обзор выделяет три повторяющиеся ошибки:

• авторы часто неверно определяют правовое основание в GDPR;
• лишь немногие учитывают решение CJEU по делу Dun & Bradstreet — вероятно, из-за сроков публикации исследований;
• форму объяснения, зависящую от адресата, смешивают с содержанием, которое определяется юридической целью.

Последняя ошибка особенно важна для практики. Объяснение для человека, которому отказали в кредите, объяснение для регулятора и объяснение для внутреннего аудитора могут относиться к одному и тому же решению модели, но не обязаны выглядеть одинаково. Универсальный экран с несколькими наиболее важными факторами не решает эту задачу автоматически.

Авторы называют это различием между адресатом и целью объяснения — Addressee/Purpose Framework — и предлагают четырёхфазный план операционализации. Также они формулируют шесть открытых исследовательских вопросов. Важен сам поворот: обсуждать нужно не только «насколько понятна модель», а пригодно ли конкретное объяснение для предусмотренной законом процедуры.

Для команд, которые строят AI-системы в регулируемых областях, отсюда следует практическое ограничение. XAI нельзя добавлять в конце проекта как визуальный слой над готовой моделью. Сначала нужно определить получателя объяснения, его права и юридическую цель, а уже потом выбирать метод, формат и уровень детализации.

Иначе компания может получить технически убедительный отчёт, который не помогает человеку понять решение и не даёт ему рабочего способа его оспорить. Тогда «право на объяснение» существует на бумаге, а реализуемого механизма соблюдения всё ещё нет.

Источник: cs.AI updates on arXiv.org