SHAP объясняет прогноз, но не показывает эффект вмешательства

Главный риск объяснений AI в том, что они отвечают не на тот вопрос. SHAP может показать, почему модель предсказала человеку определённый результат, но сам по себе не объясняет, что произойдёт, если изменить условие в реальном мире.

Именно этот разрыв разбирает работа про Causal Attribution Score, или CAS. Метод начинает не с обычного вклада признаков в прогноз, а с явно заданного вмешательства: что именно меняем и как сравниваем исходы. Затем он распределяет общий причинный эффект между комбинациями факторов с помощью причинных Shapley-вкладов.

Важная деталь: CAS не изобретает новую формулу Shapley. Его новизна — в слое отчётности, который переводит причинные вклады в локальные и глобальные показатели. То есть можно отдельно увидеть эффект для конкретного случая, его знак и общую картину по выборке.

На симуляциях с известной истинной причинной структурой средняя ошибка Local CAS составила 0,107 против 0,173 у нормализации по одному признаку и 0,213 у глобального нормированного вектора абсолютных ATE. При сильных взаимодействиях преимущество над подходом «по одному» выросло до 0,091, тогда как при аддитивной структуре оно почти исчезало.

Практический смысл здесь важнее самого названия метода. В двух наборах данных DoubleML рейтинги признаков для предсказания заметно расходились с рейтингами модификаторов эффекта вмешательства. Например, в данных о бонусе за возвращение к работе признак dep1 — наличие ровно одного иждивенца — поднялся с 13-го места в обычном глобальном прогнозном рейтинге на 2-е место в Feature-CAS и стал главным локальным модификатором.

Ограничения тоже существенны. Результаты получены на восьми симуляциях с известной истиной и на двух эмпирических наборах данных, а причинные оценки зависят от корректности самой причинной постановки и DoubleML-оценивания. CAS не превращает прогнозную модель в причинную: сначала нужно действительно определить вмешательство и иметь данные, позволяющие оценить его эффект.

Поэтому CAS стоит воспринимать не как замену SHAP, а как проверку, не перепутали ли мы «что предсказывает исход» с «для кого изменение условия даст другой эффект». Если вы используете объяснения модели для принятия решений, какой из этих двух вопросов сейчас реально лежит в основе вашей системы? Источник: cs.AI updates on arXiv.org