Одной объяснимости мало: ИИ должен рассуждать понятным пользователю способом

Проблема доверия к ИИ может быть не в отсутствии объяснений, а в том, что эти объяснения устроены не так, как человеческое рассуждение. В позиционной статье на arXiv авторы утверждают: для решений с высокими ставками ИИ должен не только выдавать верный результат, но и рассуждать способом, который пользователь способен понять и сопоставить со своей логикой.

Это важный сдвиг. Сейчас «объяснимый ИИ» часто означает, что к готовому ответу добавили комментарий: какие факторы повлияли на решение, почему модель выбрала именно этот вариант. Но понятный список факторов ещё не доказывает, что система действительно рассуждала так, как ожидает человек.

Авторы называют это когнитивным выравниванием — cognitive alignment. По их аргументу, оно может улучшить понимаемость и обоснованность доверия к системе. В новых данных опроса, приведённых в статье, многие пользователи считают такое соответствие существенным, когда им важно знать причину решения или действия ИИ.

Практический вывод для разработчиков простой: если ИИ становится советчиком, делегатом или самостоятельным принимающим решения, нужно тестировать не только точность ответа. Стоит проверять, способен ли пользователь восстановить ход рассуждения и увидеть в нём знакомую, проверяемую логику. Иначе объяснение превращается в декоративный слой поверх непрозрачного решения.

Но готового рецепта статья не предлагает. Это позиционный материал: он показывает разрыв между существующими методами выравнивания и тем, что потребуется для когнитивного соответствия, а затем формулирует исследовательскую повестку. Неясно, как измерять «похожесть» рассуждений разных пользователей и как избежать обратной стороны подхода: слишком человеческая логика может быть понятной, но не обязательно правильной.

Если бы вам пришлось проверять ИИ перед использованием в важном решении, что было бы важнее: точность результата или возможность проследить рассуждение, которое кажется вам правильным? Источник: cs.AI updates on arXiv.org