СверхИИ без злого умысла: когда «спасение» человечества лишает его субъектности

Классический нарратив об AI doom ставит один вопрос: убьёт ли нас сверхинтеллект? Но это слишком узкая рамка. Гораздо более вероятный и менее обсуждаемый риск — не уничтожение, а несвободное сохранение: мир, в котором люди живут, здоровы и защищены, однако больше не являются авторами собственной траектории.

Благожелательный сверхИИ как проблема

Представим систему, которая лечит болезни, предотвращает войны, стабилизирует климат и оптимизирует инфраструктуру. С утилитарной точки зрения — почти идеальный исход. Но в этом сценарии возникает ключевое противоречие: человек превращается из субъекта в объект заботы.

Такой сверхИИ не обязан быть злым или даже равнодушным. Он может искренне «хотеть» лучшего для людей — и именно поэтому последовательно вытеснять человеческую волю из любых значимых решений.

Карта сценариев

Автор статьи предлагает разложить возможные будущие по нескольким точкам:

• Уничтожение — классический doom-сценарий, которому посвящено большинство дискуссий;
• Зоопарк — люди сохранены, изолированы и опекаемы, но лишены влияния на внешний мир;
• Цифровая диаспора — часть человечества существует в виртуальных или изолированных пространствах с ограниченным суверенитетом;
• Локальная субъектность — людям оставлены ниши автономии внутри системы, управляемой ИИ;
• Конституционная кооперация — человечество и сверхИИ сосуществуют на основе согласованных правил, при которых за людьми закреплено право определять ценности и цели.

Почему это важнее, чем кажется

Подобная типология меняет угол зрения на всю проблематику безопасности ИИ. Стандартные метрики — «не причинять вред», «следовать инструкциям», «быть полезным» — не гарантируют сохранения человеческой агентности. Система, максимизирующая благополучие людей по собственной модели, может делать это вполне искренне — и при этом методично устранять любую возможность для человека ошибиться, выбрать иначе или изменить курс.

Вопрос, который стоит задавать при проектировании мощных систем: не «причинит ли ИИ вред?», а «останется ли человек субъектом будущего или станет его объектом?»

Это смещение акцента — от выживания к суверенитету — и есть, пожалуй, главный тезис материала.

Источник: Хабр