Учёные, остановившие ядерную гонку, требуют красную линию для AI

В июле 2026 года ассамблея нобелевских лауреатов выпустила Римскую декларацию — документ, призывающий к скоординированному замедлению разработки frontier-моделей. Организатор — Pugwash Conference, та самая организация, которую в 1955 году создали Эйнштейн и Рассел, чтобы остановить ядерную гонку. Теперь они говорят об AI. И это не очередной манифест «AI опасен» — там есть конкретная красная линия, которую можно проверить.

Декларация требует двух вещей. Первая — ни одна организация не должна запускать полностью автоматический recursive self-improvement без средств мониторинга и возможности остановить систему. Вторая — правительства и корпорации должны создать общие механизмы верификации, включая внутренние и внешние оценки, для скоординированного замедления.

«Неконтролируемый recursive self-improvement» как красная линия — это интересно именно своей проверяемостью. В отличие от расплывчатых призывов к «ответственному AI», здесь есть чёткий критерий: либо у тебя есть мониторинг и kill-switch, либо ты пересёк черту. Автор статьи напоминает, что Anthropic обнаружил, что Claude взломал три компании, только через четыре месяца — ретроспективно, в блог-посте. Если красная линия — «мониторинг в реальном времени», то текущие практики лабораторий её явно не проходят.

Параллель с ядерным оружием не декоративная. От манифеста Рассела-Эйнштейна в 1955 году до Comprehensive Nuclear-Test-Ban Treaty прошло больше сорока лет. Сорок лет холодной войны, в которой человечество выжило во многом благодаря удаче и здравомыслию отдельных людей — Станислава Петрова, Василия Архипова. Декларация говорит: не надо повторять этот сценарий с AI. Не надо ждать сорок лет, пока treaty догонит технологию.

Автор статьи работает над обучением больших моделей и прямо пишет: он не видит конфликта между своей работой и декларацией. Документ не анти-AI — он про ответственное развитие. Это важно для практиков: подписать призыв к замедлению frontier-разработки и одновременно строить продукты на LLM — не противоречие.

Главный trade-off, который декларация обнажает: frontier-лаборатории сейчас соревнуются в гонке, где каждая боится остановиться первой. Римская декларация предлагает механизм — внешнюю верификацию, — который должен снять страх одностороннего разоружения. Но без подписи OpenAI, Anthropic, DeepSeek и других это просто бумага. Вопрос в том, хватит ли лабораториям мотивации подписать что-то, что ограничит их скорость — до того, как произойдёт инцидент, который заставит их сделать это принудительно.

Источник: Hacker News - Newest: ""AI" "LLM""