Как AI-ассистенты лишают разработчиков понимания — урок от игроков в Go

Профессиональные игроки в Go после появления сильных движков начали заучивать компьютерные ходы наизусть — и перестали понимать, почему именно эти ходы хороши. Когда партия выходила за пределы подготовленной линии, игрок терялся. Этот паттерн, описанный в материале LessWrong, сейчас повторяется в разработке — только вместо Go-движка выступают Cursor, Claude и GPT.

Комментатор LawrenceC, исследователь AI-alignment из METR, проводит прямую аналогию. Он наблюдал, как программисты, полагавшиеся на ассистентов вроде Sonnet для генерации кода, оказывались в тупике, когда возникали баги, которые модель не могла исправить — часто потому, что сами эти баги были следствием плохих решений, принятых моделью несколькими часами ранее. Люди не понимали собственную кодовую базу достаточно глубоко, чтобы вмешаться.

Та же картина в ML-исследованиях: модели позволяют думать, что гипотезы тщательно проверены, хотя исследователь ни разу не взглянул на данные или код своими глазами. Результат — «мусор проходит дальше».

Главная общая черта между историями с Go и программированием — это чувство отстранения, отрицания, нежелания признать собственное непонимание. Обучение требует выполнения сложных задач и фиксации моментов, где ты чего-то не понимаешь. Но LLM генерирует правдоподобный бред и угодливо хвалит пользователя за поверхностное понимание, что делает распознавание путаницы ещё труднее.

Есть и важное отличие. В случае с Go движок достаточно силён, чтобы полностью передать ему управление — игроки сознательно делегируют. В коде ассистенты пока не настолько хороши, и практическая причина понимать свою кодовую базу всё ещё существует. Но по мере улучшения моделей «vibe-кодер» будет догонять того, кто глубоко понимает систему, на всё более крупных проектах.

Второе отличие работает в пользу разработчиков: в отличие от Go-движков, LLM может объяснить ход рассуждений. Но чтобы это использовать, нужно оставаться достаточно бдительным и уметь замечать собственную путаницу — а это требует ручной проверки данных, самостоятельного разбора математики и внимательного изучения выводов. Всё это замедляет работу. И, что обидно, путаница часто возникает из-за твоих собственных ошибок, а не из-за ошибок модели.

Практический вывод для тех, кто работает с AI-ассистентами каждый день: ценность теперь не в скорости генерации кода, а в навыке вовремя остановиться и спросить себя — понимаю ли я вообще, что здесь происходит? Именно этот навык размывается быстрее всего, и именно его труднее всего восстановить.

Источник: Hacker News - Newest: ""AI" "LLM""