Как скалярное произведение векторов стало основой современного ИИ

В 2017 году исследователи Google опубликовали статью с намеренно скромным названием — Attention is All You Need. Без помпезных анонсов и демонстраций роботов. Однако именно она провела жёсткую черту в истории нейросетей: «до» и «после».

Сегодня на архитектуре трансформеров, описанной в той статье, работают ChatGPT, Claude, Gemini, Midjourney и практически весь современный генеративный ИИ.

Стена, в которую уперлись старые нейросети

До трансформеров доминировали рекуррентные нейронные сети (RNN) и их улучшенные варианты — LSTM и GRU. Они обрабатывали текст последовательно: слово за словом, сохраняя «память» о предыдущих токенах в скрытом состоянии.

Проблема была очевидной:

• длинные зависимости терялись — сеть «забывала» начало предложения к его концу;
• последовательная обработка не позволяла распараллелить вычисления;
• обучение на больших объёмах данных превращалось в мучение.

Индустрия упёрлась в потолок производительности и качества одновременно.

Революция из учебника по линейной алгебре

Решение оказалось неожиданно простым. В основе механизма self-attention лежит скалярное произведение векторов — операция, которую проходят на первых курсах математики.

Суть идеи: каждое слово в предложении сравнивается с каждым другим словом через скалярное произведение их векторных представлений. Чем выше результат — тем сильнее связь между словами. Так модель одновременно «видит» весь контекст, не теряя связей между далёкими частями текста.

Это позволило:

• обрабатывать все токены параллельно, а не по очереди;
• улавливать зависимости между словами на любом расстоянии;
• масштабировать модели до миллиардов параметров без принципиальных архитектурных изменений.

Почему простота оказалась силой

В этом и состоит главный парадокс трансформерной революции. Индустрия годами искала прорыв в сложности — биологически правдоподобных моделях, экзотических механизмах памяти, нестандартной логике вывода.

А выстрелила операция, которую можно объяснить школьнику: перемножить числа и сложить результаты.

Скалярное произведение хорошо параллелизуется на GPU, легко дифференцируется при обратном распространении ошибки и интуитивно измеряет «похожесть» векторов. Именно это сочетание свойств сделало его идеальным строительным блоком для механизма внимания.

Что это значит сегодня

Трансформеры вышли далеко за пределы обработки текста:

• GPT-4, Claude, Gemini — языковые модели;
• Stable Diffusion, Midjourney — генерация изображений;
• AlphaFold — предсказание структуры белков;
• системы для работы с кодом, аудио, видео — везде трансформеры.

Архитектура, рождённая из одной линейно-алгебраической операции, стала универсальным языком современного машинного обучения. И это, пожалуй, лучшее доказательство того, что в науке элегантная простота нередко бьёт изощрённую сложность.

Источник: Хабр