История больших языковых моделей

Первая GPT: доказала, что предобучение на неразмеченном тексте + дообучение работает.

Двунаправленный трансформер-энкодер, задавший стандарт предобучения в NLP.

1.5B-модель, которую сначала «побоялись» выложить целиком из-за риска фейков.

Единый text-to-text формат: любая NLP-задача — как преобразование текста в текст.

175B параметров и few-shot in-context learning без изменения весов.

RLHF-выравнивание на человеческих оценках — прямой предшественник ChatGPT.

Компьют-оптимальное масштабирование: 70B на 1,4 трлн токенов обошла Gopher 280B.

Плотная модель на 540 млрд параметров, обученная на системе Pathways.

Открытая многоязычная модель на 176B, созданная 1000+ исследователями из 70+ стран.

Запуск ChatGPT — самый быстрый в истории выход продукта на миллион пользователей.

Открытые веса, с которых начался бум локальных LLM: 13B обошла GPT-3 175B.

Первая мультимодальная GPT: принимает изображения и проходит экзамены на уровне человека.

Первая публичная модель Anthropic — ассистент, обученный по методу Constitutional AI быть полезным, честным и безвредным.

Главный российский конкурент ChatGPT и YandexGPT — мультимодальный сервис Сбера.

Первая генеративная LLM Яндекса, встроенная в голосового ассистента Алису.

Открытая модель из ОАЭ под Apache 2.0, возглавившая Open LLM Leaderboard.

Прорыв по длине контекста: 100K токенов — можно загрузить сотни страниц или целую книгу в один запрос.

Первая открытая модель Meta, разрешённая для коммерческого использования.

Дебют открытой линейки Alibaba — одна из первых китайских LLM с коммерчески доступными весами.

Открытая 7B-модель, обошедшая Llama 2 13B и задавшая стандарт для компактных LLM.

Первая нативно мультимодальная модель Google в трёх размерах: Ultra, Pro, Nano.

Первая открытая sparse MoE-модель, обошедшая Llama 2 70B при в 6 раз более быстром инференсе.

Маленькая модель на 2.7B, обходящая модели в 25 раз крупнее на рассуждениях.

Контекстное окно до 1 млн токенов на архитектуре Mixture-of-Experts.

Первые открытые веса от Google — лёгкие модели на технологиях Gemini.

Первая флагманская закрытая модель Mistral, конкурент GPT-4, с запуском ассистента Le Chat.

Флагман семейства Claude 3 — обошёл конкурентов на MMLU, GPQA и GSM8K и добавил мультимодальность.

Сбалансированная модель Claude 3 — вдвое быстрее Claude 2 при более высоком интеллекте.

Самая быстрая и дешёвая модель Claude 3 — читает плотную arXiv-статью за пару секунд.

Enterprise-модель Cohere, заточенная под RAG и использование инструментов.

Крупнейшая на момент выхода открытая модель — 314B параметров MoE под Apache 2.0.

Новый уровень качества открытых моделей масштаба 8B и 70B.

SLM на 3.8B уровня GPT-3.5, помещающийся на телефон, с контекстом до 128K.

Открытая MoE-модель, представившая Multi-head Latent Attention и резко удешевившая инференс.

«Omni»-модель: единая сеть для текста, аудио и изображений с почти живой скоростью речи.

Второе поколение Qwen: до 72B, контекст 128K и обгон Llama 3 70B на бенчмарках.

Обошла Claude 3 Opus по интеллекту при цене и скорости среднего уровня — и принесла Artifacts.

Первая открытая frontier-модель, соперничающая с GPT-4o и Claude 3.5 Sonnet.

Фронтир-модель xAI с чатом, кодом, рассуждениями и генерацией изображений.

Первая reasoning-модель: «думает» перед ответом, масштабируя вычисления на инференсе.

Открытое семейство 0.5B–72B на 18 трлн токенов — флагман достал Llama-3-405B.

Первая reasoning-модель с открытыми весами — за два месяца до DeepSeek-R1.

Модель «агентной эры» с нативной генерацией изображений и аудио.

Прорыв в рассуждениях: рекорд на ARC-AGI и регулируемый бюджет «размышления».

Открытая MoE на 671B, обученная всего за ~5,6 млн долларов и вставшая на уровень GPT-4o.

Открытая reasoning-модель уровня OpenAI o1, обученная в основном через RL — вызвала шок на рынке.

Модель, обученная на суперкомпьютере Colossus (~200 тыс. GPU) — в 10 раз больше вычислений, чем у Grok 2.

Первая на рынке гибридная reasoning-модель: одна модель — два режима мышления, плюс дебют Claude Code.

Новое поколение LLM Яндекса: Pro — в Алисе и облаке, Lite 8B — первый опенсорс со времён YaLM-100B.

«Гигантская и дорогая» последняя нерассуждающая флагманская модель OpenAI — исчезла из API уже через 4,5 месяца.

Первая «думающая» модель линейки Gemini: дебют на 1-м месте LMArena и контекст 1 млн токенов.

Первые нативно мультимодальные MoE-модели Meta; у Scout — рекордное окно в 10 млн токенов.

API-семейство с окном в 1 млн токенов — рывок OpenAI в длинный контекст и дешёвый кодинг.

8 открытых моделей за один день — от 0.6B до MoE 235B с гибридным «думающим» режимом.

Opus 4 — «лучшая кодинг-модель мира»: 72,5% SWE-bench и семь часов автономной работы.

Первая рассуждающая модель Европы: прозрачный chain-of-thought на русском и ещё 7 языках.

Флагман xAI с нативными инструментами, поиском в реальном времени и мультиагентной версией Heavy.

Открытый «триллионник»: 1T параметров MoE — SOTA среди открытых моделей в кодинге.

355B MoE под MIT: 3-е место в мире по сумме 12 бенчмарков — при цене от $0,11 за млн токенов.

Первые открытые веса OpenAI со времён GPT-2: Apache 2.0, старшая модель влезает в одну GPU на 80 ГБ.

Единая система с роутером вместо зоопарка моделей: 74,9% SWE-bench Verified и доступ даже бесплатным пользователям.

«Первый шаг в эру агентов»: один чекпойнт — два режима (think/non-think) и рост в использовании инструментов.

«Лучшая кодинг-модель мира» на день релиза: 77,2% SWE-bench Verified и 30+ часов автономного фокуса.

Открытый reasoning-агент: 44,9% на Humanity's Last Exam и 200–300 вызовов инструментов подряд.

«Теплее и умнее»: адаптивное рассуждение, 8 пресетов характера и ответ OpenAI на Gemini 3.

1501 Эло на LMArena, 37,5% на Humanity's Last Exam — и впервые сразу в Поиске Google в день запуска.

Первая модель выше 80% на SWE-bench Verified (80,9%) — и втрое дешевле предыдущего Opus.

Открытый флагман Европы: 675B MoE под Apache 2.0 — «одна из лучших permissive-моделей мира».