Meta
23 июля 2024
Llama 3.1 405B 405B
Context: 128KInput: — / 1MOutput: — / 1M
What's new
- Первая открытая модель фронтир-уровня: 405B параметров, открытые веса
- Плотный (dense) декодер-трансформер, обучен на >15 трлн токенов на 16K+ GPU H100
- Контекст 128K токенов, 8 языков, продвинутый tool use
- Лицензия Llama 3.1 Community License; веса на Hugging Face
- Одновременно версии 8B и 70B обновлены до контекста 128K
Verdict
Первая открытая модель, реально конкурирующая с топовыми закрытыми на момент выхода, — переломный момент для open-weight LLM.