03 | LLaMA 系列 ¶
约 129 个字 预计阅读时间 1 分钟
Meta 开源大语言模型系列，从 LLaMA 到 LLaMA 3，引领开源社区发展。
LLaMA 1¶
LLaMA: Open and Efficient Foundation Language Models — Meta, 2023
- 核心观点：小模型 + 更多数据 → 更优性能
- 7B/13B/33B/65B 四个规模，纯公开数据训练
LLaMA 2¶
Llama 2: Open Foundation and Fine-Tuned Chat Models — Meta, 2023
- 引入 RLHF 对齐，发布 Chat 版本
- 2T tokens 训练，上下文翻倍至 4K
LLaMA 3¶
The Llama 3 Herd of Models — Meta, 2024
- 8B/70B/405B，15T+ tokens 多语言训练
- 128K 上下文，开源中最大规模之一