Llama

Llama 是 Meta（Facebook）发布的开源大语言模型系列，是当前开源 LLM 的标杆。 最新版本 Llama 3.x 系列在多项 benchmark 上接近闭源旗舰。

版本演进

• Llama 1（2023.2）：初代开源，仅研究许可。
• Llama 2（2023.7）：开放商用，7B/13B/70B 三档。
• Llama 3（2024.4）：8B/70B，训练数据 ~15T tokens。
• Llama 3.1（2024.7）：加 405B 旗舰，开源最大模型。
• Llama 3.2（2024.9）：加 1B/3B 端侧模型 + 多模态版本。

为什么 Llama 重要

• 生态最完善：vLLM、TGI、llama.cpp、ollama、Transformers 都 first-class 支持。
• 量化社区标杆：GGUF、GPTQ、AWQ 等量化方案几乎都优先支持 Llama 系列。
• 派生模型最多：Mistral、Qwen、DeepSeek 等都基于 Llama 架构训练。
• 社区微调模型：HuggingFace 上几万基于 Llama 的微调模型。

关键改进

• Llama 2 → 3：tokenizer 大幅优化（中文 token 化效率提升 4 倍），GQA（分组查询注意力）。
• Llama 3 → 3.1：上下文从 8k 拉到 128k，405B 模型逼近 GPT-4。

商用条款

Llama Community License 允许月活 7 亿以下用户免费商用，超过需单独授权。