llama-3.1-8b-instruct

Llama-3.1-8B-Instruct‌ 是由 Meta 于 ‌2024年7月23日‌ 发布的 Llama 3.1 系列中的一个开源大语言模型，专为多语言对话和指令跟随任务优化。以下是其核心信息：

‌基本参数与能力‌

• ‌参数量‌：80亿（8B）

• ‌上下文长度‌：‌128K tokens‌（相比前代 Llama 3 的 8K 有显著提升）

• ‌训练数据量‌：约 ‌15万亿 tokens‌，知识截止至 ‌2023年12月‌

• ‌支持语言‌：英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语、泰语（共8种）

• ‌架构特点‌：

• 基于 ‌Transformer 架构‌

• 采用 ‌分组查询注意力（GQA）‌，提升长上下文推理效率

• 经过 ‌监督微调（SFT） + 基于人类反馈的强化学习（RLHF）‌ 优化

‌性能表现（与 Llama 3 8B Instruct 对比）‌

根据官方基准测试 ‌11：

• ‌MMLU（5-shot）‌：69.4 → 提升 0.9 分

• ‌HumanEval（代码生成）‌：72.6 pass@1（优于 GPT-3.5 Turbo）

• ‌工具调用（API-Bank）‌：82.6 acc（远超 Llama 3 的 48.3）

• ‌多语言 MGSM（CoT）‌：68.9（支持跨语言推理）

‌适用场景‌

• 多语言聊天助手

• 代码生成与理解

• 长文档摘要、问答

• 工具调用（Tool Use）与智能体（Agent）构建

• 可用于 ‌合成数据生成‌ 和 ‌模型蒸馏‌（Meta 允许通过 Llama 3.1 社区许可）

‌部署与硬件要求‌

• ‌推荐 GPU‌：RTX 3090/4090（24GB 显存）或 A100/V100

• ‌显存需求‌：

• FP16：约 ‌16GB‌

• 4-bit 量化：可降至 ‌8GB 左右‌（支持在消费级显卡运行）‌10

• ‌推理加速框架‌：支持 ‌vLLM‌（吞吐量提升 14–24 倍）‌12、Hugging Face Transformers