Llama-2-70B 是由 Meta（原 Facebook）于 2023 年 7 月发布的开源大语言模型，属于 Llama 2 系列中参数量最大的公开版本，共包含约 700 亿参数（70×109）56。该模型在多项基准测试中表现接近 GPT-3.5，但尚未达到 GPT-4 水平。
核心特性
模型规模：70B 参数，FP16 精度下模型权重约 140 GB，需多 GPU 或量化支持才能部署。
上下文长度：原始支持 4,096 tokens；通过持续预训练可扩展至 32,768 tokens（Llama 2-Long）。
架构改进：
采用 RMSNorm 预归一化、SwiGLU 激活函数、RoPE 旋转位置编码。
引入 分组查询注意力（GQA），提升推理效率，显存占用降低约 40%。
训练数据：在 2 万亿 token 的公开数据上预训练，数据量比 Llama 1 增加 40%。
安全机制：通过 RLHF 和专用安全数据微调，有害输出概率较前代下降 34%
免费体验最新的AI大模型，支持对话、写作、编程、图像、视频等多种功能
免费体验最新的AI大模型，支持对话、写作、编程、图像、视频等多种功能
Llama模型推荐
llama-3-70b
Llama-3-70B是由Meta（原Facebook）于2024年4月18日发布的开源大语言模型（LLM），属于L
llama-2-7b
Llama-2-7B是由Meta（原Facebook）于2023年发布的LLaMA-2系列中的中型开源大语言模型
llama-2-70b
Llama-2-70B是由Meta（原Facebook）于2023年7月发布的开源大语言模型，属于Llama2系列中参
llama-2-13b
Llama-2-13B是由Meta（原Facebook）于2023年发布的开源大语言模型，属于Llama-2系列中的中
code-llama-7b
CodeLlama7B是由Meta公司开发的CodeLlama系列中的一种开源大型语言模型，专门用于代码生成与
code-llama-13b
CodeLlama-13B是由Meta公司开发的CodeLlama系列中的一种大型语言模型，专门用于代码生成与理
code-llama-34b
CodeLlama-34B是由Meta开源的基于Llama2的大型语言模型，专门针对代码生成与理解任务进行优