Llama-3-70B 是由 Meta（原 Facebook）于 2024年4月18日 发布的开源大语言模型（LLM），属于 Llama 3 系列中的 700亿参数 版本，是当时性能最强的开源模型之一，被广泛认为在多个基准测试中 优于多数开源聊天模型，并 接近或达到 GPT-3.5 水平，部分指标逼近 GPT-4 。
核心特性
参数规模：700亿（70B）参数
架构：基于优化的自回归 Transformer 架构，采用 分组查询注意力（GQA） 提升推理效率与可扩展性
训练数据：
预训练使用 超过15万亿 tokens 的公开数据
数据截止时间：2023年12月
创新性地使用 Llama-2 对数据进行质量筛选，显著提升数据质量
微调方法：
采用 监督微调（SFT） + 基于人类反馈的强化学习（RLHF），对齐人类偏好，提升安全性与帮助性
上下文长度：8K tokens 6
输出类型：仅支持 文本生成（包括代码）
免费体验最新的AI大模型，支持对话、写作、编程、图像、视频等多种功能
免费体验最新的AI大模型，支持对话、写作、编程、图像、视频等多种功能
Llama模型推荐
llama-3-8b
Llama-3-8B是Meta于2024年4月发布的Llama3系列中的中等规模开源大语言模型，拥有80亿参数，专
llama-3-70b
Llama-3-70B是由Meta（原Facebook）于2024年4月18日发布的开源大语言模型（LLM），属于L
llama-2-7b
Llama-2-7B是由Meta（原Facebook）于2023年发布的LLaMA-2系列中的中型开源大语言模型
llama-2-70b
Llama-2-70B是由Meta（原Facebook）于2023年7月发布的开源大语言模型，属于Llama2系列中参
llama-2-13b
Llama-2-13B是由Meta（原Facebook）于2023年发布的开源大语言模型，属于Llama-2系列中的中
code-llama-7b
CodeLlama7B是由Meta公司开发的CodeLlama系列中的一种开源大型语言模型，专门用于代码生成与
code-llama-13b
CodeLlama-13B是由Meta公司开发的CodeLlama系列中的一种大型语言模型，专门用于代码生成与理
code-llama-34b
CodeLlama-34B是由Meta开源的基于Llama2的大型语言模型，专门针对代码生成与理解任务进行优