llama-3.1-405b
Llama模型
Llama-3.1-405B 是由 Meta(原 Facebook)于 2024年7月23日 正式发布的开源大语言模型,属于 Llama 3 系列中的旗舰版本,参数规模达 4050 亿(405B),是当时公开可用的最大、最强开源基础模型之一 。
核心特性
参数规模:4050 亿参数,采用标准 Transformer 解码器架构(非混合专家 MoE),以提升训练稳定性 。
上下文长度:支持 128K tokens,可处理超长文本(约 9.6 万字)。
多语言支持:原生支持 8 种语言,包括英语、西班牙语、法语、德语、印地语、葡萄牙语、泰语、意大利语 。
训练数据:在 超过 15 万亿 token 的语料上预训练,数据截止至 2023年12月 。
推理优化:
支持 FP8 / INT8 量化,可在单个服务器节点部署(需约 640GB 显存,如 8×H100)。
推理成本约为 GPT-4o 的 50% 。
开源协议:采用 Llama 3.1 Community License,允许:
商业使用
模型蒸馏
二次分发改进模型
使用输出数据增强其他模型
免费体验最新的AI大模型,支持对话、写作、编程、图像、视频等多种功能
免费体验最新的AI大模型,支持对话、写作、编程、图像、视频等多种功能
Llama模型推荐
llama-3.1-8b-instruct
Llama-3.1-8B-Instruct是由Meta于2024年7月23日发布的Llama3.1系列中的一个开源大语言
llama-3.1-405b
Llama-3.1-405B是由Meta(原Facebook)于2024年7月23日正式发布的开源大语言模型,属于
llama-3-sonar-small-32k-online
llama-3-sonar-small-32k-online是由PerplexityAI提供的一种基于Meta的Llama3系列的大型语言
llama-3-sonar-small-32k-chat
Llama-3-Sonar-Small-32k-Chat是由PerplexityAI推出的基于MetaLlama-3系列的对话优化模
llama-3-sonar-large-32k-online
Llama-3-Sonar-Large-32k-Online是由PerplexityAI基于Meta的Llama-3系列模型进行优化和定制
llama-3-sonar-large-32k-chat
Llama-3-Sonar-Large-32k-Chat是由PerplexityAI基于Meta发布的Llama-3系列模型进行进一
llama-3-8b-instruct
Meta-Llama-3-8B-Instruct是由Meta于2024年4月18日发布的开源大语言模型(LLM)之一,属
llama-3-8b
Llama-3-8B是Meta于2024年4月发布的Llama3系列中的中等规模开源大语言模型,拥有80亿参数,专