llama-3.1-405b

Llama模型

字体:

‌Llama-3.1-405B‌ 是由 Meta(原 Facebook)于 ‌2024年7月23日‌ 正式发布的开源大语言模型,属于 Llama 3 系列中的旗舰版本,参数规模达 ‌4050 亿‌(405B),是当时公开可用的‌最大、最强开源基础模型‌之一 ‌。


核心特性

  • ‌参数规模‌:‌4050 亿参数‌,采用标准 ‌Transformer 解码器架构‌(非混合专家 MoE),以提升训练稳定性 ‌。

  • ‌上下文长度‌:支持 ‌128K tokens‌,可处理超长文本(约 9.6 万字)‌。

  • ‌多语言支持‌:原生支持 ‌8 种语言‌,包括英语、西班牙语、法语、德语、印地语、葡萄牙语、泰语、意大利语 ‌。

  • ‌训练数据‌:在 ‌超过 15 万亿 token‌ 的语料上预训练,数据截止至 ‌2023年12月‌ ‌。

  • ‌推理优化‌:

    • 支持 ‌FP8 / INT8 量化‌,可在单个服务器节点部署(需约 640GB 显存,如 8×H100)‌。

    • 推理成本约为 GPT-4o 的 ‌50%‌ ‌。

  • ‌开源协议‌:采用 ‌Llama 3.1 Community License‌,允许:

    • 商业使用

    • 模型蒸馏

    • 二次分发改进模型

    • 使用输出数据增强其他模型 ‌


立即使用大模型

免费体验最新的AI大模型,支持对话、写作、编程、图像、视频等多种功能

立即使用此模型

免费体验最新的AI大模型,支持对话、写作、编程、图像、视频等多种功能