llama-4-scout

Llama 4 Scout 是 Meta 推出的 Llama 4 系列中首款面向高效部署的多模态大语言模型，定位为“轻量级但高性能”的通用 AI 助手，在保持强大能力的同时显著降低硬件门槛。

核心特性

1. ‌混合专家架构（MoE）‌

• 采用 Mixture-of-Experts（MoE）架构，总参数量达 1090 亿（109B），但每次推理仅激活 170 亿（17B）参数，分布在 16 个专家模块中。

• 这种设计大幅提升了计算效率，使模型能在资源受限环境下高效运行。

2. ‌行业领先的上下文长度‌

• 支持高达 ‌1000 万 token‌ 的输入上下文窗口，是当前业界最长之一，远超 Llama 3 的 128K 和多数主流模型。

• 可用于多文档摘要、超长代码库分析、个性化用户行为追踪等需要处理海量信息的场景。

3. ‌原生多模态能力‌

• 支持文本与图像联合输入，采用“早期融合”（early fusion）技术，在模型底层实现图文统一理解。

• 能处理单次提示中最多 5 张图像，适用于视觉问答、图文推理等任务。

4. ‌训练与数据‌

• 预训练数据约 40 万亿 token，涵盖公开文本、授权数据及 Meta 自身产品（如 Facebook、Instagram）中的用户互动内容。

• 知识截止时间约为 2024 年 8 月。

5. ‌部署友好性‌

• 经过 int4 量化后可运行于单块 NVIDIA H100 GPU，极大降低了部署成本和门槛。

• 支持在 Azure AI、Cloudflare Workers AI、Hugging Face、ModelScope 等平台直接调用或下载部署。

6. ‌性能表现‌

• 在多项基准测试中超越 Gemma 3、Gemini 2.0 Flash-Lite 和 Mistral 3.1。

• 尤其擅长长文本摘要、代码推理、个性化响应生成等任务。

7. ‌多语言支持‌

• 支持阿拉伯语、英语、法语、德语、印地语、印尼语、意大利语、葡萄牙语、西班牙语、他加禄语、泰语和越南语等 12 种语言。