code-llama-13b

Code Llama-13B 是由 Meta 公司开发的 Code Llama 系列中的一种大型语言模型，专门用于代码生成与理解任务。它基于 Llama 2 模型构建，并在大量代码数据上进行了进一步训练，以提升在编程相关任务中的性能。 ‌

主要特性

• ‌模型规模与变体‌：Code Llama-13B 指参数规模为 130 亿的模型。Code Llama 系列包含三种主要变体：

• ‌基础模型 (Code Llama)‌：适用于通用的代码生成和理解任务。 ‌

• ‌Python 专用模型 (Code Llama - Python)‌：在额外的 1000 亿 Python 代码词元上进行了微调，专门优化了对 Python 语言的支持。 ‌

• ‌指令微调模型 (Code Llama - Instruct)‌：经过专门训练以更好地理解和遵循自然语言指令，更适合用作代码助手。 ‌
  Code Llama-13B 指的是上述三种变体中参数规模为 13B 的版本。 ‌

• ‌核心能力‌：

• ‌代码填充 (Fill-in-the-Middle, FIM)‌：7B 和 13B 参数规模的基础模型及指令模型支持此功能，能够根据代码的上下文生成缺失的部分，非常适合集成到 IDE 中进行代码补全。 ‌12

• ‌长上下文处理‌：将上下文窗口从 Llama 2 的 4k token 大幅提升至 16k token，并通过长上下文微调技术稳定支持最高 10 万 token 的输入，使其能够处理大型代码库。 ‌12

• ‌多语言支持‌：支持包括 Python、C++、Java、JavaScript、C#、Bash 等在内的多种主流编程语言。 ‌

• ‌性能与训练‌：

• 在 HumanEval、MBPP 等主流代码基准测试中，Code Llama-13B 在开源模型中表现突出，其性能可与 GPT-3.5 等闭源模型相媲美。 ‌

• 模型使用了 5000 亿词元的公开代码数据集进行基础训练，Python 专用版本在此基础上又使用了额外的 1000 亿 Python 代码词元进行微调。 ‌

• ‌开源与部署‌：

• Code Llama 系列模型采用与 Llama 2 相同的开源协议，允许免费用于研究和商业用途。 ‌

• 模型权重及代码托管在 Hugging Face 等平台，方便开发者下载和部署。 ‌

• 实测表明，Code Llama-13B 可在昇腾 NPU 等国产硬件平台上进行高效推理，适用于代码生成、Bug 修复等多种场景。 ‌

•