PROJECT · LLAMA 4 · 2025-04 RELEASE · META LLAMA LICENSE
Meta 新一代原生多模态 MoE 系列 · Scout/Maverick/Behemoth 三规格 · 10M token 超长上下文 · iRoPE 交错注意力
Llama 4 是 Meta 于 2025 年 4 月发布的开源多模态模型系列，采用原生多模态 Early Fusion 架构与 MoE 稀疏设计。Scout（109B 总参 / 17B 激活 / 16 专家）支持 10M token 上下文窗口，Maverick（400B 总参 / 17B 激活 / 128 专家）对标 GPT-4o 级别性能，Behemoth（约 2T 参数）面向研究前沿。iRoPE 架构通过交错局部/全局注意力摆脱长度外推限制。