Lara Mini 最初作为 Lara 4 翻译 AI 底层的一款通用 LLM诞生，自第一天起就被打造为最具多语言和多文化特性的模型。
在完成 6T‑token 训练后，它在全球同类 36 个模型中排名第 1。
Translated · Lara 背后的故事
大型实验室主要在英语语料上进行训练，将其他语言和文化视为会降低质量的“噪声”。
Translated 的业务是翻译，该公司基于来自多种语言和文化的真实文本构建了 Lara。通过从多种语言和文化视角审视同一个概念，该模型能够更深入地理解这一概念。
在全球范围内，在最多 2B 个活动参数的模型中排名第 1，基于 6T 个 token 进行训练，上下文长度为 128K。
我们是如何打造它的
优化器
Muon + AdamW
每次动量更新在应用前都会进行正交化（Newton–Schulz），因此权重矩阵的每个方向都以相近的速度变化，而非由少数方向主导。
训练时使用 4,096 个 token 的上下文窗口；词汇量为 151,643 个 token。
来自一个跨所有来源去重的语料库的 6T 训练 token：39% 的原始 token 被过滤掉。任何数据源的重复次数均不超过 2 个 epoch（维基百科和高质量数学数据除外）；普通网页数据绝不重复。
每个阶段都是一个独立的数据混合，在其步骤边界处加载。过渡：在稳定的学习率下，这是连接两个阶段的桥梁。此时，数据组合已向“退火”阶段（更多高质量数据、问答数据、代码数据和数学数据）推进了一半，以便模型在学习率衰减前完成适应。Anneal ：最高质量的混合数据，同时学习率在最后 10% 的过程中衰减至零。
各阶段的token占比。数据经过随机打乱，而非按领域逐一输入：每个包含 2,048 个序列的批次都会将所有领域的数据按大致比例混合在一起。SFT 类（问答、数学和代码指令数据）：在主阶段占比 2%，在整个运行过程中占比 3.5%。
方法论
总体 = ¼ 英语 + ¼ 多语言 + ¼ 数学 + ¼ 代码。我们使用 lm-evaluation-harness 对每个模型进行评分，并采用相同的答案格式校正。每个多语言基准的得分取自我们 44 种非英语训练语言的平均值。
禁止“偷看”：在最终训练阶段，所有包含基准测试项的文档均会被跳过。
结果
在“总体”、“文本”和“多语言”方面均排名第一，在“总体”方面领先 granite-4.0-h-tiny 3.1 分。
超小模型排名
#1
在 36 个模型中
基准定义。我们的模型是 6T‑token 训练的最终检查点，其上下文已扩展至 128K；其退火过程会跳过所有包含基准项的文档。其所属类别：最多具有 2B 个有效参数的模型（gemma-4-E2B 在其 2B 有效规模时）。对于每个模型，多语言得分均取自我们用于训练的 44 种非英语语言的平均值。
排名
36 个模型，最多具有 20 亿个活跃参数（gemma-4-E2B 的有效参数量为 20 亿，总参数量为 51 亿）。覆盖我们的训练语言，具备多语言能力。条形图从 0 开始。
总体 = ¼ 英语 + ¼ 多语言 + ¼ 数学 + ¼ 代码。
效率
Lara Mini Base 的得分超过了同类所有其他 35 个模型，包括那些最多使用 3 倍有参参数的模型，例如 Qwen3-1.7B 和 gemma-4-E2B。
限量发布 · 哪些人可以获得
Lara Translate 应用
Lara Mini 是下一代 Lara Translate 应用中 Lara 4 离线翻译功能的基座模型。您的文本绝不会离开手机，且每次翻译仍需时不到一秒。
Translated 的客户
部分 Translated 企业客户将获得访问权限。Lara Mini 专为针对特定主权应用的微调而设计，可在移动设备和我们的云端运行，端到端延迟低于 20 毫秒，每秒可处理数百万个 token。
研究
为人工智能研究人员提供访问权限，以便他们能够复现我们的结果并在此基础上开展工作，从而进一步推动多语言研究。
接下来是什么
只有在当前阶段赢得奖牌，我们才会训练下一阶段。
阶段 1
超小 · 激活参数 <2B
凭借 Lara Base（A0.6B/7.2B）在超小型类别中胜出。
Lara 4 Mini 和 Lara Mini LLM，专为超低延迟和移动设备而设计。
获得奖牌 → 我们将进入“国家级”阶段进行训练。未获奖牌，我们就此停止。
阶段 2
小型 · 活跃参数量 <10B
进军小型类别，同样在那里赢得奖牌。
Lara 4 翻译模型与 Lara Piccola LLM——一款欧盟自主的 A7B/138B 模型。
赢得奖牌 → 我们进入奥运会阶段的训练。未获奖牌，我们就此止步。
阶段 3
前沿 · 400亿+ 活跃
进入前沿类别，与全球顶尖模型同台竞技。
Lara 5 的表现超越了 P95 水平的专业译者。Lara Grande：一款欧盟自主的前沿大语言模型（LLM），性能领先于中国模型，并正接近 Anthropic 和 OpenAI 的水平。
参考模型：超小型Gemma 4 E2B ·小型Gemma 4B/26B ·中型Qwen 17B/397B ·前沿GPT-6 Astra、Claude 5.6、Kimi K3。
训练预算
| 模型 | 令牌 | FLOPs | 硬件 | 天数 | 训练成本 |
|---|---|---|---|---|---|
| Lara 4 PiccolaMoE 6.7B / 138B | 20T | 8.0 × 10²³ | 512 × H100 | 31 | $1.0M |
| Lara 4 GrandeMoE 60B / 1.2T | 24T | 8.6 × 10²⁴ | 512 × Vera Rubin | 25 | $2.4M |
| Lara 4 SaggiaMoE 600B / 12T | 36T | 1.3 × 10²⁶ | 2,304 × Vera Rubin | 83 | $36.6M |
| 供参考 | |||||
| 典型的前沿水平MoE 150B / 3T | 36T | 3.2 × 10²⁵ | 4,096 × B200 | 51 | $18.8M |
来源：Lara 4 LLM 训练预算规划，2026年11月3日 · FP8 · 仅计算成本 · Saggia 天数按规划方法估算
下一次训练
60 层、1380 亿参数：旨在超越 Gemma 4 31B 的模型。
当前领先者：Qwen3.5-122B-A10B、GLM-4.5-Air
在中型模型类别中超越具备高度多语言能力的高密度模型。
在 32 个节点上，每步耗时 30.7 秒 · 与 Lara Mini Base 采用相同的混合注意力机制（GDN、窗口、全局）
技术报告
Lara Mini Base 的架构、训练数据、基准和方法论，尽在一份文档中。请留下您的联系方式，我们会通过电子邮件将报告发送给您。
与 Lara 一起工作
部分 Translated 企业客户将获得访问权限。Lara Mini 专为针对特定主权应用的微调而设计，可在移动设备上运行，并在我们的云端实现低于 20 毫秒的端到端延迟，每秒可处理数百万个 token。
联系销售团队使用基于本研究成果打造的翻译工具 Lara，翻译文本、文档和对话。
开始使用 Lara 进行翻译