Lara Mini 最初是作為 Lara 4 Translation AI 底層的一款通用型 LLM而誕生，自第一天起就以成為最具多語言與多元文化特性的模型為目標。
在完成 6T‑token 訓練後，Lara Mini 在全球同類 36 款模型中排名第 1。
Translated · Lara 背後的故事
大型實驗室主要以英語進行訓練，並將其他語言與文化視為會損害品質的雜訊。
Translated 以翻譯為本業，並以多種語言與文化所撰寫的真實文本為基礎，打造出 Lara。透過多種語言與文化來觀察同一個概念，該模型就能更深入地理解這個概念。
在全球 36 款最多擁有 2B 個有效參數的模型中排名第 1，訓練資料為 6T 個 token，上下文長度為 128K。
我們是如何打造它的
最佳化器
Muon + AdamW
每次動量更新在套用前都會經過正交化處理（Newton–Schulz），因此權重矩陣的每個方向都能以相近的速度移動，而非由少數幾個方向主導。
訓練時的上下文視窗為 4,096 個 token；詞彙量為 151,643 個 token。
來自跨所有來源進行重複資料刪除的資料庫的 6T 訓練 token：39% 的原始 token 被過濾掉。任何來源都不會重複超過 2 個週期（Wiki 與高品質數學資料除外）；一般網路資料絕不重複。
每個階段都是一個獨立的資料混合，會在該階段的邊界處載入。過渡：在穩定的學習率下，這是兩者之間的橋樑。此時，資料組合已朝向「退火」（更多高品質、QA、程式碼與數學資料）的方向前進了一半，使模型能在學習率衰減前順利適應。Anneal ：最高品質的混合資料集，同時學習率在最後 10% 的過程中衰減至零。
各階段 token 的占比。資料經過隨機打散，而非按領域逐一輸入：每個包含 2,048 個序列的批次都會將所有領域以大約這些比例混合在一起。類似 SFT（QA、數學與程式碼指令資料）：在主階段佔 2%，在整個運行過程中佔 3.5%。
方法論
整體 = ¼ 英文 + ¼ 多語言 + ¼ 數學 + ¼ 程式碼。我們使用 lm-evaluation-harness 對每個模型進行評分，並採用相同的答案格式修正。每個多語言基準評測的得分，是根據我們 44 種非英語訓練語言的結果取平均值。
禁止偷看：在最終訓練階段，系統會略過所有包含基準測試項目的文件。
結果
在整體、文字和多語言項目中均排名第一，在整體項目中領先 granite-4.0-h-tiny 3.1 分。
小型模型排名
#1
在 36 個模型中
基準定義。我們的模型是 6T‑token 訓練的最後一個檢查點，其上下文已擴展至 128K；其退火過程會略過所有包含基準項目的文件。其所屬類別：最多具有 2B 個有效參數的模型（gemma-4-E2B 的有效參數量為 2B）。對於每個模型，多語言分數是針對我們訓練所使用的 44 種非英語語言取平均值。
排名
36 款模型，最多擁有 20 億個作用中參數（gemma-4-E2B 的有效參數量為 20 億，總參數量為 51 億）。涵蓋我們的訓練語言，具備多語言能力。長條圖從 0 開始。
整體 = ¼ 英文 + ¼ 多語言 + ¼ 數學 + ¼ 程式碼。
效率
Lara Mini Base 的表現超越同類別所有其他 35 款模型，包括使用多達 3 倍主動參數的模型，例如 Qwen3-1.7B 和 gemma-4-E2B。
限量發布 · 誰能獲得
Lara Translate 應用程式
Lara Mini 是下一代 Lara Translate 應用程式中 Lara 4 離線翻譯功能的基礎模型。您的文字絕不會離開手機，且每次翻譯仍只需不到一秒。
Translated 的客戶
部分 Translated 企業客戶將享有使用權限。Lara Mini 的設計旨在針對專屬的主權應用進行微調，可運行於行動裝置及我們的雲端上，並提供低於 20 毫秒的端到端延遲，每秒可處理數百萬個 token。
研究
提供給 AI 研究人員的存取權限，以便重現我們的結果並在此基礎上進一步發展，進而推動多語言研究的進展。
接下來的步驟
只有在當前階段贏得獎牌時，我們才會訓練下一個階段。
階段 1
超小型 · <2B 活躍參數
以 Lara Base（A0.6B/7.2B）在小型模型類別中勝出。
Lara 4 Mini 與 Lara Mini LLM，專為超低延遲與行動裝置而設計。
獲得獎牌 → 我們接著訓練「全國」階段。如果沒有贏得獎牌，我們就停止。
階段 2
小型 · 活躍參數少於 100 億
進入小型類別，並在那裡也贏得一面獎牌。
Lara 4 翻譯模型與 Lara Piccola LLM，一款由歐盟主導的 A7B/138B 模型。
贏得獎牌 → 我們進入奧運階段訓練。沒有贏得獎牌，我們就停止。
階段 3
尖端 · 超過 400 億個活躍參數
進入尖端類別，與全球頂尖模型一較高下。
Lara 5 的表現超越 P95 專業譯者。Lara Grande：一款由歐盟主導的尖端大型語言模型（LLM），表現超越中國模型，並正逐漸接近 Anthropic 和 OpenAI 的水準。
參考模型：超小型Gemma 4 E2B ·小型Gemma 4B/26B ·中型Qwen 17B/397B ·前沿GPT-6 Astra、Claude 5.6、Kimi K3。
訓練預算
| 模型 | Token | FLOPs | 硬體 | 天數 | 訓練成本 |
|---|---|---|---|---|---|
| Lara 4 PiccolaMoE 6.7B / 138B | 20T | 8.0 × 10²³ | 512 × H100 | 31 | $1.0M |
| Lara 4 GrandeMoE 60B / 1.2T | 24T | 8.6 × 10²⁴ | 512 × Vera Rubin | 25 | $2.4M |
| Lara 4 SaggiaMoE 600B / 12T | 36T | 1.3 × 10²⁶ | 2,304 × Vera Rubin | 83 | $36.6M |
| 供參考 | |||||
| 典型的前沿模型MoE 150B / 3T | 36T | 3.2 × 10²⁵ | 4,096 × B200 | 51 | $18.8M |
資料來源：Lara 4 LLM 訓練預算規劃，2026 年 11 月 3 日 · FP8 · 僅計算成本 · Saggia 天數以該計畫方法估算
下一次訓練
60 層與 1380 億個參數：一款旨在超越 Gemma 4 31B 的模型。
目前領先者：Qwen3.5-122B-A10B、GLM-4.5-Air
在中型模型類別中，超越多種語言能力強大的稠密模型。
在 32 個節點上，每個步驟耗時 30.7 秒 · 與 Lara Mini Base 採用相同的混合注意力機制（GDN、視窗、全域）
技術報告
Lara Mini Base 的架構、訓練資料、基準測試與背後方法論，盡在一份文件中。請留下您的聯絡資訊，我們會以電子郵件寄送給您。
與 Lara 一起工作
部分 Translated 企業客戶將享有存取權限。Lara Mini 的設計旨在針對專業的主權應用進行微調，可在行動裝置上運作，並在我們的雲端上提供低於 20 毫秒的端到端延遲，每秒可處理數百萬個 token。
聯絡銷售團隊使用基於此研究打造的翻譯工具 Lara 來翻譯文字、文件和對話。
開始使用 Lara 進行翻譯