どのAIラボも、言語が増えるほどモデルの性能が低下すると考えています。私たちはその逆だと考えました。

Lara 4 Translation AI の基盤となる汎用LLMとして生まれた Lara Mini は、初日から最も多言語かつ多文化的なモデルとして構築されました。
6兆トークンのトレーニングを完了した時点で、Lara Miniは世界中の同クラス36モデル中1位にランクインしています。

Translated · Lara の背景にあるストーリー

多様性は知性にとって負担ではなく、それは知性の源なのです。

  • 信念

    大手ラボは主に英語でモデルをトレーニングし、他の言語や文化を品質を低下させるノイズとして扱っています。

  • 賭け

    翻訳を専門とするTranslatedは、さまざまな言語や文化で書かれた実際のテキストをもとにLaraを構築しました。一つのアイデアを多くの言語や文化を通じて捉えることで、モデルはそのアイデアをより深く理解します。

  • 証拠

    アクティブパラメータ数が最大2Bのモデル36種のうち世界第1位。6Tトークンでトレーニングされ、コンテキストは128K。

実行の概要

アーキテクチャ

  • 0.6Bトークンあたりのアクティブなパラメータ(4つのエキスパート)
  • 7.2B総パラメータ数、MoE(128エキスパート、共有1)
  • 34レイヤー:メモリ(GDN)、ウィンドウ、グローバルアテンション
  • 128Kコンテキストウィンドウのトークン数

データ

  • 6Tトレーニング用トークン
  • 39%フィルタリングされた生トークンの割合
  • 44 + EN言語(EUの24の公用語すべて)
  • 151,643語彙内のトークン数、リソースの少ない言語向けに再調整

どのように構築したか

最も多言語対応のモデルのためのハイブリッドかつスパースな設計

ハイブリッドかつスパースなモデル:34層、128エキスパート

3種類のレイヤー、1つの繰り返し単位

  • 14 メモリ· Gated DeltaNet:ヘッドごとに1つの線形アテンション状態をもち、トークンごとに更新される
  • 13 ウィンドウ· 直近の512トークンに対するアテンション、RoPE位置
  • 7 グローバル· フルアテンション、位置エンコーディングなし。最後のレイヤーは常にグローバル。

各レイヤーに存在する Mixture of Experts

  • トークンごとにルーターが選択する、128人のルーティングされたエキスパートのうち4人
  • 1人の共有エキスパートが常時稼働
  • トークンあたり7.2Bのうち0.6Bのパラメータがアクティブ。隠れ層のサイズは1,024。入力と出力の埋め込みは共有(tied)。

最適化手法

Muon + AdamW

各モーメンタム更新は、適用される前に直交化(Newton–Schulz)されます。これにより、重み行列のすべての方向が、一部の方向が支配的になるのではなく、ほぼ同じ速度で変化します。

トレーニング時のコンテキストウィンドウは4,096トークン、語彙サイズは151,643トークン。

最も多言語かつ多文化に対応したモデル

すべてのソース間で重複排除されたプールから得られた6Tのトレーニングトークン:生のトークンの39%がフィルタリングされました。どのソースも2エポックを超えて繰り返されることはありません(Wikiおよび高品質の数学は除く)。プレーンなウェブは決して繰り返されません。

  • 英語2.49Tウェブ高品質 1.34T · 合成高品質(Synthetic HQ) 0.66T · PDFファイル 0.32T · ウェブ(中品質) 0.15T · ウィキ 0.02T
  • 多言語2.18Tウェブ 0.79T · ウェブ高品質 0.66T · PDFファイル 0.4T · 合成データ 0.28T · ウィキ 0.05T
  • コード0.77T実際のコード 0.45T · 合成データ 0.31T
  • 数学0.35T数学(HQ) 0.21T · 数学(ウェブ) 0.15T
  • SFT類似0.21TQA(品質保証) 0.12T · 数学 0.07T · コード 0.02T

3つのステージ、1つの学習率の減衰

  1. メイン · 4.8T0–80% · ステップ 572.2k まで
  2. 移行 · 0.6T80–90% · ステップ 643.7k まで
  3. アニール · 0.6T90–100% · ステップ 715.3k まで
学習率スケジュール評価対象モデル:トレーニング終了時点、6Tトークン。

各ステージは、そのステップの境界で読み込まれる個別のデータブレンドです。トランジション:安定した学習率のもとで2つのステージをつなぐ橋渡しとなる段階です。この段階では、データ構成がすでにアニール(より高品質なデータ、QA、コード、数学データ)へと半分ほど移行しており、学習率の減衰が始まる前にモデルが適応できるようになっています。Anneal :最高品質のデータミックスを使用し、最後の10%で学習率がゼロまで低下します。

各ステージは、コード、数学、SFTのようなデータへとさらに重心を移していきます。

各ステージのトークン占有率。データはシャッフルされ、ドメインごとに供給されることはありません。2,048シーケンスの各バッチでは、すべてのドメインがほぼこれらの割合で混在します。SFT類似(QA、数学、およびコードの指示データ):メインで2%、全体で3.5%。

方法論

26のベンチマーク、1つのハーネス、すべてのモデル

全体 = ¼ 英語 + ¼ 多言語 + ¼ 数学 + ¼ プログラミング。すべてのモデルは、当社が lm-evaluation-harness を用いて評価し、同一の回答形式の修正を適用してスコアを算出しています。各多言語ベンチマークは、英語以外の44のトレーニング言語全体で平均化されています。

  • 英語10

    • NLI
    • PAWS
    • Belebele (en)
    • COPA
    • PIQA
    • HellaSwag
    • WinoGrande
    • ARC-C
    • MMLU
    • MMLU-Pro
  • 多言語9

    • XNLI
    • PAWS-X
    • Belebele
    • XCOPA
    • Global PIQA NP
    • Global PIQA P
    • T-HellaSwag
    • INCLUDE
    • Global MMLU
  • 数学3

    • GSM8K
    • MATH
    • MGSM
  • コード4

    • MBPP
    • MBPP+
    • CRUX-I
    • CRUX-O

のぞき見は禁止:最終トレーニング段階では、ベンチマーク項目を含むすべての文書がスキップされます。

結果

世界中の超小型モデル36モデル中、第1位

総合、テキスト、多言語の各カテゴリで1位。総合ではgranite-4.0-h-tinyを3.1ポイント上回っています。

総合

小型モデルのランキング

#1

36モデル中

カテゴリランキング

  • 数学とコーディング#1
  • テキスト#1
  • 多言語#1

ベンチマークの定義。当社のモデルは、6兆トークンの実行における最終チェックポイントであり、コンテキストは128Kに拡張されています。そのアニール処理では、ベンチマーク項目を含むすべてのドキュメントがスキップされます。そのクラス:アクティブパラメータ数が最大2Bのモデル(gemma-4-E2Bは有効サイズが2B)。多言語スコアは、各モデルについて、私たちがトレーニングに使用する英語以外の44言語の平均値として算出されます。

ランキング

超小型モデル トップ12

最大2Bのアクティブパラメータを持つ36のモデル(gemma-4-E2Bは有効サイズが2B、合計パラメータ数が5.1B)。当社のトレーニング言語における多言語対応。棒グラフは0から始まります。

  1. #1Lara Mini Base (A0.6B/7.2B)57.0
  2. #2IBM - granite-4.0-h-tiny (1B active)53.9
  3. #3Alibaba - Qwen3-1.7B53.8
  4. #4Falcon-H1-1.5B-Deep53.2
  5. #5Hunyuan-1.8B52.2
  6. #6LFM2.5-8B-A1B (1.7B active)50.8
  7. #7Trinity-Nano (1B active)50.7
  8. #8LFM3-1.7B49.2
  9. #9Qwen3.5-2B48.9
  10. #10Falcon-H1-1.5B48.8
  11. #11Qwen2.5-1.5B47.6
  12. #12granite-4.0-1b47.2
  13. #17Google - gemma-4-E2B41.9

総合スコア = ¼ 英語 + ¼ 多言語 + ¼ 数学 + ¼ プログラミング。

効率性

20億パラメータ未満でNo.1、アクティブなパラメータはわずか6億

Lara Mini Baseは、Qwen3-1.7Bやgemma-4-E2Bなど、最大3倍のアクティブパラメータを使用するモデルを含む、同クラスの他の35モデルすべてを上回るスコアを記録しています。

20304050600.5B1B2BLara Mini Base (A0.6B/7.2B) · 57.0granite-4.0-h-tiny · 53.9gemma-4-E2B
アクティブなパラメータに対する総合スコア(対数スケール)。階段状の線がフロンティアを示しています。アクティブパラメータ数がこれよりも少ないモデルは、これを超えるスコアを記録できません。gemma-4-E2Bは、有効サイズ2B(総パラメータ数5.1B)でプロットされています。

限定リリース · 対象者

Lara Miniの用途

  • Lara Translateアプリ

    オフライン翻訳

    Lara Miniは、次期Lara TranslateアプリのLara 4オフライン翻訳機能の基盤となるモデルです。あなたのテキストが端末から外部に出ることはなく、各翻訳にかかる時間は引き続き1秒未満です。

  • Translatedの顧客

    小型ベースLLM

    Translated の一部のエンタープライズ顧客がアクセスできます。Lara Miniは、特定のソブリンアプリケーション向けにファインチューニングできるよう設計されており、モバイルデバイスおよび当社のクラウド上で動作します。エンドツーエンドのレイテンシーは20ms未満で、1秒あたり数百万トークンを処理します。

  • リサーチ

    AI研究者

    AI研究者が当社の結果を再現し、それを基盤として多言語研究をさらに推進するためのアクセスを提供します。

今後の予定

3つのコンペティション、1つのルール

現在のステージでメダルを獲得した場合に限り、次のステージのトレーニングを行います。

  1. ステージ 1

    ローカル

    超小型 · アクティブパラメータ数 20億未満

    2026年11月Lara Mini Base

    Lara Base(A0.6B/7.2B)でタイニーカテゴリを制覇しましょう。

    2026年12月Lara Mini

    Lara 4 MiniおよびLara Mini LLMは、超低レイテンシとモバイルデバイス向けに設計されています。

    メダル獲得 → 次は「National」ステージのトレーニングを行います。メダルを獲得できなかった場合、ここで終了します。

  2. ステージ 2

    国内

    小型 · アクティブなパラメータ数が10B未満

    2027年3月Lara Piccola Base(A7B/138B)

    スモールカテゴリにも参戦し、そこでもメダルを獲得する。

    2027年4月Lara 4 および Lara Piccola LLM

    Lara 4 翻訳モデルおよび Lara Piccola LLM。EU ソブリンの A7B/138B モデルです。

    メダルを獲得 → オリンピックステージでトレーニングを行います。メダルを獲得できなかったため、ここで終了します。

  3. ステージ 3

    オリンピック

    最先端 · 400億以上が稼働中

    2027年12月Lara Grande Base(A60B/1.2T)

    世界最高水準のモデルと競う、最先端カテゴリに参入します。

    2028年3月Lara 5 と Lara Grande LLM

    Lara 5 は、P95 のプロ翻訳者を上回る性能を示しています。Lara Grande:EU主権の最先端LLM。中国のモデルを上回り、AnthropicやOpenAIに迫る。

参照モデル:超小型Gemma 4 E2B ·小型Gemma 4B/26B ·中型Qwen 17B/397B ·最先端GPT-6 Astra、Claude 5.6、Kimi K3。

トレーニング予算

単回実行のトレーニング予算、次期リリース

モデルトークンFLOPsハードウェア日数トレーニングコスト
Lara 4 PiccolaMoE 6.7B / 138B20T8.0 × 10²³512 × H10031$1.0M
Lara 4 GrandeMoE 60B / 1.2T24T8.6 × 10²⁴512 × Vera Rubin25$2.4M
Lara 4 SaggiaMoE 600B / 12T36T1.3 × 10²⁶2,304 × Vera Rubin83$36.6M
参考用
典型的な最先端MoE 150B / 3T36T3.2 × 10²⁵4,096 × B20051$18.8M

出典:Lara 4 LLMトレーニング予算計画、2026年11月3日 · FP8 · コンピューティングコストのみ · Saggiaの所要日数は計画のメソッドで推定

次のトレーニング

Lara Piccola候補モデル

60層、1380億パラメータ:Gemma 4 31Bを上回ることを目指すモデル。

  • 138Bパラメータ総数
  • 6.7Bトークンあたりのアクティブ数
  • トークナイザー新規、再バランス化済み
  • 60レイヤー
  • 2816隠れ層のサイズ
  • 512 × 512エキスパート、上位8名 + 共有2名
  • 400k20兆トークンに対するH100 GPU時間
  • 30日間512基のH100 GPU上で
  • $1Mトレーニング実行コスト
  • 目標:小型モデルクラス(アクティブパラメータ数100億未満)で優勝する

    現在のトップモデル:Qwen3.5-122B-A10B、GLM-4.5-Air

  • 目標:多言語性能においてGemma 4 31Bを上回る

    中規模モデルのクラスにおいて、高度な多言語対応のDenseモデルを上回る。

32ノードでステップあたり30.7秒 · Lara Mini Baseと同じハイブリッドアテンション(GDN、ウィンドウ、グローバル)

技術レポート

技術レポートを入手する

Lara Mini Baseのアーキテクチャ、トレーニングデータ、ベンチマーク、およびその背後にある方法論を1つの文書にまとめました。ご連絡先をお知らせください。メールでお送りいたします。

私は、詳細情報とデモのためにLaraから連絡を受けることに同意します。プライバシーポリシー*を読み、同意します

Lara と一緒に作業する

Lara を活用する2つの方法

  • 生成モデルにご関心をお持ちですか?

    Translated の一部のエンタープライズ顧客がアクセス権を有します。Lara Miniは、特定の国・地域向け専用アプリケーションへのファインチューニングを前提に設計されており、モバイルデバイス上で動作し、当社のクラウドではエンドツーエンドのレイテンシーが20ミリ秒未満で、毎秒数百万トークンを処理します。

    セールスチームにお問い合わせ
  • Laraで翻訳する

    この研究に基づいて開発された翻訳ツールLaraで、テキスト、文書、会話を翻訳できます。

    Laraを翻訳に使用し始める