Daftar masukDaftar masukDaftarDaftar secara percumaHubungi pihak jualan

Setiap makmal AI menganggap bahawa lebih banyak bahasa akan menjadikan model lebih teruk.Kami berpendapat sebaliknya.

Dilahirkan sebagai LLM tujuan umum di bawah Lara 4 Translation AI, Lara Mini dibina sebagai model yang paling berbilang bahasa dan berbilang budaya sejak hari pertama.
Pada penghujung latihan 6T‑tokennya, ia menduduki tempat pertama daripada 36 model dalam kelasnya di seluruh dunia.

Dapatkan laporan teknikalDapatkan model

Translated · kisah di sebalik Lara

Kepelbagaian bukan beban kepada kecerdasan. Ia merupakan sumbernya.

  • Kepercayaan

    Makmal-makmal besar kebanyakannya melatih model mereka dalam bahasa Inggeris dan menganggap bahasa serta budaya lain sebagai gangguan yang menjejaskan kualiti.

  • Taruhan

    Translated, yang tugasnya ialah terjemahan, membina Lara berdasarkan teks sebenar yang ditulis dalam pelbagai bahasa dan budaya. Dengan melihat satu idea melalui banyak bahasa dan budaya, model ini memahami idea tersebut dengan lebih baik.

  • Bukti

    #1 daripada 36 model dengan sehingga 2B parameter aktif di seluruh dunia, dilatih pada 6T token, konteks 128K.

Gambaran ringkas pelaksanaan

Senibina

  • 0.6Bparameter aktif bagi setiap token (4 pakar)
  • 7.2Bjumlah parameter, MoE dengan 128 pakar, 1 dikongsi
  • 34lapisan: memori (GDN), tetingkap dan perhatian global
  • 128Ktoken dalam tetingkap konteks

Data

  • 6Ttoken latihan
  • 39%daripada token mentah yang ditapis
  • 44 + ENbahasa, kesemua 24 bahasa rasmi EU
  • 151,643token dalam perbendaharaan kata, bahasa sumber rendah diseimbangkan semula

Bagaimana kami membina model ini

Reka bentuk hibrid dan jarang untuk model paling berbilang bahasa

Model hibrid yang jarang: 34 lapisan, 128 pakar

Tiga jenis lapisan, satu unit berulang

  • 14 memori · Gated DeltaNet: keadaan perhatian linear bagi setiap head, dikemas kini token demi token
  • 13 tetingkap · perhatian terhadap 512 token terakhir, kedudukan RoPE
  • 7 global · perhatian penuh, tiada pengekodan kedudukan; lapisan terakhir sentiasa global

Campuran pakar dalam setiap lapisan

  • 4 daripada 128 pakar yang dihalakan dipilih bagi setiap token oleh penghala
  • 1 pakar dikongsi sentiasa aktif
  • 0.6B daripada 7.2B parameter aktif bagi setiap token; saiz tersembunyi 1,024, pembenaman input dan output yang diikat

Pengoptimum

Muon + AdamW

Setiap kemas kini momentum diortogonalisasikan (Newton–Schulz) sebelum ia digunakan, supaya setiap arah matriks berat bergerak pada kadar yang serupa dan bukannya dikuasai oleh beberapa arah sahaja.

Tetingkap konteks 4,096 token dalam latihan; perbendaharaan kata 151,643 token.

Model yang paling berbilang bahasa dan berbilang budaya

6T token latihan daripada kumpulan yang dinyahduplikasi merentasi semua sumber: 39% token mentah telah ditapis keluar. Tiada sumber diulang lebih daripada 2 epok (kecuali wiki dan matematik berkualiti tinggi); kandungan web biasa tidak pernah diulang.

  • Bahasa Inggeris2.49TKualiti Tinggi Web 1.34T · Kualiti Tinggi Sintetik 0.66T · Fail PDF 0.32T · Sederhana web 0.15T · Wiki 0.02T
  • Berbilang bahasa2.18TWeb 0.79T · Kualiti Tinggi Web 0.66T · Fail PDF 0.4T · Sintetik 0.28T · Wiki 0.05T
  • Kod0.77TKod sebenar 0.45T · Sintetik 0.31T
  • Matematik0.35TMatematik HQ 0.21T · Matematik web 0.15T
  • Sama seperti SFT0.21TSoalan dan Jawapan 0.12T · Matematik 0.07T · Kod 0.02T

Tiga peringkat, satu penurunan kadar pembelajaran

  1. Utama · 4.8T0–80% · hingga langkah 572.2k
  2. Peralihan · 0.6T80–90% · hingga langkah 643.7k
  3. Penyepuhlindapan · 0.6T90–100% · hingga langkah 715.3k
Jadual kadar pembelajaranModel yang dinilai: penghujung latihan, 6T token.

Setiap peringkat ialah gabungan data yang berasingan, yang dimuatkan pada sempadan langkahnya. Peralihan: jambatan antara kedua-duanya pada kadar pembelajaran yang stabil, di mana campuran sudah bergerak separuh jalan ke arah anneal (lebih banyak data berkualiti tinggi, QA, kod dan matematik) supaya model menyesuaikan diri sebelum berlaku penurunan. Anneal: gabungan berkualiti tertinggi, sementara kadar pembelajaran menurun kepada sifar sepanjang 10% terakhir.

Setiap peringkat semakin tertumpu kepada kod, matematik dan data seperti SFT

Bahagian token bagi setiap peringkat. Data diacak, bukan disuap mengikut domain: setiap kelompok 2,048 jujukan mencampurkan semua domain dalam kira-kira nisbah ini. SFT-like (data arahan QA, matematik dan kod): 2% dalam peringkat utama, 3.5% sepanjang keseluruhan proses.

Metodologi

26 penanda aras, satu harness, setiap model

Secara keseluruhan = ¼ Bahasa Inggeris + ¼ Berbilang Bahasa + ¼ Matematik + ¼ Kod. Setiap model dinilai oleh kami menggunakan lm-evaluation-harness dan pembetulan format jawapan yang sama. Setiap penanda aras berbilang bahasa diambil puratanya merentasi 44 bahasa latihan bukan bahasa Inggeris kami.

  • Bahasa Inggeris10

    • NLI
    • PAWS
    • Belebele (en)
    • COPA
    • PIQA
    • HellaSwag
    • WinoGrande
    • ARC-C
    • MMLU
    • MMLU-Pro

  • Berbilang bahasa9

    • XNLI
    • PAWS-X
    • Belebele
    • XCOPA
    • Global PIQA NP
    • Global PIQA P
    • T-HellaSwag
    • INCLUDE
    • Global MMLU

  • Matematik3

    • GSM8K
    • MATH
    • MGSM

  • Kod4

    • MBPP
    • MBPP+
    • CRUX-I
    • CRUX-O

Dilarang mengintip: Peringkat latihan terakhir melangkau setiap dokumen yang mengandungi item penanda aras.

Keputusan

#1 daripada 36 dalam kalangan model kecil di seluruh dunia

Kedudukan pertama dalam kategori Keseluruhan, Teks dan Berbilang Bahasa, mendahului granite-4.0-h-tiny sebanyak 3.1 mata dalam kategori Keseluruhan.

Keseluruhan

Kedudukan model kecil

#1

daripada 36 model

Kedudukan kategori

  • Matematik & Pengekodan#1
  • Teks#1
  • Berbilang bahasa#1

Definisi penanda aras. Model kami ialah titik semak terakhir bagi larian 6T‑token, dengan konteksnya dilanjutkan kepada 128K; proses anneal-nya melangkau setiap dokumen yang mengandungi item penanda aras. Kelasnya: model dengan sehingga 2B parameter aktif (gemma-4-E2B pada saiz efektif 2B). Skor berbilang bahasa diambil puratanya merentasi 44 bahasa bukan Inggeris yang kami gunakan untuk latihan, bagi setiap model.

Kedudukan

12 model kecil terbaik

36 model dengan sehingga 2B parameter aktif (gemma-4-E2B pada saiz efektif 2B, jumlah 5.1B). Berbilang bahasa dalam bahasa latihan kami. Bar bermula dari 0.

  1. #1Lara Mini Base (A0.6B/7.2B)57.0
  2. #2IBM - granite-4.0-h-tiny (1B active)53.9
  3. #3Alibaba - Qwen3-1.7B53.8
  4. #4Falcon-H1-1.5B-Deep53.2
  5. #5Hunyuan-1.8B52.2
  6. #6LFM2.5-8B-A1B (1.7B active)50.8
  7. #7Trinity-Nano (1B active)50.7
  8. #8LFM3-1.7B49.2
  9. #9Qwen3.5-2B48.9
  10. #10Falcon-H1-1.5B48.8
  11. #11Qwen2.5-1.5B47.6
  12. #12granite-4.0-1b47.2
  13. #17Google - gemma-4-E2B41.9

Keseluruhan = ¼ Bahasa Inggeris + ¼ Berbilang Bahasa + ¼ Matematik + ¼ Kod.

Kecekapan

#1 di bawah 2B, dengan hanya 0.6B aktif

Lara Mini Base mengatasi kesemua 35 model lain dalam kelasnya, termasuk model yang menggunakan sehingga 3× lebih banyak parameter aktif, seperti Qwen3-1.7B dan gemma-4-E2B.

20304050600.5B1B2BLara Mini Base (A0.6B/7.2B) · 57.0granite-4.0-h-tiny · 53.9gemma-4-E2B
Skor keseluruhan berbanding parameter aktif, skala log. Garis berperingkat ialah sempadan: tiada model dengan parameter aktif yang lebih sedikit mencapai skor yang lebih tinggi. gemma-4-E2B dipaparkan pada saiz berkesannya sebanyak 2B (jumlah 5.1B).

Keluaran terhad · siapa yang mendapatkannya

Kegunaan Lara Mini

  • Aplikasi Lara Translate

    Terjemahan Luar Talian

    Lara Mini ialah model asas di sebalik ciri terjemahan luar talian Lara 4 untuk aplikasi Lara Translate yang seterusnya. Teks anda tidak sekali-kali meninggalkan telefon, dan setiap terjemahan masih mengambil masa kurang daripada sesaat.

  • Pelanggan Translated

    LLM Asas Kecil

    Pelanggan korporat Translated yang terpilih akan mendapat akses. Lara Mini direka untuk diperhalusi bagi aplikasi berdaulat khusus, beroperasi pada peranti mudah alih dan di awan kami, serta memberikan kependaman hujung ke hujung di bawah 20 ms sambil menghasilkan jutaan token sesaat.

  • Penyelidikan

    Penyelidik AI

    Akses untuk penyelidik AI bagi menghasilkan semula keputusan kami dan membina di atasnya, seterusnya memajukan penyelidikan berbilang bahasa.

Apa seterusnya

Tiga pertandingan, satu peraturan

Kami hanya melatih peringkat seterusnya jika kami memenangi pingat dalam peringkat semasa.

  1. Peringkat 1

    Tempatan

    Tiny · <2B aktif

    Nov 2026Lara Mini Base

    Menangi kategori model kecil dengan Lara Base (A0.6B/7.2B).

    Dis 2026Lara Mini

    Lara 4 Mini dan Lara Mini LLM, untuk kependaman ultrarendah dan peranti mudah alih.

    Pingat dimenangi → kami melatih peringkat Kebangsaan. Tiada pingat, kami berhenti.

  2. Peringkat 2

    Kebangsaan

    Kecil · <10B aktif

    Mac 2027Lara Piccola Base (A7B/138B)

    Sertai kategori kecil dan raih pingat di sana juga.

    Apr 2027Lara 4 & Lara Piccola LLM

    Model terjemahan Lara 4 dan LLM Lara Piccola, sebuah model A7B/138B berdaulat EU.

    Pingat dimenangi → kami melatih peringkat Olimpik. Tiada pingat, kami berhenti.

  3. Peringkat 3

    Sukan Olimpik

    Frontier · Lebih 40B aktif

    Dis 2027Lara Grande Base (A60B/1.2T)

    Masuki kategori termaju, bersaing dengan model-model terbaik di dunia.

    Mac 2028Lara 5 & Lara Grande LLM

    Lara 5 mengatasi penterjemah profesional P95. Lara Grande: LLM termaju yang berdaulat di EU, mendahului model-model China dan semakin hampir dengan Anthropic serta OpenAI.

Model rujukan: Gemma 4 E2B kecil · Gemma 4B/26B kecil · Qwen 17B/397B sederhana · GPT-6 Astra, Claude 5.6, Kimi K3 termaju.

Belanjawan latihan

Belanjawan latihan satu pusingan, keluaran seterusnya

ModelTokenFLOPPerkakasanHariKos latihan
Lara 4 PiccolaMoE 6.7B / 138B20T8.0 × 10²³512 × H10031$1.0M
Lara 4 GrandeMoE 60B / 1.2T24T8.6 × 10²⁴512 × Vera Rubin25$2.4M
Lara 4 SaggiaMoE 600B / 12T36T1.3 × 10²⁶2,304 × Vera Rubin83$36.6M
Untuk rujukan
Model termaju biasaMoE 150B / 3T36T3.2 × 10²⁵4,096 × B20051$18.8M

Sumber: Perancangan Belanjawan Latihan Lara 4 LLM, 3 Nov 2026 · FP8 · kos pengkomputeran sahaja · Anggaran hari Saggia menggunakan kaedah dalam pelan

Latihan seterusnya

Calon Lara Piccola

60 lapisan dan 138B parameter: model yang akan mengatasi Gemma 4 31B.

  • 138Bjumlah parameter
  • 6.7Baktif bagi setiap token
  • Pemecah tokenbaharu, diseimbangkan semula
  • 60lapisan
  • 2816saiz tersembunyi
  • 512 × 512pakar, 8 teratas + 2 dikongsi
  • 400kJam GPU H100 untuk 20T token
  • 30 haripada 512 GPU H100
  • $1MKos sesi latihan

  • Matlamat: Menang dalam kategori model kecil (<10B aktif)

    Pemimpin semasa: Qwen3.5-122B-A10B, GLM-4.5-Air

  • Matlamat: mengalahkan Gemma 4 31B dalam ujian berbilang bahasa

    Mengatasi model padat berbilang bahasa yang sangat baik dalam kelas model sederhana.

30.7 s setiap langkah pada 32 nod · perhatian hibrid yang sama seperti Lara Mini Base (GDN, window, global)

Laporan teknikal

Dapatkan laporan teknikal

Seni bina, data latihan, penanda aras dan metodologi di sebalik Lara Mini Base, dalam satu dokumen. Tinggalkan butiran anda dan kami akan menghantarnya kepada anda melalui e-mel.

Saya bersetuju untuk dihubungi oleh Lara untuk maklumat lanjut dan demo. Saya telah membaca dan bersetuju dengan Dasar Privasi*

Bekerja dengan Lara

Dua cara untuk menggunakan Lara

  • Berminat dengan model generatif?

    Pelanggan korporat Translated yang terpilih akan mendapat akses. Lara Mini direka untuk ditala halus bagi aplikasi berdaulat khusus, beroperasi pada peranti mudah alih dan di awan kami, serta memberikan kependaman hujung ke hujung di bawah 20 ms sambil menghasilkan jutaan token sesaat.

    Hubungi Pasukan Jualan

  • Terjemah dengan Lara

    Terjemahkan teks, dokumen dan perbualan dengan Lara, penterjemah yang dibangunkan berdasarkan penyelidikan ini.

    Mula menggunakan Lara untuk Terjemahan