MasukMasukDaftarDaftar gratisHubungi penjualan

Setiap lab AI berasumsi bahwa semakin banyak bahasa, semakin buruk kinerja modelnya.Kami bertaruh sebaliknya.

Dilahirkan sebagai LLM serba guna yang menjadi dasar Lara 4 Translation AI, Lara Mini dibangun sebagai model yang paling multibahasa dan multikultural sejak hari pertama.
Setelah menyelesaikan pelatihan 6T‑token, model ini menempati peringkat #1 dari 36 model di kelasnya di seluruh dunia.

Dapatkan laporan teknisDapatkan modelnya

Translated · kisah di balik Lara

Keragaman bukanlah beban bagi kecerdasan. Itu justru sumbernya.

  • Keyakinan

    Laboratorium-laboratorium besar sebagian besar melatih model mereka dalam bahasa Inggris dan menganggap bahasa serta budaya lain sebagai noise yang menurunkan kualitas.

  • Taruhan

    Translated, yang tugasnya adalah penerjemahan, membangun Lara berdasarkan teks nyata yang ditulis dalam banyak bahasa dan budaya. Dengan melihat satu gagasan melalui banyak bahasa dan budaya, model ini memahami gagasan tersebut dengan lebih baik.

  • Bukti

    Peringkat #1 dari 36 model dengan hingga 2B parameter aktif di seluruh dunia, dilatih pada 6T token, konteks 128K.

Sekilas tentang proses uji coba

Arsitektur

  • 0,6Bparameter aktif per token (4 ahli)
  • 7,2Btotal parameter, MoE dengan 128 pakar, 1 bersama
  • 34lapisan: memori (GDN), jendela, dan perhatian global
  • 128Ktoken pada jendela konteks

Data

  • 6Ttoken pelatihan
  • 39%dari token mentah yang difilter
  • 44 + ENbahasa, mencakup seluruh 24 bahasa resmi UE
  • 151.643token dalam kosakata, penyeimbangan ulang untuk bahasa sumber daya rendah

Bagaimana kami membangunnya

Desain hibrida dan sparse untuk model paling multibahasa

Model hibrida yang jarang: 34 lapisan, 128 pakar

Tiga jenis lapisan, satu unit berulang

  • 14 memori · Gated DeltaNet: status perhatian linier per head, diperbarui token demi token
  • 13 jendela · perhatian pada 512 token terakhir, posisi RoPE
  • 7 global · perhatian penuh, tanpa pengodean posisi; lapisan terakhir selalu bersifat global

Mixture of Experts di setiap lapisan

  • 4 dari 128 expert yang dirutekan dipilih per token oleh sebuah router
  • 1 pakar bersama selalu aktif
  • 0,6 miliar dari 7,2 miliar parameter aktif per token; ukuran tersembunyi 1.024, embedding input dan output yang terikat

Pengoptimasi

Muon + AdamW

Setiap pembaruan momentum diortogonalisasi (Newton–Schulz) sebelum diterapkan, sehingga setiap arah matriks bobot bergerak pada laju yang serupa, bukan hanya beberapa arah yang mendominasi.

Jendela konteks 4.096 token dalam pelatihan; kosakata 151.643 token.

Model yang paling multibahasa dan multikultural

6T token pelatihan dari kumpulan yang dideduplikasi di seluruh sumber: 39% token mentah disaring keluar. Tidak ada sumber yang diulang lebih dari 2 epoch (kecuali wiki dan matematika berkualitas tinggi); web biasa tidak pernah diulang.

  • Bahasa Inggris2,49TKualitas Tinggi Web 1,34T · Kualitas Tinggi Sintetis 0,66T · File PDF 0,32T · Web kualitas sedang 0,15T · Wiki 0,02T
  • Multibahasa2,18TWeb 0,79T · Kualitas Tinggi Web 0,66T · File PDF 0,4T · Sintetis 0,28T · Wiki 0,05T
  • Kode0,77TKode aktual 0,45T · Sintetis 0,31T
  • Matematika0,35TMatematika HQ 0,21T · Matematika web 0,15T
  • Mirip SFT0,21TQA 0,12T · Matematika 0,07T · Kode 0,02T

Tiga tahap, satu penurunan laju pembelajaran

  1. Utama · 4,8T0–80% · hingga langkah 572,2k
  2. Transisi · 0,6T80–90% · hingga langkah 643,7k
  3. Anneal · 0,6T90–100% · hingga langkah 715,3k
Jadwal laju pembelajaranModel yang dievaluasi: akhir pelatihan, 6T token.

Setiap tahap adalah campuran data tersendiri yang dimuat pada batas langkahnya. Transisi: jembatan antara keduanya pada tingkat pembelajaran yang stabil, di mana campuran sudah bergerak setengah jalan menuju anneal (data yang lebih berkualitas tinggi, QA, kode, dan matematika) sehingga model beradaptasi sebelum penurunan. Anneal: campuran dengan kualitas tertinggi, sementara laju pembelajaran menurun menjadi nol pada 10% terakhir.

Setiap tahap semakin berfokus pada kode, matematika, dan data serupa SFT

Porsi token di setiap tahap. Data diacak, bukan dimasukkan domain demi domain: setiap batch berisi 2.048 sekuens mencampur semua domain dalam proporsi kira-kira seperti ini. Mirip SFT (data instruksi QA, matematika, dan kode): 2% di tahap utama, 3,5% sepanjang seluruh proses.

Metodologi

26 benchmark, satu harness, setiap model

Secara keseluruhan = ¼ Bahasa Inggris + ¼ Multibahasa + ¼ Matematika + ¼ Kode. Setiap model dinilai oleh kami menggunakan lm-evaluation-harness dan koreksi format jawaban yang sama. Setiap benchmark multibahasa dihitung rata-ratanya dari 44 bahasa pelatihan kami selain bahasa Inggris.

  • Bahasa Inggris10

    • NLI
    • PAWS
    • Belebele (en)
    • COPA
    • PIQA
    • HellaSwag
    • WinoGrande
    • ARC-C
    • MMLU
    • MMLU-Pro

  • Multibahasa9

    • XNLI
    • PAWS-X
    • Belebele
    • XCOPA
    • Global PIQA NP
    • Global PIQA P
    • T-HellaSwag
    • INCLUDE
    • Global MMLU

  • Matematika3

    • GSM8K
    • MATH
    • MGSM

  • Kode4

    • MBPP
    • MBPP+
    • CRUX-I
    • CRUX-O

Dilarang mengintip: pada tahap pelatihan terakhir, setiap dokumen yang berisi item benchmark akan dilewati.

Hasil

#1 dari 36 model kecil di seluruh dunia

Peringkat pertama di kategori Keseluruhan, Teks, dan Multibahasa, unggul 3,1 poin dari granite-4.0-h-tiny di kategori Keseluruhan.

Secara keseluruhan

Peringkat model-model kecil

#1

dari 36 model

Peringkat kategori

  • Matematika & Kode#1
  • Teks#1
  • Multibahasa#1

Definisi tolok ukur. Model kami adalah checkpoint terakhir dari siklus pelatihan 6T‑token, dengan konteks yang diperluas menjadi 128K; proses anneal-nya melewati setiap dokumen yang berisi item tolok ukur. Kelasnya: model dengan hingga 2B parameter aktif (gemma-4-E2B pada ukuran efektif 2B). Skor multibahasa dihitung sebagai rata-rata dari 44 bahasa non-Inggris yang kami gunakan untuk pelatihan, untuk setiap model.

Peringkat

12 model terkecil teratas

36 model dengan hingga 2B parameter aktif (gemma-4-E2B pada ukuran efektif 2B-nya, total 5,1B). Multibahasa pada bahasa pelatihan kami. Bilah dimulai dari 0.

  1. #1Lara Mini Base (A0.6B/7.2B)57,0
  2. #2IBM - granite-4.0-h-tiny (1B active)53,9
  3. #3Alibaba - Qwen3-1.7B53,8
  4. #4Falcon-H1-1.5B-Deep53,2
  5. #5Hunyuan-1.8B52,2
  6. #6LFM2.5-8B-A1B (1.7B active)50,8
  7. #7Trinity-Nano (1B active)50,7
  8. #8LFM3-1.7B49,2
  9. #9Qwen3.5-2B48,9
  10. #10Falcon-H1-1.5B48,8
  11. #11Qwen2.5-1.5B47,6
  12. #12granite-4.0-1b47,2
  13. #17Google - gemma-4-E2B41,9

Secara keseluruhan = ¼ Bahasa Inggris + ¼ Multibahasa + ¼ Matematika + ¼ Pemrograman.

Efisiensi

#1 di bawah 2B, dengan hanya 0,6B yang aktif

Lara Mini Base mengungguli ke-35 model lain di kelasnya, termasuk model-model yang menggunakan hingga 3× lebih banyak parameter aktif, seperti Qwen3-1.7B dan gemma-4-E2B.

20304050600,5B1B2BLara Mini Base (A0.6B/7.2B) · 57,0granite-4.0-h-tiny · 53,9gemma-4-E2B
Skor keseluruhan terhadap parameter aktif, skala logaritmik. Garis bertahap adalah batasnya: tidak ada model dengan parameter aktif yang lebih sedikit yang mencetak skor lebih tinggi. gemma-4-E2B digambarkan pada ukuran efektifnya sebesar 2B (total 5,1B).

Rilis terbatas · siapa yang mendapatkannya

Untuk apa Lara Mini digunakan

  • Aplikasi Lara Translate

    Terjemahan Offline

    Lara Mini adalah model dasar di balik fitur terjemahan offline Lara 4 untuk aplikasi Lara Translate berikutnya. Teks Anda tidak pernah meninggalkan ponsel, dan setiap terjemahan tetap memakan waktu kurang dari satu detik.

  • Pelanggan Translated

    LLM Dasar Ukuran Kecil

    Sejumlah pelanggan korporat Translated yang terpilih akan mendapatkan akses. Lara Mini dirancang untuk di-fine-tune bagi aplikasi sovereign khusus, berjalan di perangkat seluler, dan di cloud kami memberikan latensi end-to-end di bawah 20 ms serta menghasilkan jutaan token per detik.

  • Penelitian

    Para peneliti AI

    Akses bagi para peneliti AI untuk mereplikasi hasil kami dan mengembangkannya, sehingga mendorong kemajuan penelitian multibahasa.

Apa selanjutnya

Tiga kompetisi, satu aturan

Kami baru akan melatih tahap berikutnya jika kami berhasil meraih medali di tahap saat ini.

  1. Tahap 1

    Lokal

    Tiny · <2B aktif

    Nov 2026Lara Mini Base

    Menangkan kategori tiny dengan Lara Base (A0.6B/7.2B).

    Des 2026Lara Mini

    Lara 4 Mini dan Lara Mini LLM, untuk latensi ultra-rendah dan perangkat seluler.

    Medali diraih → kami melatih tahap Nasional. Tidak ada medali, kami berhenti.

  2. Tahap 2

    Nasional

    Kecil · <10B aktif

    Mar 2027Lara Piccola Base (A7B/138B)

    Ikut serta dalam kategori kecil dan raih medali di sana juga.

    Apr 2027Lara 4 & Lara Piccola LLM

    Model terjemahan Lara 4 dan LLM Lara Piccola, model A7B/138B yang berdaulat di Uni Eropa.

    Medali diraih → kami melatih di tahap Olimpiade. Tidak ada medali, kami berhenti.

  3. Tahap 3

    Olimpiade

    Frontier · 40B+ aktif

    Des 2027Lara Grande Base (A60B/1,2T)

    Masuki kategori frontier, bersaing melawan model-model terbaik di dunia.

    Mar 2028Lara 5 & Lara Grande LLM

    Lara 5 melampaui penerjemah profesional P95. Lara Grande: LLM frontier yang berdaulat di UE, mengungguli model-model Tiongkok dan mendekati Anthropic serta OpenAI.

Model referensi: tiny Gemma 4 E2B · small Gemma 4B/26B · medium Qwen 17B/397B · frontier GPT-6 Astra, Claude 5.6, Kimi K3.

Anggaran pelatihan

Anggaran pelatihan satu putaran, rilis berikutnya

ModelTokenFLOPPerangkat kerasHariBiaya pelatihan
Lara 4 PiccolaMoE 6,7B / 138B20T8,0 × 10²³512 × H10031$1,0M
Lara 4 GrandeMoE 60B / 1,2T24T8,6 × 10²⁴512 × Vera Rubin25$2,4M
Lara 4 SaggiaMoE 600B / 12T36T1,3 × 10²⁶2.304 × Vera Rubin83$36,6M
Untuk referensi
Model terdepan yang umumMoE 150B / 3T36T3,2 × 10²⁵4.096 × B20051$18,8M

Sumber: Lara 4 LLM Training Budget Planning, 3 Nov 2026 · FP8 · hanya biaya komputasi · Estimasi hari Saggia menggunakan metode dalam rencana

Pelatihan berikutnya

Kandidat Lara Piccola

60 lapisan dan 138 miliar parameter: model yang dirancang untuk mengungguli Gemma 4 31B.

  • 138Btotal parameter
  • 6,7Baktif per token
  • Tokenizerbaru, diseimbangkan ulang
  • 60lapisan
  • 2816ukuran tersembunyi
  • 512 × 512pakar, 8 teratas + 2 bersama
  • 400kJam GPU H100 untuk 20T token
  • 30 haripada 512 GPU H100
  • $1MBiaya siklus pelatihan

  • Tujuan: memenangkan kategori model kecil (<10B aktif)

    Pemimpin saat ini: Qwen3.5-122B-A10B, GLM-4.5-Air

  • Tujuan: mengalahkan Gemma 4 31B pada kategori multibahasa

    Mengungguli model padat yang sangat multibahasa di kelas model menengah.

30,7 detik per langkah pada 32 node · mekanisme hybrid attention yang sama dengan Lara Mini Base (GDN, window, global)

Laporan teknis

Dapatkan laporan teknis

Arsitektur, data pelatihan, benchmark, dan metodologi di balik Lara Mini Base, dalam satu dokumen. Tinggalkan data Anda, dan kami akan mengirimkannya kepada Anda melalui email.

Saya setuju untuk dihubungi oleh Lara untuk informasi lebih lanjut dan demo. Saya telah membaca dan menyetujui Kebijakan Privasi*

Bekerja dengan Lara

Dua cara untuk mengaktifkan Lara

  • Tertarik dengan model generatif?

    Sejumlah pelanggan korporat Translated yang terpilih akan mendapatkan akses. Lara Mini dirancang untuk disetel halus (fine-tuned) bagi aplikasi sovereign khusus, berjalan di perangkat seluler, dan di cloud kami memberikan latensi end-to-end di bawah 20 ms serta menghasilkan jutaan token per detik.

    Hubungi Tim Penjualan

  • Terjemahkan dengan Lara

    Terjemahkan teks, dokumen, dan percakapan dengan Lara, penerjemah yang dibangun berdasarkan riset ini.

    Mulai gunakan Lara untuk Penerjemahan