Giriş yapınGiriş yapınKaydolunÜcretsiz kaydolunSatış ekibiyle görüşün

Tüm yapay zeka laboratuvarları, dillerin sayısının artmasının modeli kötüleştirdiğini varsayar.Biz tam tersini iddia ediyoruz.

Lara 4 Translation AI'ın altında yer alan genel amaçlı LLM olarak geliştirilen Lara Mini, ilk günden itibaren en çok dilli ve en çok kültürlü model olarak tasarlandı.
6T‑tokenlik eğitiminin sonunda, dünya çapında kendi sınıfındaki 36 model arasında 1. sırada yer almaktadır.

Teknik raporu edininModeli edinin

Translated · Lara'nın arkasındaki hikâye

Çeşitlilik, zekâ için bir maliyet değildir. O, zekânın bir kaynağıdır.

  • İnanç

    Büyük laboratuvarlar çoğunlukla İngilizce üzerinde eğitim verir ve diğer dilleri ile kültürleri kaliteyi düşüren bir gürültü olarak görür.

  • Bahis

    İşi çeviri olan Translated, Lara'yı birçok dilde ve kültürde yazılmış gerçek metinler üzerinde geliştirmiştir. Model, tek bir fikri birçok dilde ve kültürde gördüğünde o fikri daha iyi anlar.

  • Kanıt

    Dünya çapında en fazla 2B aktif parametreye sahip 36 model arasında 1. sırada; 6T token üzerinde, 128K bağlamla eğitilmiştir.

Çalışmaya genel bakış

Mimari

  • 0,6Btoken başına etkin parametreler (4 uzman)
  • 7,2Btoplam parametre sayısı, 128 uzmanlı MoE, 1 paylaşımlı
  • 34katmanlar: bellek (GDN), pencere ve küresel dikkat
  • 128Kbağlam penceresindeki token sayısı

Veriler

  • 6Teğitim token'ları
  • %39filtrelenen ham tokenlerin oranı
  • 44 + ENdiller, AB'nin 24 resmî dilinin tamamı
  • 151.643sözlükteki token sayısı, az kaynaklı diller için yeniden dengelendi

Bunu nasıl geliştirdik

En çok dilli model için hibrit, seyrek bir tasarım

Hibrit, seyrek bir model: 34 katman, 128 uzman

Üç tür katman, bir adet tekrarlayan birim

  • 14 bellek · Gated DeltaNet: Her başlık için bir doğrusal dikkat durumu; token bazında güncellenir
  • 13 pencere · son 512 token üzerinde dikkat, RoPE pozisyonları
  • 7 küresel · tam dikkat, pozisyon kodlaması yok; son katman her zaman küreseldir

Her katmanda Uzmanlar Karışımı (Mixture of Experts)

  • Her token için bir yönlendirici tarafından seçilen 128 yönlendirilmiş uzmandan 4'ü
  • 1 adet paylaşılan uzman her zaman aktif
  • Token başına 7,2 milyar parametreden 0,6 milyarı aktif; gizli katman boyutu 1.024, bağlı giriş ve çıkış gömülü vektörleri

Optimizasyon Aracı

Muon + AdamW

Her momentum güncellemesi uygulanmadan önce ortogonalize edilir (Newton–Schulz); böylece bir ağırlık matrisinin her yönü, birkaçının baskın hale gelmesi yerine benzer bir hızda hareket eder.

Eğitimde 4.096 tokenlik bağlam penceresi; 151.643 tokenlik sözcük dağarcığı.

En çok dilli ve en çok kültürlü model

Tüm kaynaklarda yinelenenler giderilmiş bir havuzdan alınan 6T eğitim tokeni: Ham tokenlerin %39'u filtrelenerek çıkarılmıştır. Hiçbir kaynak 2 epoktan fazla tekrarlanmaz (wiki ve yüksek kaliteli matematik hariç); sade web asla tekrarlanmaz.

  • İngilizce2,49TWeb HQ 1,34T · Sentetik Yüksek Kalite 0,66T · PDF'ler 0,32T · Web orta kalite 0,15T · Wiki 0,02T
  • Çok dilli2,18TWeb 0,79T · Web HQ 0,66T · PDF'ler 0,4T · Sentetik 0,28T · Wiki 0,05T
  • Kod0,77TGerçek kod 0,45T · Sentetik 0,31T
  • Matematik0,35TMatematik Ana Kaynak 0,21T · Matematik web 0,15T
  • SFT benzeri0,21TSoru-Cevap 0,12T · Matematik 0,07T · Kod 0,02T

Üç aşama, tek bir öğrenme hızı düşüşü

  1. Ana · 4,8T0–80% · 572,2k. adıma kadar
  2. Geçiş · 0,6T80–90% · 643,7k. adıma kadar
  3. Tavlama · 0,6T90–100% · 715,3k. adıma kadar
Öğrenme oranı programıDeğerlendirilen model: eğitimin sonu, 6T token.

Her aşama, kendi adım sınırında yüklenen ayrı bir veri karışımıdır. Geçiş: İkisi arasında, sabit öğrenme hızında bir köprüdür. Burada karışım, anneal aşamasına (daha yüksek kaliteli, QA, kod ve matematik verileri) doğru zaten yarı yola gelmiştir; böylece model, öğrenme hızının azalmasından önce uyum sağlar. Anneal: En yüksek kaliteli karışım; bu aşamada öğrenme oranı son %10 boyunca sıfıra düşer.

Her aşama giderek daha fazla kod, matematik ve SFT benzeri verilere yöneliyor.

Her aşamanın token'larının payı. Veriler alan alan değil, karıştırılarak beslenir: Her 2.048 dizilik grupta tüm alanlar yaklaşık olarak bu oranlarda bir araya getirilir. SFT benzeri (Soru-Cevap, matematik ve kodlama talimatı verileri): Ana aşamada %2, tüm çalıştırma boyunca %3,5.

Metodoloji

26 kıyaslama, tek bir harness, her model

Genel = ¼ İngilizce + ¼ Çok Dilli + ¼ Matematik + ¼ Kod. Her model, tarafımızca lm-evaluation-harness kullanılarak ve aynı yanıt biçimi düzeltmeleri uygulanarak puanlanır. Her çok dilli kıyaslama, İngilizce dışındaki 44 eğitim dilimiz üzerinden ortalaması alınarak hesaplanır.

  • İngilizce10

    • NLI
    • PAWS
    • Belebele (en)
    • COPA
    • PIQA
    • HellaSwag
    • WinoGrande
    • ARC-C
    • MMLU
    • MMLU-Pro

  • Çok dilli9

    • XNLI
    • PAWS-X
    • Belebele
    • XCOPA
    • Global PIQA NP
    • Global PIQA P
    • T-HellaSwag
    • INCLUDE
    • Global MMLU

  • Matematik3

    • GSM8K
    • MATH
    • MGSM

  • Kod4

    • MBPP
    • MBPP+
    • CRUX-I
    • CRUX-O

Göz atmak yok: Son eğitim aşamasında, bir ölçüt öğesi içeren tüm belgeler atlanır.

Sonuçlar

Dünya genelindeki küçük modeller arasında 36 model içinde 1. sırada

Genel, Metin ve Çok Dilli kategorilerinde birinci sırada; Genel kategorisinde granite-4.0-h-tiny modelinin 3,1 puan önünde.

Genel

Küçük modellerin sıralaması

#1

36 model arasından

Kategori sıralaması

  • Matematik ve Kodlama#1
  • Metin#1
  • Çok dilli#1

Ölçüt tanımı. Modelimiz, bağlamı 128K'ya genişletilmiş olan 6T tokenlik çalışmanın son kontrol noktasıdır; anneal işlemi, bir ölçüt öğesi içeren her belgeyi atlar. Sınıfı: En fazla 2B aktif parametreye sahip modeller (gemma-4-E2B, 2B etkin boyutunda). Çok dilli puanlar, her model için eğitim verdiğimiz İngilizce dışındaki 44 dildeki sonuçların ortalaması alınarak hesaplanır.

Sıralamalar

En iyi 12 küçük model

2B'ye kadar aktif parametreye sahip 36 model (gemma-4-E2B, 2B etkin boyutunda, toplam 5,1B). Eğitim dillerimizde çok dilli. Çubuklar 0'dan başlar.

  1. #1Lara Mini Base (A0.6B/7.2B)57,0
  2. #2IBM - granite-4.0-h-tiny (1B active)53,9
  3. #3Alibaba - Qwen3-1.7B53,8
  4. #4Falcon-H1-1.5B-Deep53,2
  5. #5Hunyuan-1.8B52,2
  6. #6LFM2.5-8B-A1B (1.7B active)50,8
  7. #7Trinity-Nano (1B active)50,7
  8. #8LFM3-1.7B49,2
  9. #9Qwen3.5-2B48,9
  10. #10Falcon-H1-1.5B48,8
  11. #11Qwen2.5-1.5B47,6
  12. #12granite-4.0-1b47,2
  13. #17Google - gemma-4-E2B41,9

Genel = ¼ İngilizce + ¼ Çok Dilli + ¼ Matematik + ¼ Kod.

Verimlilik

2B'nin altında 1 numara, yalnızca 0,6B aktif

Lara Mini Base, Qwen3-1.7B ve gemma-4-E2B gibi 3 kata kadar daha fazla aktif parametre kullanan modeller de dâhil olmak üzere, kendi sınıfındaki diğer 35 modelin tümünü geride bırakıyor.

20304050600,5B1B2BLara Mini Base (A0.6B/7.2B) · 57,0granite-4.0-h-tiny · 53,9gemma-4-E2B
Aktif parametrelere göre genel puan, logaritmik ölçek. Basamak çizgisi sınır niteliğindedir: Daha az aktif parametreye sahip hiçbir model bundan daha yüksek puan alamaz. gemma-4-E2B, 2B’lik etkin boyutuyla (toplam 5,1B) gösterilmiştir.

Sınırlı sürüm · Kimler edinebilir?

Lara Mini ne işe yarar?

  • Lara Translate uygulaması

    Çevrimdışı Çeviri

    Lara Mini, bir sonraki Lara Translate uygulamasının Lara 4 çevrim dışı çeviri özelliğinin temelini oluşturan modeldir. Metniniz asla telefondan çıkmaz ve her çeviri yine de bir saniyeden kısa sürer.

  • Translated müşterileri

    Küçük Temel LLM

    Translated'in seçili kurumsal müşterileri erişim sağlayabilecektir. Lara Mini, özel egemen uygulamalar için ince ayar yapılmak üzere tasarlanmıştır; mobil cihazlarda ve bulutumuzda çalışır; uçtan uca gecikmesi 20 ms'nin altındadır ve saniyede milyonlarca token işler.

  • Araştırma

    Yapay zekâ araştırmacıları

    Yapay zekâ araştırmacılarının sonuçlarımızı tekrarlamaları ve bunlar üzerine inşa ederek çok dilli araştırmaları daha da ileri götürmeleri için erişim.

Sırada ne var?

Üç yarışma, tek kural

Bir sonraki aşamayı yalnızca mevcut aşamada madalya kazanmamız hâlinde eğitiriz.

  1. Aşama 1

    Yerel

    Küçük · <2B etkin

    Kas 2026Lara Mini Base

    Lara Base (A0.6B/7.2B) ile küçük modeller kategorisinde birinci olun.

    Ara 2026Lara Mini

    Lara 4 Mini ve Lara Mini LLM, ultra düşük gecikme süresi ve mobil cihazlar için tasarlanmıştır.

    Madalya kazanıldı → Ulusal aşamada eğitim veriyoruz. Madalya yoksa duruyoruz.

  2. Aşama 2

    Ulusal

    Küçük · <10B aktif

    Mar 2027Lara Piccola Base (A7B/138B)

    Küçük kategorisine katılın ve orada da bir madalya kazanın.

    Nis 2027Lara 4 ve Lara Piccola LLM

    Lara 4 çeviri modeli ve AB egemenliğindeki bir A7B/138B modeli olan Lara Piccola LLM.

    Madalya kazanıldı → Olimpiyat aşaması için eğitim veriyoruz. Madalya yoksa duruyoruz.

  3. Aşama 3

    Olimpiyatlar

    Öncü · 40B+ aktif

    Ara 2027Lara Grande Base (A60B/1,2T)

    Dünyanın en iyi modellerine karşı, frontier kategorisine giriş yapın.

    Mar 2028Lara 5 ve Lara Grande LLM

    Lara 5, P95 seviyesindeki profesyonel çevirmenleri geride bırakıyor. Lara Grande: AB egemenliğinde bir frontier LLM; Çinli modellerin önünde, Anthropic ve OpenAI'a yaklaşan bir model.

Referans modeller: küçük Gemma 4 E2B · küçük Gemma 4B/26B · orta Qwen 17B/397B · öncü GPT-6 Astra, Claude 5.6, Kimi K3.

Eğitim bütçesi

Tek seferlik eğitim bütçeleri, sonraki sürümler

ModelToken'larFLOP'larDonanımGünlerEğitim maliyeti
Lara 4 PiccolaMoE 6,7B / 138B20T8,0 × 10²³512 × H10031$1,0M
Lara 4 GrandeMoE 60B / 1,2T24T8,6 × 10²⁴512 × Vera Rubin25$2,4M
Lara 4 SaggiaMoE 600B / 12T36T1,3 × 10²⁶2.304 × Vera Rubin83$36,6M
Referans amaçlı
Tipik sınırMoE 150B / 3T36T3,2 × 10²⁵4.096 × B20051$18,8M

Kaynak: Lara 4 LLM Eğitim Bütçesi Planlaması, 3 Kasım 2026 · FP8 · yalnızca işlem maliyeti · Saggia günleri, planın yöntemine göre tahmin edilmiştir

Sonraki eğitim

Lara Piccola Adayı

60 katman ve 138 milyar parametre: Gemma 4 31B'yi geçmeyi hedefleyen model.

  • 138Btoplam parametre sayısı
  • 6,7Btoken başına aktif
  • Tokenleştiriciyeni, yeniden dengelenmiş
  • 60katmanlar
  • 2816gizli boyut
  • 512 × 512uzmanlar, en iyi 8 + 2 ortak
  • 400k20T token için H100 GPU saati
  • 30 gün512 adet H100 GPU üzerinde
  • $1MEğitim çalıştırmasının maliyeti

  • Hedef: Küçük model sınıfında (<10B aktif) birinci olmak

    Mevcut liderler: Qwen3.5-122B-A10B, GLM-4.5-Air

  • Hedef: Çok dilli alanda Gemma 4 31B'yi geçmek

    Orta ölçekli model sınıfında, son derece çok dilli yoğun modelleri geride bırakın.

32 düğümde adım başına 30,7 s · Lara Mini Base ile aynı hibrit dikkat mekanizması (GDN, pencere, küresel)

Teknik rapor

Teknik raporu edinin

Lara Mini Base'in arkasındaki mimari, eğitim verileri, kıyaslamalar ve metodoloji tek bir belgede. Bilgilerinizi bırakın, size e-postayla gönderelim.

Daha fazla bilgi ve demo için Lara'nın benimle iletişime geçmesine izin veriyorum. Gizlilik Politikası*nı okudum ve kabul ediyorum

Lara ile çalışın

Lara'yı işe koymanın iki yolu

  • Üretken modelle ilgileniyor musunuz?

    Translated'ın seçilmiş kurumsal müşterileri erişim hakkına sahip olacaktır. Lara Mini, özel egemen uygulamalar için ince ayar yapılmaya uygun olacak şekilde tasarlanmıştır; mobil cihazlarda ve bulutumuzda çalışır; uçtan uca gecikmeyi 20 ms'nin altında tutarak saniyede milyonlarca token işler.

    Satış ekibiyle iletişime geçin

  • Lara ile çeviri yapın

    Bu araştırma üzerine geliştirilen çeviri aracı Lara ile metinleri, belgeleri ve sohbetleri çevirin.

    Lara'yı çeviri için kullanmaya başlayın