Log påLog påTilmeld digTilmeld dig gratisTal med salgsafdelingen

Alle AI-laboratorier antager, at flere sprog gør en model dårligere.Vi satser på det modsatte.

Lara Mini blev udviklet som den generelle LLM under Lara 4 Translation AI og var fra første dag designet som den mest flersprogede og multikulturelle model.
Ved afslutningen af sin træning på 6T‑tokens rangerer den som nr. 1 ud af 36 modeller i sin klasse på verdensplan.

Hent den tekniske rapportHent modellen

Translated · historien bag Lara

Mangfoldighed er ikke en omkostning for intelligens. Det er en kilde til den.

  • Overbevisningen

    De store laboratorier træner primært på engelsk og betragter andre sprog og kulturer som støj, der forringer kvaliteten.

  • Satsningen

    Translated, hvis opgave er oversættelse, udviklede Lara på baggrund af autentiske tekster skrevet på mange sprog og fra mange kulturer. Ved at se én idé gennem mange af dem forstår modellen idéen bedre.

  • Beviset

    Nr. 1 ud af 36 modeller med op til 2B aktive parametre på verdensplan, trænet på 6T tokens, 128K kontekst.

Kørselsforløbet i overblik

Arkitektur

  • 0,6 mia.aktive parametre per token (4 eksperter)
  • 7,2 mia.samlet antal parametre, MoE med 128 eksperter, 1 delt
  • 34lag: hukommelse (GDN), vindue og global opmærksomhed
  • 128Ktokens i kontekstvinduet

Data

  • 6Ttræningstokens
  • 39 %af rå tokens filtreret
  • 44 + ENsprog, alle 24 officielle EU-sprog
  • 151.643tokens i ordforrådet, justeret for bedre dækning af sprog med få ressourcer

Sådan byggede vi den

Et hybridt, spredt design til den mest flersprogede model

En hybrid, sparsom model: 34 lag, 128 eksperter

Tre typer lag, én gentagende enhed

  • 14 hukommelse · Gated DeltaNet: en lineær-attention-tilstand per head, opdateret token for token
  • 13 vindue · opmærksomhed på de seneste 512 tokens, RoPE-positioner
  • 7 global · fuld opmærksomhed, ingen positionskodning; det sidste lag er altid globalt

Mixture of experts i hvert lag

  • 4 ud af 128 dirigerede eksperter udvalgt per token af en router
  • 1 delt ekspert er altid aktiv
  • 0,6 mia. ud af 7,2 mia. parametre er aktive per token; skjult størrelse 1.024, bundne input- og output-embeddings

Optimeringsteknik

Muon + AdamW

Hver momentumopdatering ortogonaliseres (Newton–Schulz), før den anvendes, således at alle retninger i en vægtmatrix bevæger sig med en tilsvarende hastighed i stedet for, at nogle få dominerer.

Kontekstvindue på 4.096 tokens under træning; ordforråd på 151.643 tokens.

Den mest flersprogede og multikulturelle model

6T træningstokens fra en pulje, der er deduplikeret på tværs af alle kilder: 39 % af de rå tokens blev filtreret fra. Ingen kilde gentages mere end 2 epoker (undtagen wiki og matematik af høj kvalitet); almindeligt webindhold gentages aldrig.

  • Engelsk2,49TWeb-HQ 1,34T · Syntetisk HQ 0,66T · PDF-filer 0,32T · Web – mellem kvalitet 0,15T · Wiki 0,02T
  • Flersproget2,18TWeb 0,79T · Web-HQ 0,66T · PDF-filer 0,4T · Syntetisk 0,28T · Wiki 0,05T
  • Kode0,77TÆgte kode 0,45T · Syntetisk 0,31T
  • Matematik0,35TMatematik HQ 0,21T · Matematik på nettet 0,15T
  • SFT-lignende0,21TSpørgsmål og svar 0,12T · Matematik 0,07T · Kode 0,02T

Tre faser, én nedtrapning af læringshastigheden

  1. Hoveddel · 4,8T0–80% · til trin 572,2k
  2. Overgang · 0,6T80–90% · til trin 643,7k
  3. Annealing · 0,6T90–100% · til trin 715,3k
Tidsplan for læringshastighedEvalueret model: afslutningen af træningen, 6T tokens.

Hver fase er en separat datablanding, der indlæses ved dens trinovergang. Overgang: en bro mellem de to ved den stabile læringshastighed, hvor blandingen allerede er halvvejs på vej mod anneal-fasen (data af højere kvalitet, QA, kode og matematik), så modellen tilpasser sig, før læringshastigheden falder. Anneal: Den højeste kvalitetsblanding, mens indlæringshastigheden falder til nul i løbet af de sidste 10 %.

Hvert trin lægger i højere grad vægt på kode, matematik og SFT-lignende data

Andel af hver fases tokens. Dataene blandes og tilføres ikke domæne for domæne: Hvert batch på 2.048 sekvenser kombinerer alle domæner i omtrent disse proportioner. SFT-lignende (data med spørgsmål-svar, matematik og kodeinstruktioner): 2 % i hovedfasen, 3,5 % over hele forløbet.

Metode

26 benchmarks, én harness, alle modeller

Samlet = ¼ engelsk + ¼ flersproget + ¼ matematik + ¼ kode. Vi scorer hver model med lm-evaluation-harness og de samme korrektioner af svarformatet. Hvert flersprogede benchmark beregnes som et gennemsnit over vores 44 ikke-engelske træningssprog.

  • Engelsk10

    • NLI
    • PAWS
    • Belebele (en)
    • COPA
    • PIQA
    • HellaSwag
    • WinoGrande
    • ARC-C
    • MMLU
    • MMLU-Pro

  • Flersproget9

    • XNLI
    • PAWS-X
    • Belebele
    • XCOPA
    • Global PIQA NP
    • Global PIQA P
    • T-HellaSwag
    • INCLUDE
    • Global MMLU

  • Matematik3

    • GSM8K
    • MATH
    • MGSM

  • Kode4

    • MBPP
    • MBPP+
    • CRUX-I
    • CRUX-O

Ingen snyd: I den afsluttende træningsfase springes alle dokumenter over, der indeholder et benchmark-element.

Resultater

Nr. 1 ud af 36 blandt små modeller på verdensplan

Førsteplads i kategorierne Samlet, Tekst og Flersproget, 3,1 point foran granite-4.0-h-tiny i kategorien Samlet.

Samlet

Rangering af små modeller

#1

ud af 36 modeller

Rangering efter kategori

  • Matematik og kode#1
  • Tekst#1
  • Flersproget#1

Definition af benchmark. Vores model er det sidste checkpoint i 6T‑token-kørslen, og dens kontekst er udvidet til 128K; dens anneal springer alle dokumenter over, der indeholder et benchmark-element. Dens klasse: Modeller med op til 2B aktive parametre (gemma-4-E2B ved sin effektive størrelse på 2B). De flersprogede scorer er gennemsnittet af de 44 ikke-engelske sprog, vi træner på, for hver model.

Ranglister

De 12 bedste tiny-modeller

36 modeller med op til 2 milliarder aktive parametre (gemma-4-E2B med en effektiv størrelse på 2 milliarder og en samlet størrelse på 5,1 milliarder). Flersproget på vores træningssprog. Søjlerne starter fra 0.

  1. #1Lara Mini Base (A0.6B/7.2B)57,0
  2. #2IBM - granite-4.0-h-tiny (1B active)53,9
  3. #3Alibaba - Qwen3-1.7B53,8
  4. #4Falcon-H1-1.5B-Deep53,2
  5. #5Hunyuan-1.8B52,2
  6. #6LFM2.5-8B-A1B (1.7B active)50,8
  7. #7Trinity-Nano (1B active)50,7
  8. #8LFM3-1.7B49,2
  9. #9Qwen3.5-2B48,9
  10. #10Falcon-H1-1.5B48,8
  11. #11Qwen2.5-1.5B47,6
  12. #12granite-4.0-1b47,2
  13. #17Google - gemma-4-E2B41,9

Samlet = ¼ engelsk + ¼ flersproget + ¼ matematik + ¼ kode.

Effektivitet

#1 under 2B, med kun 0,6B aktive

Lara Mini Base overgår alle de 35 andre modeller i sin klasse, herunder modeller, der bruger op til 3× flere aktive parametre, såsom Qwen3-1.7B og gemma-4-E2B.

20304050600,5B1B2BLara Mini Base (A0.6B/7.2B) · 57,0granite-4.0-h-tiny · 53,9gemma-4-E2B
Samlet score i forhold til aktive parametre, logaritmisk skala. Trinlinjen udgør grænsen: Ingen model med færre aktive parametre opnår en højere score. gemma-4-E2B er afbildet med sin effektive størrelse på 2B (samlet 5,1B).

Begrænset udgivelse · hvem får adgang til den?

Hvad Lara Mini er til for

  • Lara Translate-appen

    Oversættelse offline

    Lara Mini er basismodellen bag Lara 4's offlineoversættelsesfunktion i den næste Lara Translate-app. Din tekst forlader aldrig telefonen, og hver oversættelse tager stadig under et sekund.

  • Translateds kunder

    Lille basis-LLM

    Udvalgte erhvervskunder hos Translated får adgang. Lara Mini er designet til at blive finjusteret til specialiserede suveræne applikationer, kører på mobilenheder og leverer i vores cloud en end-to-end-forsinkelse på under 20 ms, hvilket giver millioner af tokens pr. sekund.

  • Forskning

    AI-forskere

    Adgang for AI-forskere til at reproducere vores resultater og bygge videre på dem, hvilket fremmer den flersprogede forskning yderligere.

Hvad sker der nu?

Tre konkurrencer, én regel

Vi træner først næste fase, hvis vi vinder en medalje i den nuværende.

  1. Fase 1

    Lokal

    Tiny · <2B aktive

    nov. 2026Lara Mini Base

    Vind kategorien for små modeller med Lara Base (A0,6B/7,2B).

    dec. 2026Lara Mini

    Lara 4 Mini og Lara Mini LLM – til ultralav latens og mobilenheder.

    Medalje vundet → vi træner det nationale trin. Ingen medalje – så stopper vi.

  2. Fase 2

    Nationalt

    Lille · <10B aktiv

    mar. 2027Lara Piccola Base (A7B/138B)

    Deltag i kategorien for små modeller, og vind også en medalje der.

    apr. 2027Lara 4 og Lara Piccola LLM

    Lara 4-oversættelsesmodellen og Lara Piccola LLM, en EU-suveræn A7B/138B-model.

    Medalje vundet → vi træner til OL-stadiet. Ingen medalje – så stopper vi.

  3. Fase 3

    De Olympiske Lege

    Frontier · Over 40 mia. aktive

    dec. 2027Lara Grande Base (A60B/1,2T)

    Deltag i frontier-kategorien og konkurrer mod verdens bedste modeller.

    mar. 2028Lara 5 og Lara Grande LLM

    Lara 5 overgår P95-proffoversættere. Lara Grande: en EU-suveræn frontier-LLM, der ligger foran kinesiske modeller og nærmer sig Anthropic og OpenAI.

Referencemodeller: tiny Gemma 4 E2B · small Gemma 4B/26B · medium Qwen 17B/397B · frontier GPT-6 Astra, Claude 5.6, Kimi K3.

Budget for træning

Budgetter for træning i én gennemkørsel, kommende udgivelser

ModelTokensFLOP'erHardwareDageOmkostninger til træning
Lara 4 PiccolaMoE 6,7B / 138B20T8,0 × 10²³512 × H10031$1,0M
Lara 4 GrandeMoE 60B / 1,2T24T8,6 × 10²⁴512 × Vera Rubin25$2,4M
Lara 4 SaggiaMoE 600B / 12T36T1,3 × 10²⁶2.304 × Vera Rubin83$36,6M
Til reference
Typisk frontlinjeMoE 150B / 3T36T3,2 × 10²⁵4.096 × B20051$18,8M

Kilde: Lara 4 LLM – Budgetplanlægning for træning, 3. november 2026 · FP8 · Kun beregningsomkostninger · Saggia-dage estimeret ved hjælp af planens metode

Næste træning

Lara Piccola-kandidat

60 lag og 138 milliarder parametre: Modellen, der skal slå Gemma 4 31B.

  • 138Bsamlet antal parametre
  • 6,7Baktive per token
  • Tokenisatorny, genbalanceret
  • 60lag
  • 2816skjult størrelse
  • 512 × 512eksperter, top-8 + 2 delte
  • 400kH100 GPU-timer for 20T tokens
  • 30 dagepå 512 H100-grafikkort
  • $1MOmkostninger ved træningskørsel

  • Mål: At vinde klassen for små modeller (<10 mia. aktive)

    Aktuelle førende modeller: Qwen3.5-122B-A10B, GLM-4.5-Air

  • Mål: At overgå Gemma 4 31B på flersprogethed

    Overgå stærkt flersprogede, tætte modeller i klassen for mellemstore modeller.

30,7 s per trin ved 32 noder · samme hybridattention som Lara Mini Base (GDN, window, global)

Teknisk rapport

Hent den tekniske rapport

Arkitektur, træningsdata, benchmarks og metodologi bag Lara Mini Base – samlet i ét dokument. Angiv dine kontaktoplysninger, så sender vi det til dig via e-mail.

Jeg giver samtykke til at blive kontaktet af Lara for yderligere information og demo. Jeg har læst og accepterer Fortrolighedspolitikken*

Arbejd med Lara

To måder at sætte Lara i arbejde på

  • Er du interesseret i den generative model?

    Udvalgte Translated-erhvervskunder får adgang. Lara Mini er designet til at blive finjusteret til specialiserede suveræne applikationer, kører på mobilenheder og leverer i vores cloud en end-to-end-forsinkelse på under 20 ms, hvilket giver millioner af tokens pr. sekund.

    Kontakt salgsafdelingen

  • Oversæt med Lara

    Oversæt tekst, dokumenter og samtaler med Lara, oversætteren, der er udviklet på baggrund af denne forskning.

    Begynd at bruge Lara til oversættelse