Logga inLogga inRegistrera digRegistrera dig gratisPrata med säljavdelningen

Alla AI-labb utgår från att fler språk gör en modell sämre.Vi satsar på motsatsen.

Lara Mini utvecklades som den allmänna LLM:en bakom Lara 4 Translation AI och byggdes från första början som den mest flerspråkiga och mångkulturella modellen.
Efter avslutad träning på 6T token rankas den som nummer 1 av 36 modeller i sin klass globalt.

Hämta den tekniska rapportenHämta modellen

Translated · historien bakom Lara

Mångfald är inte en kostnad för intelligens. Det är en källa till den.

  • Övertygelsen

    De stora labben tränar främst på engelska och betraktar andra språk och kulturer som brus som försämrar kvaliteten.

  • Satsningen

    Translated, vars uppgift är översättning, byggde Lara på verkliga texter skrivna på många språk och inom många kulturer. Genom att se en idé i många av dem förstår modellen idén bättre.

  • Beviset

    #1 av 36 modeller med upp till 2B aktiva parametrar globalt, tränad på 6T tokens, 128K kontext.

Körningen i korthet

Arkitektur

  • 0,6Baktiva parametrar per token (4 experter)
  • 7,2Btotalt antal parametrar, MoE med 128 experter, 1 delad
  • 34lager: minne (GDN), fönster och global uppmärksamhet
  • 128Ktokens i kontextfönstret

Data

  • 6Tträningstokens
  • 39 %av råa token filtrerade
  • 44 + ENspråk, samtliga 24 officiella EU-språk
  • 151 643tokens i ordlistan, ombalanserat för språk med få resurser

Så byggde vi den

En hybrid, gles design för den mest flerspråkiga modellen

En hybrid, gles modell: 34 lager, 128 experter

Tre typer av lager, en upprepande enhet

  • 14 minne · Gated DeltaNet: ett linjärt attention-tillstånd per head, uppdaterat token för token
  • 13 fönster · uppmärksamhet på de senaste 512 token, RoPE-positioner
  • 7 global · full uppmärksamhet, ingen positionskodning; det sista lagret är alltid globalt

Mixture of experts i varje lager

  • 4 av 128 dirigerade experter väljs per token av en router
  • 1 delad expert alltid aktiv
  • 0,6 miljarder av 7,2 miljarder parametrar aktiva per token; dold storlek 1 024, kopplade in- och utmatningsinbäddningar

Optimerare

Muon + AdamW

Varje momentumuppdatering ortogonaliseras (Newton–Schulz) innan den tillämpas, så att varje riktning i en viktmatris rör sig i liknande takt i stället för att några få riktningar dominerar.

Kontextfönster på 4 096 token under träning; ordförråd på 151 643 token.

Den mest flerspråkiga och mångkulturella modellen

6T träningstokens från en pool som deduplicerats över alla källor: 39 % av de råa tokenarna filtrerades bort. Ingen källa upprepas mer än 2 epoker (med undantag för wiki och matematik av hög kvalitet); vanlig webb upprepas aldrig.

  • Engelska2,49TWebb – hög kvalitet 1,34T · Syntetisk HQ 0,66T · PDF-filer 0,32T · Webb – medelhög kvalitet 0,15T · Wiki 0,02T
  • Flerspråkig2,18TWebb 0,79T · Webb – hög kvalitet 0,66T · PDF-filer 0,4T · Syntetisk 0,28T · Wiki 0,05T
  • Kod0,77TVerklig kod 0,45T · Syntetisk 0,31T
  • Matematik0,35TMatematik HQ 0,21T · Matematik på webben 0,15T
  • SFT-liknande0,21TFrågor och svar 0,12T · Matematik 0,07T · Kod 0,02T

Tre faser, en nedtrappning av inlärningshastigheten

  1. Huvud · 4,8T0–80% · till steg 572,2k
  2. Övergång · 0,6T80–90% · till steg 643,7k
  3. Utglödning · 0,6T90–100% · till steg 715,3k
Schema för inlärningshastighetUtvärderad modell: slutet av träningen, 6T tokens.

Varje steg är en separat datablandning som laddas vid stegets gräns. Övergång: en bro mellan de två vid den stabila inlärningshastigheten, där mixen redan rör sig halvvägs mot anneal-steget (mer högkvalitativa data, QA, kod och matematik) så att modellen hinner anpassa sig innan inlärningshastigheten börjar minska. Anneal: den högsta kvalitetsblandningen, medan inlärningshastigheten avtar till noll under de sista 10 %.

Varje steg lutar alltmer mot kod, matematik och SFT-liknande data

Andel av varje stegs tokens. Data blandas slumpmässigt och matas inte in domän för domän: varje batch med 2 048 sekvenser blandar alla domäner i ungefär dessa proportioner. SFT-liknande (data för frågor och svar, matematik och kodinstruktioner): 2 % i huvuddelen, 3,5 % över hela körningen.

Metod

26 benchmarktester, ett enda harness, alla modeller

Totalt = ¼ engelska + ¼ flerspråkigt + ¼ matematik + ¼ kod. Vi poängsätter varje modell med lm-evaluation-harness och med samma korrigeringar av svarsformatet. För varje flerspråkigt benchmark beräknas medelvärdet över våra 44 träningsspråk utöver engelska.

  • Engelska10

    • NLI
    • PAWS
    • Belebele (en)
    • COPA
    • PIQA
    • HellaSwag
    • WinoGrande
    • ARC-C
    • MMLU
    • MMLU-Pro

  • Flerspråkig9

    • XNLI
    • PAWS-X
    • Belebele
    • XCOPA
    • Global PIQA NP
    • Global PIQA P
    • T-HellaSwag
    • INCLUDE
    • Global MMLU

  • Matematik3

    • GSM8K
    • MATH
    • MGSM

  • Kod4

    • MBPP
    • MBPP+
    • CRUX-I
    • CRUX-O

Ingen tjuvkikning: Under den sista träningsfasen hoppas alla dokument över som innehåller ett benchmark-objekt.

Resultat

#1 av 36 bland små modeller världen över

Etta i kategorierna Övergripande, Text och Flerspråkigt, 3,1 poäng före granite-4.0-h-tiny i kategorin Övergripande.

Övergripande

Ranking av små modeller

#1

av 36 modeller

Kategorirankning

  • Matematik och kod#1
  • Text#1
  • Flerspråkigt#1

Definition av benchmark. Vår modell är den sista kontrollpunkten i körningen på 6T token, med kontexten utökad till 128K; dess anneal hoppar över alla dokument som innehåller ett benchmark-objekt. Dess klass: modeller med upp till 2B aktiva parametrar (gemma-4-E2B med sin effektiva storlek på 2B). De flerspråkiga poängen beräknas som medelvärden över de 44 språk som inte är engelska och som vi tränar på, för varje modell.

Rankningar

De 12 bästa små modellerna

36 modeller med upp till 2B aktiva parametrar (gemma-4-E2B med en effektiv storlek på 2B, totalt 5,1B). Flerspråkig på våra träningsspråk. Staplarna börjar från 0.

  1. #1Lara Mini Base (A0.6B/7.2B)57,0
  2. #2IBM - granite-4.0-h-tiny (1B active)53,9
  3. #3Alibaba - Qwen3-1.7B53,8
  4. #4Falcon-H1-1.5B-Deep53,2
  5. #5Hunyuan-1.8B52,2
  6. #6LFM2.5-8B-A1B (1.7B active)50,8
  7. #7Trinity-Nano (1B active)50,7
  8. #8LFM3-1.7B49,2
  9. #9Qwen3.5-2B48,9
  10. #10Falcon-H1-1.5B48,8
  11. #11Qwen2.5-1.5B47,6
  12. #12granite-4.0-1b47,2
  13. #17Google - gemma-4-E2B41,9

Totalt = ¼ engelska + ¼ flerspråkigt + ¼ matematik + ¼ kod.

Effektivitet

#1 under 2B, med endast 0,6B aktiva

Lara Mini Base överträffar alla 35 andra modeller i sin klass, inklusive modeller som använder upp till 3× fler aktiva parametrar, såsom Qwen3-1.7B och gemma-4-E2B.

20304050600,5B1B2BLara Mini Base (A0.6B/7.2B) · 57,0granite-4.0-h-tiny · 53,9gemma-4-E2B
Totalpoäng i förhållande till aktiva parametrar, logaritmisk skala. Steglinjen utgör gränsen: ingen modell med färre aktiva parametrar uppnår högre poäng. gemma-4-E2B visas med sin effektiva storlek på 2B (totalt 5,1B).

Begränsad utgåva · vem får den

Vad Lara Mini är till för

  • Appen Lara Translate

    Offlineöversättning

    Lara Mini är basmodellen bakom offlineöversättningsfunktionen i Lara 4 för nästa version av Lara Translate-appen. Din text lämnar aldrig telefonen, och varje översättning tar fortfarande under en sekund.

  • Translateds kunder

    Liten bas-LLM

    Utvalda företagskunder hos Translated kommer att ha åtkomst. Lara Mini är utformad för att finjusteras för specialiserade suveräna applikationer, körs på mobila enheter och levererar i vårt moln en end-to-end-latens på under 20 ms, med en genomströmning på miljontals tokens per sekund.

  • Forskning

    AI-forskare

    Tillgång för AI-forskare att reproducera våra resultat och bygga vidare på dem, vilket driver den flerspråkiga forskningen framåt.

Vad händer härnäst?

Tre tävlingar, en regel

Vi tränar nästa steg endast om vi vinner en medalj i det aktuella steget.

  1. Steg 1

    Lokal

    Tiny · <2B aktiva

    nov. 2026Lara Mini Base

    Vinn kategorin för små modeller med Lara Base (A0,6B/7,2B).

    dec. 2026Lara Mini

    Lara 4 Mini och Lara Mini LLM, för ultralåg latens och mobila enheter.

    Medalj vunnen → vi tränar för det nationella steget. Ingen medalj – vi avbryter.

  2. Steg 2

    Nationell

    Liten · <10B aktiv

    mars 2027Lara Piccola Base (A7B/138B)

    Gå in i den lilla kategorin och vinn en medalj där också.

    apr. 2027Lara 4 och Lara Piccola LLM

    Översättningsmodellen Lara 4 och LLM:en Lara Piccola, en EU-suverän A7B/138B-modell.

    Medalj vunnen → vi tränar för OS-etappen. Ingen medalj – vi avbryter.

  3. Steg 3

    Olympiska spelen

    Frontier · Över 40 miljarder aktiva

    dec. 2027Lara Grande Base (A60B/1,2T)

    Gå in i kategorin Frontier och tävla mot världens bästa modeller.

    mars 2028Lara 5 och Lara Grande LLM

    Lara 5 överträffar P95-proffsöversättare. Lara Grande: en EU-suverän spets-LLM som ligger före kinesiska modeller och närmar sig Anthropic och OpenAI.

Referensmodeller: tiny Gemma 4 E2B · small Gemma 4B/26B · medium Qwen 17B/397B · frontier GPT-6 Astra, Claude 5.6, Kimi K3.

Budget för träning

Budgetar för enstaka träningskörningar, kommande versioner

ModellTokensFLOP-värdenHårdvaraDagarKostnad för träning
Lara 4 PiccolaMoE 6,7B / 138B20T8,0 × 10²³512 × H10031$1,0M
Lara 4 GrandeMoE 60B / 1,2T24T8,6 × 10²⁴512 × Vera Rubin25$2,4M
Lara 4 SaggiaMoE 600B / 12T36T1,3 × 10²⁶2 304 × Vera Rubin83$36,6M
För referens
Typisk frontlinjeMoE 150B / 3T36T3,2 × 10²⁵4 096 × B20051$18,8M

Källa: Lara 4 LLM Training Budget Planning, 3 nov 2026 · FP8 · endast beräkningskostnad · Saggia-dagar uppskattade med planens metod

Nästa träning

Lara Piccola – kandidatmodell

60 lager och 138 miljarder parametrar: modellen som ska överträffa Gemma 4 31B.

  • 138Btotalt antal parametrar
  • 6,7Baktiva per token
  • Tokeniserareny, ombalanserad
  • 60lager
  • 2816dold storlek
  • 512 × 512experter, topp-8 + 2 delade
  • 400kH100 GPU-timmar för 20T tokens
  • 30 dagarpå 512 H100-grafikkort
  • $1MKostnad för träningskörning

  • Mål: vinna klassen för små modeller (<10B aktiva)

    Nuvarande ledare: Qwen3.5-122B-A10B, GLM-4.5-Air

  • Mål: slå Gemma 4 31B på flerspråkighet

    Överträffa höggradigt flerspråkiga täta modeller i klassen för medelstora modeller.

30,7 s per steg vid 32 noder · samma hybridattention som Lara Mini Base (GDN, window, global)

Teknisk rapport

Hämta den tekniska rapporten

Arkitektur, träningsdata, benchmarker och metodik bakom Lara Mini Base – allt i ett enda dokument. Lämna dina uppgifter så skickar vi det till dig via e-post.

Jag samtycker till att bli kontaktad av Lara för ytterligare information och demo. Jag har läst och godkänner integritetspolicyn*

Arbeta med Lara

Två sätt att sätta Lara i arbete

  • Är du intresserad av den generativa modellen?

    Utvalda företagskunder hos Translated kommer att ha åtkomst. Lara Mini är utformad för att finjusteras för specialiserade suveräna applikationer, körs på mobila enheter och levererar i vår molntjänst en end-to-end-latens under 20 ms, med en kapacitet på miljontals tokens per sekund.

    Kontakta försäljningsavdelningen

  • Översätt med Lara

    Översätt text, dokument och konversationer med Lara, översättaren som bygger på denna forskning.

    Börja använda Lara för översättning