Logg påLogg påRegistrer degRegistrer deg gratisSnakk med salgsavdelingen

Alle AI-laboratorier antar at flere språk gjør en modell dårligere.Vi satser på det motsatte.

Lara Mini ble utviklet som den generelle LLM-en under Lara 4 Translation AI og var fra første dag bygget som den mest flerspråklige og flerkulturelle modellen.
Etter å ha fullført treningen på 6T tokener rangerer den som nr. 1 blant 36 modeller i sin klasse globalt.

Hent den tekniske rapportenHent modellen

Translated · historien bak Lara

Mangfold er ikke en kostnad for intelligens. Den er en kilde til det.

  • Overbevisningen

    De store laboratoriene trener for det meste på engelsk og behandler andre språk og kulturer som støy som reduserer kvaliteten.

  • Satsingen

    Translated, som har oversettelse som kjernevirksomhet, utviklet Lara basert på reell tekst skrevet på mange språk og fra mange kulturer. Ved å se én idé gjennom mange av dem, forstår modellen ideen bedre.

  • Beviset

    Nr. 1 av 36 modeller med opptil 2 mrd. aktive parametere på verdensbasis, trent på 6 bild. tokens, 128 000 kontekst.

Kjøringen i korte trekk

Arkitektur

  • 0,6 mrd.aktive parametere per token (4 eksperter)
  • 7,2 mrd.totalt antall parametere, MoE med 128 eksperter, 1 delt
  • 34lag: minne (GDN), vindu og global oppmerksomhet
  • 128Ktokens i kontekstvinduet

Data

  • 6Ttrenings-tokens
  • 39 %av rå-tokens filtrert
  • 44 + ENspråk, alle EUs 24 offisielle språk
  • 151 643tokens i vokabular, rebalansert for språk med få ressurser

Slik utviklet vi den

En hybrid, sparsom utforming for den mest flerspråklige modellen

En hybrid, sparsom modell: 34 lag, 128 eksperter

Tre typer lag, én repeterende enhet

  • 14 minne · Gated DeltaNet: en lineær oppmerksomhetstilstand per head, oppdatert token for token
  • 13 vindu · oppmerksomhet rettet mot de siste 512 tokenene, RoPE-posisjoner
  • 7 global · full oppmerksomhet, ingen posisjonskoding; det siste laget er alltid globalt

Blanding av eksperter i hvert lag

  • 4 av 128 rutede eksperter valgt per token av en ruter
  • 1 delt ekspert alltid aktiv
  • 0,6 mrd. av 7,2 mrd. parametere er aktive per token; skjult størrelse 1 024, sammenkoblede inn- og utdata-embeddinger

Optimaliserer

Muon + AdamW

Hver momentumoppdatering ortogonaliseres (Newton–Schulz) før den anvendes, slik at alle retningene i en vektmatrise beveger seg med omtrent samme hastighet, i stedet for at noen få dominerer.

Kontekstvindu på 4 096 tokener under trening; vokabular på 151 643 tokener.

Den mest flerspråklige og flerkulturelle modellen

6T trenings-tokens fra en pool som er deduplisert på tvers av alle kilder: 39 % av rå-tokens ble filtrert bort. Ingen kilde gjentas mer enn 2 epoker (unntatt wiki og matematikk av høy kvalitet); vanlig nett gjentas aldri.

  • Engelsk2,49TNettsted av høy kvalitet 1,34T · Syntetisk HQ 0,66T · PDF-filer 0,32T · Nett – middels kvalitet 0,15T · Wiki 0,02T
  • Fler-språklig2,18TNett 0,79T · Nettsted av høy kvalitet 0,66T · PDF-filer 0,4T · Syntetisk 0,28T · Wiki 0,05T
  • Kode0,77TEkte kode 0,45T · Syntetisk 0,31T
  • Matematikk0,35TMatematikk HQ 0,21T · Matematikk på nett 0,15T
  • SFT-lignende0,21TKvalitetssikring 0,12T · Matematikk 0,07T · Programmering 0,02T

Tre faser, én reduksjon av læringsraten

  1. Hoved · 4,8T0–80% · til trinn 572,2k
  2. Overgang · 0,6T80–90% · til trinn 643,7k
  3. Utgløding · 0,6T90–100% · til trinn 715,3k
Tidsplan for læringsrateEvaluert modell: slutten av treningen, 6T tokens.

Hvert trinn er en egen datablanding som lastes inn ved trinngrensen. Overgang: en bro mellom de to fasene ved stabil læringsrate, der blandingen allerede er halvveis på vei mot anneal-fasen (mer data av høy kvalitet, QA, kode og matematikk), slik at modellen tilpasser seg før læringsraten begynner å avta. Anneal: Den høyeste kvalitetsblandingen, mens læringsraten avtar til null i løpet av de siste 10 %.

Hvert trinn legger større vekt på kode, matematikk og SFT-lignende data.

Andel av tokenene i hver fase. Dataene stokkes, ikke mates domene for domene: Hvert parti på 2 048 sekvenser blander alle domenene omtrent i disse proporsjonene. SFT-lignende (data for spørsmål-og-svar, matematikk og kodeinstruksjoner): 2 % i hoveddelen, 3,5 % over hele kjøringen.

Metodikk

26 benchmarker, ett harness, alle modeller

Totalt = ¼ engelsk + ¼ flerspråklig + ¼ matematikk + ¼ kode. Hver modell blir vurdert av oss med lm-evaluation-harness og de samme korreksjonene for svarformat. Hver flerspråklige benchmark beregnes som et gjennomsnitt over våre 44 treningsspråk utenom engelsk.

  • Engelsk10

    • NLI
    • PAWS
    • Belebele (en)
    • COPA
    • PIQA
    • HellaSwag
    • WinoGrande
    • ARC-C
    • MMLU
    • MMLU-Pro

  • Fler-språklig9

    • XNLI
    • PAWS-X
    • Belebele
    • XCOPA
    • Global PIQA NP
    • Global PIQA P
    • T-HellaSwag
    • INCLUDE
    • Global MMLU

  • Matematikk3

    • GSM8K
    • MATH
    • MGSM

  • Programmering4

    • MBPP
    • MBPP+
    • CRUX-I
    • CRUX-O

Ingen snoking: I den siste treningsfasen hoppes alle dokumenter over som inneholder et benchmark-element.

Resultater

Nr. 1 av 36 blant små modeller globalt

Førsteplass på Samlet, Tekst og Flerspråklig, 3,1 poeng foran granite-4.0-h-tiny på Samlet.

Samlet

Rangering av små modeller

#1

av 36 modeller

Rangering etter kategori

  • Matematikk og kode#1
  • Tekst#1
  • Fler-språklig#1

Definisjon av benchmark. Modellen vår er det siste kontrollpunktet i 6T‑token-kjøringen, med kontekst utvidet til 128K; anneal-prosessen hopper over alle dokumenter som inneholder et benchmark-element. Klassen den tilhører: Modeller med opptil 2B aktive parametere (gemma-4-E2B med en effektiv størrelse på 2B). For hver modell beregnes gjennomsnittet av flerspråklige poengsummer over de 44 ikke-engelske språkene vi trener på.

Rangeringer

De 12 beste bittesmå modellene

36 modeller med opptil 2B aktive parametere (gemma-4-E2B med en effektiv størrelse på 2B, totalt 5,1B). Fler-språklig på våre treningsspråk. Stolpene starter fra 0.

  1. #1Lara Mini Base (A0.6B/7.2B)57,0
  2. #2IBM - granite-4.0-h-tiny (1B active)53,9
  3. #3Alibaba - Qwen3-1.7B53,8
  4. #4Falcon-H1-1.5B-Deep53,2
  5. #5Hunyuan-1.8B52,2
  6. #6LFM2.5-8B-A1B (1.7B active)50,8
  7. #7Trinity-Nano (1B active)50,7
  8. #8LFM3-1.7B49,2
  9. #9Qwen3.5-2B48,9
  10. #10Falcon-H1-1.5B48,8
  11. #11Qwen2.5-1.5B47,6
  12. #12granite-4.0-1b47,2
  13. #17Google - gemma-4-E2B41,9

Samlet = ¼ engelsk + ¼ flerspråklig + ¼ matematikk + ¼ kode.

Effektivitet

Nr. 1 blant modeller under 2B, med kun 0,6B aktive

Lara Mini Base scorer høyere enn alle de 35 andre modellene i sin klasse, inkludert modeller som bruker opptil 3× flere aktive parametere, som Qwen3-1.7B og gemma-4-E2B.

20304050600,5B1B2BLara Mini Base (A0.6B/7.2B) · 57,0granite-4.0-h-tiny · 53,9gemma-4-E2B
Samlet poengsum i forhold til aktive parametere, logaritmisk skala. Trinnlinjen markerer grensen: Ingen modell med færre aktive parametere oppnår høyere poengsum. gemma-4-E2B er tegnet med sin effektive størrelse på 2B (totalt 5,1B).

Begrenset utgivelse · hvem får den

Hva Lara Mini er til for

  • Lara Translate-appen

    Frakoblet oversettelse

    Lara Mini er basemodellen bak funksjonen for frakoblet oversettelse i Lara 4, som vil være en del av den neste Lara Translate-appen. Teksten din forlater aldri telefonen, og hver oversettelse tar fortsatt under ett sekund.

  • Translated-kunder

    Liten grunnmodell-LLM

    Utvalgte bedriftskunder hos Translated vil få tilgang. Lara Mini er utviklet for å finjusteres til spesialiserte, suverene applikasjoner, kjører på mobile enheter og leverer i skyen vår en ende-til-ende-forsinkelse på under 20 ms, med en gjennomstrømning på millioner av tokens per sekund.

  • Forskning

    KI-forskere

    Tilgang for KI-forskere til å reprodusere resultatene våre og bygge videre på dem, slik at flerspråklig forskning kan utvikles ytterligere.

Hva skjer videre?

Tre konkurranser, én regel

Vi trener neste fase kun dersom vi vinner en medalje i den nåværende fasen.

  1. Fase 1

    Lokal

    Svært liten · <2B aktive

    nov. 2026Lara Mini Base

    Vinn «tiny»-kategorien med Lara Base (A0,6B/7,2B).

    des. 2026Lara Mini

    Lara 4 Mini og Lara Mini LLM, for ultralav latens og mobile enheter.

    Medalje vunnet → vi trener for det nasjonale stadiet. Ingen medalje – vi stopper.

  2. Fase 2

    Nasjonalt

    Liten · <10B aktiv

    mars 2027Lara Piccola Base (A7B/138B)

    Delta i kategorien for små modeller og vinn en medalje der også.

    apr. 2027Lara 4 og Lara Piccola LLM

    Lara 4-oversettelsesmodellen og Lara Piccola LLM, en EU-suveren A7B/138B-modell.

    Medalje vunnet → vi trener på OL-stadiet. Ingen medalje – vi stopper.

  3. Fase 3

    Olympiske leker

    Frontier · Over 40 mrd. aktive

    des. 2027Lara Grande Base (A60B/1,2T)

    Gå inn i frontier-kategorien, mot verdens beste modeller.

    mars 2028Lara 5 og Lara Grande LLM

    Lara 5 overgår P95 pro-oversettere. Lara Grande: en EU-suveren frontlinje-LLM som ligger foran kinesiske modeller og nærmer seg Anthropic og OpenAI.

Referansemodeller: tiny Gemma 4 E2B · small Gemma 4B/26B · medium Qwen 17B/397B · frontier GPT-6 Astra, Claude 5.6, Kimi K3.

Treningsbudsjett

Budsjetter for enkeltkjøringer av trening, kommende utgivelser

ModellTokenerFLOP-erMaskinvareDagerTreningskostnad
Lara 4 PiccolaMoE 6,7B / 138B20T8,0 × 10²³512 × H10031$1,0M
Lara 4 GrandeMoE 60B / 1,2T24T8,6 × 10²⁴512 × Vera Rubin25$2,4M
Lara 4 SaggiaMoE 600B / 12T36T1,3 × 10²⁶2 304 × Vera Rubin83$36,6M
Til referanse
Typisk frontlinjeMoE 150B / 3T36T3,2 × 10²⁵4 096 × B20051$18,8M

Kilde: Lara 4 LLM Budsjettplanlegging for trening, 3. november 2026 · FP8 · kun beregningskostnader · Saggia-dager estimert med planens metode

Neste treningsøkt

Lara Piccola-kandidat

60 lag og 138 mrd. parametere: modellen som skal slå Gemma 4 31B.

  • 138Btotalt antall parametere
  • 6,7Baktive per token
  • Tokenisererny, balansert på nytt
  • 60lag
  • 2816skjult størrelse
  • 512 × 512eksperter, topp-8 + 2 delte
  • 400kH100 GPU-timer for 20T tokens
  • 30 dagerpå 512 H100-grafikkprosessorer
  • $1MKostnad for treningskjøring

  • Mål: vinne klassen for små modeller (<10 mrd. aktive)

    Dagens ledere: Qwen3.5-122B-A10B, GLM-4.5-Air

  • Mål: Slå Gemma 4 31B på flerspråklighet

    Slå svært flerspråklige tette modeller i klassen for mellomstore modeller.

30,7 s per trinn på 32 noder · samme hybrid oppmerksomhet som Lara Mini Base (GDN, vindu, global)

Teknisk rapport

Hent den tekniske rapporten

Arkitektur, treningsdata, benchmarker og metodikk bak Lara Mini Base – samlet i ett dokument. Oppgi kontaktopplysningene dine, så sender vi det til deg på e-post.

Jeg samtykker i at Lara kan kontakte meg for ytterligere informasjon og demo. Jeg har lest og godtar personvernerklæringen*

Jobb med Lara

To måter å sette Lara i arbeid på

  • Interessert i den generative modellen?

    Utvalgte bedriftskunder hos Translated vil få tilgang. Lara Mini er utviklet for å finjusteres til spesialiserte, suverene applikasjoner, kjører på mobile enheter og leverer i skyen vår en ende-til-ende-latens på under 20 ms, med en gjennomstrømning på millioner av tokens per sekund.

    Kontakt salgsavdelingen

  • Oversett med Lara

    Oversett tekst, dokumenter og samtaler med Lara, oversetteren utviklet på grunnlag av denne forskningen.

    Begynn å bruke Lara til oversettelse