AanmeldenAanmeldenAanmeldenGratis aanmeldenNeem contact op met de verkoopafdeling

Elk AI-lab gaat ervan uit dat meer talen een model slechter maken.Wij zetten in op het tegenovergestelde.

Lara Mini, ontstaan als de algemene LLM onder Lara 4 Translation AI, werd vanaf de eerste dag ontwikkeld als het meest meertalige en multiculturele model.
Aan het einde van de training met 6T tokens staat het op de 1e plaats van 36 modellen in zijn klasse wereldwijd.

Download het technische rapportHet model downloaden

Translated · het verhaal achter Lara

Diversiteit is geen last voor intelligentie. Het is er juist een bron van.

  • De overtuiging

    De grote labs trainen voornamelijk op het Engels en beschouwen andere talen en culturen als ruis die ten koste gaat van de kwaliteit.

  • De weddenschap

    Translated, dat zich bezighoudt met vertalen, heeft Lara gebouwd op basis van echte teksten die in vele talen en culturen zijn geschreven. Door één idee in veel van die talen en culturen te zien, begrijpt het model het idee beter.

  • Het bewijs

    #1 van 36 modellen met maximaal 2B actieve parameters wereldwijd, getraind op 6T tokens, 128K context.

De run in één oogopslag

Architectuur

  • 0,6 mldactieve parameters per token (4 experts)
  • 7,2 mldtotaal aantal parameters, MoE met 128 experts, 1 gedeeld
  • 34lagen: geheugen (GDN), venster en globale aandacht
  • 128Ktokens van het contextvenster

Gegevens

  • 6Ttokens voor training
  • 39%van de ruwe tokens gefilterd
  • 44 + ENtalen, alle 24 officiële EU-talen
  • 151.643tokens in woordenlijst, opnieuw afgestemd op talen met weinig beschikbare gegevens

Hoe we het hebben gebouwd

Een hybride, sparse ontwerp voor het meest meertalige model

Een hybride, sparse model: 34 lagen, 128 experts

Drie soorten lagen, één herhalende eenheid

  • 14 geheugen · Gated DeltaNet: een lineaire-aandachtstoestand per head, token voor token bijgewerkt
  • 13 venster · aandacht voor de laatste 512 tokens, RoPE-posities
  • 7 globaal · volledige aandacht, geen positionele codering; de laatste laag is altijd globaal

Mixture of experts in elke laag

  • 4 van de 128 gerouteerde experts worden per token door een router gekozen
  • 1 gedeelde expert altijd actief
  • 0,6 miljard van 7,2 miljard parameters actief per token; verborgen grootte 1.024, gekoppelde input- en outputembeddings

Optimalisator

Muon + AdamW

Elke momentum-update wordt georthogonaliseerd (Newton–Schulz) voordat deze wordt toegepast, zodat elke richting van een gewichtsmatrix met een vergelijkbare snelheid beweegt in plaats van dat er een paar richtingen domineren.

Contextvenster van 4.096 tokens tijdens de training; woordenschat van 151.643 tokens.

Het meest meertalige en multiculturele model

6T trainingstokens uit een pool die over alle bronnen is gededupliceerd: 39% van de ruwe tokens is eruit gefilterd. Geen enkele bron wordt vaker dan 2 epochen herhaald (met uitzondering van wiki en hoogwaardige wiskunde); gewone webinhoud wordt nooit herhaald.

  • Engels2,49THoogwaardig webmateriaal 1,34T · Synthetische HQ 0,66T · PDF's 0,32T · Web – gemiddeld 0,15T · Wiki 0,02T
  • Meertalig2,18TWeb 0,79T · Hoogwaardig webmateriaal 0,66T · PDF's 0,4T · Synthetisch 0,28T · Wiki 0,05T
  • Code0,77TEchte code 0,45T · Synthetisch 0,31T
  • Wiskunde0,35TWiskunde HQ 0,21T · Wiskunde op het web 0,15T
  • SFT-achtig0,21TQA 0,12T · Wiskunde 0,07T · Code 0,02T

Drie fasen, één afname van de leersnelheid

  1. Hoofd · 4,8T0–80% · tot stap 572,2k
  2. Overgang · 0,6T80–90% · tot stap 643,7k
  3. Annealen · 0,6T90–100% · tot stap 715,3k
Schema voor de leersnelheidGeëvalueerd model: einde van de training, 6T tokens.

Elke fase is een afzonderlijke datamix die wordt geladen bij de grens van de betreffende stap. Overgang: een brug tussen de twee fasen bij de stabiele leersnelheid, waarbij de mix al halverwege de anneal-fase staat (meer hoogwaardige gegevens, QA, code en wiskundige gegevens), zodat het model zich aanpast voordat de afname intreedt. Anneal: de mix van de hoogste kwaliteit, waarbij de leersnelheid in de laatste 10% afneemt tot nul.

Elke fase richt zich steeds meer op code, wiskunde en SFT-achtige gegevens

Aandeel van de tokens van elke fase. De gegevens worden gehusseld, niet domein voor domein aangeboden: elke batch van 2.048 sequenties combineert alle domeinen in ongeveer deze verhoudingen. SFT-achtig (QA-, wiskunde- en code-instructiedata): 2% in de hoofdrun, 3,5% over de hele run.

Methodologie

26 benchmarks, één harness, elk model

Totaal = ¼ Engels + ¼ Meertalig + ¼ Wiskunde + ¼ Programmeren. Elk model wordt door ons beoordeeld met lm-evaluation-harness en met dezelfde correcties voor het antwoordformaat. Voor elke meertalige benchmark wordt het gemiddelde berekend over onze 44 niet-Engelse trainings­talen.

  • Engels10

    • NLI
    • PAWS
    • Belebele (en)
    • COPA
    • PIQA
    • HellaSwag
    • WinoGrande
    • ARC-C
    • MMLU
    • MMLU-Pro

  • Meertalig9

    • XNLI
    • PAWS-X
    • Belebele
    • XCOPA
    • Global PIQA NP
    • Global PIQA P
    • T-HellaSwag
    • INCLUDE
    • Global MMLU

  • Wiskunde3

    • GSM8K
    • MATH
    • MGSM

  • Programmeren4

    • MBPP
    • MBPP+
    • CRUX-I
    • CRUX-O

Geen gluren: in de laatste trainingsfase wordt elk document overgeslagen dat een benchmarkitem bevat.

Resultaten

#1 van 36 in de categorie ‘tiny’ modellen wereldwijd

Eerste plaats op Algemeen, Tekst en Meertalig, met een voorsprong van 3,1 punten op granite-4.0-h-tiny op Algemeen.

Algemeen

Ranglijst van Tiny-modellen

#1

van 36 modellen

Rangschikking per categorie

  • Wiskunde en Programmeren#1
  • Tekst#1
  • Meertalig#1

Definitie van de benchmark. Ons model is het laatste checkpoint van de 6T‑token-run, met een tot 128K uitgebreide context; tijdens de anneal worden alle documenten met een benchmarkitem overgeslagen. Zijn klasse: modellen met maximaal 2B actieve parameters (gemma-4-E2B met een effectieve grootte van 2B). De meertalige scores worden voor elk model gemiddeld berekend over de 44 niet-Engelse talen waarop we trainen.

Ranglijsten

Top 12 tiny-modellen

36 modellen met maximaal 2B actieve parameters (gemma-4-E2B met een effectieve grootte van 2B, 5,1B in totaal). Meertalig voor onze trainingstalen. De balken beginnen vanaf 0.

  1. #1Lara Mini Base (A0.6B/7.2B)57,0
  2. #2IBM - granite-4.0-h-tiny (1B active)53,9
  3. #3Alibaba - Qwen3-1.7B53,8
  4. #4Falcon-H1-1.5B-Deep53,2
  5. #5Hunyuan-1.8B52,2
  6. #6LFM2.5-8B-A1B (1.7B active)50,8
  7. #7Trinity-Nano (1B active)50,7
  8. #8LFM3-1.7B49,2
  9. #9Qwen3.5-2B48,9
  10. #10Falcon-H1-1.5B48,8
  11. #11Qwen2.5-1.5B47,6
  12. #12granite-4.0-1b47,2
  13. #17Google - gemma-4-E2B41,9

Totaal = ¼ Engels + ¼ Meertalig + ¼ Wiskunde + ¼ Programmeren.

Efficiëntie

#1 onder 2B, met slechts 0,6B actief

Lara Mini Base scoort beter dan alle 35 andere modellen in zijn klasse, waaronder modellen die tot 3× meer actieve parameters gebruiken, zoals Qwen3-1.7B en gemma-4-E2B.

20304050600,5B1B2BLara Mini Base (A0.6B/7.2B) · 57,0granite-4.0-h-tiny · 53,9gemma-4-E2B
Totale score ten opzichte van actieve parameters, logaritmische schaal. De staplijn is de grens: geen enkel model met minder actieve parameters scoort hoger. gemma-4-E2B is uitgezet op zijn effectieve grootte van 2B (totaal 5,1B).

Beperkte release · wie krijgt het

Waar Lara Mini voor dient

  • Lara Translate-app

    Offline vertaling

    Lara Mini is het basismodel achter de offline vertaalfunctie van Lara 4 voor de volgende Lara Translate-app. Uw tekst verlaat nooit de telefoon, en elke vertaling duurt nog steeds minder dan een seconde.

  • Klanten van Translated

    Klein basis-LLM

    Geselecteerde zakelijke klanten van Translated krijgen toegang. Lara Mini is ontworpen om te worden fijnafgestemd voor gespecialiseerde soevereine toepassingen, draait op mobiele apparaten en levert in onze cloud een end-to-endlatentie van minder dan 20 ms, waarbij miljoenen tokens per seconde worden verwerkt.

  • Onderzoek

    AI-onderzoekers

    Toegang voor AI-onderzoekers om onze resultaten te reproduceren en erop voort te bouwen, zodat meertalig onderzoek verder wordt gestimuleerd.

Wat volgt er?

Drie wedstrijden, één regel

We trainen de volgende fase alleen als we in de huidige fase een medaille winnen.

  1. Fase 1

    Lokaal

    Tiny · <2B actief

    nov 2026Lara Mini Base

    Win de categorie ‘tiny’ met Lara Base (A0,6B/7,2B).

    dec 2026Lara Mini

    Lara 4 Mini en Lara Mini LLM, voor ultralage latentie en mobiele apparaten.

    Medaille gewonnen → we trainen de Nationale fase. Geen medaille, dan stoppen we.

  2. Fase 2

    Nationaal

    Klein · <10B actief

    mrt 2027Lara Piccola Base (A7B/138B)

    Doe mee in de categorie ‘klein’ en win daar ook een medaille.

    apr 2027Lara 4 en Lara Piccola LLM

    Lara 4-vertaalmodel en Lara Piccola LLM, een EU-soeverein A7B/138B-model.

    Medaille gewonnen → we trainen voor de Olympische fase. Geen medaille, dan stoppen we.

  3. Fase 3

    Olympische Spelen

    Frontier · Meer dan 40 miljard actief

    dec 2027Lara Grande Base (A60B/1,2T)

    Stap in de frontier-categorie, tegen de beste modellen ter wereld.

    mrt 2028Lara 5 en Lara Grande LLM

    Lara 5 overtreft P95-provertalers. Lara Grande: een EU-soeverein frontier LLM, die Chinese modellen voorbijstreeft en in de buurt komt van Anthropic en OpenAI.

Referentiemodellen: tiny Gemma 4 E2B · small Gemma 4B/26B · medium Qwen 17B/397B · frontier GPT-6 Astra, Claude 5.6, Kimi K3.

Trainingsbudget

Budgetten voor training in één run, volgende releases

ModelTokensFLOP’sHardwareDagenTrainingskosten
Lara 4 PiccolaMoE 6,7B / 138B20T8,0 × 10²³512 × H10031$1,0M
Lara 4 GrandeMoE 60B / 1,2T24T8,6 × 10²⁴512 × Vera Rubin25$2,4M
Lara 4 SaggiaMoE 600B / 12T36T1,3 × 10²⁶2.304 × Vera Rubin83$36,6M
Ter referentie
Typische grensMoE 150B / 3T36T3,2 × 10²⁵4.096 × B20051$18,8M

Bron: Lara 4 LLM Training Budget Planning, 3 nov 2026 · FP8 · alleen rekenkosten · Saggia-dagen geschat volgens de methode van het plan

Volgende training

Lara Piccola-kandidaat

60 lagen en 138B parameters: het model dat Gemma 4 31B moet verslaan.

  • 138Btotaal aantal parameters
  • 6,7Bactief per token
  • Tokenizernieuw, opnieuw gebalanceerd
  • 60lagen
  • 2816verborgen grootte
  • 512 × 512experts, top-8 + 2 gedeeld
  • 400kH100 GPU-uren voor 20T tokens
  • 30 dagenop 512 H100-GPU’s
  • $1MKosten van de trainingsrun

  • Doel: winnen in de klasse van kleine modellen (<10B actief)

    Huidige leiders: Qwen3.5-122B-A10B, GLM-4.5-Air

  • Doel: Gemma 4 31B verslaan op meertaligheid

    Presteert beter dan zeer meertalige dense modellen in de klasse van middelgrote modellen.

30,7 s per stap op 32 nodes · dezelfde hybride aandacht als Lara Mini Base (GDN, window, global)

Technisch rapport

Het technische rapport downloaden

Architectuur, trainingsdata, benchmarks en methodologie achter Lara Mini Base, in één document. Laat uw gegevens achter en we sturen het u per e-mail toe.

Ik ga ermee akkoord dat Lara contact met mij opneemt voor meer informatie en een demo. Ik heb het Privacybeleid* gelezen en ga hiermee akkoord

Werk met Lara

Twee manieren om Lara aan het werk te zetten

  • Geïnteresseerd in het generatieve model?

    Geselecteerde zakelijke klanten van Translated krijgen toegang. Lara Mini is ontworpen om te worden fijnafgestemd voor gespecialiseerde soevereine toepassingen, draait op mobiele apparaten en levert in onze cloud een end-to-endlatentie van minder dan 20 ms, waarbij miljoenen tokens per seconde worden verwerkt.

    Contact opnemen met de verkoopafdeling

  • Vertaal met Lara

    Vertaal tekst, documenten en gesprekken met Lara, de vertaalservice die op dit onderzoek is gebaseerd.

    Begin met het gebruik van Lara voor vertalingen