Prihlásiť saPrihlásiť saRegistráciaZaregistrujte sa zadarmoKontaktujte predajný tím

Každé laboratórium zaoberajúce sa umelou inteligenciou predpokladá, že väčší počet jazykov zhoršuje kvalitu modelu.My sme stavili na opak.

Lara Mini, ktorá vznikla ako univerzálny LLM tvoriaci základ pre prekladovú AI Lara 4, bola od prvého dňa koncipovaná ako najviacjazykovejší a najviackultúrnejší model.
Po ukončení tréningu na 6 biliónoch tokenov sa umiestnilo na 1. mieste spomedzi 36 modelov vo svojej kategórii na celom svete.

Získať technickú správuZískajte model

Translated · príbeh, ktorý stojí za Larou

Rozmanitosť nie je pre inteligenciu záťažou. Je jej zdrojom.

  • Presvedčenie

    Veľké laboratóriá trénujú modely väčšinou na angličtine a ostatné jazyky a kultúry považujú za šum, ktorý znižuje kvalitu.

  • Stávka

    Spoločnosť Translated, ktorej úlohou je preklad, vyvinula model Lara na základe skutočných textov napísaných v mnohých jazykoch a kultúrach. Keď model vníma jednu myšlienku v mnohých jazykoch a kultúrach, lepšie jej porozumie.

  • Dôkaz

    #1 z 36 modelov s až 2 mld. aktívnymi parametrami na celom svete, trénovaný na 6 bil. tokenoch, s kontextom 128 tis.

Prehľad testovacieho spustenia

Architektúra

  • 0,6 mld.aktívne parametre na token (4 experti)
  • 7,2 mld.celkový počet parametrov, MoE so 128 expertmi, 1 zdieľaný
  • 34vrstvy: pamäť (GDN), okno a globálna pozornosť
  • 128 000tokeny v kontextovom okne

Údaje

  • 6Ttokeny použité na trénovanie
  • 39 %z filtrovaných surových tokenov
  • 44 + ENjazyky, všetkých 24 úradných jazykov EÚ
  • 151 643tokeny v slovníku, vyváženie pre jazyky s obmedzenými zdrojmi

Ako sme ho vytvorili

Hybridná, riedka architektúra pre najviacjazykovejší model

Hybridný, riedky model: 34 vrstiev, 128 expertov

Tri druhy vrstiev, jedna opakujúca sa jednotka

  • 14 pamäť · Gated DeltaNet: stav lineárnej pozornosti na hlavu, aktualizovaný token po tokene
  • 13 okno · pozornosť na posledných 512 tokenov, pozície RoPE
  • 7 globálna · plná pozornosť, žiadne pozičné kódovanie; posledná vrstva je vždy globálna

Zmes expertov v každej vrstve

  • 4 zo 128 smerovaných expertov vybraných na každý token smerovačom
  • 1 spoločný expert je vždy aktívny
  • 0,6 mld. zo 7,2 mld. parametrov aktívnych na token; veľkosť skrytej vrstvy 1 024, prepojené vstupné a výstupné vloženia

Optimalizátor

Muon + AdamW

Každá aktualizácia momentu sa pred jej aplikáciou ortogonalizuje (Newton–Schulz), takže každý smer matice váh sa pohybuje podobnou rýchlosťou, namiesto toho, aby dominovalo len niekoľko smerov.

Kontextové okno s 4 096 tokenmi počas trénovania; slovná zásoba s 151 643 tokenmi.

Najviacjazykovejší a multikultúrnejší model

6 biliónov trénovacích tokenov z množiny deduplikovanej naprieč všetkými zdrojmi: 39 % surových tokenov bolo odfiltrovaných. Žiadny zdroj sa neopakuje viac ako 2 epóchy (s výnimkou wiki a vysokokvalitných matematických zdrojov); zdroje z bežného webu sa nikdy neopakujú.

  • Angličtina2,49TVysokokvalitné webové údaje 1,34T · Syntetické HQ 0,66T · Súbory PDF 0,32T · Stredná kvalita z webu 0,15T · Wiki 0,02T
  • Viacjazyčné2,18TWeb 0,79T · Vysokokvalitné webové údaje 0,66T · Súbory PDF 0,4T · Syntetické 0,28T · Wiki 0,05T
  • Kód0,77TSkutočný kód 0,45T · Syntetické 0,31T
  • Matematika0,35TMatematika – hlavné sídlo 0,21T · Matematika – web 0,15T
  • Podobné SFT0,21TKontrola kvality 0,12T · Matematika 0,07T · Programovací jazyk 0,02T

Tri fázy, jedno znižovanie miery učenia

  1. Hlavné · 4,8T0–80% · do kroku 572,2k
  2. Prechod · 0,6T80–90% · do kroku 643,7k
  3. Žíhanie · 0,6T90–100% · do kroku 715,3k
Harmonogram miery učeniaHodnotený model: koniec tréningu, 6T tokenov.

Každá fáza predstavuje samostatnú zmes údajov, ktorá sa načítava na hranici príslušného kroku. Prechod: most medzi oboma fázami pri stabilnej miere učenia, kde sa zmes už posúva do polovice smerom k fáze anneal (viac vysokokvalitných údajov, údajov z otázok a odpovedí, kódovacích a matematických údajov), aby sa model prispôsobil ešte pred poklesom miery učenia. Anneal: zmes najvyššej kvality, pričom miera učenia v posledných 10 % klesá na nulu.

Každá fáza sa čoraz viac zameriava na kód, matematiku a údaje podobné SFT.

Podiel tokenov v každej fáze. Údaje sa premiešavajú, neposkytujú sa doménu po doméne: každá dávka 2 048 sekvencií mieša všetky domény približne v týchto pomeroch. Podobné SFT (údaje o otázkach a odpovediach, matematike a pokynoch ku kódu): 2 % v hlavnej fáze, 3,5 % za celý priebeh.

Metodika

26 benchmarkov, jeden harness, každý model

Celkovo = ¼ angličtina + ¼ viacjazyčné + ¼ matematika + ¼ programovanie. Každý model hodnotíme pomocou nástroja lm-evaluation-harness a s rovnakými korekciami formátu odpovedí. Pri každom viacjazyčnom benchmarku sa vypočíta priemer z našich 44 tréningových jazykov, ktoré nie sú angličtinou.

  • Angličtina10

    • NLI
    • PAWS
    • Belebele (en)
    • COPA
    • PIQA
    • HellaSwag
    • WinoGrande
    • ARC-C
    • MMLU
    • MMLU-Pro

  • Viacjazyčné9

    • XNLI
    • PAWS-X
    • Belebele
    • XCOPA
    • Global PIQA NP
    • Global PIQA P
    • T-HellaSwag
    • INCLUDE
    • Global MMLU

  • Matematika3

    • GSM8K
    • MATH
    • MGSM

  • Kód4

    • MBPP
    • MBPP+
    • CRUX-I
    • CRUX-O

Žiadne nahliadanie: v záverečnej fáze trénovania sa vynechá každý dokument, ktorý obsahuje položku benchmarku.

Výsledky

1. miesto z 36 v kategórii malých modelov na celom svete

Prvé miesto v celkovom hodnotení, v oblasti textu a v oblasti viacjazyčnosti, s náskokom 3,1 bodu pred modelom granite-4.0-h-tiny v celkovom hodnotení.

Celkovo

Poradie miniatúrnych modelov

#1

z 36 modelov

Poradie v kategóriách

  • Matematika a kódovanie#1
  • Text#1
  • Viacjazyčné#1

Definícia benchmarku. Náš model predstavuje konečný kontrolný bod tréningového cyklu s 6 biliónmi tokenov, pričom jeho kontext je rozšírený na 128 tisíc tokenov; počas fázy annealingu preskakuje každý dokument obsahujúci položku benchmarku. Jeho trieda: modely s až 2 mld. aktívnymi parametrami (gemma-4-E2B s efektívnou veľkosťou 2 mld.). Viacjazyčné skóre sú pre každý model vypočítané ako priemer zo 44 jazykov, ktoré nie sú angličtinou a na ktorých model trénujeme.

Poradia

12 najlepších miniatúrnych modelov

36 modelov s až 2 mld. aktívnymi parametrami (gemma-4-E2B s efektívnou veľkosťou 2 mld., celkovo 5,1 mld.). Viacjazyčné v našich jazykoch tréningu. Stĺpce začínajú od 0.

  1. #1Lara Mini Base (A0.6B/7.2B)57,0
  2. #2IBM - granite-4.0-h-tiny (1B active)53,9
  3. #3Alibaba - Qwen3-1.7B53,8
  4. #4Falcon-H1-1.5B-Deep53,2
  5. #5Hunyuan-1.8B52,2
  6. #6LFM2.5-8B-A1B (1.7B active)50,8
  7. #7Trinity-Nano (1B active)50,7
  8. #8LFM3-1.7B49,2
  9. #9Qwen3.5-2B48,9
  10. #10Falcon-H1-1.5B48,8
  11. #11Qwen2.5-1.5B47,6
  12. #12granite-4.0-1b47,2
  13. #17Google - gemma-4-E2B41,9

Celkové skóre = ¼ angličtina + ¼ viacjazyčnosť + ¼ matematika + ¼ programovanie.

Efektívnosť

Číslo 1 medzi modelmi s menej ako 2 mld. parametrov, s iba 0,6 mld. aktívnymi parametrami

Lara Mini Base prekonáva všetkých 35 ďalších modelov vo svojej triede, vrátane modelov, ktoré využívajú až 3× viac aktívnych parametrov, ako sú Qwen3-1.7B a gemma-4-E2B.

20304050600,5B1B2BLara Mini Base (A0.6B/7.2B) · 57,0granite-4.0-h-tiny · 53,9gemma-4-E2B
Celkové skóre v závislosti od aktívnych parametrov, logaritmická stupnica. Schodovitá čiara predstavuje hranicu: žiadny model s menším počtom aktívnych parametrov nedosahuje vyššie skóre. Model gemma-4-E2B je znázornený vo svojej efektívnej veľkosti 2 mld. (celkovo 5,1 mld.).

Obmedzené vydanie · kto ho získa

Na čo slúži Lara Mini

  • Aplikácia Lara Translate

    Preklad offline

    Lara Mini je základný model, na ktorom je postavená funkcia offline prekladu Lara 4 pre nadchádzajúcu aplikáciu Lara Translate. Váš text nikdy neopustí telefón a každá prekladová operácia stále trvá menej ako sekundu.

  • Zákazníci spoločnosti Translated

    Malý základný LLM

    Prístup budú mať vybraní firemní zákazníci spoločnosti Translated. Lara Mini je navrhnutý tak, aby sa dal doladiť pre špecializované suverénne aplikácie, funguje na mobilných zariadeniach a v našom cloude dosahuje koncovú latenciu pod 20 ms, pričom spracúva milióny tokenov za sekundu.

  • Výskum

    Výskumníci v oblasti umelej inteligencie

    Prístup pre výskumníkov v oblasti umelej inteligencie s cieľom reprodukovať naše výsledky a stavať na nich, čím sa viacjazyčný výskum posunie ďalej.

Čo bude nasledovať

Tri súťaže, jedno pravidlo

Ďalšiu etapu trénujeme len vtedy, ak v aktuálnej etape získame medailu.

  1. Etapa 1

    Miestne

    Tiny · <2 mld. aktívnych

    11/2026Lara Mini Base

    Zvíťazte v kategórii „tiny“ s modelom Lara Base (A0,6 mld./7,2 mld.).

    12/2026Lara Mini

    Lara 4 Mini a Lara Mini LLM – pre mimoriadne nízku latenciu a mobilné zariadenia.

    Získaná medaila → trénujeme národnú etapu. Žiadna medaila – končíme.

  2. Etapa 2

    Národná úroveň

    Malý · <10 mld. aktívnych

    3/2027Lara Piccola Base (A7B/138B)

    Zúčastnite sa kategórie malých modelov a získajte medailu aj tam.

    4/2027Lara 4 a Lara Piccola LLM

    Prekladateľský model Lara 4 a LLM Lara Piccola, model A7B/138B suverénny v rámci EÚ.

    Získaná medaila → trénujeme na olympijskú etapu. Žiadna medaila – končíme.

  3. Etapa 3

    Olympijské hry

    Špička · Viac ako 40 mld. aktívnych

    12/2027Lara Grande Base (A60B/1,2T)

    Vstúpte do kategórie Frontier a postavte sa proti najlepším modelom sveta.

    3/2028Lara 5 a Lara Grande LLM

    Lara 5 prekonáva profesionálnych prekladateľov na úrovni P95. Lara Grande: suverénny špičkový LLM EÚ, ktorý predstihuje čínske modely a približuje sa k modelom od spoločností Anthropic a OpenAI.

Referenčné modely: miniatúrny Gemma 4 E2B · malý Gemma 4B/26B · stredný Qwen 17B/397B · špičkové modely GPT-6 Astra, Claude 5.6, Kimi K3.

Rozpočet na trénovanie

Rozpočty na jednorazové trénovanie, nasledujúce verzie

ModelTokenyFLOP-yHardvérDniNáklady na trénovanie
Lara 4 PiccolaMoE 6,7B / 138B20T8,0 × 10²³512 × H10031$1,0M
Lara 4 GrandeMoE 60B / 1,2T24T8,6 × 10²⁴512 × Vera Rubin25$2,4M
Lara 4 SaggiaMoE 600B / 12T36T1,3 × 10²⁶2 304 × Vera Rubin83$36,6M
Pre informáciu
Typická hranicaMoE 150B / 3T36T3,2 × 10²⁵4 096 × B20051$18,8M

Zdroj: Lara 4 LLM Training Budget Planning, 3. novembra 2026 · FP8 · iba náklady na výpočtový výkon · Počet dní Saggia odhadnutý podľa metodiky plánu

Ďalší tréning

Kandidát Lara Piccola

60 vrstiev a 138 mld. parametrov: model, ktorý má prekonať Gemma 4 31B.

  • 138Bcelkový počet parametrov
  • 6,7Baktívne na token
  • Tokenizátornový, prehodnotený
  • 60vrstvy
  • 2816skrytá veľkosť
  • 512 × 512experti, top-8 + 2 zdieľaní
  • 400kPočet hodín využitia GPU H100 na 20 biliónov tokenov
  • 30 dnína 512 grafických procesoroch H100
  • $1MNáklady na tréningový beh

  • Cieľ: zvíťaziť v kategórii malých modelov (<10 mld. aktívnych parametrov)

    Súčasní lídri: Qwen3.5-122B-A10B, GLM-4.5-Air

  • Cieľ: prekonať model Gemma 4 31B v oblasti viacjazyčnosti

    Prekonať vysoko viacjazyčné husté modely v triede stredne veľkých modelov.

30,7 s na krok pri 32 uzloch · rovnaká hybridná pozornosť ako v modeli Lara Mini Base (GDN, okno, globálna)

Technická správa

Získať technickú správu

Architektúra, trénovacie údaje, benchmarky a metodika, na ktorých je založený model Lara Mini Base, v jednom dokumente. Zanechajte svoje kontaktné údaje a my vám ho pošleme e-mailom.

Súhlasím s tým, aby ma Lara kontaktovala s cieľom poskytnúť mi ďalšie informácie a ukážku. Prečítal/a som si a súhlasím so zásadami ochrany osobných údajov*

Pracujte s Lara

Dva spôsoby, ako dať modelu Lara do práce

  • Máte záujem o generatívny model?

    Prístup budú mať vybraní firemní zákazníci spoločnosti Translated. Lara Mini je navrhnutý tak, aby sa dal doladiť pre špecializované suverénne aplikácie, funguje na mobilných zariadeniach a v našom cloude dosahuje end-to-end latenciu pod 20 ms, pričom spracúva milióny tokenov za sekundu.

    Kontaktovať obchodné oddelenie

  • Prekladajte s Larou

    Prekladajte texty, dokumenty a konverzácie pomocou Lary, prekladateľského nástroja vyvinutého na základe tohto výskumu.

    Začnite používať Laru na preklad