PrijavaPrijavaRegistracijaRegistrirajte se besplatnoObratite se odjelu prodaje

Svaki laboratorij za umjetnu inteligenciju polazi od pretpostavke da veći broj jezika pogoršava kvalitetu modela.Mi se kladimo na suprotno.

Nastao kao LLM opće namjene koji stoji iza Lara 4 Translation AI, Lara Mini od samog je početka osmišljen kao model s najvećom jezičnom i kulturalnom raznolikošću.
Na kraju treniranja na 6T tokena zauzima 1. mjesto među 36 modela u svojoj kategoriji na svjetskoj razini.

Preuzmite tehničko izvješćePreuzmite model

Translated · priča koja stoji iza Lare

Raznolikost nije teret za inteligenciju. Ona je njezin izvor.

  • Uvjerenje

    Veliki laboratoriji uglavnom treniraju modele na engleskom jeziku te druge jezike i kulture tretiraju kao šum koji smanjuje kvalitetu.

  • Oklada

    Tvrtka Translated, čija je djelatnost prevođenje, izgradila je model Lara na temelju stvarnih tekstova napisanih na brojnim jezicima i u okviru različitih kultura. Promatrajući jednu ideju kroz mnoge od njih, model je bolje razumije.

  • Dokaz

    #1 od 36 modela s do 2 milijarde aktivnih parametara diljem svijeta, treniran na 6 bilijuna tokena, s kontekstom od 128 tisuća.

Pregled izvođenja

Arhitektura

  • 0,6 Baktivni parametri po tokenu (4 stručnjaka)
  • 7,2 Bukupan broj parametara, MoE sa 128 stručnjaka, 1 zajednički
  • 34slojevi: memorija (GDN), prozor i globalna pažnja
  • 128Ktokena u kontekstnom prozoru

Podaci

  • 6Ttokeni za treniranje
  • 39 %od sirovih tokena filtrirano
  • 44 + ENjezici, svih 24 službena jezika EU-a
  • 151 643tokena u vokabularu, rebalansirano za jezike s malo podataka

Kako smo ga izgradili

Hibridni, rijetki dizajn za najvišejezičniji model

Hibridni, rijetki model: 34 sloja, 128 stručnjaka

Tri vrste slojeva, jedna ponavljajuća jedinica

  • 14 memorija · Gated DeltaNet: stanje linearne pažnje po glavi, ažurirano token po token
  • 13 prozor · pažnja usmjerena na posljednjih 512 tokena, RoPE pozicije
  • 7 globalno · potpuna pažnja, bez pozicijskog kodiranja; posljednji sloj uvijek je globalan

Mješavina stručnjaka u svakom sloju

  • 4 od 128 usmjerenih stručnjaka koje usmjerivač odabire po tokenu
  • 1 zajednički stručnjak uvijek aktivan
  • 0,6 milijardi od 7,2 milijarde parametara aktivno je po tokenu; veličina skrivenog sloja iznosi 1024, a ulazna i izlazna ugrađivanja su povezana.

Optimizator

Muon + AdamW

Svako ažuriranje momenta ortogonalizira se (Newton–Schulz) prije nego što se primijeni, tako da se svaki smjer matrice težina kreće sličnom brzinom, umjesto da nekoliko njih dominira.

Kontekstni prozor od 4096 tokena tijekom treniranja; vokabular od 151 643 tokena.

Najvišejezičniji i najmultikulturalniji model

6T tokena za treniranje iz skupa koji je dedupliciran u svim izvorima: 39 % sirovih tokena filtrirano je i uklonjeno. Nijedan izvor ne ponavlja se više od 2 epohe (osim wikija i visokokvalitetnih matematičkih izvora); obični web nikada se ne ponavlja.

  • Engleski2,49TWeb HQ 1,34T · Sintetički HQ 0,66T · PDF-ovi 0,32T · Srednjekvalitetni web-sadržaj 0,15T · Wiki 0,02T
  • Višejezično2,18TWeb 0,79T · Web HQ 0,66T · PDF-ovi 0,4T · Sintetički 0,28T · Wiki 0,05T
  • Kôd0,77TStvarni kod 0,45T · Sintetički 0,31T
  • Matematika0,35TMatematika – središnje mjesto 0,21T · Matematika na webu 0,15T
  • Slično SFT-u0,21TPitanja i odgovori 0,12T · Matematika 0,07T · Programski kod 0,02T

Tri faze, jedno smanjenje brzine učenja

  1. Glavno · 4,8T0–80% · do koraka 572,2k
  2. Prijelaz · 0,6T80–90% · do koraka 643,7k
  3. Faza hlađenja (annealing) · 0,6T90–100% · do koraka 715,3k
Raspored brzine učenjaEvaluirani model: kraj treniranja, 6T tokena.

Svaka je faza zasebna mješavina podataka koja se učitava na granici svojeg koraka. Prijelaz: most između njih dviju pri stabilnoj brzini učenja, gdje se mješavina već pomiče do pola puta prema fazi anneal (podaci više kvalitete, QA, kod i matematika), tako da se model prilagodi prije opadanja. Anneal: mješavina najviše kvalitete, dok se stopa učenja smanjuje na nulu tijekom posljednjih 10 %.

Svaka faza sve se više usmjerava na kod, matematiku i podatke slične SFT-u.

Udio tokena u svakoj fazi. Podaci se miješaju, a ne unose područje po područje: svaka serija od 2048 sekvenci miješa sva područja otprilike u ovim omjerima. Slično SFT-u (podaci za pitanja i odgovore, matematiku i upute za kodiranje): 2 % u glavnoj fazi, 3,5 % tijekom cijelog ciklusa.

Metodologija

26 benchmarka, jedan harness, svaki model

Ukupno = ¼ engleski + ¼ višejezični + ¼ matematika + ¼ programski kod. Svaki model ocjenjujemo pomoću alata lm-evaluation-harness i uz iste korekcije formata odgovora. Za svako višejezično mjerilo izračunava se prosjek na temelju naših 44 jezika za obuku koji nisu engleski.

  • Engleski10

    • NLI
    • PAWS
    • Belebele (en)
    • COPA
    • PIQA
    • HellaSwag
    • WinoGrande
    • ARC-C
    • MMLU
    • MMLU-Pro

  • Višejezično9

    • XNLI
    • PAWS-X
    • Belebele
    • XCOPA
    • Global PIQA NP
    • Global PIQA P
    • T-HellaSwag
    • INCLUDE
    • Global MMLU

  • Matematika3

    • GSM8K
    • MATH
    • MGSM

  • Programski kod4

    • MBPP
    • MBPP+
    • CRUX-I
    • CRUX-O

Bez zavirivanja: u završnoj fazi treniranja preskače se svaki dokument koji sadrži stavku iz benchmarka.

Rezultati

#1 od 36 među malim modelima diljem svijeta

Prvo mjesto u kategorijama Ukupno, Tekst i Višejezično, s prednošću od 3,1 boda u odnosu na model granite-4.0-h-tiny u kategoriji Ukupno.

Ukupno

Poredak malih modela

#1

od 36 modela

Poredak po kategorijama

  • Matematika i programiranje#1
  • Tekst#1
  • Višejezično#1

Definicija mjerila uspješnosti. Naš je model završna kontrolna točka ciklusa obuke na 6T tokena, s kontekstom proširenim na 128K; njegova faza anneal preskače svaki dokument koji sadrži stavku mjerila uspješnosti. Njegova klasa: modeli s najviše 2B aktivnih parametara (gemma-4-E2B s efektivnom veličinom od 2B). Višejezični rezultati izračunavaju se kao prosjek za 44 jezika koja nisu engleski, na kojima treniramo svaki model.

Poredak

12 najboljih sićušnih modela

36 modela s do 2 milijarde aktivnih parametara (gemma-4-E2B s efektivnom veličinom od 2 milijarde, ukupno 5,1 milijarda). Višejezično na našim jezicima obuke. Stupci počinju od 0.

  1. #1Lara Mini Base (A0.6B/7.2B)57,0
  2. #2IBM - granite-4.0-h-tiny (1B active)53,9
  3. #3Alibaba - Qwen3-1.7B53,8
  4. #4Falcon-H1-1.5B-Deep53,2
  5. #5Hunyuan-1.8B52,2
  6. #6LFM2.5-8B-A1B (1.7B active)50,8
  7. #7Trinity-Nano (1B active)50,7
  8. #8LFM3-1.7B49,2
  9. #9Qwen3.5-2B48,9
  10. #10Falcon-H1-1.5B48,8
  11. #11Qwen2.5-1.5B47,6
  12. #12granite-4.0-1b47,2
  13. #17Google - gemma-4-E2B41,9

Ukupno = ¼ engleski + ¼ višejezični + ¼ matematika + ¼ programski kod.

Učinkovitost

#1 među modelima manjima od 2 milijardi parametara, s tek 0,6 milijardi aktivnih parametara

Lara Mini Base nadmašuje svih 35 drugih modela u svojoj klasi, uključujući modele koji upotrebljavaju i do 3× više aktivnih parametara, poput Qwen3-1.7B i gemma-4-E2B.

20304050600,5B1B2BLara Mini Base (A0.6B/7.2B) · 57,0granite-4.0-h-tiny · 53,9gemma-4-E2B
Ukupni rezultat u odnosu na aktivne parametre, logaritamska ljestvica. Linija skoka predstavlja granicu: nijedan model s manjim brojem aktivnih parametara ne postiže viši rezultat. Model gemma-4-E2B prikazan je s efektivnom veličinom od 2 B (ukupno 5,1 B).

Ograničeno izdanje · tko ga dobiva

Čemu služi Lara Mini

  • Aplikacija Lara Translate

    Prijevod izvanmrežno

    Lara Mini temeljni je model koji stoji iza značajke izvanmrežnog prevođenja Lara 4 za sljedeću aplikaciju Lara Translate. Vaš tekst nikada ne napušta telefon, a svaka prijevod i dalje traje manje od jedne sekunde.

  • Klijenti društva Translated

    Mali osnovni LLM

    Pristup će imati odabrani poslovni korisnici društva Translated. Lara Mini dizajniran je za fino ugađanje za specijalizirane suverene aplikacije, radi na mobilnim uređajima i na našem oblaku te postiže end-to-end latenciju manju od 20 ms, obrađujući milijune tokena u sekundi.

  • Istraživanje

    Istraživači na području umjetne inteligencije

    Pristup za istraživače na području umjetne inteligencije kako bi mogli reproducirati naše rezultate i nadograđivati se na njima, čime se dodatno potiče istraživanje na području višejezičnosti.

Što slijedi

Tri natjecanja, jedno pravilo

Sljedeću fazu treniramo samo ako osvojimo medalju u trenutačnoj fazi.

  1. Faza 1

    Lokalno

    Tiny · <2B aktivnih parametara

    stu 2026.Lara Mini Base

    Pobijedite u kategoriji malih modela s modelom Lara Base (A0,6 B/7,2 B).

    pro 2026.Lara Mini

    Lara 4 Mini i Lara Mini LLM, za iznimno nisku latenciju i mobilne uređaje.

    Osvojena medalja → treniramo fazu National. Bez osvojene medalje – prestajemo.

  2. Faza 2

    Nacionalno

    Mali · <10B aktivnih

    ožu 2027.Lara Piccola Base (A7B/138B)

    Uđite u kategoriju malih modela i osvojite medalju i tamo.

    tra 2027.Lara 4 i Lara Piccola LLM

    Model za prevođenje Lara 4 i LLM Lara Piccola, model A7B/138B pod suverenitetom EU-a.

    Osvojena medalja → treniramo za olimpijsku fazu. Bez osvojene medalje – prestajemo.

  3. Faza 3

    Olimpijske igre

    Vrhunska razina · 40B+ aktivnih

    pro 2027.Lara Grande Base (A60B/1,2T)

    Uđite u kategoriju Frontier i natječite se s najboljim modelima na svijetu.

    ožu 2028.Lara 5 i Lara Grande LLM

    Lara 5 nadmašuje profesionalne prevoditelje na razini P95. Lara Grande: suvereni vrhunski LLM EU-a, ispred kineskih modela i sve bliže modelima Anthropic i OpenAI.

Referentni modeli: mali Gemma 4 E2B · mali Gemma 4B/26B · srednji Qwen 17B/397B · vrhunski GPT-6 Astra, Claude 5.6, Kimi K3.

Proračun za obuku

Proračuni za jednokratno treniranje, sljedeća izdanja

ModelTokeniFLOP-oviHardverDaniTrošak treniranja
Lara 4 PiccolaMoE 6,7B / 138B20T8,0 × 10²³512 × H10031$1,0M
Lara 4 GrandeMoE 60B / 1,2T24T8,6 × 10²⁴512 × Vera Rubin25$2,4M
Lara 4 SaggiaMoE 600B / 12T36T1,3 × 10²⁶2.304 × Vera Rubin83$36,6M
Za referencu
Tipična granicaMoE 150B / 3T36T3,2 × 10²⁵4.096 × B20051$18,8M

Izvor: Lara 4 LLM Training Budget Planning, 3. studenoga 2026. · FP8 · samo trošak računanja · Procijenjeni broj dana za Saggiu prema metodi iz plana

Sljedeća obuka

Kandidat za model Lara Piccola

60 slojeva i 138 milijardi parametara: model koji treba nadmašiti Gemma 4 31B.

  • 138Bukupan broj parametara
  • 6,7Baktivno po tokenu
  • Tokenizatornovi, ponovno uravnoteženi
  • 60slojevi
  • 2816skrivena veličina
  • 512 × 512stručnjaci, top-8 + 2 zajednička
  • 400kH100 GPU-sati za 20T tokena
  • 30 danana 512 H100 GPU-ova
  • $1MTrošak ciklusa treniranja

  • Cilj: pobijediti u kategoriji malih modela (<10 B aktivnih parametara)

    Trenutačni predvodnici: Qwen3.5-122B-A10B, GLM-4.5-Air

  • Cilj: nadmašiti Gemma 4 31B u višejezičnosti

    Nadmašiti visoko višejezične guste modele u klasi srednjih modela.

30,7 s po koraku na 32 čvora · ista hibridna pažnja kao kod modela Lara Mini Base (GDN, window, global)

Tehničko izvješće

Preuzmite tehničko izvješće

Arhitektura, podaci za treniranje, benchmarkovi i metodologija koji stoje iza modela Lara Mini Base, u jednom dokumentu. Unesite svoje podatke i poslat ćemo vam ga e-poštom.

Pristajem da me Lara kontaktira za dodatne informacije i demonstraciju. Pročitao/la sam i prihvaćam Pravila o privatnosti*

Radite s Larom

Dva načina kako staviti Laru u pogon

  • Zanima li vas generativni model?

    Pristup će imati odabrani poslovni korisnici društva Translated. Lara Mini dizajnirana je za fino ugađanje za specijalizirane suverene aplikacije, radi na mobilnim uređajima i u našem oblaku te postiže end-to-end latenciju manju od 20 ms, isporučujući milijune tokena u sekundi.

    Obratite se prodajnom timu

  • Prevodite uz Laru

    Prevodite tekstove, dokumente i razgovore uz pomoć Lare, prevoditeljice razvijene na temelju ovog istraživanja.

    Počnite upotrebljavati Laru za prevođenje