BejelentkezésBejelentkezésRegisztrációRegisztráljon ingyenBeszéljen értékesítőinkkel

Minden MI-labor abból indul ki, hogy a több nyelv rontja a modell teljesítményét.Mi az ellenkezőjére fogadunk.

A Lara 4 Translation AI alapját képező, általános célú LLM-ként született Lara Mini már az első naptól fogva a leginkább többnyelvű és multikulturális modellnek készült.
A 6T tokenen végzett tréning végén világszerte az első helyen áll a kategóriájába tartozó 36 modell közül.

Töltse le a műszaki jelentéstTöltse le a modellt

Translated · A Lara története

A sokszínűség nem hátráltatja az intelligenciát. Éppen ellenkezőleg: az intelligencia egyik forrása.

  • A meggyőződés

    A nagy laborok többnyire angol nyelven végeznek betanítást, és a többi nyelvet, valamint kultúrát olyan zajnak tekintik, amely rontja a minőséget.

  • A tét

    A Translated, amelynek feladata a fordítás, a Lara modellt számos nyelven és kultúrában írt valós szövegekre építette. Amikor egy adott gondolatot több nyelven, több kultúrában is megvizsgál, a modell jobban megérti azt.

  • A bizonyíték

    A világszerte elérhető, legfeljebb 2B aktív paraméterrel rendelkező 36 modell közül az 1. helyen áll, 6T tokenen betanítva, 128K kontextussal.

A futtatás áttekintése

Felépítés

  • 0,6Baktív paraméterek tokenenként (4 szakértő)
  • 7,2Bteljes paraméterszám, MoE 128 szakértővel, 1 megosztott
  • 34rétegek: memória (GDN), ablak és globális figyelem
  • 128Ktokenek a kontextusablakban

Adatok

  • 6Ttanítási tokenek
  • 39%a nyers tokenek közül szűrt
  • 44 + ENnyelvek, az EU mind a 24 hivatalos nyelve
  • 151 643tokenek a szókincsben, kevés erőforrással rendelkező nyelvek újrasúlyozva

Hogyan építettük fel?

Hibrid, ritka architektúra a leginkább többnyelvű modell számára

Hibrid, ritka modell: 34 réteg, 128 szakértő

Háromféle réteg, egy ismétlődő egység

  • 14 memória · Gated DeltaNet: lineáris figyelmi állapot fejenként, tokenenként frissítve
  • 13 ablak · figyelem az utolsó 512 tokenre, RoPE-pozíciók
  • 7 globális · teljes figyelem, nincs pozíciókódolás; az utolsó réteg mindig globális

Szakértők keveréke minden rétegben

  • 128 irányított szakértőből 4-et választ ki tokenenként egy irányító (router)
  • 1 megosztott szakértő mindig aktív
  • Tokenenként 7,2 milliárd paraméterből 0,6 milliárd aktív; rejtett méret: 1024, összekapcsolt bemeneti és kimeneti beágyazások

Optimalizáló

Muon + AdamW

Minden momentumfrissítést ortogonalizálnak (Newton–Schulz) az alkalmazás előtt, így a súlymátrix minden irányában hasonló sebességgel történik az elmozdulás, ahelyett, hogy néhány irány dominálná a folyamatot.

4096 tokenes kontextusablak a tréning során; 151 643 tokenes szókincs.

A legtöbb nyelvet és kultúrát lefedő modell

6T tréningtoken egy olyan készletből, amelyből az összes forrásban eltávolították az ismétlődéseket: a nyers tokenek 39%-át kiszűrték. Egyetlen forrás sem kerül felhasználásra több mint 2 epóka erejéig (kivéve a wikiket és a kiváló minőségű matematikai forrásokat); a sima webes források soha nem kerülnek megismétlésre.

  • Angol2,49TWebes, kiváló minőségű 1,34T · Szintetikus HQ 0,66T · PDF-fájlok 0,32T · Közepes minőségű webes tartalom 0,15T · Wiki 0,02T
  • Többnyelvű2,18TWeb 0,79T · Webes, kiváló minőségű 0,66T · PDF-fájlok 0,4T · Szintetikus 0,28T · Wiki 0,05T
  • Kód0,77TValódi kód 0,45T · Szintetikus 0,31T
  • Matematika0,35TMatematika – központi adatok 0,21T · Matematika – webes források 0,15T
  • SFT-szerű0,21TMinőségbiztosítás 0,12T · Matematika 0,07T · Kód 0,02T

Három szakasz, egyetlen tanulási ráta csökkenés

  1. Fő · 4,8T0–80% · a(z) 572,2k. lépésig
  2. Átmenet · 0,6T80–90% · a(z) 643,7k. lépésig
  3. Lágyítás · 0,6T90–100% · a(z) 715,3k. lépésig
Tanulási ráta ütemezéseÉrtékelt modell: a tréning vége, 6T token.

Minden szakasz egy különálló adatösszeállítás, amelyet a saját lépéshatáránál töltenek be. Átmenet: híd a kettő között a stabil tanulási rátán, ahol a keverék már félig elmozdult az anneal irányába (több kiváló minőségű, QA-, kód- és matematikai adat), így a modell még a csökkenés előtt alkalmazkodik. Anneal: a legmagasabb minőségű keverék, miközben a tanulási ráta az utolsó 10% során nullára csökken.

Minden szakasz egyre inkább a kódolás, a matematika és az SFT-szerű adatok felé mozdul el.

Az egyes szakaszok tokenjeinek aránya. Az adatokat megkeverik, nem pedig tartományonként táplálják be: minden 2048 szekvenciából álló köteg az összes tartományt körülbelül az alábbi arányokban keveri. SFT-szerű (QA, matematika és kódolási utasítások adatai): 2% a fő szakaszban, 3,5% a teljes futtatás során.

Módszertan

26 benchmark, egyetlen harness, minden modell

Összesen = ¼ angol + ¼ többnyelvű + ¼ matematika + ¼ programozás. Minden modellt mi értékelünk az lm-evaluation-harness segítségével, és mindenhol ugyanazokat a válaszformátum-korrekciókat alkalmazzuk. Minden többnyelvű benchmarkot a 44 nem angol képzési nyelvünk átlagaként számítunk ki.

  • Angol10

    • NLI
    • PAWS
    • Belebele (en)
    • COPA
    • PIQA
    • HellaSwag
    • WinoGrande
    • ARC-C
    • MMLU
    • MMLU-Pro

  • Többnyelvű9

    • XNLI
    • PAWS-X
    • Belebele
    • XCOPA
    • Global PIQA NP
    • Global PIQA P
    • T-HellaSwag
    • INCLUDE
    • Global MMLU

  • Matematika3

    • GSM8K
    • MATH
    • MGSM

  • Programozás4

    • MBPP
    • MBPP+
    • CRUX-I
    • CRUX-O

Semmi leskelődés: a végső tréningfázis kihagy minden olyan dokumentumot, amely benchmark-elemet tartalmaz.

Eredmények

Az 1. helyen áll a 36 apró modell között világszerte

Első az Összesített, a Szöveg és a Többnyelvű kategóriákban, 3,1 ponttal megelőzve a granite-4.0-h-tiny modellt az Összesített kategóriában.

Összesített

Kisméretű modellek rangsora

#1

36 modell közül

Kategóriák rangsorolása

  • Matematika és programozás#1
  • Szöveg#1
  • Többnyelvű#1

A teljesítménymérés meghatározása. A modellünk a 6T‑tokenes futtatás utolsó ellenőrzési pontja, 128K-ra kiterjesztett kontextussal; az anneal folyamat kihagy minden olyan dokumentumot, amely teljesítménymérési elemet tartalmaz. Osztálya: legfeljebb 2B aktív paraméterrel rendelkező modellek (a gemma-4-E2B 2B effektív méretével). A többnyelvű pontszámok kiszámításakor minden modell esetében a képzéshez használt 44 nem angol nyelv átlagát vesszük figyelembe.

Rangsorok

A 12 legjobb apró modell

36 modell legfeljebb 2B aktív paraméterrel (a gemma-4-E2B 2B effektív mérettel, összesen 5,1B paraméterrel). Többnyelvű a képzési nyelveinken. Az oszlopok 0-ról indulnak.

  1. #1Lara Mini Base (A0.6B/7.2B)57,0
  2. #2IBM - granite-4.0-h-tiny (1B active)53,9
  3. #3Alibaba - Qwen3-1.7B53,8
  4. #4Falcon-H1-1.5B-Deep53,2
  5. #5Hunyuan-1.8B52,2
  6. #6LFM2.5-8B-A1B (1.7B active)50,8
  7. #7Trinity-Nano (1B active)50,7
  8. #8LFM3-1.7B49,2
  9. #9Qwen3.5-2B48,9
  10. #10Falcon-H1-1.5B48,8
  11. #11Qwen2.5-1.5B47,6
  12. #12granite-4.0-1b47,2
  13. #17Google - gemma-4-E2B41,9

Összesített = ¼ angol + ¼ többnyelvű + ¼ matematika + ¼ kódolás.

Hatékonyság

A 2 milliárd alattiak között az 1. helyen áll, mindössze 0,6 milliárd aktív paraméterrel

A Lara Mini Base felülmúlja kategóriájának mind a 35 többi modelljét, beleértve azokat is, amelyek akár 3-szor több aktív paramétert használnak, mint például a Qwen3-1.7B és a gemma-4-E2B.

20304050600,5B1B2BLara Mini Base (A0.6B/7.2B) · 57,0granite-4.0-h-tiny · 53,9gemma-4-E2B
Teljes pontszám az aktív paraméterek függvényében, logaritmikus skálán. A lépcsős vonal jelenti a határt: egyetlen kevesebb aktív paraméterrel rendelkező modell sem ér el ennél magasabb pontszámot. A gemma-4-E2B a 2B-os effektív méretével van ábrázolva (összesen 5,1B).

Korlátozott kiadás · Kik kapják meg?

Mire való a Lara Mini?

  • Lara Translate alkalmazás

    Offline fordítás

    A Lara Mini az a bázismodell, amely a következő Lara Translate alkalmazás Lara 4 offline fordítási funkciójának alapját képezi. A szöveg soha nem hagyja el a telefont, és minden fordítás továbbra is kevesebb mint egy másodpercet vesz igénybe.

  • A Translated ügyfelei

    Apró alap LLM

    A Translated kiválasztott vállalati ügyfelei férhetnek hozzá. A Lara Mini úgy lett kialakítva, hogy finomhangolható legyen speciális, szuverén alkalmazásokhoz, működik mobileszközökön, és a felhőnkben kevesebb mint 20 ms-os végpontok közötti késleltetést biztosít, miközben másodpercenként több millió tokent kezel.

  • Kutatás

    Mesterséges intelligenciával foglalkozó kutatók

    Hozzáférés az MI-kutatók számára, hogy reprodukálhassák eredményeinket, építhessenek rájuk, és továbbvigyék a többnyelvű kutatást.

Mi következik?

Három verseny, egy szabály

A következő szakaszt csak akkor kezdjük el kiképezni, ha az aktuális szakaszban érmet szerzünk.

  1. 1. szakasz

    Helyi

    Apró · <2B aktív

    2026. nov.Lara Mini Base

    Hódítsa meg a Tiny kategóriát a Lara Base modellel (A0,6B/7,2B).

    2026. dec.Lara Mini

    Lara 4 Mini és Lara Mini LLM – rendkívül alacsony késleltetéshez és mobileszközökhöz.

    Érem megszerzése → megkezdjük a Nemzeti szakaszra való felkészítést. Nincs érem, leállunk.

  2. 2. szakasz

    Nemzeti

    Kicsi · <10B aktív

    2027. márc.Lara Piccola Base (A7B/138B)

    Lépjen be a kis kategóriába, és ott is szerezzen érmet.

    2027. ápr.Lara 4 és Lara Piccola LLM

    A Lara 4 fordítási modell és a Lara Piccola LLM, egy EU-szuverén A7B/138B modell.

    Érmet nyertünk → az olimpiai szakaszra készülünk. Nincs érem, leállunk.

  3. 3. szakasz

    Olimpia

    Élvonal · Több mint 40B aktív

    2027. dec.Lara Grande Base (A60B/1,2T)

    Lépjen be a csúcskategóriába, és mérje össze teljesítményét a világ legjobb modelljeivel.

    2028. márc.Lara 5 és Lara Grande LLM

    A Lara 5 felülmúlja a P95-ös szintű profi fordítókat. Lara Grande: egy uniós szuverenitású, élvonalbeli LLM, amely megelőzi a kínai modelleket, és közelít az Anthropic és az OpenAI modelljeihez.

Referenciamodellek: tiny Gemma 4 E2B · small Gemma 4B/26B · medium Qwen 17B/397B · frontier GPT-6 Astra, Claude 5.6, Kimi K3.

Képzési költségvetés

Egyetlen futásra vonatkozó tréningköltségvetések, következő verziók

ModellTokenekFLOP-okHardverNapokKépzési költség
Lara 4 PiccolaMoE 6,7B / 138B20T8,0 × 10²³512 × H10031$1,0M
Lara 4 GrandeMoE 60B / 1,2T24T8,6 × 10²⁴512 × Vera Rubin25$2,4M
Lara 4 SaggiaMoE 600B / 12T36T1,3 × 10²⁶2304 × Vera Rubin83$36,6M
Tájékoztatásul
Tipikus határvonalMoE 150B / 3T36T3,2 × 10²⁵4096 × B20051$18,8M

Forrás: Lara 4 LLM képzési költségvetés-tervezés, 2026. november 3. · FP8 · csak számítási költség · A Saggia-napok becslése a tervben szereplő módszerrel történt

Következő tréning

Lara Piccola jelölt

60 réteg és 138 milliárd paraméter: ez a modell képes legyőzni a Gemma 4 31B-t.

  • 138Bösszes paraméter
  • 6,7Btokenenként aktív
  • Tokenezőúj, újrakiegyensúlyozott
  • 60rétegek
  • 2816rejtett méret
  • 512 × 512szakértők, legjobb 8 + 2 megosztott
  • 400kH100 GPU-órák 20T tokenre
  • 30 nap512 darab H100 GPU-n
  • $1MAz edzési futtatás költsége

  • Cél: győzelem a kis modellek kategóriájában (<10B aktív paraméter)

    Jelenlegi éllovasok: Qwen3.5-122B-A10B, GLM-4.5-Air

  • Cél: legyőzni a Gemma 4 31B modellt a többnyelvű teljesítmény terén

    Felülmúlja a közepes méretű modellosztály erősen többnyelvű, sűrű modelljeit.

30,7 s lépésenként 32 csomóponton · ugyanaz a hibrid figyelemmechanizmus, mint a Lara Mini Base esetében (GDN, ablak, globális)

Műszaki jelentés

Töltse le a műszaki jelentést

A Lara Mini Base mögött álló architektúra, tréningadatok, benchmarkok és módszertan egyetlen dokumentumban. Adja meg az elérhetőségeit, és elküldjük Önnek e-mailben.

Hozzájárulok, hogy Lara további információért és bemutatásért felvegye velem a kapcsolatot. Elolvastam és elfogadom az Adatvédelmi szabályzatot*

Dolgozzon a Larával

Kétféleképpen lehet munkába állítani a Larát

  • Érdekli a generatív modell?

    A Translated kiválasztott vállalati ügyfelei hozzáférést kapnak. A Lara Mini úgy lett kialakítva, hogy finomhangolható legyen speciális, szuverén alkalmazásokhoz, futtatható legyen mobileszközökön, és a felhőnkben kevesebb mint 20 ms-os végpontok közötti késleltetést biztosítson, miközben másodpercenként több millió tokent képes feldolgozni.

    Kapcsolat az értékesítési csapattal

  • Fordítás a Lara segítségével

    Fordítson szövegeket, dokumentumokat és beszélgetéseket a Lara segítségével, amely az ezen a kutatáson alapuló fordítóeszköz.

    Kezdje el használni a Larát a fordításhoz