Přihlásit sePřihlásit seRegistraceZaregistruj se zdarmaPromluv si s prodejním oddělením

Každá laboratoř zabývající se umělou inteligencí předpokládá, že více jazyků model zhoršuje.Vsadili jsme na opak.

Lara Mini, která vznikla jako univerzální LLM tvořící základ Translation AI Lara 4, byla od prvního dne koncipována jako nejvíce mnohojazyčný a multikulturní model.
Po dokončení tréninku na 6 bilionech tokenů se umístil na 1. místě z 36 modelů ve své kategorii na celém světě.

Získejte technickou zprávuZískejte model

Translated · příběh, který stojí za Larou

Rozmanitost není pro inteligenci zátěží. Je jejím zdrojem.

  • Přesvědčení

    Velké laboratoře trénují modely převážně na angličtině a ostatní jazyky a kultury považují za šum, který snižuje kvalitu.

  • Sázka

    Společnost Translated, jejíž náplní je překlad, vyvinula model Lara na základě skutečných textů napsaných v mnoha jazycích a kulturách. Tím, že model vnímá jednu myšlenku skrze mnoho z nich, chápe ji lépe.

  • Důkaz

    1. místo z 36 modelů s až 2 miliardami aktivních parametrů na celém světě, trénovaný na 6 bilionech tokenů, s kontextem 128 tisíc.

Přehled běhu

Architektura

  • 0,6 mld.aktivní parametry na token (4 experti)
  • 7,2 mld.celkový počet parametrů, MoE se 128 experty, 1 sdílený
  • 34vrstvy: paměť (GDN), okno a globální pozornost
  • 128 000tokeny v kontextovém okně

Údaje

  • 6Ttréninkové tokeny
  • 39 %nezpracovaných tokenů filtrováno
  • 44 + ENjazyky, všech 24 úředních jazyků EU
  • 151 643tokeny ve slovní zásobě, vyvážení pro jazyky s malým množstvím dat

Jak jsme jej vytvořili

Hybridní, řídce osazená architektura pro nejvícejazyčnější model

Hybridní, řídce parametrizovaný model: 34 vrstev, 128 expertů

Tři druhy vrstev, jedna opakující se jednotka

  • 14 paměť · Gated DeltaNet: stav lineární pozornosti na hlavu, aktualizovaný token po tokenu
  • 13 okno · pozornost zaměřená na posledních 512 tokenů, pozice RoPE
  • 7 globální · plná pozornost, žádné poziční kódování; poslední vrstva je vždy globální

Mixture of experts v každé vrstvě

  • 4 ze 128 směrovaných expertů vybraných pro každý token směrovačem
  • 1 sdílený expert je vždy aktivní
  • 0,6 mld. ze 7,2 mld. parametrů aktivních na token; skrytá velikost 1 024, propojená vstupní a výstupní vložení

Optimalizátor

Muon + AdamW

Každá aktualizace momentu je před aplikací ortogonalizována (Newton–Schulz), takže se každý směr matice vah pohybuje podobnou rychlostí, namísto toho, aby dominovalo jen několik směrů.

Kontextové okno o velikosti 4 096 tokenů během tréninku; slovní zásoba o velikosti 151 643 tokenů.

Nejvícejazyčnější a nejmultikulturnější model

6T trénovacích tokenů z fondu deduplikovaného napříč všemi zdroji: 39 % surových tokenů bylo odfiltrováno. Žádný zdroj se neopakuje více než 2 epochy (s výjimkou wiki a vysoce kvalitních matematických zdrojů); běžný web se neopakuje nikdy.

  • Angličtina2,49TWebová data vysoké kvality 1,34T · Syntetická HQ 0,66T · Soubory PDF 0,32T · Web – střední kvalita 0,15T · Wiki 0,02T
  • Vícejazyčné2,18TWeb 0,79T · Webová data vysoké kvality 0,66T · Soubory PDF 0,4T · Syntetický 0,28T · Wiki 0,05T
  • Kód0,77TSkutečný kód 0,45T · Syntetický 0,31T
  • Matematika0,35TMatematika – hlavní zdroj 0,21T · Matematika na webu 0,15T
  • Podobné SFT0,21TKontrola kvality 0,12T · Matematika 0,07T · Programování 0,02T

Tři fáze, jedno snižování míry učení

  1. Hlavní · 4,8T0–80% · do kroku 572,2k
  2. Přechod · 0,6T80–90% · do kroku 643,7k
  3. Žíhání · 0,6T90–100% · do kroku 715,3k
Harmonogram rychlosti učeníHodnocený model: konec tréninku, 6T tokenů.

Každá fáze představuje samostatnou směs dat, která se načítá na hranici daného kroku. Přechod: most mezi oběma fázemi při stabilní míře učení, kde se směs již posouvá do poloviny směrem k fázi anneal (více vysoce kvalitních dat, QA, kódu a matematických dat), aby se model adaptoval ještě před poklesem. Anneal: směs nejvyšší kvality, zatímco míra učení v posledních 10 % klesá na nulu.

Každá fáze se stále více zaměřuje na kód, matematiku a data podobná SFT.

Podíl tokenů v jednotlivých fázích. Data jsou náhodně promíchána, nikoli podávána doménu po doméně: každá dávka o 2 048 sekvencích kombinuje všechny domény přibližně v těchto poměrech. SFT-like (data pro otázky a odpovědi, matematiku a instrukce pro kód): 2 % v hlavní fázi, 3,5 % za celý průběh.

Metodika

26 benchmarků, jeden harness, každý model

Celkem = ¼ angličtina + ¼ vícejazyčné + ¼ matematika + ¼ kód. Každý model hodnotíme pomocí nástroje lm-evaluation-harness a se stejnými opravami formátu odpovědí. U každého vícejazyčného benchmarku je vypočítán průměr napříč našimi 44 trénovacími jazyky mimo angličtinu.

  • Angličtina10

    • NLI
    • PAWS
    • Belebele (en)
    • COPA
    • PIQA
    • HellaSwag
    • WinoGrande
    • ARC-C
    • MMLU
    • MMLU-Pro

  • Vícejazyčné9

    • XNLI
    • PAWS-X
    • Belebele
    • XCOPA
    • Global PIQA NP
    • Global PIQA P
    • T-HellaSwag
    • INCLUDE
    • Global MMLU

  • Matematika3

    • GSM8K
    • MATH
    • MGSM

  • Programování4

    • MBPP
    • MBPP+
    • CRUX-I
    • CRUX-O

Žádné nahlížení: V poslední fázi tréninku se přeskočí každý dokument, který obsahuje položku benchmarku.

Výsledky

1. místo z 36 v kategorii malých modelů na celém světě

První v kategoriích Celkově, Text a Vícejazyčnost, o 3,1 bodu před modelem granite-4.0-h-tiny v kategorii Celkově.

Celkově

Pořadí malých modelů

#1

z 36 modelů

Pořadí v kategoriích

  • Matematika a kódování#1
  • Text#1
  • Vícejazyčné#1

Definice benchmarku. Náš model představuje konečný kontrolní bod běhu s 6 biliony tokenů, přičemž jeho kontext je rozšířen na 128 tisíc tokenů; proces annealingu při něm vynechává každý dokument obsahující položku benchmarku. Jeho třída: modely s až 2 miliardami aktivních parametrů (gemma-4-E2B s efektivní velikostí 2 miliardy). Vícejazyčné skóre jsou pro každý model vypočítány jako průměr ze 44 jazyků, na kterých model trénujeme, s výjimkou angličtiny.

Pořadí

12 nejlepších drobných modelů

36 modelů s až 2 miliardami aktivních parametrů (gemma-4-E2B s efektivní velikostí 2 miliardy, celkem 5,1 miliardy). Vícejazyčné v rámci našich jazyků pro trénování. Sloupce začínají od 0.

  1. #1Lara Mini Base (A0.6B/7.2B)57,0
  2. #2IBM - granite-4.0-h-tiny (1B active)53,9
  3. #3Alibaba - Qwen3-1.7B53,8
  4. #4Falcon-H1-1.5B-Deep53,2
  5. #5Hunyuan-1.8B52,2
  6. #6LFM2.5-8B-A1B (1.7B active)50,8
  7. #7Trinity-Nano (1B active)50,7
  8. #8LFM3-1.7B49,2
  9. #9Qwen3.5-2B48,9
  10. #10Falcon-H1-1.5B48,8
  11. #11Qwen2.5-1.5B47,6
  12. #12granite-4.0-1b47,2
  13. #17Google - gemma-4-E2B41,9

Celkové skóre = ¼ angličtina + ¼ vícejazyčnost + ¼ matematika + ¼ programování.

Efektivita

Číslo 1 mezi modely pod 2 mld., s pouhými 0,6 mld. aktivními parametry

Lara Mini Base překonává všech 35 dalších modelů ve své třídě, včetně modelů, které používají až 3× více aktivních parametrů, jako jsou Qwen3-1.7B a gemma-4-E2B.

20304050600,5B1B2BLara Mini Base (A0.6B/7.2B) · 57,0granite-4.0-h-tiny · 53,9gemma-4-E2B
Celkové skóre v závislosti na aktivních parametrech, logaritmická stupnice. Schodovitá křivka představuje hranici: žádný model s menším počtem aktivních parametrů nedosahuje vyššího skóre. Model gemma-4-E2B je znázorněn ve své efektivní velikosti 2B (celkem 5,1B).

Omezená verze · kdo ji získá

K čemu Lara Mini slouží

  • Aplikace Lara Translate

    Překlad offline

    Lara Mini je základní model, na kterém je postavena funkce offline překladu Lara 4 pro příští aplikaci Lara Translate. Váš text nikdy neopustí telefon a každý překlad stále trvá méně než sekundu.

  • Zákazníci společnosti Translated

    Malý základní LLM

    Přístup budou mít vybraní firemní zákazníci společnosti Translated. Lara Mini je navržena tak, aby mohla být doladěna pro specializované suverénní aplikace, běží na mobilních zařízeních a v našem cloudu dosahuje end-to-end latence pod 20 ms a zpracovává miliony tokenů za sekundu.

  • Výzkum

    Výzkumníci v oblasti umělé inteligence

    Přístup pro výzkumníky v oblasti umělé inteligence, aby mohli reprodukovat naše výsledky a stavět na nich, čímž posunou vícejazyčný výzkum ještě dál.

Co bude následovat

Tři soutěže, jedno pravidlo

Další fázi trénujeme pouze v případě, že v té aktuální získáme medaili.

  1. Fáze 1

    Místní

    Tiny · <2B aktivních

    listopad 2026Lara Mini Base

    Získejte vítězství v kategorii „tiny“ s Lara Base (A0,6 mld./7,2 mld.).

    prosinec 2026Lara Mini

    Lara 4 Mini a Lara Mini LLM, pro ultranízkou latenci a mobilní zařízení.

    Získali jsme medaili → trénujeme národní fázi. Žádná medaile – končíme.

  2. Fáze 2

    Národní

    Malý · <10 mld. aktivních

    březen 2027Lara Piccola Base (A7B/138B)

    Zúčastněte se kategorie malých modelů a získejte medaili i tam.

    duben 2027Lara 4 a Lara Piccola LLM

    Překladatelský model Lara 4 a LLM Lara Piccola, model A7B/138B pod svrchovanou správou EU.

    Získali jsme medaili → trénujeme na olympijskou etapu. Žádná medaile – končíme.

  3. Fáze 3

    Olympijské hry

    Špička · Více než 40 mld. aktivních

    prosinec 2027Lara Grande Base (A60B/1,2T)

    Vstupte do kategorie Frontier a utkejte se s nejlepšími modely na světě.

    březen 2028Lara 5 a Lara Grande LLM

    Lara 5 překonává profesionální překladatele na úrovni P95. Lara Grande: suverénní špičkový LLM z EU, který předstihuje čínské modely a přibližuje se modelům společností Anthropic a OpenAI.

Referenční modely: tiny Gemma 4 E2B · small Gemma 4B/26B · medium Qwen 17B/397B · frontier GPT-6 Astra, Claude 5.6, Kimi K3.

Rozpočet na trénování

Rozpočty na jednorázový trénink, příští verze

ModelTokenyFLOPyHardwarové vybaveníDnyNáklady na trénování
Lara 4 PiccolaMoE 6,7B / 138B20T8,0 × 10²³512 × H10031$1,0M
Lara 4 GrandeMoE 60B / 1,2T24T8,6 × 10²⁴512 × Vera Rubin25$2,4M
Lara 4 SaggiaMoE 600B / 12T36T1,3 × 10²⁶2 304 × Vera Rubin83$36,6M
Pro informaci
Typická hraniceMoE 150B / 3T36T3,2 × 10²⁵4 096 × B20051$18,8M

Zdroj: Lara 4 LLM Training Budget Planning, 3. listopadu 2026 · FP8 · pouze náklady na výpočet · Odhadované dny Saggia podle metodiky plánu

Příští trénink

Kandidát Lara Piccola

60 vrstev a 138 miliard parametrů: model, který má překonat Gemma 4 31B.

  • 138Bcelkový počet parametrů
  • 6,7Baktivní na token
  • Tokenizátornový, vyvážený
  • 60vrstvy
  • 2816skrytá velikost
  • 512 × 512experti, top-8 + 2 sdílení
  • 400kHodinový výkon GPU H100 pro 20T tokenů
  • 30 dnína 512 grafických procesorech H100
  • $1MNáklady na tréninkový běh

  • Cíl: zvítězit v kategorii malých modelů (<10 mld. aktivních parametrů)

    Současní lídři: Qwen3.5-122B-A10B, GLM-4.5-Air

  • Cíl: překonat model Gemma 4 31B v mnohojazyčné oblasti

    Překonat vysoce vícejazyčné husté modely ve třídě středních modelů.

30,7 s na krok při 32 uzlech · stejná hybridní pozornost jako u Lara Mini Base (GDN, okno, globální)

Technická zpráva

Získejte technickou zprávu

Architektura, trénovací data, benchmarky a metodika za Lara Mini Base, vše v jednom dokumentu. Zanechte své kontaktní údaje a my vám dokument zašleme e-mailem.

Souhlasím s tím, aby mě Lara kontaktovala ohledně dalších informací a ukázky. Přečetl/a jsem si a souhlasím se zásadami ochrany osobních údajů*

Práce s Lara

Dva způsoby, jak dát Laře práci

  • Zajímá vás generativní model?

    Přístup budou mít vybraní firemní zákazníci společnosti Translated. Lara Mini je navržena pro doladění na specializované suverénní aplikace, běží na mobilních zařízeních a v našem cloudu dosahuje end-to-end latence pod 20 ms a zpracovává miliony tokenů za sekundu.

    Kontaktujte obchodní oddělení

  • Překládejte s Lara

    Překládejte texty, dokumenty a konverzace s Lara, překladačem vyvinutým na základě tohoto výzkumu.

    Začněte používat Laru pro překlady