Inicia la sessióInicia la sessióRegistra'tRegistra't de francParla amb Vendes

Tots els laboratoris d'IA parteixen de la premissa que incorporar més idiomes empitjora el rendiment d'un model.Nosaltres apostem pel contrari.

Creat com a LLM d'ús general que sustenta Lara 4 Translation AI, Lara Mini es va dissenyar des del primer dia com el model més multilingüe i multicultural.
En finalitzar l'entrenament de 6 bilions de tokens, ocupa el primer lloc entre 36 models de la seva categoria a escala mundial.

Obtén l'informe tècnicObtén el model

Translated · la història darrere de Lara

La diversitat no és un cost per a la intel·ligència. És una font d'intel·ligència.

  • La convicció

    Els grans laboratoris entrenen principalment en anglès i consideren les altres llengües i cultures com a soroll que perjudica la qualitat.

  • L'aposta

    Translated, empresa dedicada a la traducció, va desenvolupar Lara a partir de textos reals redactats en nombroses llengües i cultures. En veure una idea a través de moltes d'elles, el model l'entén millor.

  • La prova

    Núm. 1 de 36 models amb fins a 2 B de paràmetres actius a tot el món, entrenat amb 6 T de tokens i 128 K de context.

Resum de l'execució

Arquitectura

  • 0,6 Bparàmetres actius per token (4 experts)
  • 7,2 Bparàmetres totals, MoE amb 128 experts, 1 compartit
  • 34capes: memòria (GDN), finestra i atenció global
  • 128 Ktokens de la finestra de context

Dades

  • 6 Ttokens d'entrenament
  • 39 %de tòkens en brut filtrats
  • 44 + ENllengües, les 24 oficials de la UE
  • 151.643tòkens al vocabulari, reequilibrat per a llengües amb pocs recursos

Com l'hem desenvolupat

Un disseny híbrid i dispers per al model més multilingüe

Un model híbrid i dispers: 34 capes, 128 experts

Tres tipus de capes, una unitat repetitiva

  • 14 memòria · Gated DeltaNet: un estat d'atenció lineal per cap, actualitzat tòquen per tòquen
  • 13 finestra · atenció sobre els últims 512 tokens, posicions RoPE
  • 7 global · atenció completa, sense codificació posicional; la darrera capa sempre és global

Barreja d'experts a cada capa

  • 4 de 128 experts encaminats seleccionats per token per un encaminador
  • 1 expert compartit sempre actiu
  • 0,6 B de 7,2 B de paràmetres actius per testimoni; mida oculta de 1.024, incrustacions d'entrada i de sortida vinculades

Optimitzador

Muon + AdamW

Cada actualització de l'impuls s'ortogonalitza (Newton–Schulz) abans d'aplicar-se, de manera que totes les direccions d'una matriu de pesos es mouen a una velocitat similar, en lloc que n'hi hagi unes poques que dominin.

Finestra de context de 4.096 tokens durant l'entrenament; vocabulari de 151.643 tokens.

El model més multilingüe i multicultural

6 bilions de «tokens» d'entrenament procedents d'un conjunt desduplicat en totes les fonts: es va filtrar el 39 % dels «tokens» en brut. Cap font no es repeteix més de 2 èpoques (excepte les de la Viquipèdia i les de matemàtiques d'alta qualitat); la web general no es repeteix mai.

  • Anglès2,49TDades d'alta qualitat del web 1,34T · Dades sintètiques d'alta qualitat 0,66T · PDF 0,32T · Web de qualitat mitjana 0,15T · Wiki 0,02T
  • Multilingüe2,18TWeb 0,79T · Dades d'alta qualitat del web 0,66T · PDF 0,4T · Sintètic 0,28T · Wiki 0,05T
  • Programació0,77TCodi real 0,45T · Sintètic 0,31T
  • Matemàtiques0,35TMatemàtiques HQ 0,21T · Matemàtiques web 0,15T
  • Similar a SFT0,21TPreguntes i respostes 0,12T · Matemàtiques 0,07T · Programació 0,02T

Tres etapes, una única disminució de la taxa d'aprenentatge

  1. Principal · 4,8T0–80% · fins al pas 572,2k
  2. Transició · 0,6T80–90% · fins al pas 643,7k
  3. Recuit · 0,6T90–100% · fins al pas 715,3k
Programa de la taxa d'aprenentatgeModel avaluat: final de l'entrenament, 6 bilions de tòkens.

Cada etapa és una combinació de dades independent que es carrega al límit del seu pas. Transició: un pont entre les dues fases amb una taxa d'aprenentatge estable, on la barreja ja avança fins a mig camí cap a l'annealing (dades de més alta qualitat, QA, codi i matemàtiques), de manera que el model s'adapta abans del decaïment. Anneal: la combinació de la màxima qualitat, mentre que la taxa d'aprenentatge decau fins a zero durant l'últim 10 %.

Cada etapa s'orienta cada cop més cap al codi, les matemàtiques i les dades de tipus SFT.

Percentatge dels tokens de cada etapa. Les dades es barregen i no s'introdueixen domini per domini: cada lot de 2.048 seqüències combina tots els dominis aproximadament en aquestes proporcions. Similar a SFT (dades d'instruccions de preguntes i respostes, matemàtiques i codi): 2 % a la fase principal, 3,5 % en tota l'execució.

Metodologia

26 benchmarks, un únic harness, tots els models

Total = ¼ anglès + ¼ multilingüe + ¼ matemàtiques + ¼ programació. Nosaltres puntuem tots els models amb lm-evaluation-harness i amb les mateixes correccions del format de resposta. Cada punt de referència multilingüe es calcula com a mitjana dels nostres 44 idiomes d'entrenament no anglesos.

  • Anglès10

    • NLI
    • PAWS
    • Belebele (en)
    • COPA
    • PIQA
    • HellaSwag
    • WinoGrande
    • ARC-C
    • MMLU
    • MMLU-Pro

  • Multilingüe9

    • XNLI
    • PAWS-X
    • Belebele
    • XCOPA
    • Global PIQA NP
    • Global PIQA P
    • T-HellaSwag
    • INCLUDE
    • Global MMLU

  • Matemàtiques3

    • GSM8K
    • MATH
    • MGSM

  • Programació4

    • MBPP
    • MBPP+
    • CRUX-I
    • CRUX-O

Sense fer trampes: l'etapa final d'entrenament omet tots els documents que contenen un element de benchmark.

Resultats

Núm. 1 de 36 entre els models petits de tot el món

Primera en la categoria General, en Text i en Multilingüe, amb 3,1 punts d'avantatge respecte a granite-4.0-h-tiny en la categoria General.

General

Classificació dels models petits

#1

d'un total de 36 models

Classificació per categories

  • Matemàtiques i programació#1
  • Text#1
  • Multilingüe#1

Definició del punt de referència. El nostre model és el punt de control final de l'execució de 6 bilions de tokens, amb el context ampliat a 128 K; el seu procés d'annealing omet tots els documents que contenen un element de punt de referència. La seva classe: models amb fins a 2B paràmetres actius (gemma-4-E2B amb una mida efectiva de 2B). Per a cada model, les puntuacions multilingües són la mitjana de les 44 llengües no angleses amb les quals entrenem.

Classificacions

Els 12 millors models diminuts

36 models amb fins a 2 B de paràmetres actius (gemma-4-E2B amb una mida efectiva de 2 B i un total de 5,1 B). Multilingüe en les nostres llengües d'entrenament. Les barres comencen des de 0.

  1. #1Lara Mini Base (A0.6B/7.2B)57,0
  2. #2IBM - granite-4.0-h-tiny (1B active)53,9
  3. #3Alibaba - Qwen3-1.7B53,8
  4. #4Falcon-H1-1.5B-Deep53,2
  5. #5Hunyuan-1.8B52,2
  6. #6LFM2.5-8B-A1B (1.7B active)50,8
  7. #7Trinity-Nano (1B active)50,7
  8. #8LFM3-1.7B49,2
  9. #9Qwen3.5-2B48,9
  10. #10Falcon-H1-1.5B48,8
  11. #11Qwen2.5-1.5B47,6
  12. #12granite-4.0-1b47,2
  13. #17Google - gemma-4-E2B41,9

Resultat global = ¼ anglès + ¼ multilingüe + ¼ matemàtiques + ¼ programació.

Eficiència

Núm. 1 per sota dels 2 B, amb només 0,6 B actius

Lara Mini Base supera tots els altres 35 models de la seva categoria, inclosos els que utilitzen fins a 3 vegades més paràmetres actius, com ara Qwen3-1.7B i gemma-4-E2B.

20304050600,5B1B2BLara Mini Base (A0.6B/7.2B) · 57,0granite-4.0-h-tiny · 53,9gemma-4-E2B
Puntuació global en funció dels paràmetres actius, en escala logarítmica. La línia de pas és la frontera: cap model amb menys paràmetres actius obté una puntuació més alta. gemma-4-E2B es representa amb la seva mida efectiva de 2 B (5,1 B en total).

Llançament limitat · Qui l'aconsegueix

Per a què serveix Lara Mini

  • Aplicació Lara Translate

    Traducció sense connexió

    Lara Mini és el model base darrere de la funció de traducció fora de línia de Lara 4 per a la pròxima aplicació Lara Translate. El teu text mai no surt del telèfon i cada traducció continua trigant menys d'un segon.

  • Clients de Translated

    LLM base petit

    Hi tindran accés clients empresarials seleccionats de Translated. Lara Mini està dissenyat per ser ajustat (fine-tuned) per a aplicacions sobiranes especialitzades, funciona en dispositius mòbils i, en el nostre núvol, ofereix una latència de punt a punt inferior a 20 ms, generant milions de tòkens per segon.

  • Recerca

    Investigadors d'IA

    Accés per als investigadors d'IA perquè puguin reproduir els nostres resultats i desenvolupar-los, impulsant així la investigació multilingüe.

Què hi ha a continuació?

Tres competicions, una sola regla

Només entrenem l'etapa següent si aconseguim una medalla en l'etapa actual.

  1. Etapa 1

    Local

    Tiny · <2B actius

    nov. del 2026Lara Mini Base

    Guanya la categoria «tiny» amb Lara Base (A0,6 B/7,2 B).

    des. del 2026Lara Mini

    Lara 4 Mini i Lara Mini LLM, per a una latència ultrabaixa i per a dispositius mòbils.

    Medalla aconseguida → entrenem l'etapa Nacional. Sense medalla, parem.

  2. Etapa 2

    Nacional

    Petit · <10 B actiu

    març del 2027Lara Piccola Base (A7B/138B)

    Participa en la categoria «Small» i guanya-hi una medalla també.

    abr. del 2027Lara 4 i Lara Piccola LLM

    Model de traducció Lara 4 i LLM Lara Piccola, un model A7B/138B sobirà de la UE.

    Medalla aconseguida → entrenem per a l'etapa olímpica. Sense medalla, ho deixem aquí.

  3. Etapa 3

    Jocs Olímpics

    Vanguardia · Més de 40 B actius

    des. del 2027Lara Grande Base (A60B/1,2T)

    Entra a la categoria d'avantguarda, enfrontant-te als millors models del món.

    març del 2028Lara 5 i Lara Grande LLM

    Lara 5 supera els traductors professionals P95. Lara Grande: un LLM d'avantguarda sobirà de la UE, per davant dels models xinesos i a prop dels d'Anthropic i OpenAI.

Models de referència: tiny Gemma 4 E2B · small Gemma 4B/26B · medium Qwen 17B/397B · frontier GPT-6 Astra, Claude 5.6, Kimi K3.

Pressupost d'entrenament

Pressupostos d'entrenament d'una sola execució, pròximes versions

ModelTokensFLOPHardwareDiesCost de l'entrenament
Lara 4 PiccolaMoE 6,7B / 138B20T8,0 × 10²³512 × H10031$1,0M
Lara 4 GrandeMoE 60B / 1,2T24T8,6 × 10²⁴512 × Vera Rubin25$2,4M
Lara 4 SaggiaMoE 600B / 12T36T1,3 × 10²⁶2.304 × Vera Rubin83$36,6M
Per a referència
Frontera típicaMoE 150B / 3T36T3,2 × 10²⁵4.096 × B20051$18,8M

Font: Planificació del pressupost de l'entrenament de Lara 4 LLM, 3 de novembre del 2026 · FP8 · només cost de computació · Dies de Saggia estimats amb el mètode del pla

Proper entrenament

Candidata Lara Piccola

60 capes i 138 B de paràmetres: el model per superar Gemma 4 31B.

  • 138Bparàmetres totals
  • 6,7Bactius per token
  • Tokenitzadornou, reequilibrat
  • 60capes
  • 2816mida oculta
  • 512 × 512experts, els 8 principals + 2 compartits
  • 400kHores de GPU H100 per a 20 bilions de tòkens
  • 30 diesen 512 GPU H100
  • $1MCost de l'execució de l'entrenament

  • Objectiu: guanyar la categoria de models petits (<10 B actius)

    Líders actuals: Qwen3.5-122B-A10B, GLM-4.5-Air

  • Objectiu: superar Gemma 4 31B en l'àmbit multilingüe

    Superar els models densos altament multilingües de la classe de models mitjans.

30,7 s per pas amb 32 nodes · mateixa atenció híbrida que Lara Mini Base (GDN, finestra, global)

Informe tècnic

Obtén l'informe tècnic

Arquitectura, dades d'entrenament, benchmarks i metodologia darrere de Lara Mini Base, en un sol document. Deixa les teves dades i t'ho enviarem per correu electrònic.

Accepto que Lara es posi en contacte amb mi per a més informació i una demostració. He llegit i accepto la Política de privacitat*

Treballa amb Lara

Dues maneres de posar Lara a treballar

  • T'interessa el model generatiu?

    Hi tindran accés clients empresarials seleccionats de Translated. Lara Mini està dissenyat per ser ajustat (fine-tuned) per a aplicacions sobiranes especialitzades, funciona en dispositius mòbils i, en el nostre núvol, ofereix una latència de punt a punt inferior a 20 ms, generant milions de tòkens per segon.

    Contacta amb el departament de vendes

  • Tradueix amb Lara

    Tradueix textos, documents i converses amb Lara, el traductor desenvolupat a partir d'aquesta investigació.

    Comença a fer servir Lara per a la traducció