AccediAccediRegistratiRegistrati gratisContatta il team commerciale

Ogni laboratorio di IA parte dal presupposto che un numero maggiore di lingue peggiori le prestazioni di un modello.Noi scommettiamo sul contrario.

Nato come LLM generico alla base di Lara 4 Translation AI, Lara Mini è stato sviluppato fin dal primo giorno come il modello più multilingue e multiculturale.
Al termine del suo addestramento di 6T token, si posiziona al 1° posto su 36 modelli della sua categoria a livello mondiale.

Scarica il rapporto tecnicoOttieni il modello

Translated · la storia dietro Lara

La diversità non è un costo per l'intelligenza. Ne è una fonte.

  • La convinzione

    I grandi laboratori addestrano i modelli principalmente sull'inglese e considerano le altre lingue e culture come rumore che compromette la qualità.

  • La scommessa

    Translated, la cui attività è la traduzione, ha sviluppato Lara utilizzando testi reali scritti in molte lingue e appartenenti a culture diverse. Osservando una stessa idea attraverso molte di queste lingue e culture, il modello la comprende meglio.

  • La prova

    N. 1 su 36 modelli con fino a 2B parametri attivi a livello mondiale, addestrato su 6T token, contesto da 128K.

Panoramica dell'esecuzione

Architettura

  • 0,6Bparametri attivi per token (4 esperti)
  • 7,2Bparametri totali, MoE con 128 esperti, 1 condiviso
  • 34strati: memoria (GDN), finestra e attenzione globale
  • 128Ktoken della finestra di contesto

Dati

  • 6Ttoken di addestramento
  • 39%dei token grezzi filtrati
  • 44 + ENlingue, tutte e 24 le lingue ufficiali dell’UE
  • 151.643token nel vocabolario, riequilibrio per lingue con poche risorse

Come l'abbiamo realizzata

Un design ibrido e sparso per il modello più multilingue

Un modello ibrido e sparso: 34 strati, 128 esperti

Tre tipi di layer, un'unità ripetuta

  • 14 memoria · Gated DeltaNet: uno stato di attenzione lineare per head, aggiornato token per token
  • 13 finestra · attenzione sugli ultimi 512 token, posizioni RoPE
  • 7 globale · attenzione completa, nessuna codifica posizionale; l'ultimo livello è sempre globale

Mixture of experts in ogni livello

  • 4 di 128 esperti instradati scelti per token da un router
  • 1 esperto condiviso sempre attivo
  • 0,6B di 7,2B parametri attivi per token; dimensione nascosta 1.024, embedding di input e output vincolati

Ottimizzatore

Muon + AdamW

Ogni aggiornamento del momentum viene ortogonalizzato (Newton–Schulz) prima di essere applicato, in modo che tutte le direzioni di una matrice dei pesi si muovano a una velocità simile, anziché lasciarne alcune a dominare.

Finestra di contesto di 4.096 token durante l'addestramento; vocabolario di 151.643 token.

Il modello più multilingue e multiculturale

6T token di addestramento provenienti da un pool deduplicato su tutte le fonti: il 39% dei token grezzi è stato filtrato. Nessuna fonte viene ripetuta per più di 2 epoche (fanno eccezione wiki e matematica di alta qualità); i dati del web generico non vengono mai ripetuti.

  • Inglese2,49TDati di alta qualità dal Web 1,34T · Dati sintetici di alta qualità 0,66T · PDF 0,32T · Web di qualità media 0,15T · Wiki 0,02T
  • Multilingue2,18TWeb 0,79T · Dati di alta qualità dal Web 0,66T · PDF 0,4T · Sintetico 0,28T · Wiki 0,05T
  • Codice0,77TCodice reale 0,45T · Sintetico 0,31T
  • Matematica0,35TMatematica HQ 0,21T · Matematica sul web 0,15T
  • Simile a SFT0,21TControllo qualità 0,12T · Matematica 0,07T · Programmazione 0,02T

Tre fasi, un unico decadimento del tasso di apprendimento

  1. Principale · 4,8T0–80% · fino al passaggio 572,2k
  2. Transizione · 0,6T80–90% · fino al passaggio 643,7k
  3. Annealing · 0,6T90–100% · fino al passaggio 715,3k
Programma del tasso di apprendimentoModello valutato: fine dell'addestramento, 6T token.

Ogni fase è un mix di dati distinto, caricato al confine della relativa tappa. Transizione: un ponte tra le due fasi a un tasso di apprendimento stabile, in cui il mix si sposta già a metà strada verso quello dell'annealing (dati di qualità superiore, QA, codice e matematica), in modo che il modello si adatti prima del decadimento. Anneal: il mix di qualità più elevata, mentre il tasso di apprendimento decresce fino a zero nell'ultimo 10%.

Ogni fase si orienta sempre più verso il codice, la matematica e i dati di tipo SFT.

Quota dei token di ciascuna fase. I dati vengono mescolati, non alimentati dominio per dominio: ogni batch di 2.048 sequenze combina tutti i domini all'incirca nelle proporzioni indicate. Simile a SFT (dati di QA, matematica e istruzioni di programmazione): 2% nella fase principale, 3,5% nell'intera esecuzione.

Metodologia

26 benchmark, un unico harness, ogni modello

Complessivo = ¼ inglese + ¼ multilingue + ¼ matematica + ¼ programmazione. Valutiamo ogni modello utilizzando lm-evaluation-harness e applicando le stesse correzioni per il formato delle risposte. Per ogni benchmark multilingue viene calcolata la media sui nostri 44 linguaggi di addestramento non inglesi.

  • Inglese10

    • NLI
    • PAWS
    • Belebele (en)
    • COPA
    • PIQA
    • HellaSwag
    • WinoGrande
    • ARC-C
    • MMLU
    • MMLU-Pro

  • Multilingue9

    • XNLI
    • PAWS-X
    • Belebele
    • XCOPA
    • Global PIQA NP
    • Global PIQA P
    • T-HellaSwag
    • INCLUDE
    • Global MMLU

  • Matematica3

    • GSM8K
    • MATH
    • MGSM

  • Programmazione4

    • MBPP
    • MBPP+
    • CRUX-I
    • CRUX-O

Niente sbirciatine: nella fase finale di addestramento vengono saltati tutti i documenti che contengono un elemento di benchmark.

Risultati

N. 1 su 36 tra i modelli di piccole dimensioni a livello mondiale

Prima in classifica per Overall, Text e Multilingual, con un vantaggio di 3,1 punti su granite-4.0-h-tiny per Overall.

Complessivo

Classifica dei modelli Tiny

#1

su 36 modelli

Classifica per categoria

  • Matematica e Programmazione#1
  • Testo#1
  • Multilingue#1

Definizione del benchmark. Il nostro modello è il checkpoint finale della sessione da 6T token, con il contesto esteso a 128K; il suo processo di anneal salta ogni documento contenente un elemento di benchmark. La sua classe: modelli con fino a 2B parametri attivi (gemma-4-E2B nella sua dimensione effettiva di 2B). Per ogni modello, i punteggi multilingue sono calcolati come media delle 44 lingue non inglesi su cui effettuiamo l'addestramento.

Classifiche

I 12 migliori modelli "tiny"

36 modelli con fino a 2B parametri attivi (gemma-4-E2B con una dimensione effettiva di 2B, per un totale di 5,1B). Multilingue nelle nostre lingue di addestramento. Le barre partono da 0.

  1. #1Lara Mini Base (A0.6B/7.2B)57,0
  2. #2IBM - granite-4.0-h-tiny (1B active)53,9
  3. #3Alibaba - Qwen3-1.7B53,8
  4. #4Falcon-H1-1.5B-Deep53,2
  5. #5Hunyuan-1.8B52,2
  6. #6LFM2.5-8B-A1B (1.7B active)50,8
  7. #7Trinity-Nano (1B active)50,7
  8. #8LFM3-1.7B49,2
  9. #9Qwen3.5-2B48,9
  10. #10Falcon-H1-1.5B48,8
  11. #11Qwen2.5-1.5B47,6
  12. #12granite-4.0-1b47,2
  13. #17Google - gemma-4-E2B41,9

Complessivo = ¼ inglese + ¼ multilingue + ¼ matematica + ¼ programmazione.

Efficienza

N. 1 tra i modelli sotto i 2B, con soli 0,6B attivi

Lara Mini Base supera tutti gli altri 35 modelli della sua classe, compresi quelli che utilizzano fino a 3 volte più parametri attivi, come Qwen3-1.7B e gemma-4-E2B.

20304050600,5B1B2BLara Mini Base (A0.6B/7.2B) · 57,0granite-4.0-h-tiny · 53,9gemma-4-E2B
Punteggio complessivo rispetto ai parametri attivi, in scala logaritmica. La linea a gradini rappresenta la frontiera: nessun modello con meno parametri attivi ottiene un punteggio superiore. gemma-4-E2B è rappresentato con la sua dimensione effettiva di 2B (5,1B in totale).

Rilascio limitato · chi lo ottiene

A cosa serve Lara Mini

  • App Lara Translate

    Traduzione offline

    Lara Mini è il modello di base su cui si fonda la funzionalità di traduzione offline di Lara 4 per la prossima app Lara Translate. Il tuo testo non lascia mai il telefono e ogni traduzione richiede comunque meno di un secondo.

  • Clienti di Translated

    LLM di base di dimensioni ridotte

    Avranno accesso clienti aziendali selezionati di Translated. Lara Mini è progettato per essere ottimizzato per applicazioni sovrane specializzate, funziona su dispositivi mobili e, sul nostro cloud, offre una latenza end-to-end inferiore a 20 ms, generando milioni di token al secondo.

  • Ricerca AI

    Ricercatori nel campo dell'IA

    Accesso per i ricercatori di IA per riprodurre i nostri risultati e sviluppare ulteriormente su di essi, facendo progredire la ricerca multilingue.

Cosa c'è dopo

Tre competizioni, una sola regola

Addestriamo la fase successiva solo se conquistiamo una medaglia in quella in corso.

  1. Fase 1

    Locale

    Tiny · <2B attivi

    nov 2026Lara Mini Base

    Vinci la categoria Tiny con Lara Base (A0.6B/7.2B).

    dic 2026Lara Mini

    Lara 4 Mini e Lara Mini LLM, per latenza ultrabassa e dispositivi mobili.

    Medaglia vinta → addestriamo la fase Nazionale. Nessuna medaglia, ci fermiamo.

  2. Fase 2

    Nazionale

    Piccolo · <10B attivo

    mar 2027Lara Piccola Base (A7B/138B)

    Partecipa alla categoria Small e conquista una medaglia anche lì.

    apr 2027Lara 4 e Lara Piccola LLM

    Il modello di traduzione Lara 4 e l'LLM Lara Piccola, un modello A7B/138B sovrano dell'UE.

    Medaglia vinta → ci alleniamo per la fase Olimpiadi. Nessuna medaglia, ci fermiamo.

  3. Fase 3

    Olimpiadi

    Frontiera · Oltre 40B attivi

    dic 2027Lara Grande Base (A60B/1,2T)

    Entra nella categoria Frontier, in competizione con i migliori modelli al mondo.

    mar 2028Lara 5 e Lara Grande LLM

    Lara 5 supera i traduttori professionisti nel 95° percentile. Lara Grande: un LLM di frontiera sovrano dell'UE, che supera i modelli cinesi e si avvicina ad Anthropic e OpenAI.

Modelli di riferimento: tiny Gemma 4 E2B · small Gemma 4B/26B · medium Qwen 17B/397B · frontier GPT-6 Astra, Claude 5.6, Kimi K3.

Budget per l'addestramento

Budget per l'addestramento in esecuzione singola, prossime versioni

ModelloTokenFLOPHardwareGiorniCosto dell'addestramento
Lara 4 PiccolaMoE 6,7B / 138B20T8,0 × 10²³512 × H10031$1,0M
Lara 4 GrandeMoE 60B / 1,2T24T8,6 × 10²⁴512 × Vera Rubin25$2,4M
Lara 4 SaggiaMoE 600B / 12T36T1,3 × 10²⁶2304 × Vera Rubin83$36,6M
Per riferimento
Frontiera tipicaMoE 150B / 3T36T3,2 × 10²⁵4096 × B20051$18,8M

Fonte: Lara 4 LLM Training Budget Planning, 3 novembre 2026 · FP8 · solo costo di calcolo · Giorni Saggia stimati con il metodo del piano

Prossimo addestramento

Candidata Lara Piccola

60 strati e 138 miliardi di parametri: il modello destinato a superare Gemma 4 31B.

  • 138Bparametri totali
  • 6,7Battivi per token
  • Tokenizzatorenuovo, ribilanciato
  • 60strati
  • 2816dimensione nascosta
  • 512 × 512esperti, top-8 + 2 condivisi
  • 400kOre GPU H100 per 20T token
  • 30 giornisu 512 GPU H100
  • $1MCosto della sessione di addestramento

  • Obiettivo: vincere nella classe dei modelli di piccole dimensioni (<10B attivi)

    Leader attuali: Qwen3.5-122B-A10B, GLM-4.5-Air

  • Obiettivo: superare Gemma 4 31B nel dominio multilingue

    Superare i modelli densi altamente multilingue nella classe dei modelli di medie dimensioni.

30,7 s per step su 32 nodi · stessa attenzione ibrida di Lara Mini Base (GDN, window, global)

Relazione tecnica

Scarica il rapporto tecnico

Architettura, dati di addestramento, benchmark e metodologia alla base di Lara Mini Base, in un unico documento. Lascia i tuoi dati e te lo invieremo via e-mail.

Acconsento a essere contattato da Lara per ulteriori informazioni e demo. Ho letto e accetto l'Informativa sulla privacy*

Lavora con Lara

Due modi per mettere Lara al lavoro

  • Interessato al modello generativo?

    I clienti aziendali di Translated selezionati avranno accesso. Lara Mini è progettato per essere ottimizzato per applicazioni sovrane specializzate, funziona su dispositivi mobili e, sul nostro cloud, offre una latenza end-to-end inferiore a 20 ms, generando milioni di token al secondo.

    Contatta il reparto vendite

  • Traduci con Lara

    Traduci testi, documenti e conversazioni con Lara, il traduttore sviluppato sulla base di questa ricerca.

    Inizia a usare Lara per la traduzione