Se connecterSe connecterS’inscrireS'inscrire gratuitementContacter notre équipe de vente

Tous les laboratoires d’IA partent du principe que l’ajout de langues dégrade les performances d’un modèle.Nous avons parié le contraire.

Conçu initialement comme le LLM polyvalent sous-jacent à l’IA de traduction Lara 4, Lara Mini a été développé dès le départ comme le modèle le plus multilingue et le plus multiculturel.
À l’issue de son entraînement de 6 T de tokens, il se classe n° 1 sur 36 modèles de sa catégorie dans le monde.

Obtenir le rapport techniqueObtenir le modèle

Translated · l’histoire derrière Lara

La diversité n’est pas un frein à l’intelligence. C’en est une source.

  • La conviction

    Les grands laboratoires entraînent principalement leurs modèles sur l’anglais et considèrent les autres langues et cultures comme du bruit qui nuit à la qualité.

  • Le pari

    Translated, dont la mission est la traduction, a conçu Lara à partir de textes réels écrits dans de nombreuses langues et cultures. En percevant une même idée à travers de nombreuses langues et cultures, le modèle la comprend mieux.

  • La preuve

    Nº 1 sur 36 modèles comptant jusqu’à 2 milliards de paramètres actifs dans le monde, entraîné sur 6 billions de tokens, avec une fenêtre de contexte de 128 k.

Aperçu de l’exécution

Architecture

  • 0,6 Mdparamètres actifs par token (4 experts)
  • 7,2 Mdnombre total de paramètres, MoE avec 128 experts, 1 partagé
  • 34couches : mémoire (GDN), fenêtre et attention globale
  • 128 Ktokens de la fenêtre de contexte

Données

  • 6 Ttokens d’entraînement
  • 39 %des tokens bruts filtrés
  • 44 + ENlangues, dont les 24 langues officielles de l’UE
  • 151 643tokens dans le vocabulaire, rééquilibrage pour les langues à faibles ressources

Comment nous l’avons conçu

Une architecture hybride et parcimonieuse pour le modèle le plus multilingue

Un modèle hybride et épars : 34 couches, 128 experts

Trois types de couches, une unité répétitive

  • 14 mémoire · Gated DeltaNet : un état d’attention linéaire par tête, mis à jour token par token
  • 13 fenêtre · attention portée aux 512 derniers tokens, positions RoPE
  • 7 global · attention complète, pas de codage positionnel ; la dernière couche est toujours globale

Mixture of experts dans chaque couche

  • 4 experts sur 128, acheminés et choisis par un routeur pour chaque token
  • 1 expert partagé toujours actif
  • 0,6 milliard de paramètres actifs sur 7,2 milliards par token ; taille des couches cachées : 1 024 ; embeddings d’entrée et de sortie liés

Optimiseur

Muon + AdamW

Chaque mise à jour du momentum est orthogonalisée (Newton–Schulz) avant d’être appliquée, de sorte que toutes les directions d’une matrice de poids évoluent à un rythme similaire, au lieu que quelques-unes dominent.

Fenêtre de contexte de 4 096 tokens lors de l’entraînement ; vocabulaire de 151 643 tokens.

Le modèle le plus multilingue et le plus multiculturel

6 T de tokens d’entraînement provenant d’un pool dédupliqué sur l’ensemble des sources : 39 % des tokens bruts ont été filtrés. Aucune source n’est répétée plus de 2 époques (à l’exception des sources wiki et des sources de mathématiques de haute qualité) ; le web général n’est jamais répété.

  • Anglais2,49TQualité élevée Web 1,34T · Données synthétiques de haute qualité 0,66T · Fichiers PDF 0,32T · Web – qualité moyenne 0,15T · Wiki 0,02T
  • Multilingue2,18TWeb 0,79T · Qualité élevée Web 0,66T · Fichiers PDF 0,4T · Synthétique 0,28T · Wiki 0,05T
  • Code0,77TCode réel 0,45T · Synthétique 0,31T
  • Mathématiques0,35TMathématiques – Qualité élevée 0,21T · Mathématiques sur le Web 0,15T
  • De type SFT0,21TQuestions-réponses 0,12T · Mathématiques 0,07T · Code 0,02T

Trois étapes, une seule décroissance du taux d’apprentissage

  1. Principal · 4,8T0–80% · jusqu’à l’étape 572,2k
  2. Transition · 0,6T80–90% · jusqu’à l’étape 643,7k
  3. Recuit · 0,6T90–100% · jusqu’à l’étape 715,3k
Calendrier du taux d’apprentissageModèle évalué : fin de l’entraînement, 6 T de tokens.

Chaque étape constitue un mélange de données distinct, chargé à la limite de l’étape concernée. Transition : un pont entre les deux phases, au taux d’apprentissage stable, où le mélange progresse déjà à mi-chemin vers celui de l’anneal (données de plus grande qualité, QA, code et mathématiques), afin que le modèle s’adapte avant la décroissance. Anneal : le mélange de la plus haute qualité, tandis que le taux d’apprentissage décroît jusqu’à zéro sur les 10 % finaux.

Chaque étape s’oriente davantage vers le code, les mathématiques et les données de type SFT.

Part des tokens de chaque étape. Les données sont mélangées, et non fournies domaine par domaine : chaque lot de 2 048 séquences combine tous les domaines dans des proportions approximativement équivalentes à celles indiquées. Type SFT (données de questions-réponses, de mathématiques et d’instructions de code) : 2 % dans la phase principale, 3,5 % sur l’ensemble de l’exécution.

Méthodologie

26 benchmarks, un seul harness, tous les modèles

Globalement = ¼ anglais + ¼ multilingue + ¼ mathématiques + ¼ code. Nous évaluons chaque modèle à l’aide de lm-evaluation-harness et en appliquant les mêmes corrections de format de réponse. Pour chaque benchmark multilingue, la moyenne est calculée sur nos 44 langues d’entraînement autres que l’anglais.

  • Anglais10

    • NLI
    • PAWS
    • Belebele (en)
    • COPA
    • PIQA
    • HellaSwag
    • WinoGrande
    • ARC-C
    • MMLU
    • MMLU-Pro

  • Multilingue9

    • XNLI
    • PAWS-X
    • Belebele
    • XCOPA
    • Global PIQA NP
    • Global PIQA P
    • T-HellaSwag
    • INCLUDE
    • Global MMLU

  • Mathématiques3

    • GSM8K
    • MATH
    • MGSM

  • Code4

    • MBPP
    • MBPP+
    • CRUX-I
    • CRUX-O

Pas de triche : lors de la phase finale d’entraînement, tous les documents contenant un élément de benchmark sont ignorés.

Résultats

Nº 1 sur 36 parmi les modèles de petite taille dans le monde

Première place aux classements Global, Texte et Multilingue, avec 3,1 points d’avance sur granite-4.0-h-tiny au classement Global.

Général

Classement des modèles Tiny

#1

sur 36 modèles

Classement par catégorie

  • Mathématiques et programmation#1
  • Texte#1
  • Multilingue#1

Définition du benchmark. Notre modèle est le dernier point de contrôle de la phase d’entraînement de 6 T de tokens, avec une fenêtre de contexte étendue à 128 K ; son processus d’annealing ignore tout document contenant un élément du benchmark. Sa catégorie : modèles comptant jusqu’à 2 milliards de paramètres actifs (gemma-4-E2B à sa taille effective de 2 milliards). Pour chaque modèle, les scores multilingues sont calculés en faisant la moyenne sur les 44 langues non anglaises sur lesquelles nous entraînons le modèle.

Classements

Top 12 des modèles tiny

36 modèles comptant jusqu’à 2 milliards de paramètres actifs (gemma-4-E2B avec une taille effective de 2 milliards, pour un total de 5,1 milliards). Multilingue sur nos langues d’entraînement. Les barres partent de 0.

  1. #1Lara Mini Base (A0.6B/7.2B)57,0
  2. #2IBM - granite-4.0-h-tiny (1B active)53,9
  3. #3Alibaba - Qwen3-1.7B53,8
  4. #4Falcon-H1-1.5B-Deep53,2
  5. #5Hunyuan-1.8B52,2
  6. #6LFM2.5-8B-A1B (1.7B active)50,8
  7. #7Trinity-Nano (1B active)50,7
  8. #8LFM3-1.7B49,2
  9. #9Qwen3.5-2B48,9
  10. #10Falcon-H1-1.5B48,8
  11. #11Qwen2.5-1.5B47,6
  12. #12granite-4.0-1b47,2
  13. #17Google - gemma-4-E2B41,9

Global = ¼ anglais + ¼ multilingue + ¼ mathématiques + ¼ code.

Efficacité

Nº 1 parmi les modèles de moins de 2 milliards de paramètres, avec seulement 0,6 milliard de paramètres actifs

Lara Mini Base surpasse les 35 autres modèles de sa catégorie, y compris ceux qui utilisent jusqu’à 3 fois plus de paramètres actifs, tels que Qwen3-1.7B et gemma-4-E2B.

20304050600,5B1B2BLara Mini Base (A0.6B/7.2B) · 57,0granite-4.0-h-tiny · 53,9gemma-4-E2B
Score global en fonction des paramètres actifs, échelle logarithmique. La ligne en escalier représente la frontière : aucun modèle ayant moins de paramètres actifs n’obtient de score supérieur. gemma-4-E2B est représenté à sa taille effective de 2 Mds (5,1 Mds au total).

Version à diffusion limitée · Qui en bénéficie ?

À quoi sert Lara Mini ?

  • Application Lara Translate

    Traduction hors ligne

    Lara Mini est le modèle de base qui sous-tend la fonctionnalité de traduction hors ligne de Lara 4, destinée à la prochaine application Lara Translate. Votre texte ne quitte jamais le téléphone, et chaque traduction prend toujours moins d’une seconde.

  • Clients de Translated

    LLM de base de petite taille

    Seuls certains clients professionnels de Translated y auront accès. Lara Mini est conçu pour être fine-tuné pour des applications souveraines spécialisées. Il fonctionne sur les appareils mobiles et, sur notre cloud, offre une latence de bout en bout inférieure à 20 ms, tout en traitant des millions de tokens par seconde.

  • Recherche IA

    Chercheurs en IA

    Accès pour les chercheurs en IA afin de reproduire nos résultats et de les exploiter, faisant ainsi progresser la recherche multilingue.

Prochaines étapes

Trois compétitions, une seule règle

Nous ne lançons l’entraînement de l’étape suivante que si nous remportons une médaille à l’étape en cours.

  1. Étape 1

    Local

    Tiny · < 2 B actifs

    nov. 2026Lara Mini Base

    Remportez la catégorie des modèles « tiny » avec Lara Base (A0.6B/7.2B).

    déc. 2026Lara Mini

    Lara 4 Mini et Lara Mini LLM, pour une latence ultra-faible et les appareils mobiles.

    Médaille remportée → nous entraînons l’étape Nationale. Pas de médaille : nous nous arrêtons.

  2. Étape 2

    National

    Petit · < 10 milliards actifs

    mars 2027Lara Piccola Base (A7B/138B)

    Participez à la catégorie « Small » et remportez également une médaille dans cette catégorie.

    avr. 2027Lara 4 et Lara Piccola LLM

    Modèle de traduction Lara 4 et LLM Lara Piccola, un modèle A7B/138B souverain au sein de l’UE.

    Médaille remportée → nous entraînons pour l’étape Jeux olympiques. Pas de médaille, nous nous arrêtons.

  3. Étape 3

    Jeux olympiques

    Frontière · Plus de 40 milliards actifs

    déc. 2027Lara Grande Base (A60B/1,2T)

    Entrez dans la catégorie Frontier, face aux meilleurs modèles du monde.

    mars 2028Lara 5 et Lara Grande LLM

    Lara 5 surpasse les traducteurs professionnels situés dans le P95. Lara Grande : un LLM de pointe souverain de l’UE, qui devance les modèles chinois et se rapproche des performances d’Anthropic et d’OpenAI.

Modèles de référence : tiny Gemma 4 E2B · small Gemma 4B/26B · medium Qwen 17B/397B · frontier GPT-6 Astra, Claude 5.6, Kimi K3.

Budget d’entraînement

Budgets d’entraînement en une seule exécution, prochaines versions

ModèleTokensFLOPsMatérielJoursCoût de l’entraînement
Lara 4 PiccolaMoE 6,7B / 138B20T8,0 × 10²³512 × H10031$1,0M
Lara 4 GrandeMoE 60B / 1,2T24T8,6 × 10²⁴512 × Vera Rubin25$2,4M
Lara 4 SaggiaMoE 600B / 12T36T1,3 × 10²⁶2 304 × Vera Rubin83$36,6M
À titre de référence
Modèle de pointe typiqueMoE 150B / 3T36T3,2 × 10²⁵4 096 × B20051$18,8M

Source : Lara 4 LLM Training Budget Planning, 3 nov. 2026 · FP8 · coût de calcul uniquement · Jours Saggia estimés selon la méthode du plan

Prochain entraînement

Candidat Lara Piccola

60 couches et 138 milliards de paramètres : le modèle destiné à surpasser Gemma 4 31B.

  • 138Bnombre total de paramètres
  • 6,7Bactifs par token
  • Tokeniseurnouveau, rééquilibré
  • 60couches
  • 2816taille cachée
  • 512 × 512experts, top 8 + 2 partagés
  • 400kHeures GPU H100 pour 20 T de tokens
  • 30 jourssur 512 GPU H100
  • $1MCoût de la campagne d’entraînement

  • Objectif : remporter la catégorie des petits modèles (< 10 milliards de paramètres actifs)

    Leaders actuels : Qwen3.5-122B-A10B, GLM-4.5-Air

  • Objectif : battre Gemma 4 31B sur le multilinguisme

    Dépasser les modèles denses hautement multilingues dans la catégorie des modèles de taille moyenne.

30,7 s par étape sur 32 nœuds · même mécanisme d’attention hybride que Lara Mini Base (GDN, fenêtre, global)

Rapport technique

Obtenir le rapport technique

Architecture, données d’entraînement, benchmarks et méthodologie derrière Lara Mini Base, dans un seul document. Laissez vos coordonnées et nous vous l’enverrons par e-mail.

Je consens à être contacté par Lara pour plus d'informations et une démonstration. J'ai lu et j'accepte la Politique de confidentialité*

Travailler avec Lara

Deux façons de mettre Lara au travail

  • Le modèle génératif vous intéresse ?

    Certains clients entreprise de Translated y auront accès. Lara Mini est conçu pour être affiné pour des applications souveraines spécialisées. Il fonctionne sur les appareils mobiles et, sur notre cloud, offre une latence de bout en bout inférieure à 20 ms, tout en traitant des millions de tokens par seconde.

    Contacter le service commercial

  • Traduire avec Lara

    Traduisez des textes, des documents et des conversations avec Lara, le traducteur issu de ces travaux de recherche.

    Commencez à utiliser Lara pour la traduction