AnmeldenAnmeldenRegistrierenKostenlos registrierenSprechen Sie mit dem Vertrieb

Jedes KI-Labor geht davon aus, dass mehr Sprachen ein Modell schlechter machen.Wir setzen auf das Gegenteil.

Lara Mini entstand als allgemeines LLM, das Lara 4 Translation AI zugrunde liegt, und wurde von Anfang an als das am stärksten mehrsprachige und multikulturelle Modell konzipiert.
Am Ende seines Trainings mit 6 Billionen Token belegt es weltweit Platz 1 unter 36 Modellen seiner Klasse.

Technischen Bericht abrufenDas Modell abrufen

Translated · Die Geschichte hinter Lara

Diversität ist kein Nachteil für die Intelligenz. Sie ist eine Quelle dafür.

  • Die Überzeugung

    Die großen Labore trainieren überwiegend mit Englisch und behandeln andere Sprachen und Kulturen als Rauschen, das die Qualität beeinträchtigt.

  • Die Wette

    Translated, dessen Aufgabe die Übersetzung ist, hat Lara auf der Grundlage von realen Texten entwickelt, die in vielen Sprachen und Kulturen verfasst wurden. Indem das Modell eine Idee in vielen Sprachen und Kulturen betrachtet, versteht es sie besser.

  • Der Beweis

    Platz 1 unter 36 Modellen weltweit mit bis zu 2 Mrd. aktiven Parametern, trainiert auf 6 Bio. Tokens, 128K Kontext.

Der Testlauf auf einen Blick

Architektur

  • 0,6 Mrd.Aktive Parameter pro Token (4 Experten)
  • 7,2 Mrd.Gesamtanzahl der Parameter, MoE mit 128 Experten, 1 gemeinsam genutzt
  • 34Schichten: Speicher (GDN), Fenster und globale Aufmerksamkeit
  • 128KToken im Kontextfenster

Daten

  • 6TTrainings-Token
  • 39 %der Roh-Token wurden gefiltert
  • 44 + ENSprachen, alle 24 offiziellen EU-Sprachen
  • 151.643Token im Vokabular, Neuausrichtung für Sprachen mit geringen Ressourcen

Wie wir es entwickelt haben

Ein hybrides, verteiltes Design für das am stärksten mehrsprachige Modell

Ein hybrides, sparsames Modell: 34 Schichten, 128 Experten

Drei Arten von Schichten, eine sich wiederholende Einheit

  • 14 Speicher · Gated DeltaNet: ein linearer Aufmerksamkeitszustand pro Head, der Token für Token aktualisiert wird
  • 13 Fenster · Attention auf die letzten 512 Token, RoPE-Positionen
  • 7 global · Full-Attention, keine Positionskodierung; die letzte Schicht ist immer global

Mixture of Experts in jeder Schicht

  • 4 von 128 gerouteten Experten, die pro Token von einem Router ausgewählt werden
  • 1 gemeinsam genutzter Experte ist immer aktiv
  • 0,6 Mrd. von 7,2 Mrd. Parametern pro Token aktiv; Hidden Size 1.024, gekoppelte Input- und Output-Embeddings

Optimierer

Muon + AdamW

Jedes Momentum-Update wird vor seiner Anwendung orthogonalisiert (Newton–Schulz), sodass sich jede Richtung einer Gewichtsmatrix mit einer ähnlichen Geschwindigkeit bewegt, anstatt dass nur wenige dominieren.

Kontextfenster mit 4.096 Token im Training; Vokabular mit 151.643 Token.

Das am stärksten mehrsprachige und multikulturelle Modell

6 Billionen Trainings-Token aus einem über alle Quellen hinweg deduplizierten Pool: 39 % der Roh-Token wurden herausgefiltert. Keine Quelle wird mehr als 2 Epochen lang wiederholt (mit Ausnahme von Wiki und hochwertigen mathematischen Quellen); gewöhnliche Webquellen werden niemals wiederholt.

  • Englisch2,49TWeb-HQ 1,34T · Synthetische HQ 0,66T · PDF-Dateien 0,32T · Web – mittlerer Qualitätsgrad 0,15T · Wiki 0,02T
  • Mehrsprachig2,18TWeb 0,79T · Web-HQ 0,66T · PDF-Dateien 0,4T · Synthetisch 0,28T · Wiki 0,05T
  • Code0,77TEchter Code 0,45T · Synthetisch 0,31T
  • Mathematik0,35TMathematik – Hauptsitz 0,21T · Mathematik – Web 0,15T
  • SFT-ähnlich0,21TQualitätssicherung 0,12T · Mathematik 0,07T · Programmierung 0,02T

Drei Phasen, ein Abklingen der Lernrate

  1. Hauptteil · 4,8T0–80% · bis Schritt 572,2k
  2. Übergang · 0,6T80–90% · bis Schritt 643,7k
  3. Annealing · 0,6T90–100% · bis Schritt 715,3k
Zeitplan für die LernrateBewertetes Modell: Ende des Trainings, 6T Token.

Jede Phase ist eine separate Datenmischung, die am Übergang zur nächsten Stufe geladen wird. Übergang: eine Brücke zwischen den beiden Phasen bei stabiler Lernrate, in der die Mischung bereits zur Hälfte in Richtung des Annealings (mehr qualitativ hochwertige Daten, QA-, Code- und Mathematikdaten) übergeht, sodass sich das Modell vor dem Abklingen anpasst. Anneal: die höchstwertige Mischung, während der Lernrate im letzten Abschnitt von 10 % auf Null abfällt.

Jede Stufe orientiert sich stärker an Code, Mathematik und SFT-ähnlichen Daten.

Anteil der Token jeder Phase. Die Daten werden zufällig gemischt und nicht Domäne für Domäne eingespeist: Jeder Batch mit 2.048 Sequenzen kombiniert alle Domänen in etwa in diesen Proportionen. SFT-ähnlich (Daten zu QA, Mathematik und Code-Anweisungen): 2 % im Hauptteil, 3,5 % über den gesamten Durchlauf.

Methodik

26 Benchmarks, ein Harness, jedes Modell

Insgesamt = ¼ Englisch + ¼ Mehrsprachig + ¼ Mathematik + ¼ Programmieren. Jedes Modell wird von uns mit lm-evaluation-harness bewertet und unter Anwendung einheitlicher Korrekturen für das Antwortformat. Für jeden multilingualen Benchmark wird der Durchschnitt über unsere 44 Nicht-Englisch-Trainingssprachen gebildet.

  • Englisch10

    • NLI
    • PAWS
    • Belebele (en)
    • COPA
    • PIQA
    • HellaSwag
    • WinoGrande
    • ARC-C
    • MMLU
    • MMLU-Pro

  • Mehrsprachig9

    • XNLI
    • PAWS-X
    • Belebele
    • XCOPA
    • Global PIQA NP
    • Global PIQA P
    • T-HellaSwag
    • INCLUDE
    • Global MMLU

  • Mathematik3

    • GSM8K
    • MATH
    • MGSM

  • Programmierung4

    • MBPP
    • MBPP+
    • CRUX-I
    • CRUX-O

Kein Herumschauen: In der letzten Trainingsphase wird jedes Dokument übersprungen, das ein Benchmark-Element enthält.

Ergebnisse

Platz 1 von 36 unter den Tiny-Modellen weltweit

Platz 1 in den Kategorien Gesamt, Text und Multilingual, mit einem Vorsprung von 3,1 Punkten gegenüber granite-4.0-h-tiny in der Kategorie Gesamt.

Gesamt

Rangliste der Tiny-Modelle

#1

von 36 Modellen

Rangliste nach Kategorien

  • Mathematik und Programmierung#1
  • Text#1
  • Mehrsprachig#1

Definition des Benchmarks. Unser Modell ist der letzte Checkpoint des 6T‑Token-Laufs, wobei sein Kontext auf 128K erweitert wurde; sein Annealing überspringt jedes Dokument, das ein Benchmark-Element enthält. Seine Klasse: Modelle mit bis zu 2B aktiven Parametern (gemma-4-E2B mit einer effektiven Größe von 2B). Die mehrsprachigen Scores werden für jedes Modell über die 44 Nicht-Englisch-Sprachen gemittelt, auf denen wir trainieren.

Ranglisten

Die Top 12 der Tiny Models

36 Modelle mit bis zu 2 Mrd. aktiven Parametern (gemma-4-E2B mit einer effektiven Größe von 2 Mrd., insgesamt 5,1 Mrd.). Mehrsprachig in unseren Trainingssprachen. Die Balken beginnen bei 0.

  1. #1Lara Mini Base (A0.6B/7.2B)57,0
  2. #2IBM - granite-4.0-h-tiny (1B active)53,9
  3. #3Alibaba - Qwen3-1.7B53,8
  4. #4Falcon-H1-1.5B-Deep53,2
  5. #5Hunyuan-1.8B52,2
  6. #6LFM2.5-8B-A1B (1.7B active)50,8
  7. #7Trinity-Nano (1B active)50,7
  8. #8LFM3-1.7B49,2
  9. #9Qwen3.5-2B48,9
  10. #10Falcon-H1-1.5B48,8
  11. #11Qwen2.5-1.5B47,6
  12. #12granite-4.0-1b47,2
  13. #17Google - gemma-4-E2B41,9

Gesamt = ¼ Englisch + ¼ Multilingual + ¼ Mathematik + ¼ Programmieren.

Effizienz

Nr. 1 unter 2 Mrd., mit nur 0,6 Mrd. aktiven Parametern

Lara Mini Base übertrifft alle 35 anderen Modelle ihrer Klasse, darunter auch Modelle, die bis zu 3× mehr aktive Parameter verwenden, wie Qwen3-1.7B und gemma-4-E2B.

20304050600,5B1B2BLara Mini Base (A0.6B/7.2B) · 57,0granite-4.0-h-tiny · 53,9gemma-4-E2B
Gesamtpunktzahl im Verhältnis zu den aktiven Parametern, logarithmische Skala. Die Stufenlinie markiert die Grenze: Kein Modell mit weniger aktiven Parametern erzielt ein höheres Ergebnis. gemma-4-E2B ist mit seiner effektiven Größe von 2 Mrd. (insgesamt 5,1 Mrd.) dargestellt.

Limitierte Version · Wer erhält sie?

Wofür Lara Mini gedacht ist

  • Lara Translate-App

    Offline-Übersetzung

    Lara Mini ist das Basismodell, auf dem die Offline-Übersetzungsfunktion von Lara 4 für die nächste Lara Translate App aufbaut. Ihr Text verlässt niemals das Telefon, und jede Übersetzung dauert nach wie vor weniger als eine Sekunde.

  • Kunden von Translated

    Kleines Basis-LLM

    Ausgewählte Unternehmenskunden von Translated erhalten Zugang. Lara Mini ist darauf ausgelegt, für spezialisierte, souveräne Anwendungen feineingestellt zu werden. Das Modell läuft auf mobilen Geräten und bietet in unserer Cloud eine End-to-End-Latenz von unter 20 ms bei einer Durchsatzleistung von mehreren Millionen Tokens pro Sekunde.

  • Forschung

    KI-Forschende

    Zugang für KI-Forschende, um unsere Ergebnisse zu reproduzieren und darauf aufzubauen, wodurch die multilinguale Forschung weiter vorangebracht wird.

Was steht als Nächstes an?

Drei Wettbewerbe, eine Regel

Wir trainieren die nächste Stufe nur dann, wenn wir in der aktuellen Stufe eine Medaille gewinnen.

  1. Stufe 1

    Lokal

    Tiny · <2B aktiv

    Nov. 2026Lara Mini Base

    Gewinnen Sie die Tiny-Kategorie mit Lara Base (A0,6B/7,2B).

    Dez. 2026Lara Mini

    Lara 4 Mini und Lara Mini LLM, für ultraniedrige Latenz und mobile Geräte.

    Medaille gewonnen → Wir trainieren die National-Stufe. Keine Medaille – wir beenden den Vorgang.

  2. Stufe 2

    National

    Klein · <10 Mrd. aktiv

    März 2027Lara Piccola Base (A7B/138B)

    Treten Sie in der Kategorie „Small“ an und gewinnen Sie dort ebenfalls eine Medaille.

    Apr. 2027Lara 4 und Lara Piccola LLM

    Das Übersetzungsmodell Lara 4 und das LLM Lara Piccola, ein EU-souveränes A7B/138B-Modell.

    Medaille gewonnen → Wir trainieren für die Olympische Stufe. Keine Medaille – wir hören auf.

  3. Stufe 3

    Olympische Spiele

    Frontier · Über 40 Mrd. aktiv

    Dez. 2027Lara Grande Base (A60B/1,2T)

    Treten Sie in der Kategorie „Frontier“ gegen die weltweit besten Modelle an.

    März 2028Lara 5 und Lara Grande LLM

    Lara 5 übertrifft professionelle Übersetzer im P95-Bereich. Lara Grande: ein EU-souveränes Frontier-LLM, das vor den chinesischen Modellen liegt und sich Anthropic sowie OpenAI nähert.

Referenzmodelle: tiny Gemma 4 E2B · small Gemma 4B/26B · medium Qwen 17B/397B · frontier GPT-6 Astra, Claude 5.6, Kimi K3.

Budget für das Training

Budgets für einzelne Trainingsläufe, nächste Versionen

ModellTokenFLOPsHardwareTageKosten für das Training
Lara 4 PiccolaMoE 6,7B / 138B20T8,0 × 10²³512 × H10031$1,0M
Lara 4 GrandeMoE 60B / 1,2T24T8,6 × 10²⁴512 × Vera Rubin25$2,4M
Lara 4 SaggiaMoE 600B / 12T36T1,3 × 10²⁶2.304 × Vera Rubin83$36,6M
Zur Information
Typische GrenzeMoE 150B / 3T36T3,2 × 10²⁵4.096 × B20051$18,8M

Quelle: Lara 4 LLM Training Budget Planning, 3. Nov. 2026 · FP8 · nur Rechenkosten · Saggia-Tage nach der Methode des Plans geschätzt

Nächstes Training

Lara Piccola – Kandidatenmodell

60 Schichten und 138 Mrd. Parameter: das Modell, das Gemma 4 31B übertreffen soll.

  • 138BGesamtzahl der Parameter
  • 6,7Baktiv pro Token
  • Tokenisiererneu, neu gewichtet
  • 60Schichten
  • 2816versteckte Größe
  • 512 × 512Experten, Top-8 + 2 gemeinsam genutzt
  • 400kH100-GPU-Stunden für 20 Billionen Tokens
  • 30 Tageauf 512 H100-GPUs
  • $1MKosten des Trainingslaufs

  • Ziel: Sieg in der Klasse der kleinen Modelle (<10 Mrd. aktive Parameter)

    Aktuelle Spitzenreiter: Qwen3.5-122B-A10B, GLM-4.5-Air

  • Ziel: Gemma 4 31B im Bereich Multilingualität übertreffen

    Übertreffen Sie hochgradig mehrsprachige Dense-Modelle in der Klasse der mittelgroßen Modelle.

30,7 s pro Schritt bei 32 Knoten · gleiche hybride Attention wie Lara Mini Base (GDN, Window, Global)

Technischer Bericht

Den technischen Bericht abrufen

Architektur, Trainingsdaten, Benchmarks und Methodik hinter Lara Mini Base – in einem einzigen Dokument. Hinterlassen Sie Ihre Kontaktdaten, und wir senden es Ihnen per E-Mail zu.

Ich bin damit einverstanden, von Lara für weitere Informationen und eine Demo kontaktiert zu werden. Ich habe die Datenschutzrichtlinie* gelesen und stimme ihr zu

Mit Lara arbeiten

Zwei Möglichkeiten, Lara einzusetzen

  • Interessieren Sie sich für das generative Modell?

    Ausgewählte Unternehmenskunden von Translated erhalten Zugang. Lara Mini ist darauf ausgelegt, für spezialisierte souveräne Anwendungen feineingestellt zu werden. Das Modell läuft auf mobilen Geräten und erreicht in unserer Cloud eine End-to-End-Latenz von unter 20 ms sowie eine Durchsatzrate von mehreren Millionen Tokens pro Sekunde.

    Kontakt zum Vertrieb

  • Übersetzen mit Lara

    Übersetzen Sie Texte, Dokumente und Gespräche mit Lara, dem auf dieser Forschung basierenden Übersetzungsmodell.

    Beginnen Sie, Lara für Übersetzungen zu nutzen