Zaloguj sięZaloguj sięZarejestruj sięZarejestruj się za darmoPorozmawiaj z działem sprzedaży

Każde laboratorium AI zakłada, że większa liczba języków pogarsza jakość modelu.Postawiliśmy na przeciwny pogląd.

Stworzony jako uniwersalny model językowy (LLM) stanowiący podstawę sztucznej inteligencji tłumaczeniowej Lara 4, Lara Mini od pierwszego dnia był projektowany jako najbardziej wielojęzyczny i wielokulturowy model.
Po zakończeniu treningu na 6T tokenów zajmuje 1. miejsce wśród 36 modeli w swojej klasie na świecie.

Pobierz raport technicznyPobierz model

Translated · historia stojąca za Larą

Różnorodność nie jest obciążeniem dla inteligencji. Jest jej źródłem.

  • Przekonanie

    Duże laboratoria trenują modele głównie na języku angielskim, a inne języki i kultury traktują jako szum obniżający jakość.

  • Zakład

    Firma Translated, której działalność polega na tłumaczeniach, zbudowała model Lara na podstawie rzeczywistych tekstów pochodzących z wielu języków i kultur. Dzięki postrzeganiu jednej idei przez pryzmat wielu języków i kultur model lepiej ją rozumie.

  • Dowód

    Nr 1 spośród 36 modeli na świecie z maksymalnie 2 mld aktywnych parametrów, wytrenowany na 6 bln tokenów, z kontekstem 128 tys.

Przegląd przebiegu

Architektura

  • 0,6 mldaktywne parametry na token (4 ekspertów)
  • 7,2 mldłączna liczba parametrów, MoE ze 128 ekspertami, 1 współdzielony
  • 34warstwy: pamięć (GDN), okno oraz uwaga globalna
  • 128 tys.tokeny w oknie kontekstowym

Dane

  • 6Ttokeny treningowe
  • 39%odsetek przefiltrowanych tokenów surowych
  • 44 + ENjęzyki, wszystkie 24 języki urzędowe UE
  • 151 643tokeny w słowniku, z wyważeniem na rzecz języków o niskich zasobach

Jak to zbudowaliśmy

Hybrydowa, rzadka architektura dla najbardziej wielojęzycznego modelu

Hybrydowy, rzadki model: 34 warstwy, 128 ekspertów

Trzy rodzaje warstw, jedna jednostka powtarzalna

  • 14 pamięć · Gated DeltaNet: stan uwagi liniowej na głowicę, aktualizowany token po tokenie
  • 13 okno · uwaga skupiona na ostatnich 512 tokenach, pozycje RoPE
  • 7 globalny · pełna uwaga, brak kodowania pozycyjnego; ostatnia warstwa jest zawsze globalna

Mixture of experts w każdej warstwie

  • 4 ze 128 ekspertów z mechanizmu „Mixture of Experts” wybieranych na token przez router
  • 1 współdzielony ekspert zawsze aktywny
  • 0,6 mld z 7,2 mld parametrów aktywnych na token; rozmiar warstwy ukrytej 1024, powiązane osadzenia wejściowe i wyjściowe

Optymalizator

Muon + AdamW

Każda aktualizacja momentu jest ortogonalizowana (Newton–Schulz) przed jej zastosowaniem, dzięki czemu wszystkie kierunki macierzy wag poruszają się z podobną prędkością, zamiast by kilka z nich dominowało.

Okno kontekstowe o wielkości 4096 tokenów podczas treningu; słownictwo liczące 151 643 tokeny.

Najbardziej wielojęzyczny i wielokulturowy model

6T tokenów treningowych z puli poddanej deduplikacji we wszystkich źródłach: 39% tokenów surowych zostało odfiltrowanych. Żadne źródło nie jest powtarzane więcej niż 2 epoki (z wyjątkiem Wikipedii i wysokiej jakości danych matematycznych); zwykłe strony internetowe nigdy nie są powtarzane.

  • Angielski2,49TDane wysokiej jakości ze stron internetowych 1,34T · Dane syntetyczne wysokiej jakości 0,66T · Pliki PDF 0,32T · Średniej jakości dane z internetu 0,15T · Wiki 0,02T
  • Wielojęzyczny2,18TSieć WWW 0,79T · Dane wysokiej jakości ze stron internetowych 0,66T · Pliki PDF 0,4T · Syntetyczny 0,28T · Wiki 0,05T
  • Kod0,77TRzeczywisty kod 0,45T · Syntetyczny 0,31T
  • Matematyka0,35TMatematyka – dane wewnętrzne 0,21T · Matematyka – internet 0,15T
  • Podobne do SFT0,21TKontrola jakości (QA) 0,12T · Matematyka 0,07T · Kodowanie 0,02T

Trzy etapy, jedno obniżanie współczynnika uczenia się

  1. Główny · 4,8T0–80% · do kroku 572,2k
  2. Przejście · 0,6T80–90% · do kroku 643,7k
  3. Etap wygrzewania (Anneal) · 0,6T90–100% · do kroku 715,3k
Harmonogram szybkości uczenia sięOceniany model: koniec treningu, 6T tokenów.

Każdy etap to odrębna mieszanka danych, ładowana na granicy danego kroku. Transition: pomost między dwiema fazami przy stabilnym tempie uczenia, w którym mieszanka już w połowie drogi zbliża się do składu fazy anneal (więcej danych wysokiej jakości, QA, kodu i matematyki), dzięki czemu model adaptuje się przed rozpoczęciem fazy spadku tempa uczenia. Anneal: mieszanka najwyższej jakości, podczas gdy współczynnik uczenia się spada do zera na przestrzeni ostatnich 10%.

Na każdym etapie rośnie udział kodu, matematyki i danych zbliżonych do SFT.

Udział tokenów w każdym etapie. Dane są tasowane, a nie wprowadzane domena po domenie: każda partia 2048 sekwencji łączy wszystkie domeny w przybliżeniu w tych proporcjach. Podobne do SFT (dane z pytań i odpowiedzi, zadań matematycznych oraz instrukcji dotyczących kodu): 2% w etapie głównym, 3,5% w całym przebiegu.

Metodologia

26 benchmarków, jedno środowisko testowe (harness), każdy model

Ogółem = ¼ angielski + ¼ wielojęzyczny + ¼ matematyka + ¼ kodowanie. Każdy model jest przez nas oceniany za pomocą narzędzia lm-evaluation-harness i z zastosowaniem tych samych korekt formatu odpowiedzi. Dla każdego wielojęzycznego benchmarku obliczana jest średnia z wyników uzyskanych w naszych 44 językach treningowych innych niż angielski.

  • Angielski10

    • NLI
    • PAWS
    • Belebele (en)
    • COPA
    • PIQA
    • HellaSwag
    • WinoGrande
    • ARC-C
    • MMLU
    • MMLU-Pro

  • Wielojęzyczny9

    • XNLI
    • PAWS-X
    • Belebele
    • XCOPA
    • Global PIQA NP
    • Global PIQA P
    • T-HellaSwag
    • INCLUDE
    • Global MMLU

  • Matematyka3

    • GSM8K
    • MATH
    • MGSM

  • Kodowanie4

    • MBPP
    • MBPP+
    • CRUX-I
    • CRUX-O

Bez zaglądania: na końcowym etapie trenowania pomijane są wszystkie dokumenty zawierające element benchmarkowy.

Wyniki

Nr 1 spośród 36 modeli typu „tiny” na świecie

Pierwsze miejsce w kategoriach Ogółem, Tekst i Wielojęzyczność; przewaga 3,1 punktu nad modelem granite-4.0-h-tiny w kategorii Ogółem.

Ogółem

Ranking małych modeli

#1

spośród 36 modeli

Ranking kategorii

  • Matematyka i kodowanie#1
  • Tekst#1
  • Wielojęzyczne#1

Definicja benchmarku. Nasz model to ostatni punkt kontrolny cyklu treningowego obejmującego 6T tokenów, z kontekstem rozszerzonym do 128K; podczas fazy annealingu pomijane są wszystkie dokumenty zawierające element benchmarkowy. Jego klasa: modele z maksymalnie 2 mld aktywnych parametrów (gemma-4-E2B przy efektywnej wielkości 2 mld). Dla każdego modelu wyniki wielojęzyczne są uśredniane na podstawie 44 języków innych niż angielski, na których prowadzimy trening.

Rankingi

12 najlepszych modeli typu „tiny”

36 modeli z maksymalnie 2 mld aktywnych parametrów (gemma-4-E2B przy efektywnej wielkości 2 mld, łącznie 5,1 mld). Wielojęzyczność w zakresie naszych języków treningowych. Słupki zaczynają się od 0.

  1. #1Lara Mini Base (A0.6B/7.2B)57,0
  2. #2IBM - granite-4.0-h-tiny (1B active)53,9
  3. #3Alibaba - Qwen3-1.7B53,8
  4. #4Falcon-H1-1.5B-Deep53,2
  5. #5Hunyuan-1.8B52,2
  6. #6LFM2.5-8B-A1B (1.7B active)50,8
  7. #7Trinity-Nano (1B active)50,7
  8. #8LFM3-1.7B49,2
  9. #9Qwen3.5-2B48,9
  10. #10Falcon-H1-1.5B48,8
  11. #11Qwen2.5-1.5B47,6
  12. #12granite-4.0-1b47,2
  13. #17Google - gemma-4-E2B41,9

Ogółem = ¼ język angielski + ¼ języki wielojęzyczne + ¼ matematyka + ¼ kodowanie.

Wydajność

Nr 1 wśród modeli poniżej 2 mld parametrów, z zaledwie 0,6 mld aktywnych

Lara Mini Base przewyższa wszystkie 35 innych modeli w swojej klasie, w tym modele wykorzystujące nawet 3× więcej aktywnych parametrów, takie jak Qwen3-1.7B i gemma-4-E2B.

20304050600,5B1B2BLara Mini Base (A0.6B/7.2B) · 57,0granite-4.0-h-tiny · 53,9gemma-4-E2B
Ogólny wynik w odniesieniu do aktywnych parametrów, w skali logarytmicznej. Linia schodkowa wyznacza granicę: żaden model z mniejszą liczbą aktywnych parametrów nie uzyskuje wyższego wyniku. Model gemma-4-E2B jest przedstawiony w jego efektywnej wielkości 2B (łącznie 5,1B).

Wydanie limitowane · kto je otrzyma

Do czego służy Lara Mini

  • Aplikacja Lara Translate

    Tłumaczenie offline

    Lara Mini to model bazowy, na którym opiera się funkcja tłumaczenia offline w Lara 4 – w kolejnej wersji aplikacji Lara Translate. Twój tekst nigdy nie opuszcza telefonu, a każda translacja nadal trwa krócej niż sekundę.

  • Klienci Translated

    Niewielki podstawowy model językowy (LLM)

    Dostęp uzyskają wybrani klienci biznesowi Translated. Lara Mini została zaprojektowana z myślą o dostrajaniu do specjalistycznych, suwerennych zastosowań. Działa na urządzeniach mobilnych, a w naszej chmurze zapewnia opóźnienie end-to-end poniżej 20 ms, przetwarzając miliony tokenów na sekundę.

  • Badania

    Badacze sztucznej inteligencji

    Dostęp dla badaczy AI, aby mogli odtwarzać nasze wyniki i na nich bazować, tym samym rozwijając badania nad wielojęzycznością.

Co dalej

Trzy konkursy, jedna zasada

Następny etap szkolimy tylko wtedy, gdy w bieżącym etapie zdobędziemy medal.

  1. Etap 1

    Lokalny

    Tiny · <2B aktywnych

    lis 2026Lara Mini Base

    Zwycięstwo w kategorii „tiny” dzięki Lara Base (A0,6 mld/7,2 mld).

    gru 2026Lara Mini

    Lara 4 Mini i Lara Mini LLM – modele przeznaczone do zastosowań wymagających ultra niskich opóźnień oraz na urządzeniach mobilnych.

    Zdobyto medal → trenujemy etap krajowy. Brak medalu – kończymy.

  2. Etap 2

    Krajowy

    Mały · <10B aktywny

    mar 2027Lara Piccola Base (A7B/138B)

    Weź udział w kategorii małych modeli i zdobądź tam również medal.

    kwi 2027Lara 4 i Lara Piccola LLM

    Model tłumaczeniowy Lara 4 oraz Lara Piccola LLM – model A7B/138B o autonomii w ramach UE.

    Zdobyto medal → trenujemy na etapie olimpijskim. Brak medalu – kończymy.

  3. Etap 3

    Igrzyska Olimpijskie

    Najwyższa półka · Ponad 40 mld aktywnych

    gru 2027Lara Grande Base (A60B/1,2T)

    Wejdź do kategorii Frontier, stając do rywalizacji z najlepszymi modelami na świecie.

    mar 2028Lara 5 i Lara Grande LLM

    Lara 5 przewyższa tłumaczy profesjonalnych na poziomie P95. Lara Grande: suwerenny, europejski, zaawansowany model językowy (LLM) z czołówki, wyprzedzający chińskie modele i zbliżający się do poziomu Anthropic oraz OpenAI.

Modele referencyjne: tiny Gemma 4 E2B · small Gemma 4B/26B · medium Qwen 17B/397B · frontier GPT-6 Astra, Claude 5.6, Kimi K3.

Budżet na szkolenie

Budżety na pojedyncze cykle treningowe, nadchodzące wersje

ModelTokenyFLOP-ySprzętDniKoszt treningu
Lara 4 PiccolaMoE 6,7B / 138B20T8,0 × 10²³512 × H10031$1,0M
Lara 4 GrandeMoE 60B / 1,2T24T8,6 × 10²⁴512 × Vera Rubin25$2,4M
Lara 4 SaggiaMoE 600B / 12T36T1,3 × 10²⁶2304 × Vera Rubin83$36,6M
Dla celów informacyjnych
Typowy model z czołówkiMoE 150B / 3T36T3,2 × 10²⁵4096 × B20051$18,8M

Źródło: Lara 4 LLM Training Budget Planning, 3 listopada 2026 r. · FP8 · wyłącznie koszt obliczeniowy · Liczba dni Saggia oszacowana metodą przyjętą w planie

Kolejny trening

Kandydatka Lara Piccola

60 warstw i 138 mld parametrów: model, który ma pokonać Gemma 4 31B.

  • 138Błączna liczba parametrów
  • 6,7Baktywne na token
  • Tokenizatornowy, z nowym wyważeniem
  • 60warstwy
  • 2816rozmiar warstwy ukrytej
  • 512 × 512eksperci, top-8 + 2 współdzieleni
  • 400kGodziny pracy GPU H100 dla 20T tokenów
  • 30 dnina 512 procesorach graficznych H100
  • $1MKoszt cyklu treningowego

  • Cel: zwycięstwo w kategorii małych modeli (<10 mld aktywnych parametrów)

    Obecni liderzy: Qwen3.5-122B-A10B, GLM-4.5-Air

  • Cel: pokonać model Gemma 4 31B w kategorii wielojęzyczności

    Pokonanie wysoce wielojęzycznych, gęstych modeli w klasie modeli średnich.

30,7 s na krok przy 32 węzłach · taka sama hybrydowa uwaga jak w Lara Mini Base (GDN, okno, globalna)

Raport techniczny

Pobierz raport techniczny

Architektura, dane treningowe, benchmarki i metodologia stojące za Lara Mini Base – wszystko w jednym dokumencie. Podaj swoje dane, a wyślemy Ci to e-mailem.

Wyrażam zgodę na kontakt ze strony firmy Lara w celu uzyskania dalszych informacji i prezentacji. Przeczytałem i zgadzam się z Polityką prywatności*

Pracuj z Lara

Dwa sposoby na to, by Lara zaczęła działać

  • Interesuje Cię model generatywny?

    Dostęp uzyskają wybrani klienci korporacyjni Translated. Lara Mini została zaprojektowana z myślą o dostrajaniu do specjalistycznych, suwerennych zastosowań. Działa na urządzeniach mobilnych, a w naszej chmurze zapewnia opóźnienie end-to-end poniżej 20 ms, generując miliony tokenów na sekundę.

    Skontaktuj się z działem sprzedaży

  • Tłumacz z Lara

    Tłumacz teksty, dokumenty i rozmowy za pomocą Lary – systemu tłumaczeniowego opartego na wynikach tych badań.

    Zacznij korzystać z Lary do tłumaczenia