Kirjaudu sisäänKirjaudu sisäänRekisteröidyRekisteröidy ilmaiseksiOta yhteyttä myyntiin

Jokainen tekoäylaboratorio olettaa, että useammat kielet heikentävät mallia.Me veikkaamme päinvastaista.

Lara Mini syntyi Lara 4 Translation AI:n yleiskäyttöisenä LLM: nä ja kehitettiin alusta alkaen kaikkein monikielisimmäksi ja monikulttuurisemmaksi malliksi.
6T‑tokenin harjoittelun päätyttyä se sijoittuu maailmanlaajuisesti ensimmäiseksi 36 mallin joukossa omassa luokassaan.

Hanki tekninen raporttiHanki malli

Translated · Laran tarina

Monimuotoisuus ei ole älykkyyden este. Se on sen lähde.

  • Vakaumus

    Suuret laboratoriot harjoittavat mallien koulutusta pääasiassa englannin kielellä ja pitävät muita kieliä ja kulttuureita häiriönä, joka heikentää laatua.

  • Panos

    Translated, jonka tehtävänä on kääntäminen, rakensi Laran monilla kielillä ja monissa kulttuureissa kirjoitetun todellisen tekstin pohjalta. Kun malli näkee yhden ajatuksen monien kielten ja kulttuurien kautta, se ymmärtää ajatuksen paremmin.

  • Todiste

    Sijalla 1/36 maailmanlaajuisesti malleista, joissa on enintään 2B aktiivista parametria, koulutettu 6T tokenilla, 128K kontekstilla.

Yleiskatsaus suoritukseen

Arkkitehtuuri

  • 0,6Baktiiviset parametrit tokenia kohden (4 asiantuntijaa)
  • 7,2Bparametrien kokonaismäärä, MoE 128 asiantuntijalla, 1 jaettu
  • 34kerrokset: muisti (GDN), ikkuna ja globaali huomio
  • 128Kkonteksti-ikkunan tokenit

Tiedot

  • 6Tharjoitustokenit
  • 39 %suodatetusta raakatokeneiden määrästä
  • 44 + ENkieltä, kaikki EU:n 24 virallista kieltä
  • 151 643tokeneita sanastossa, vähäresurssiset kielet tasapainotettu

Miten rakensimme sen

Hybridi, harva rakenne kaikkein monikielisimmälle mallille

Hybridi, harva malli: 34 kerrosta, 128 asiantuntijaa

Kolme kerrostyyppiä, yksi toistuva yksikkö

  • 14 muistia · Gated DeltaNet: lineaarinen huomiointitila per head, päivitetään token kerrallaan
  • 13 ikkuna · huomio viimeisimmillä 512 tokenilla, RoPE-positiot
  • 7 globaali · täysi huomio, ei sijaintikoodausta; viimeinen kerros on aina globaali

Asiantuntijoiden yhdistelmä jokaisessa kerroksessa

  • Reititin valitsee jokaiselle tokenille 4 asiantuntijaa 128: sta reititetystä asiantuntijasta
  • 1 jaettu asiantuntija aina käytössä
  • 0,6 miljardia 7,2 miljardista parametrista aktiivisena per token; piilokerroksen koko 1 024, sidotut syöte- ja tuotevektoriesitykset

Optimointialgoritmi

Muon + AdamW

Jokainen momenttipäivitys ortogonalisoidaan (Newton–Schulz) ennen sen soveltamista, jotta painomatriisin jokainen suunta liikkuu suunnilleen samalla nopeudella sen sijaan, että muutama suunta hallitsisi muita.

4 096 tokenin konteksti-ikkuna koulutuksessa; 151 643 tokenin sanasto.

Kaikkein monikielisin ja monikulttuurisin malli

6T harjoittelutokenia kaikista lähteistä koostetusta, duplikaateista puhdistetusta poolista: 39 % raakatokeneista suodatettiin pois. Mitään lähdettä ei toisteta yli 2 epoksin ajan (lukuun ottamatta wikiä ja korkealaatuista matematiikkaa); tavallista verkkoa ei toisteta koskaan.

  • Englanti2,49TVerkkolähde (Web HQ) 1,34T · Synteettinen HQ 0,66T · PDF-tiedostot 0,32T · Verkko – keskitaso 0,15T · Wiki 0,02T
  • Monikielinen2,18TVerkko 0,79T · Verkkolähde (Web HQ) 0,66T · PDF-tiedostot 0,4T · Synteettinen 0,28T · Wiki 0,05T
  • Koodi0,77TTodellinen koodi 0,45T · Synteettinen 0,31T
  • Matematiikka0,35TMatematiikka – päätoimipaikka 0,21T · Matematiikka verkossa 0,15T
  • SFT:n kaltainen0,21TLaadunvarmistus 0,12T · Matematiikka 0,07T · Koodi 0,02T

Kolme vaihetta, yksi oppimisnopeuden pienentyminen

  1. Pääosa · 4,8T0–80% · vaiheeseen 572,2k
  2. Siirtymävaihe · 0,6T80–90% · vaiheeseen 643,7k
  3. Karkaisu · 0,6T90–100% · vaiheeseen 715,3k
Oppimisnopeuden aikatauluArvioitu malli: koulutuksen päättyminen, 6T tokenia.

Jokainen vaihe on erillinen tietosekoitus, joka ladataan sen vaiheen rajalla. Siirtymä: silta näiden kahden välillä vakaalla oppimisnopeudella, jossa sekoitus siirtyy jo puoliväliin kohti annealia (laadukkaampia, QA-, koodi- ja matematiikkatiedot), jotta malli sopeutuu ennen vaimenemista. Anneal: korkealaatuisin yhdistelmä, kun oppimisnopeus laskee nollaan viimeisten 10 %:n aikana.

Jokainen vaihe painottuu entistä enemmän koodiin, matematiikkaan ja SFT-tyyppisiin tietoihin.

Kunkin vaiheen tokenien osuus. Tiedot sekoitetaan, eikä niitä syötetä kenttä kerrallaan: jokainen 2 048 sekvenssin erä yhdistää kaikki kentät suunnilleen näissä suhteissa. SFT-tyyppinen (QA-, matematiikka- ja koodiohjeaineisto): 2 % päävaiheessa, 3,5 % koko suorituksen aikana.

Menetelmä

26 vertailutestiä, yksi harness, jokainen malli

Kokonaisuus = ¼ englanti + ¼ monikielinen + ¼ matematiikka + ¼ koodaus. Pisteytämme jokaisen mallin lm-evaluation-harnessilla ja samoin vastausformaatin korjauksin. Jokaisen monikielisen vertailuarvon keskiarvo lasketaan 44 muun kuin englannin kielen harjoittelukielestämme.

  • englanti10

    • NLI
    • PAWS
    • Belebele (en)
    • COPA
    • PIQA
    • HellaSwag
    • WinoGrande
    • ARC-C
    • MMLU
    • MMLU-Pro

  • Monikielinen9

    • XNLI
    • PAWS-X
    • Belebele
    • XCOPA
    • Global PIQA NP
    • Global PIQA P
    • T-HellaSwag
    • INCLUDE
    • Global MMLU

  • Matematiikka3

    • GSM8K
    • MATH
    • MGSM

  • Koodi4

    • MBPP
    • MBPP+
    • CRUX-I
    • CRUX-O

Ei kurkistamista: viimeisessä harjoitusvaiheessa ohitetaan kaikki asiakirjat, jotka sisältävät vertailutestin kohteen.

Tulokset

Sijalla 1/36 pienistä malleista maailmanlaajuisesti

Ensimmäinen kokonaispisteissä, tekstitehtävissä ja monikielisyydessä – 3,1 pistettä edellä granite-4.0-h-tinyä kokonaispisteissä.

Kokonaisarvosana

Pienien mallien sijoittuminen

#1

36 mallista

Kategoriasijoitus

  • Matematiikka ja koodaus#1
  • Teksti#1
  • Monikielinen#1

Vertailuarvon määritelmä. Mallimme on 6T-tokenin suorituksen viimeinen tarkistuspiste, jonka konteksti on laajennettu 128K:iin; sen anneal ohittaa jokaisen asiakirjan, joka sisältää vertailuarvokohteen. Sen luokka: mallit, joissa on enintään 2B aktiivista parametria (gemma-4-E2B sen 2B:n tehollisella koolla). Monikieliset pisteet lasketaan jokaisen mallin osalta keskiarvona niistä 44 muusta kielestä kuin englannista, joilla mallia koulutetaan.

Sijoitukset

12 parasta pientä mallia

36 mallia, joissa on enintään 2B aktiivista parametria (gemma-4-E2B:n tehollinen koko on 2B, kokonaismäärä 5,1B). Monikielinen koulutuskielillämme. Pylväät alkavat nollasta.

  1. #1Lara Mini Base (A0.6B/7.2B)57,0
  2. #2IBM - granite-4.0-h-tiny (1B active)53,9
  3. #3Alibaba - Qwen3-1.7B53,8
  4. #4Falcon-H1-1.5B-Deep53,2
  5. #5Hunyuan-1.8B52,2
  6. #6LFM2.5-8B-A1B (1.7B active)50,8
  7. #7Trinity-Nano (1B active)50,7
  8. #8LFM3-1.7B49,2
  9. #9Qwen3.5-2B48,9
  10. #10Falcon-H1-1.5B48,8
  11. #11Qwen2.5-1.5B47,6
  12. #12granite-4.0-1b47,2
  13. #17Google - gemma-4-E2B41,9

Kokonaisarvosana = ¼ englanti + ¼ monikielinen + ¼ matematiikka + ¼ koodaus.

Tehokkuus

#1 alle 2B:n kokoluokassa, vain 0,6B aktiivisena

Lara Mini Base päihittää kaikki muut 35 saman luokan mallia, mukaan lukien mallit, jotka käyttävät jopa 3× enemmän aktiivisia parametreja, kuten Qwen3-1.7B ja gemma-4-E2B.

20304050600,5B1B2BLara Mini Base (A0.6B/7.2B) · 57,0granite-4.0-h-tiny · 53,9gemma-4-E2B
Kokonaispisteet suhteessa aktiivisiin parametreihin, logaritminen asteikko. Porrasviiva on raja: mikään malli, jolla on vähemmän aktiivisia parametreja, ei saavuta korkeampaa pistemäärää. gemma-4-E2B on piirretty sen 2B:n tehollisen koon mukaan (yhteensä 5,1B).

Rajoitettu julkaisu · kenelle se annetaan

Mihin Lara Miniä käytetään

  • Lara Translate -sovellus

    Offline-käännös

    Lara Mini on Lara 4:n offline-käännöstoiminnon taustalla oleva perusmalli seuraavaa Lara Translate -sovellusta varten. Tekstisi ei koskaan poistu puhelimesta, ja jokainen käännös kestää edelleen alle sekunnin.

  • Translatedin asiakkaat

    Pieni perus-LLM

    Valitut Translatedin yritysasiakkaat saavat käyttöoikeuden. Lara Mini on suunniteltu hienosäädettäväksi erikoistuneisiin suvereniteettisovelluksiin. Se toimii mobiililaitteilla ja pilvessämme, tarjoaa päästä päähän -viiveen alle 20 ms ja tuottaa miljoonia tokeneita sekunnissa.

  • Tutkimus

    Tekoälytutkijat

    Tekoäytutkijoiden mahdollisuus toistaa tuloksemme ja kehittää niitä edelleen, mikä vie monikielistä tutkimusta eteenpäin.

Mitä seuraavaksi

Kolme kilpailua, yksi sääntö

Koulutamme seuraavaa vaihetta vain, jos voitamme mitalin nykyisessä vaiheessa.

  1. Vaihe 1

    Paikallinen

    Pieni · <2B aktiivista

    marras 2026Lara Mini Base

    Voita pienien mallien kategoria Lara Basella (A0.6B/7.2B).

    joulu 2026Lara Mini

    Lara 4 Mini ja Lara Mini LLM – erittäin pienelle viiveelle ja mobiililaitteille.

    Mitali voitettu → harjoittelemme kansallista vaihetta. Ei mitalia – lopetamme.

  2. Vaihe 2

    Kansallinen

    Pieni · <10B aktiivinen

    maalis 2027Lara Piccola Base (A7B/138B)

    Osallistu pienien mallien kategoriaan ja voita sielläkin mitali.

    huhti 2027Lara 4 ja Lara Piccola LLM

    Lara 4 -käännösmalli ja Lara Piccola LLM, EU:n suvereeni A7B/138B-malli.

    Mitali voitettu → harjoittelemme olympiavaihetta. Ei mitalia – lopetamme.

  3. Vaihe 3

    Olympialaiset

    Huipputaso · yli 40 miljardia aktiivista

    joulu 2027Lara Grande Base (A60B/1,2T)

    Osallistu huippuluokan kategoriaan ja kilpaile maailman parhaita malleja vastaan.

    maalis 2028Lara 5 ja Lara Grande LLM

    Lara 5 ylittää P95-tason ammattikääntäjien suorituskyvyn. Lara Grande: EU:n suvereeni huipputason LLM, joka on Kiinan malleja edellä ja lähestyy Anthropicin ja OpenAI:n tasoa.

Vertailumallit: pieni Gemma 4 E2B · pieni Gemma 4B/26B · keskikokoinen Qwen 17B/397B · huipputason GPT-6 Astra, Claude 5.6, Kimi K3.

Koulutusbudjetti

Yhden suorituskerran harjoitusbudjetit, seuraavat julkaisut

MalliTokenitFLOPitLaitteistoPäivätKoulutuskustannukset
Lara 4 PiccolaMoE 6,7B / 138B20T8,0 × 10²³512 × H10031$1,0M
Lara 4 GrandeMoE 60B / 1,2T24T8,6 × 10²⁴512 × Vera Rubin25$2,4M
Lara 4 SaggiaMoE 600B / 12T36T1,3 × 10²⁶2 304 × Vera Rubin83$36,6M
Vertailun vuoksi
Tyypillinen huipputasoMoE 150B / 3T36T3,2 × 10²⁵4 096 × B20051$18,8M

Lähde: Lara 4 LLM:n koulutusbudjetin suunnittelu, 3.11.2026 · FP8 · vain laskentakustannukset · Saggia-päivät arvioitu suunnitelman menetelmällä

Seuraava harjoitus

Lara Piccola -ehdokasmalli

60 kerrosta ja 138 miljardia parametria: malli, jonka tavoitteena on päihittää Gemma 4 31B.

  • 138Bparametrien kokonaismäärä
  • 6,7Baktiivisia per token
  • Tokenisointiuusi, uudelleen tasapainotettu
  • 60kerrokset
  • 2816piilovälimuistin koko
  • 512 × 512asiantuntijat, 8 parasta + 2 jaettua
  • 400kH100-GPU-tuntia 20T tokenille
  • 30 päivää512 H100-grafiikkaprosessorilla
  • $1MKoulutuskierroksen kustannukset

  • Tavoite: voittaa pienten mallien luokka (<10B aktiivista parametria)

    Nykyiset johtajat: Qwen3.5-122B-A10B, GLM-4.5-Air

  • Tavoite: voittaa Gemma 4 31B monikielisyydessä

    Voittaa erittäin monikieliset tiheät mallit keskikokoisten mallien luokassa.

30,7 s per vaihe 32 solmulla · sama hybridihuomio kuin Lara Mini Basessa (GDN, window, global)

Tekninen raportti

Hanki tekninen raportti

Lara Mini Basen taustalla oleva arkkitehtuuri, harjoitteludata, vertailutestit ja menetelmät yhdessä asiakirjassa. Jätä tietosi, niin lähetämme sen sinulle sähköpostitse.

Annan Laralle luvan ottaa minuun yhteyttä lisätietoja ja esittelyä varten. Olen lukenut ja hyväksyn tietosuojakäytännön*

Työskentele Laran kanssa

Kaksi tapaa ottaa Lara käyttöön

  • Oletko kiinnostunut generatiivisesta mallista?

    Valitut Translatedin yritysasiakkaat saavat käyttöoikeuden. Lara Mini on suunniteltu hienosäädettäväksi erikoistuneisiin suvereniteettisovelluksiin. Se toimii mobiililaitteilla ja pilvessämme, ja tarjoaa end-to-end-viiveen alle 20 ms sekä miljoonia tokeneita sekunnissa.

    Ota yhteyttä myyntiin

  • Käännä Laralla

    Käännä tekstiä, asiakirjoja ja keskusteluja Laralla, tähän tutkimukseen perustuvalla kääntäjällä.

    Aloita Laran käyttö käännöksiin