ΣύνδεσηΣύνδεσηΕγγραφήΕγγραφείτε δωρεάνΕπικοινωνήστε με το τμήμα πωλήσεων

Κάθε εργαστήριο τεχνητής νοημοσύνης θεωρεί ότι η προσθήκη περισσότερων γλωσσών επιδεινώνει την απόδοση ενός μοντέλου.Εμείς στοιχηματίζουμε στο αντίθετο.

Γεννημένο ως το LLM γενικής χρήσης που υποστηρίζει το Lara 4 Translation AI, το Lara Mini σχεδιάστηκε από την πρώτη κιόλας ημέρα ως το πιο πολύγλωσσο και πολυπολιτισμικό μοντέλο.
Στο τέλος της εκπαίδευσής του με 6T‑tokens, κατατάσσεται στην 1η θέση μεταξύ 36 μοντέλων της κατηγορίας του παγκοσμίως.

Λήψη της τεχνικής έκθεσηςΛήψη του μοντέλου

Translated · η ιστορία πίσω από τη Lara

Η πολυμορφία δεν αποτελεί κόστος για τη νοημοσύνη. Αποτελεί πηγή της.

  • Η πεποίθηση

    Τα μεγάλα εργαστήρια εκπαιδεύουν τα μοντέλα τους κυρίως στα αγγλικά και αντιμετωπίζουν τις άλλες γλώσσες και τους άλλους πολιτισμούς ως «θόρυβο» που μειώνει την ποιότητα.

  • Το στοίχημα

    Η Translated, της οποίας το αντικείμενο εργασίας είναι η μετάφραση, δημιούργησε το Lara με βάση πραγματικά κείμενα γραμμένα σε πολλές γλώσσες και πολιτισμούς. Όταν βλέπει μία ιδέα μέσα από πολλές γλώσσες και πολιτισμούς, το μοντέλο την κατανοεί καλύτερα.

  • Η απόδειξη

    Το Νο 1 από 36 μοντέλα παγκοσμίως με έως 2B ενεργούς παραμέτρους, εκπαιδευμένο σε 6T tokens, με παράθυρο πλαισίου 128K.

Η εκτέλεση με μια ματιά

Αρχιτεκτονική

  • 0,6 δισ.ενεργές παράμετροι ανά token (4 experts)
  • 7,2 δισ.συνολικοί παράμετροι, MoE με 128 ειδικούς, 1 κοινόχρηστος
  • 34επίπεδα: μνήμη (GDN), παράθυρο και παγκόσμια προσοχή
  • 128Ktokens του παραθύρου πλαισίου

Δεδομένα

  • 6Ttokens εκπαίδευσης
  • 39%των αρχικών token που φιλτράρηκαν
  • 44 + ENγλώσσες, και οι 24 επίσημες γλώσσες της ΕΕ
  • 151.643διακριτά στοιχεία λεξιλογίου, αναπροσαρμογή για γλώσσες με περιορισμένους πόρους

Πώς το δημιουργήσαμε

Ένας υβριδικός, αραιός σχεδιασμός για το πιο πολύγλωσσο μοντέλο

Ένα υβριδικό, αραιό μοντέλο: 34 επίπεδα, 128 experts

Τρία είδη επιπέδων, μία επαναλαμβανόμενη μονάδα

  • 14 μνήμη · Gated DeltaNet: μια κατάσταση γραμμικής προσοχής ανά head, η οποία ενημερώνεται token προς token
  • 13 παράθυρο · προσοχή στα τελευταία 512 tokens, θέσεις RoPE
  • 7 παγκόσμιο · πλήρης προσοχή, χωρίς κωδικοποίηση θέσης· το τελευταίο επίπεδο είναι πάντα παγκόσμιο

Σύνολο ειδικών (Mixture of Experts) σε κάθε επίπεδο

  • 4 από τους 128 δρομολογημένους ειδικούς επιλέγονται ανά token από έναν δρομολογητή
  • 1 κοινός ειδικός πάντα ενεργός
  • 0,6 δισ. από τα 7,2 δισ. παραμέτρους ενεργές ανά token· μέγεθος κρυφής στρώσης 1.024, συνδεδεμένα ενσωματώματα εισόδου και εξόδου

Βελτιστοποιητής

Muon + AdamW

Κάθε ενημέρωση ορμής ορθογωνοποιείται (Newton–Schulz) πριν εφαρμοστεί, ώστε κάθε κατεύθυνση ενός πίνακα βαρών να κινείται με παρόμοιο ρυθμό, αντί να κυριαρχούν λίγες από αυτές.

Παράθυρο πλαισίου 4.096 token κατά την εκπαίδευση· λεξιλόγιο 151.643 token.

Το πιο πολύγλωσσο και πολυπολιτισμικό μοντέλο

6T tokens εκπαίδευσης από ένα σύνολο που έχει υποβληθεί σε αφαίρεση διπλότυπων σε όλες τις πηγές: το 39% των ακατέργαστων tokens απορρίφθηκε μέσω φιλτραρίσματος. Καμία πηγή δεν επαναλαμβάνεται περισσότερο από 2 εποχές (εξαιρούνται η Wikipedia και τα μαθηματικά υψηλής ποιότητας). Το απλό περιεχόμενο από τον ιστό δεν επαναλαμβάνεται ποτέ.

  • Αγγλικά2,49TΔεδομένα υψηλής ποιότητας από τον Ιστό 1,34T · Συνθετικά υψηλής ποιότητας 0,66T · Αρχεία PDF 0,32T · Ιστός μεσαίας ποιότητας 0,15T · Wiki 0,02T
  • Πολύγλωσσο2,18TΙστός 0,79T · Δεδομένα υψηλής ποιότητας από τον Ιστό 0,66T · Αρχεία PDF 0,4T · Συνθετικό 0,28T · Wiki 0,05T
  • Κώδικας0,77TΠραγματικός κώδικας 0,45T · Συνθετικό 0,31T
  • Μαθηματικά0,35TΜαθηματικά HQ 0,21T · Μαθηματικά στο διαδίκτυο 0,15T
  • Παρόμοιο με SFT0,21TΔιασφάλιση ποιότητας (QA) 0,12T · Μαθηματικά 0,07T · Κώδικας 0,02T

Τρία στάδια, μία μείωση του ρυθμού μάθησης

  1. Κύριο · 4,8T0–80% · έως το βήμα 572,2k
  2. Μετάβαση · 0,6T80–90% · έως το βήμα 643,7k
  3. Ανόπτηση · 0,6T90–100% · έως το βήμα 715,3k
Πρόγραμμα ρυθμού μάθησηςΑξιολογημένο μοντέλο: τέλος της εκπαίδευσης, 6T tokens.

Κάθε στάδιο είναι ένα ξεχωριστό μείγμα δεδομένων που φορτώνεται στο όριο του αντίστοιχου βήματος. Μετάβαση: μια γέφυρα μεταξύ των δύο σταδίων, με σταθερό ρυθμό μάθησης, όπου το μείγμα έχει ήδη προχωρήσει κατά το ήμισυ προς το στάδιο της ανόπτησης (περισσότερα δεδομένα υψηλής ποιότητας, QA, κώδικα και μαθηματικών), ώστε το μοντέλο να προσαρμοστεί πριν από τη μείωση του ρυθμού μάθησης. Anneal: το μείγμα υψηλότερης ποιότητας, ενώ ο ρυθμός μάθησης μειώνεται στο μηδέν κατά το τελευταίο 10%.

Κάθε στάδιο εστιάζει όλο και περισσότερο στον κώδικα, στα μαθηματικά και σε δεδομένα τύπου SFT.

Ποσοστό των token κάθε σταδίου. Τα δεδομένα ανακατεύονται, δεν τροφοδοτούνται ανά τομέα: κάθε παρτίδα 2.048 ακολουθιών αναμιγνύει όλους τους τομείς περίπου στις αναλογίες αυτές. Παρόμοιο με SFT (δεδομένα ερωταπαντήσεων, μαθηματικών και οδηγιών κώδικα): 2% στο κύριο στάδιο, 3,5% σε ολόκληρη τη διάρκεια της εκτέλεσης.

Μεθοδολογία

26 συγκριτικές αξιολογήσεις, ένα harness, κάθε μοντέλο

Συνολικά = ¼ Αγγλικά + ¼ Πολύγλωσσα + ¼ Μαθηματικά + ¼ Προγραμματισμός. Βαθμολογούμε κάθε μοντέλο με το lm-evaluation-harness και εφαρμόζουμε τις ίδιες διορθώσεις μορφής απάντησης. Για κάθε πολύγλωσσο benchmark υπολογίζεται ο μέσος όρος στις 44 γλώσσες εκπαίδευσης, εκτός της αγγλικής.

  • Αγγλικά10

    • NLI
    • PAWS
    • Belebele (en)
    • COPA
    • PIQA
    • HellaSwag
    • WinoGrande
    • ARC-C
    • MMLU
    • MMLU-Pro

  • Πολύγλωσσο9

    • XNLI
    • PAWS-X
    • Belebele
    • XCOPA
    • Global PIQA NP
    • Global PIQA P
    • T-HellaSwag
    • INCLUDE
    • Global MMLU

  • Μαθηματικά3

    • GSM8K
    • MATH
    • MGSM

  • Κώδικας4

    • MBPP
    • MBPP+
    • CRUX-I
    • CRUX-O

Χωρίς κρυφοκοιτάγματα: στο τελικό στάδιο εκπαίδευσης παραλείπεται κάθε έγγραφο που περιέχει στοιχείο αξιολόγησης (benchmark).

Αποτελέσματα

#1 από 36 στα μικροσκοπικά μοντέλα παγκοσμίως

Πρώτο στη Συνολική Βαθμολογία, στο Κείμενο και στα Πολύγλωσσα, με προβάδισμα 3,1 μονάδων έναντι του granite-4.0-h-tiny στη Συνολική Βαθμολογία.

Συνολικά

Κατάταξη μικροσκοπικών μοντέλων

#1

από 36 μοντέλα

Κατάταξη κατηγοριών

  • Μαθηματικά & Προγραμματισμός#1
  • Κείμενο#1
  • Πολύγλωσσο#1

Ορισμός του σημείου αναφοράς. Το μοντέλο μας είναι το τελικό σημείο ελέγχου της εκτέλεσης 6T‑token, με το πλαίσιο (context) επεκταμένο στα 128K· η διαδικασία anneal παραλείπει κάθε έγγραφο που περιέχει στοιχείο σημείου αναφοράς. Η κατηγορία του: μοντέλα με έως και 2B ενεργούς παραμέτρους (το gemma-4-E2B στο πραγματικό του μέγεθος των 2B). Οι βαθμολογίες για τις πολύγλωσσες ικανότητες υπολογίζονται ως μέσος όρος των 44 μη αγγλικών γλωσσών στις οποίες εκπαιδεύουμε κάθε μοντέλο.

Κατατάξεις

Τα 12 κορυφαία μικροσκοπικά μοντέλα

36 μοντέλα με έως και 2B ενεργούς παραμέτρους (το gemma-4-E2B με 2B ενεργό μέγεθος, 5,1B συνολικά). Πολύγλωσσο στις γλώσσες εκπαίδευσής μας. Οι ράβδοι ξεκινούν από το 0.

  1. #1Lara Mini Base (A0.6B/7.2B)57,0
  2. #2IBM - granite-4.0-h-tiny (1B active)53,9
  3. #3Alibaba - Qwen3-1.7B53,8
  4. #4Falcon-H1-1.5B-Deep53,2
  5. #5Hunyuan-1.8B52,2
  6. #6LFM2.5-8B-A1B (1.7B active)50,8
  7. #7Trinity-Nano (1B active)50,7
  8. #8LFM3-1.7B49,2
  9. #9Qwen3.5-2B48,9
  10. #10Falcon-H1-1.5B48,8
  11. #11Qwen2.5-1.5B47,6
  12. #12granite-4.0-1b47,2
  13. #17Google - gemma-4-E2B41,9

Συνολικά = ¼ Αγγλικά + ¼ Πολύγλωσσα + ¼ Μαθηματικά + ¼ Προγραμματισμός.

Αποδοτικότητα

#1 κάτω των 2B, με μόλις 0,6B ενεργά

Το Lara Mini Base υπερέχει έναντι και των 35 άλλων μοντέλων της κατηγορίας του, συμπεριλαμβανομένων μοντέλων που χρησιμοποιούν έως και 3× περισσότερες ενεργές παραμέτρους, όπως τα Qwen3-1.7B και gemma-4-E2B.

20304050600,5B1B2BLara Mini Base (A0.6B/7.2B) · 57,0granite-4.0-h-tiny · 53,9gemma-4-E2B
Συνολική βαθμολογία σε σχέση με τις ενεργές παραμέτρους, σε λογαριθμική κλίμακα. Η γραμμή βημάτων αποτελεί το όριο: κανένα μοντέλο με λιγότερες ενεργές παραμέτρους δεν σημειώνει υψηλότερη βαθμολογία. Το gemma-4-E2B απεικονίζεται με το πραγματικό του μέγεθος των 2B (συνολικά 5,1B).

Περιορισμένη κυκλοφορία · ποιος την αποκτά

Σε τι χρησιμεύει το Lara Mini

  • Εφαρμογή Lara Translate

    Μετάφραση εκτός σύνδεσης

    Το Lara Mini είναι το βασικό μοντέλο πίσω από τη λειτουργία μετάφρασης εκτός σύνδεσης του Lara 4 για την επόμενη εφαρμογή Lara Translate. Το κείμενό σας δεν εγκαταλείπει ποτέ το τηλέφωνο και κάθε μετάφραση εξακολουθεί να διαρκεί λιγότερο από ένα δευτερόλεπτο.

  • Πελάτες της Translated

    Μικρό βασικό LLM

    Επιλεγμένοι εταιρικοί πελάτες της Translated θα έχουν πρόσβαση. Το Lara Mini έχει σχεδιαστεί για να υποβάλλεται σε λεπτορρύθμιση για εξειδικευμένες κυρίαρχες εφαρμογές, λειτουργεί σε φορητές συσκευές και, στο cloud μας, παρέχει χρόνο αναμονής από άκρο σε άκρο κάτω των 20 ms, αποδίδοντας εκατομμύρια tokens ανά δευτερόλεπτο.

  • Έρευνα

    Ερευνητές τεχνητής νοημοσύνης

    Πρόσβαση για ερευνητές στον τομέα της τεχνητής νοημοσύνης, ώστε να αναπαράγουν τα αποτελέσματά μας και να βασιστούν σε αυτά, προωθώντας περαιτέρω την πολύγλωσση έρευνα.

Τι ακολουθεί

Τρεις διαγωνισμοί, ένας κανόνας

Εκπαιδεύουμε το επόμενο στάδιο μόνο εάν κερδίσουμε μετάλλιο στο τρέχον στάδιο.

  1. Στάδιο 1

    Τοπικό

    Πολύ μικρό · <2B ενεργά

    Νοε 2026Lara Mini Base

    Κερδίστε στην κατηγορία των μοντέλων Tiny με το Lara Base (A0.6B/7.2B).

    Δεκ 2026Lara Mini

    Lara 4 Mini και Lara Mini LLM, για εξαιρετικά χαμηλό χρόνο απόκρισης και για φορητές συσκευές.

    Μετάλλιο κατακτήθηκε → προχωράμε στην εκπαίδευση για το Εθνικό στάδιο. Χωρίς μετάλλιο, σταματάμε.

  2. Στάδιο 2

    Εθνικό

    Μικρό · <10B ενεργό

    Μαρ 2027Lara Piccola Base (A7B/138B)

    Συμμετάσχετε στην κατηγορία των μικρών μοντέλων και κατακτήστε και εκεί ένα μετάλλιο.

    Απρ 2027Lara 4 και Lara Piccola LLM

    Το μοντέλο μετάφρασης Lara 4 και το Lara Piccola LLM, ένα μοντέλο A7B/138B υπό την κυριαρχία της ΕΕ.

    Μετάλλιο κερδήθηκε → προχωράμε στην προπόνηση για το στάδιο των Ολυμπιακών Αγώνων. Χωρίς μετάλλιο, σταματάμε.

  3. Στάδιο 3

    Ολυμπιακοί Αγώνες

    Αιχμή · 40B+ ενεργά

    Δεκ 2027Lara Grande Base (A60B/1,2T)

    Είσοδος στην κατηγορία αιχμής, απέναντι στα κορυφαία μοντέλα παγκοσμίως.

    Μαρ 2028Lara 5 & Lara Grande LLM

    Το Lara 5 υπερβαίνει τους επαγγελματίες μεταφραστές στο P95. Lara Grande: ένα αυτόνομο, ευρωπαϊκό LLM αιχμής, που υπερέχει των κινεζικών μοντέλων και πλησιάζει τα Anthropic και OpenAI.

Μοντέλα αναφοράς: tiny Gemma 4 E2B · small Gemma 4B/26B · medium Qwen 17B/397B · frontier GPT-6 Astra, Claude 5.6, Kimi K3.

Προϋπολογισμός εκπαίδευσης

Προϋπολογισμοί εκπαίδευσης για μεμονωμένες εκτελέσεις, επόμενες κυκλοφορίες

ΜοντέλοTokensFLOPsΥλικόΗμέρεςΚόστος εκπαίδευσης
Lara 4 PiccolaMoE 6,7B / 138B20T8,0 × 10²³512 × H10031$1,0M
Lara 4 GrandeMoE 60B / 1,2T24T8,6 × 10²⁴512 × Vera Rubin25$2,4M
Lara 4 SaggiaMoE 600B / 12T36T1,3 × 10²⁶2.304 × Vera Rubin83$36,6M
Για λόγους αναφοράς
Τυπικό όριο αιχμήςMoE 150B / 3T36T3,2 × 10²⁵4.096 × B20051$18,8M

Πηγή: Lara 4 LLM Training Budget Planning, 3 Νοε 2026 · FP8 · μόνο κόστος υπολογιστικής ισχύος · εκτιμώμενες ημέρες Saggia με τη μέθοδο του σχεδίου

Επόμενη εκπαίδευση

Υποψήφιο μοντέλο Lara Piccola

60 επίπεδα και 138 δισεκατομμύρια παράμετροι: το μοντέλο που θα ξεπεράσει το Gemma 4 31B.

  • 138Bσυνολικές παράμετροι
  • 6,7Bενεργά ανά token
  • Διαχωριστής λέξεωννέο, επανεξισορροπημένο
  • 60επίπεδα
  • 2816μέγεθος κρυφής μονάδας
  • 512 × 512ειδικοί, οι 8 κορυφαίοι + 2 κοινοί
  • 400kΏρες χρήσης GPU H100 για 20T tokens
  • 30 ημέρεςσε 512 GPU H100
  • $1MΚόστος εκτέλεσης εκπαίδευσης

  • Στόχος: νίκη στην κατηγορία των μικρών μοντέλων (<10B ενεργά)

    Τρέχοντα κορυφαία μοντέλα: Qwen3.5-122B-A10B, GLM-4.5-Air

  • Στόχος: να ξεπεράσει το Gemma 4 31B στις πολύγλωσσες επιδόσεις

    Υπέρβαση των επιδόσεων των εξαιρετικά πολύγλωσσων πυκνών μοντέλων στην κατηγορία των μεσαίων μοντέλων.

30,7 δευτερόλεπτα ανά βήμα σε 32 κόμβους · ίδια υβριδική προσοχή με το Lara Mini Base (GDN, window, global)

Τεχνική έκθεση

Λήψη της τεχνικής έκθεσης

Αρχιτεκτονική, δεδομένα εκπαίδευσης, benchmarks και μεθοδολογία πίσω από το Lara Mini Base, σε ένα έγγραφο. Αφήστε τα στοιχεία σας και θα σας το στείλουμε με email.

Συμφωνώ να επικοινωνήσει μαζί μου η Lara για περισσότερες πληροφορίες και επίδειξη. Έχω διαβάσει και συμφωνώ με την Πολιτική Απορρήτου*

Εργαστείτε με τη Lara

Δύο τρόποι για να βάλετε τη Lara να λειτουργήσει

  • Σας ενδιαφέρει το γενετικό μοντέλο;

    Επιλεγμένοι εταιρικοί πελάτες της Translated θα έχουν πρόσβαση. Το Lara Mini έχει σχεδιαστεί για να υποβάλλεται σε λεπτορρύθμιση για εξειδικευμένες κυρίαρχες εφαρμογές, λειτουργεί σε φορητές συσκευές και, στο cloud μας, παρέχει καθυστέρηση από άκρο σε άκρο κάτω από 20 ms, αποδίδοντας εκατομμύρια tokens ανά δευτερόλεπτο.

    Επικοινωνία με το τμήμα πωλήσεων

  • Μετάφραση με τη Lara

    Μεταφράστε κείμενα, έγγραφα και συνομιλίες με τη Lara, το εργαλείο μετάφρασης που βασίζεται σε αυτήν την έρευνα.

    Ξεκινήστε να χρησιμοποιείτε τη Lara για μετάφραση