כניסהכניסההרשמהלהרשמה בחינםיצירת קשר עם מחלקת המכירות

כל מעבדת בינה מלאכותית יוצאת מנקודת הנחה שהוספת שפות נוספות פוגעת בביצועי המודל.אנחנו מהמרים על ההפך.

Lara Mini, שנולד כמודל שפה גדול (LLM) למטרות כלליות המשמש בבסיס Lara 4 Translation AI, תוכנן מראש להיות המודל הרב‑לשוני והרב‑תרבותי ביותר.
בסיום אימון של 6 טריליון טוקנים, היא מדורגת במקום הראשון מבין 36 מודלים בקטגוריה שלה ברחבי העולם.

קבלו את הדוח הטכניהורדת המודל

Translated · הסיפור שמאחורי Lara

גיוון אינו מהווה עלות עבור האינטליגנציה. היא מקור לה.

  • האמונה

    המעבדות הגדולות מאמנות בעיקר על בסיס אנגלית ומתייחסות לשפות ולתרבויות אחרות כרעש שפוגע באיכות.

  • ההימור

    Translated, שעיסוקה הוא תרגום, בנתה את Lara על בסיס טקסטים אמיתיים שנכתבו בשפות ותרבויות רבות. כאשר המודל נחשף לרעיון אחד דרך רבות מהשפות והתרבויות, הוא מבין את הרעיון טוב יותר.

  • ההוכחה

    במקום הראשון מבין 36 מודלים עם עד 2B פרמטרים פעילים ברחבי העולם, שהוכשר על 6T טוקנים, עם חלון הקשר של 128K.

סקירה כללית של הריצה

ארכיטקטורה

  • 0.6Bפרמטרים פעילים לכל אסימון (4 מומחים)
  • 7.2Bסך כל הפרמטרים, Mixture of Experts עם 128 מומחים, 1 משותף
  • 34שכבות: זיכרון (GDN), חלון ותשומת לב גלובלית
  • 128Kטוקנים בחלון ההקשר

נתונים

  • 6Tטוקנים להכשרה
  • 39%מתוך טוקנים גולמיים סוננו
  • 44 + ENשפות, כולל כל 24 השפות הרשמיות של האיחוד האירופי
  • 151,643טוקנים באוצר המילים, איזון מחדש לטובת שפות בעלות משאבים מועטים

כיצד בנינו אותו

עיצוב היברידי ומפוזר עבור המודל הרב ‑לשוני ביותר

מודל היברידי ומפוזר: 34 שכבות, 128 מומחים

שלושה סוגים של שכבות, יחידה חוזרת אחת

  • 14 זיכרון · Gated DeltaNet: מצב של תשומת לב ליניארית לכל ראש, המתעדכן טוקן אחר טוקן
  • 13 חלון · תשומת לב ל־512 הטוקנים האחרונים, מיקומי RoPE
  • 7 גלובלי · תשומת לב מלאה, ללא קידוד מיקום; השכבה האחרונה היא תמיד גלובלית

שילוב של מומחים בכל שכבה

  • 4 מתוך 128 מומחים מנותבים נבחרים לכל טוקן על ידי נתב
  • 1 מומחה משותף פעיל תמיד
  • 0.6 מיליארד מתוך 7.2 מיליארד פרמטרים פעילים לכל טוקן; גודל שכבה נסתרת 1,024, טמיעות קלט ופלט קשורות

מַמְעִיט אִיבְדוּדִים (אופטימייזר)

Muon + AdamW

כל עדכון מומנטום עובר תהליך אורתוגונליזציה (ניוטון–שולץ) לפני שהוא מיושם, כך שכל כיוון במטריצת משקלים נע בקצב דומה, במקום שמספר כיוונים מעטים ישלטו.

חלון הקשר בגודל 4,096 טוקנים בשלב האימון; אוצר מילים בגודל 151,643 טוקנים.

המודל הרב‑לשוני והרב‑תרבותי ביותר

6 טריליון טוקנים לאימון ממאגר שעבר הסרת כפילויות בכל המקורות: 39% מהטוקנים הגולמיים סוננו החוצה. אף מקור לא חוזר על עצמו יותר מפעמיים (2 אפוקות) – למעט ויקיפדיה ותכני מתמטיקה באיכות גבוהה. תכנים מהאינטרנט הרגיל (plain web) אינם חוזרים על עצמם כלל.

  • אנגלית2.49Tאיכות גבוהה מהאינטרנט 1.34T · איכות גבוהה סינתטית 0.66T · קובצי PDF 0.32T · איכות בינונית מהאינטרנט 0.15T · ויקי 0.02T
  • רב‑לשוני2.18Tאינטרנט 0.79T · איכות גבוהה מהאינטרנט 0.66T · קובצי PDF 0.4T · סינתטי 0.28T · ויקי 0.05T
  • קוד0.77Tקוד אמיתי 0.45T · סינתטי 0.31T
  • מתמטיקה0.35Tמתמטיקה – רמה גבוהה 0.21T · מתמטיקה באינטרנט 0.15T
  • דמוי‑SFT0.21Tבקרת איכות 0.12T · מתמטיקה 0.07T · קוד 0.02T

שלושה שלבים, ירידה אחת בקצב הלמידה

  1. ראשי · 4.8T0–80% · עד לשלב 572.2k
  2. מעבר · 0.6T80–90% · עד לשלב 643.7k
  3. חישול · 0.6T90–100% · עד לשלב 715.3k
לוח זמנים של קצב הלמידהמודל שנבדק: סוף האימון, 6T טוקנים.

כל שלב הוא תערובת נתונים נפרדת, הנטענת בגבול של אותו שלב. מעבר: גשר בין שני השלבים בקצב למידה יציב, שבו התמהיל כבר מתקדם במחצית הדרך לעבר שלב ה־anneal (נתונים באיכות גבוהה יותר, שאלות ותשובות, קוד ומתמטיקה), כך שהמודל מסתגל לפני הירידה בקצב הלמידה. Anneal: התערובת באיכות הגבוהה ביותר, בעוד שקצב הלמידה דועך לאפס לאורך 10% האחרונים.

בכל שלב ישנה התמקדות רבה יותר בקוד, במתמטיקה ובנתונים דמויי SFT

נתח הטוקנים בכל שלב. הנתונים עוברים ערבוב אקראי, ולא מוזנים לפי תחום אחר תחום: בכל אצווה של 2,048 רצפים מתערבבים כל התחומים בקירוב לפי הפרופורציות האלה. דמוי‑SFT (נתוני הוראות בתחומי שאלות‑תשובות, מתמטיקה וקוד): 2% בשלב הראשי, 3.5% לאורך כל הריצה.

מתודולוגיה

26 מדדי ביצועים, מסגרת בדיקה אחת, כל המודלים

בסך הכול = ¼ אנגלית + ¼ רב‑לשוני + ¼ מתמטיקה + ¼ קוד. אנו מדרגים כל מודל באמצעות lm-evaluation-harness ועם אותן תיקוני פורמט תשובה. עבור כל מדד ביצועים רב-לשוני מחושב ממוצע על פני 44 שפות האימון שלנו שאינן אנגלית.

  • אנגלית10

    • NLI
    • PAWS
    • Belebele (en)
    • COPA
    • PIQA
    • HellaSwag
    • WinoGrande
    • ARC-C
    • MMLU
    • MMLU-Pro

  • רב־לשוני9

    • XNLI
    • PAWS-X
    • Belebele
    • XCOPA
    • Global PIQA NP
    • Global PIQA P
    • T-HellaSwag
    • INCLUDE
    • Global MMLU

  • מתמטיקה3

    • GSM8K
    • MATH
    • MGSM

  • קוד4

    • MBPP
    • MBPP+
    • CRUX-I
    • CRUX-O

אסור להציץ: בשלב האימון הסופי מדלגים על כל מסמך שמכיל פריט השייך למערך הבדיקה.

תוצאות

במקום הראשון מתוך 36 דגמים זעירים ברחבי העולם

במקום הראשון בדירוג הכולל, בתחום הטקסט ובתחום הרב‑לשוני, ובפער של 3.1 נקודות על פני granite-4.0-h-tiny בדירוג הכולל.

כללי

דירוג מודלים זעירים

#1

מתוך 36 מודלים

דירוג לפי קטגוריות

  • מתמטיקה וקוד#1
  • טקסט#1
  • רב־לשוני#1

הגדרת מדד הביצועים. המודל שלנו הוא נקודת הביקורת הסופית של ריצת 6T‑token, עם הקשר מורחב ל‑128K; תהליך ה‑anneal שלו מדלג על כל מסמך המכיל פריט המשמש למדד ביצועים. הקטגוריה שלה: מודלים עם עד 2B פרמטרים פעילים (gemma-4-E2B בגודל אפקטיבי של 2B). הציונים הרב־לשוניים מחושבים כממוצע על פני 44 השפות שאינן אנגלית שבהן אנו מאמנים את כל אחד מהמודלים.

דירוגים

12 המודלים הזעירים המובילים

36 מודלים עם עד 2B פרמטרים פעילים (gemma-4-E2B בגודלו האפקטיבי של 2B, 5.1B בסך הכול). רב־לשוניות בשפות האימון שלנו. העמודות מתחילות מ-0.

  1. #1Lara Mini Base (A0.6B/7.2B)57.0
  2. #2IBM - granite-4.0-h-tiny (1B active)53.9
  3. #3Alibaba - Qwen3-1.7B53.8
  4. #4Falcon-H1-1.5B-Deep53.2
  5. #5Hunyuan-1.8B52.2
  6. #6LFM2.5-8B-A1B (1.7B active)50.8
  7. #7Trinity-Nano (1B active)50.7
  8. #8LFM3-1.7B49.2
  9. #9Qwen3.5-2B48.9
  10. #10Falcon-H1-1.5B48.8
  11. #11Qwen2.5-1.5B47.6
  12. #12granite-4.0-1b47.2
  13. #17Google - gemma-4-E2B41.9

ציון כללי = ¼ אנגלית + ¼ רב־לשוני + ¼ מתמטיקה + ¼ קוד.

יעילות

במקום הראשון בקטגוריית הדגמים מתחת ל-2B, עם 0.6B בלבד פעילים

Lara Mini Base עולה בביצועים על כל 35 המודלים האחרים בקטגוריה שלה, לרבות מודלים המשתמשים במספר פרמטרים פעילים גבוה פי עד 3 ממנו, כגון Qwen3-1.7B ו-gemma-4-E2B.

20304050600.5B1B2BLara Mini Base (A0.6B/7.2B) · 57.0granite-4.0-h-tiny · 53.9gemma-4-E2B
ציון כולל ביחס למספר הפרמטרים הפעילים, בסולם לוגריתמי. קו המדרגה הוא הגבול: אף מודל עם פחות פרמטרים פעילים אינו משיג ציון גבוה יותר. gemma-4-E2B מוצג בגודלו האפקטיבי של 2B (5.1B בסך הכול).

מהדורה מוגבלת · מי מקבל אותה

לשם מה משמש Lara Mini

  • אפליקציית Lara Translate

    תרגום במצב לא מקוון

    Lara Mini הוא המודל הבסיסי שעומד מאחורי תכונת התרגום הלא מקוון של Lara 4 באפליקציית Lara Translate הבאה. הטקסט שלכם לעולם לא עוזב את הטלפון, וכל תרגום עדיין נמשך פחות משנייה.

  • לקוחות Translated

    דגם שפה גדול (LLM) בסיסי זעיר

    לקוחות ארגוניים נבחרים של Translated יקבלו גישה. Lara Mini מתוכנן כך שניתן יהיה לבצע בו כוונון עדין עבור יישומים ריבוניים ייעודיים, פועל במכשירי נייד ובסביבת הענן שלנו, ומספק זמן השהייה מקצה לקצה של פחות מ-20 אלפיות השנייה, תוך עיבוד של מיליוני טוקנים בשנייה.

  • מחקר

    חוקרי בינה מלאכותית

    גישה לחוקרי בינה מלאכותית כדי לשחזר את התוצאות שלנו ולהתבסס עליהן, ובכך לקדם את המחקר הרב‑לשוני.

מה השלב הבא

שלוש תחרויות, כלל אחד

אנו מאמנים את השלב הבא רק אם נזכה במדליה בשלב הנוכחי.

  1. שלב 1

    מקומי

    קטנטן · <2B פעיל

    נוב׳ 2026Lara Mini Base

    זכו בקטגוריית הדגמים הזעירים עם Lara Base (A0.6B/7.2B).

    דצמ׳ 2026Lara Mini

    Lara 4 Mini ו‑Lara Mini LLM, המיועדים להשהיה נמוכה במיוחד ולמכשירי נייד.

    מדליה הושגה → אנו מתחילים באימון לשלב הלאומי. ללא מדליה, אנו מפסיקים.

  2. שלב 2

    ארצי

    קטן · <10B פעיל

    מרץ 2027Lara Piccola Base (A7B/138B)

    היכנסו לקטגוריית הדגמים הקטנים וזכו במדליה גם שם.

    אפר׳ 2027Lara 4 ו‑Lara Piccola LLM

    מודל התרגום Lara 4 ו‑Lara Piccola LLM, מודל A7B/138B ריבוני של האיחוד האירופי.

    מדליה הושגה → אנו מתאמנים בשלב האולימפי. ללא מדליה, אנחנו מפסיקים.

  3. שלב 3

    אולימפיאדה

    חוד החנית · מעל 40 מיליארד פעילים

    דצמ׳ 2027Lara Grande Base (A60B/1.2T)

    היכנסו לקטגוריית החוד החזיתי, בתחרות מול המודלים הטובים ביותר בעולם.

    מרץ 2028Lara 5 ו‑Lara Grande LLM

    Lara 5 עולה בביצועיה על מתרגמים מקצועיים ברמת P95. Lara Grande: דגם שפה גדול (LLM) מתקדם, ריבוני של האיחוד האירופי, המקדים את הדגמים הסיניים ומתקרב לביצועים של Anthropic ו‑OpenAI.

מודלים ייחוס: Tiny Gemma 4 E2B · Small Gemma 4B/26B · Medium Qwen 17B/397B · Frontier GPT-6 Astra, Claude 5.6, Kimi K3.

תקציב האימון

תקציבי אימון לריצה בודדת, מהדורות הבאות

מודלטוקניםFLOPsחומרהימיםעלות האימון
Lara 4 PiccolaMoE 6.7B / 138B20T8.0 × 10²³512 × H10031$1.0M
Lara 4 GrandeMoE 60B / 1.2T24T8.6 × 10²⁴512 × Vera Rubin25$2.4M
Lara 4 SaggiaMoE 600B / 12T36T1.3 × 10²⁶2,304 × Vera Rubin83$36.6M
לעיון
קצה גבול היכולת הטיפוסיMoE 150B / 3T36T3.2 × 10²⁵4,096 × B20051$18.8M

מקור: Lara 4 LLM Training Budget Planning, 3 בנובמבר 2026 · FP8 · עלות חישוב בלבד · ימי Saggia מוערכים לפי שיטת התוכנית

האימון הבא

מועמדת Lara Piccola

60 שכבות ו‑138 מיליארד פרמטרים: המודל שמיועד לעקוף את Gemma 4 31B.

  • 138Bסך כל הפרמטרים
  • 6.7Bפעילים לכל טוקן
  • מנתח טוקניםחדש, מאוזן מחדש
  • 60שכבות
  • 2816גודל שכבה נסתרת
  • 512 × 512מומחים, 8 המובילים + 2 משותפים
  • 400kשעות GPU מדגם H100 עבור 20 טריליון טוקנים
  • 30 ימיםעל 512 מעבדי GPU מדגם H100
  • $1Mעלות ריצת האימון

  • מטרה: לנצח בקטגוריית המודלים הקטנים (<10B פעילים)

    המובילים כיום: Qwen3.5-122B-A10B, GLM-4.5-Air

  • מטרה: להשיג ביצועים טובים יותר מ‑Gemma 4 31B בתחום הרב‑לשוניות

    להביס מודלים דחוסים רב־לשוניים במיוחד בקטגוריית המודלים הבינוניים.

30.7 שניות לכל שלב ב-32 צמתים · אותו מנגנון קשב היברידי כמו ב-Lara Mini Base (GDN, חלון, גלובלי)

דוח טכני

קבלו את הדוח הטכני

הארכיטקטורה, נתוני האימון, מדדי הביצועים והמתודולוגיה העומדים מאחורי Lara Mini Base, במסמך אחד. השאירו את פרטיכם, ואנו נשלח לכם את המסמך בדוא"ל.

אני מסכים/ה ש-Lara תיצור איתי קשר לקבלת מידע נוסף והדגמה. קראתי והסכמתי למדיניות הפרטיות *

עבודה עם Lara

שתי דרכים להעמיד את Lara בעבודה

  • מתעניינים במודל הגנרטיבי?

    לקוחות ארגוניים נבחרים של Translated יקבלו גישה. Lara Mini מתוכנן כך שניתן יהיה לבצע בו כוונון עדין (fine-tuning) עבור יישומים ריבוניים ייעודיים, פועל במכשירי נייד ובסביבת הענן שלנו, ומספק זמן השהיה מקצה לקצה (end-to-end latency) של פחות מ-20 אלפיות שנייה, תוך עיבוד של מיליוני טוקנים בשנייה.

    פנייה למחלקת המכירות

  • תרגום באמצעות Lara

    תרגמו טקסטים, מסמכים ושיחות באמצעות Lara, כלי התרגום שפותח על בסיס מחקר זה.

    התחילו להשתמש ב‑Lara לתרגום