УвійтиУвійтиЗареєструватисяЗареєструйтеся безкоштовноЗв'язатися з відділом продажів

Усі лабораторії зі штучного інтелекту виходять із припущення, що більша кількість мов погіршує якість моделі.Ми робимо ставку на протилежне.

Створена як багатоцільова велика мовна модель (LLM), що лежить в основі системи штучного інтелекту для перекладів Lara 4 Translation AI, Lara Mini з самого початку розроблялася як найбільш багатомовна та мультикультурна модель.
Завершивши навчання на 6 трильйонах токенів, вона посіла 1-ше місце серед 36 моделей свого класу у світі.

Отримати технічний звітОтримати модель

Translated · історія, що стоїть за Lara

Різноманіття – це не тягар для інтелекту. Вона є її джерелом.

  • Переконання

    Великі лабораторії переважно тренують моделі на англійській мові та сприймають інші мови й культури як «шум», що знижує якість.

  • Ставка

    Компанія Translated, чия сфера діяльності – переклад, створила Lara на основі реальних текстів, написаних багатьма мовами та в різних культурних контекстах. Розглядаючи одну ідею через призму багатьох мов і культур, модель краще її розуміє.

  • Доказ

    № 1 серед 36 моделей із кількістю активних параметрів до 2 млрд у світі, навчена на 6 трлн токенів, із контекстом 128 тис.

Короткий огляд запуску

Архітектура

  • 0,6 млрдактивні параметри на токен (4 експерти)
  • 7,2 млрдзагальна кількість параметрів, Mixture of Experts зі 128 експертами, 1 спільний
  • 34шари: пам’ять (GDN), вікно та глобальна увага
  • 128 тис.токени вікна контексту

Дані

  • 6Tтокени для навчання
  • 39%відфільтрованих необроблених токенів
  • 44 + ENмови, усі 24 офіційні мови ЄС
  • 151 643токени в словнику, перебалансування для мов із обмеженими ресурсами

Як ми її створили

Гібридна, розріджена архітектура для найбільш багатомовного моделі

Гібридна, розріджена модель: 34 шари, 128 експертів

Три типи шарів, одна повторювана одиниця

  • 14 пам’ять · Gated DeltaNet: стан лінійної уваги на кожен head, який оновлюється токен за токеном
  • 13 вікно · увага до останніх 512 токенів, позиції RoPE
  • 7 глобальний · повна увага, без позиційного кодування; останній шар завжди глобальний

Суміш експертів у кожному шарі

  • 4 зі 128 експертів, до яких спрямовується запит, обираються для кожного токена за допомогою роутера
  • 1 спільний експерт завжди активний
  • 0,6 млрд із 7,2 млрд параметрів активні на токен; розмір прихованого шару – 1024; прив’язані вбудовування входу та виходу

Оптимізатор

Muon + AdamW

Кожне оновлення імпульсу перед застосуванням ортогоналізується (за методом Ньютона–Шульца), завдяки чому всі напрямки матриці ваг рухаються приблизно однаковою швидкістю, а не лише кілька з них домінують.

Вікно контексту розміром 4096 токенів під час навчання; словник обсягом 151 643 токени.

Найбільш багатомовна та мультикультурна модель

6 трильйонів тренувальних токенів із пулу, дедуплікованого за всіма джерелами: 39% вихідних токенів було відфільтровано. Жодне джерело не повторюється більше ніж 2 епохи (за винятком вікі та високоякісних математичних джерел); звичайні вебджерела не повторюються взагалі.

  • Англійська2,49TВеб-дані високої якості 1,34T · Синтетичні дані високої якості 0,66T · PDF-файли 0,32T · Веб (середня якість) 0,15T · Вікі 0,02T
  • Багатомовний2,18TВеб 0,79T · Веб-дані високої якості 0,66T · PDF-файли 0,4T · Синтетичний 0,28T · Вікі 0,05T
  • Код0,77TСправжній код 0,45T · Синтетичний 0,31T
  • Математика0,35TМатематика (висока якість) 0,21T · Математика в Інтернеті 0,15T
  • Подібний до SFT0,21TКонтроль якості 0,12T · Математика 0,07T · Програмування 0,02T

Три етапи, одне зниження швидкості навчання

  1. Основне · 4,8T0–80% · до кроку 572,2k
  2. Перехідний етап · 0,6T80–90% · до кроку 643,7k
  3. Відпал · 0,6T90–100% · до кроку 715,3k
Графік зміни швидкості навчанняОцінювана модель: кінець навчання, 6T токенів.

Кожен етап – це окрема суміш даних, яка завантажується на межі відповідного кроку. Перехід: міст між двома етапами зі стабільним темпом навчання, де суміш уже на півдорозі до етапу відпалу (більше високоякісних даних, даних QA, даних із коду та математики), щоб модель адаптувалася до зниження темпу навчання. Anneal: комбінація найвищої якості, тоді як швидкість навчання знижується до нуля протягом останніх 10%.

На кожному етапі зростає частка даних, пов’язаних із програмуванням, математикою та даними, подібними до SFT.

Частка токенів на кожному етапі. Дані перемішуються, а не подаються за доменами: кожен пакет із 2048 послідовностей містить усі домени приблизно в таких пропорціях. Подібне до SFT (дані для питань і відповідей, математики та інструкцій із програмування): 2% на основному етапі, 3,5% за весь прогін.

Методологія

26 бенчмарків, один інструмент (harness), кожна модель

Загалом = ¼ англійська + ¼ багатомовна + ¼ математика + ¼ програмування. Ми оцінюємо кожну модель за допомогою lm-evaluation-harness і застосовуємо однакові корекції формату відповідей. Для кожного багатомовного бенчмарку обчислюється середнє значення за нашими 44 мовами навчання, відмінними від англійської.

  • Англійська10

    • NLI
    • PAWS
    • Belebele (en)
    • COPA
    • PIQA
    • HellaSwag
    • WinoGrande
    • ARC-C
    • MMLU
    • MMLU-Pro

  • Багатомовний9

    • XNLI
    • PAWS-X
    • Belebele
    • XCOPA
    • Global PIQA NP
    • Global PIQA P
    • T-HellaSwag
    • INCLUDE
    • Global MMLU

  • Математика3

    • GSM8K
    • MATH
    • MGSM

  • Програмування4

    • MBPP
    • MBPP+
    • CRUX-I
    • CRUX-O

Заборона підглядання: на фінальному етапі навчання пропускаються всі документи, які містять елемент бенчмарку.

Результати

№ 1 із 36 серед мініатюрних моделей у світі

Перше місце в категоріях «Загалом», «Текст» і «Багатомовність»; на 3,1 бала випереджає granite-4.0-h-tiny в категорії «Загалом».

Загалом

Рейтинг мініатюрних моделей

#1

з 36 моделей

Рейтинг за категоріями

  • Математика та програмування#1
  • Текст#1
  • Багатомовний#1

Визначення бенчмарку. Наша модель є остаточним контрольною точкою циклу навчання на 6 трильйонах токенів, із контекстом, розширеним до 128 тис.; під час відпалу вона пропускає кожен документ, що містить елемент бенчмарку. Його клас: моделі з кількістю активних параметрів до 2 млрд (gemma-4-E2B з ефективним розміром 2 млрд). Багатомовні показники для кожної моделі обчислюються як середнє значення за 44 мовами, відмінними від англійської, на яких ми здійснюємо навчання.

Рейтинги

12 найкращих крихітних моделей

36 моделей із кількістю активних параметрів до 2 млрд (gemma-4-E2B з ефективним розміром 2 млрд, загалом – 5,1 млрд). Багатомовність у наших мовах навчання. Стовпчики починаються з 0.

  1. #1Lara Mini Base (A0.6B/7.2B)57,0
  2. #2IBM - granite-4.0-h-tiny (1B active)53,9
  3. #3Alibaba - Qwen3-1.7B53,8
  4. #4Falcon-H1-1.5B-Deep53,2
  5. #5Hunyuan-1.8B52,2
  6. #6LFM2.5-8B-A1B (1.7B active)50,8
  7. #7Trinity-Nano (1B active)50,7
  8. #8LFM3-1.7B49,2
  9. #9Qwen3.5-2B48,9
  10. #10Falcon-H1-1.5B48,8
  11. #11Qwen2.5-1.5B47,6
  12. #12granite-4.0-1b47,2
  13. #17Google - gemma-4-E2B41,9

Загальний показник = ¼ англійська + ¼ багатомовна + ¼ математика + ¼ програмування.

Ефективність

№ 1 серед моделей із менш ніж 2 млрд параметрів, із яких активними є лише 0,6 млрд

Lara Mini Base перевершує всі 35 інших моделей свого класу, зокрема моделі, які використовують до 3 разів більше активних параметрів, як-от Qwen3-1.7B і gemma-4-E2B.

20304050600,5B1B2BLara Mini Base (A0.6B/7.2B) · 57,0granite-4.0-h-tiny · 53,9gemma-4-E2B
Загальний показник у залежності від активних параметрів, логарифмічна шкала. Ступінчаста лінія є межею: жодна модель із меншою кількістю активних параметрів не демонструє вищого результату. Модель gemma-4-E2B відображена з її ефективним розміром 2B (загалом 5,1B).

Обмежений випуск · хто його отримує

Для чого призначена Lara Mini

  • Додаток Lara Translate

    Офлайн-переклад

    Lara Mini – це базова модель, що лежить в основі функції офлайн-перекладу Lara 4 для наступної версії застосунку Lara Translate. Ваш текст ніколи не покидає телефон, а кожна перекладацька операція все одно займає менше секунди.

  • Клієнти Translated

    Мініатюрна базова велика мовна модель

    Доступ матимуть обрані корпоративні клієнти Translated. Lara Mini розроблена для тонкого налаштування під спеціалізовані суверенні застосунки, працює на мобільних пристроях і в нашому хмарі, забезпечуючи наскрізну затримку менше 20 мс та обробляючи мільйони токенів за секунду.

  • Дослідження

    Дослідники у сфері ШІ

    Доступ для дослідників у сфері ШІ, щоб вони могли відтворювати наші результати та спиратися на них, просуваючи багатомовні дослідження далі.

Що далі

Три змагання, одне правило

Ми переходимо до наступного етапу лише в разі здобуття медалі на поточному етапі.

  1. Етап 1

    Локальний

    Tiny · <2B активних параметрів

    лист. 2026 р.Lara Mini Base

    Переможіть у категорії «мініатюрні» з Lara Base (A0.6B/7.2B).

    груд. 2026 р.Lara Mini

    Lara 4 Mini та Lara Mini LLM – для наднизької затримки та мобільних пристроїв.

    Виграно медаль → ми переходимо до навчання на етапі «Національний». Немає медалі – ми зупиняємося.

  2. Етап 2

    Національний

    Мала · <10 млрд активних

    бер. 2027 р.Lara Piccola Base (A7B/138B)

    Візьміть участь у категорії «Малі моделі» та здобудьте там теж медаль.

    квіт. 2027 р.Lara 4 та Lara Piccola LLM

    Модель перекладу Lara 4 і велика мовна модель Lara Piccola – суверенна для ЄС модель A7B/138B.

    Виграно медаль → ми тренуємося на етапі «Олімпіада». Немає медалі – ми зупиняємося.

  3. Етап 3

    Олімпійські ігри

    Передовий рівень · понад 40 млрд активних

    груд. 2027 р.Lara Grande Base (A60B/1.2T)

    Увійдіть у категорію передових рішень, змагаючись із найкращими моделями світу.

    бер. 2028 р.LLM-моделі Lara 5 і Lara Grande

    Lara 5 перевершує професійних перекладачів рівня P95. Lara Grande: суверенна для ЄС передова велика мовна модель (LLM), яка випереджає китайські моделі та наближається до рівня Anthropic та OpenAI.

Еталонні моделі: мініатюрна Gemma 4 E2B · невелика Gemma 4B/26B · середня Qwen 17B/397B · передові GPT-6 Astra, Claude 5.6, Kimi K3.

Бюджет на навчання

Бюджети на одноразове навчання, наступні версії

МодельТокениFLOP-иАпаратне забезпеченняДніВартість навчання
Lara 4 PiccolaMoE 6,7B / 138B20T8,0 × 10²³512 × H10031$1,0M
Lara 4 GrandeMoE 60B / 1,2T24T8,6 × 10²⁴512 × Vera Rubin25$2,4M
Lara 4 SaggiaMoE 600B / 12T36T1,3 × 10²⁶2 304 × Vera Rubin83$36,6M
Для довідки
Типова межаMoE 150B / 3T36T3,2 × 10²⁵4 096 × B20051$18,8M

Джерело: Планування бюджету навчання Lara 4 LLM, 3 листопада 2026 р. · FP8 · лише витрати на обчислення · Дні Saggia оцінено за методом плану

Наступне навчання

Кандидат на роль Lara Piccola

60 шарів і 138 млрд параметрів: модель, покликана перевершити Gemma 4 31B.

  • 138Bзагальна кількість параметрів
  • 6,7Bактивних на токен
  • Токенізаторнова, збалансована заново
  • 60шари
  • 2816прихований розмір
  • 512 × 512експерти, топ-8 + 2 спільні
  • 400kГодини роботи графічних процесорів H100 для 20 трильйонів токенів
  • 30 днівна 512 графічних процесорах H100
  • $1MВитрати на цикл навчання

  • Мета: перемогти в класі малих моделей (<10 млрд активних параметрів)

    Поточні лідери: Qwen3.5-122B-A10B, GLM-4.5-Air

  • Мета: перевершити Gemma 4 31B у багатомовному сегменті

    Перевершити високомультилінгвальні щільні моделі в класі середніх моделей.

30,7 с на крок на 32 вузлах · такий самий гібридний механізм уваги, що й у Lara Mini Base (GDN, вікно, глобальний)

Технічний звіт

Отримати технічний звіт

Архітектура, дані для навчання, бенчмарки та методологія, що лежать в основі Lara Mini Base, – у єдиному документі. Залиште свої контактні дані, і ми надішлемо вам документ електронною поштою.

Я погоджуюся, щоб Lara зв’язалася зі мною для отримання додаткової інформації та демонстрації. Я прочитав(-ла) і погоджуюся з Політикою конфіденційності*

Працюйте з Lara

Два способи залучити Lara до роботи

  • Вас цікавить генеративна модель?

    Доступ матимуть окремі корпоративні клієнти Translated. Lara Mini розроблена для донавчання під спеціалізовані суверенні застосунки, працює на мобільних пристроях і в нашій хмарі, забезпечуючи наскрізну затримку менше 20 мс та обробку мільйонів токенів за секунду.

    Звернутися до відділу продажів

  • Перекладайте за допомогою Lara

    Перекладайте текст, документи та розмови за допомогою Lara – системи перекладу, створеної на основі цього дослідження.

    Почніть використовувати Lara для перекладу