ВходВходРегистрацияЗарегистрируйтесь бесплатноСвязаться с отделом продаж

Все лаборатории, занимающиеся ИИ, исходят из того, что увеличение числа языков ухудшает качество модели.Мы сделали ставку на обратное.

Созданная как универсальная LLM, лежащая в основе Lara 4 Translation AI, Lara Mini с самого начала разрабатывалась как наиболее многоязычная и мультикультурная модель.
По завершении обучения на 6 триллионах токенов она занимает 1-е место среди 36 моделей своего класса во всём мире.

Получить технический отчётПолучить модель

Translated · история создания Lara

Разнообразие — это не издержки для интеллекта. Оно является её источником.

  • Убеждение

    Крупные лаборатории в основном обучают модели на английском языке и рассматривают другие языки и культуры как «шум», снижающий качество.

  • Ставка

    Компания Translated, специализирующаяся на переводе, создала Lara на основе реальных текстов, написанных на многих языках и отражающих различные культуры. Рассматривая одну идею через призму многих языков и культур, модель лучше её понимает.

  • Доказательство

    № 1 из 36 моделей с количеством активных параметров до 2B по всему миру, обученная на 6T токенов, с контекстом 128K.

Краткий обзор прогона

Архитектура

  • 0,6 млрдактивные параметры на токен (4 эксперта)
  • 7,2 млрдобщее количество параметров, MoE со 128 экспертами, 1 общий
  • 34слои: память (GDN), окно и глобальное внимание
  • 128Kтокенов в окне контекста

Данные

  • 6Tтокены для обучения
  • 39 %отфильтрованных необработанных токенов
  • 44 + ENязыки, все 24 официальных языка ЕС
  • 151 643токенов в словаре, перебалансировка для языков с ограниченными ресурсами

Как мы это создали

Гибридная, разреженная архитектура для самого многоязычного модели

Гибридная, разреженная модель: 34 слоя, 128 экспертов

Три типа слоёв, одна повторяющаяся единица

  • 14 память · Gated DeltaNet: состояние линейного внимания на каждый head, обновляемое токен за токеном
  • 13 окно · внимание к последним 512 токенам, позиции RoPE
  • 7 глобальный · полное внимание, без позиционного кодирования; последний слой всегда глобальный

Комбинация экспертов в каждом слое

  • 4 из 128 экспертов, выбранных маршрутизатором для каждого токена
  • 1 общий эксперт всегда активен
  • 0,6 млрд из 7,2 млрд параметров активны на токен; размер скрытого слоя — 1024; привязанные эмбеддинги ввода и вывода

Оптимизатор

Muon + AdamW

Каждое обновление импульса ортогонализуется (по методу Ньютона–Шульца) перед применением, благодаря чему все направления матрицы весов изменяются с примерно одинаковой скоростью, а не только несколько доминирующих.

Окно контекста размером 4096 токенов при обучении; словарь объёмом 151 643 токена.

Самая многоязычная и мультикультурная модель

6T токенов для обучения из пула, дедуплицированного по всем источникам: 39% исходных токенов были отфильтрованы. Ни один источник не повторяется более 2 эпох (за исключением Википедии и высококачественных математических данных); данные из открытого интернета не повторяются никогда.

  • Английский язык2,49TВысокое качество из интернета 1,34T · Синтетические данные высокого качества 0,66T · Файлы PDF 0,32T · Веб‑страницы среднего качества 0,15T · Википедия 0,02T
  • Многоязычный2,18TВеб 0,79T · Высокое качество из интернета 0,66T · Файлы PDF 0,4T · Синтетический 0,28T · Википедия 0,05T
  • Программирование0,77TРеальный код 0,45T · Синтетический 0,31T
  • Математика0,35TМатематика (HQ) 0,21T · Математика в интернете 0,15T
  • Подобно SFT0,21TВопросы и ответы 0,12T · Математика 0,07T · Программирование 0,02T

Три этапа, одно снижение скорости обучения

  1. Основное · 4,8T0–80% · до шага 572,2k
  2. Переход · 0,6T80–90% · до шага 643,7k
  3. Отжиг · 0,6T90–100% · до шага 715,3k
График изменения скорости обученияОцениваемая модель: конец обучения, 6T токенов.

Каждый этап представляет собой отдельную смесь данных, загружаемую на границе соответствующего шага. Переход: мост между двумя этапами при стабильном темпе обучения, где смесь уже на полпути к составу этапа отжига (больше высококачественных данных, данных QA, кода и математических данных), чтобы модель адаптировалась до начала снижения темпа обучения. Anneal: смесь наивысшего качества, при этом скорость обучения снижается до нуля на протяжении последних 10%.

На каждом этапе увеличивается доля кода, математики и данных, схожих с SFT.

Доля токенов на каждом этапе. Данные перемешиваются, а не подаются по отдельным доменам: в каждом батче из 2048 последовательностей все домены смешиваются примерно в указанных пропорциях. SFT-подобные данные (QA, математика и инструкции по коду): 2% в основной части, 3,5% за весь прогон.

Методология

26 бенчмарков, один фреймворк, каждая модель

Общий состав: ¼ английский + ¼ многоязычный + ¼ математика + ¼ программирование. Мы оцениваем каждую модель с помощью lm-evaluation-harness и применяем одинаковые корректировки формата ответов. Для каждого многоязычного бенчмарка рассчитывается среднее значение по нашим 44 языкам обучения, отличным от английского.

  • Английский10

    • NLI
    • PAWS
    • Belebele (en)
    • COPA
    • PIQA
    • HellaSwag
    • WinoGrande
    • ARC-C
    • MMLU
    • MMLU-Pro

  • Многоязычный9

    • XNLI
    • PAWS-X
    • Belebele
    • XCOPA
    • Global PIQA NP
    • Global PIQA P
    • T-HellaSwag
    • INCLUDE
    • Global MMLU

  • Математика3

    • GSM8K
    • MATH
    • MGSM

  • Программирование4

    • MBPP
    • MBPP+
    • CRUX-I
    • CRUX-O

Никаких подглядываний: на заключительном этапе обучения пропускается каждый документ, содержащий элемент бенчмарка.

Результаты

№ 1 из 36 среди компактных моделей по всему миру

Первое место в категориях «Общий», «Текст» и «Многоязычие»; опережение granite-4.0-h-tiny на 3,1 балла в категории «Общий».

Общий показатель

Рейтинг малых моделей

#1

из 36 моделей

Рейтинг по категориям

  • Математика и программирование#1
  • Текст#1
  • Многоязычный#1

Определение бенчмарка. Наша модель представляет собой финальный чекпоинт цикла обучения на 6T токенов с контекстом, расширенным до 128K; во время отжига она пропускает все документы, содержащие элемент бенчмарка. Его класс: модели с количеством активных параметров до 2B (gemma-4-E2B с эффективным размером 2B). Для каждой модели многоязычные показатели усредняются по 44 языкам, отличным от английского, на которых мы обучаем модели.

Рейтинги

12 лучших сверхкомпактных моделей

36 моделей с количеством активных параметров до 2B (gemma-4-E2B с эффективным размером 2B и общим количеством параметров 5,1B). Многоязычие в рамках наших языков обучения. Столбцы начинаются с 0.

  1. #1Lara Mini Base (A0.6B/7.2B)57,0
  2. #2IBM - granite-4.0-h-tiny (1B active)53,9
  3. #3Alibaba - Qwen3-1.7B53,8
  4. #4Falcon-H1-1.5B-Deep53,2
  5. #5Hunyuan-1.8B52,2
  6. #6LFM2.5-8B-A1B (1.7B active)50,8
  7. #7Trinity-Nano (1B active)50,7
  8. #8LFM3-1.7B49,2
  9. #9Qwen3.5-2B48,9
  10. #10Falcon-H1-1.5B48,8
  11. #11Qwen2.5-1.5B47,6
  12. #12granite-4.0-1b47,2
  13. #17Google - gemma-4-E2B41,9

Общий показатель = ¼ английский + ¼ многоязычный + ¼ математика + ¼ программирование.

Эффективность

№ 1 среди моделей с менее чем 2 млрд параметров, из которых активны всего 0,6 млрд

Lara Mini Base превосходит все 35 других моделей своего класса, включая модели, использующие до 3× больше активных параметров, такие как Qwen3-1.7B и gemma-4-E2B.

20304050600,5B1B2BLara Mini Base (A0.6B/7.2B) · 57,0granite-4.0-h-tiny · 53,9gemma-4-E2B
Общий балл в зависимости от количества активных параметров, логарифмическая шкала. Ступенчатая линия представляет собой границу: ни одна модель с меньшим количеством активных параметров не показывает более высокого результата. Модель gemma-4-E2B представлена с её эффективным размером 2B (общий размер — 5,1B).

Ограниченный выпуск · кто его получает

Для чего предназначена Lara Mini

  • Приложение Lara Translate

    Перевод в автономном режиме

    Lara Mini — это базовая модель, лежащая в основе функции офлайн-перевода Lara 4 для следующей версии приложения Lara Translate. Ваш текст никогда не покидает телефон, и каждая переводческая операция по-прежнему занимает менее секунды.

  • Клиенты Translated

    Крошечная базовая модель LLM

    Доступ будет предоставлен выбранным корпоративным клиентам Translated. Lara Mini разработана для донастройки под специализированные суверенные приложения, работает на мобильных устройствах и в нашем облаке, обеспечивая сквозную задержку менее 20 мс и обрабатывая миллионы токенов в секунду.

  • Исследования

    Исследователи в области ИИ

    Доступ для исследователей в области ИИ, чтобы они могли воспроизвести наши результаты и развивать их, продвигая многоязычные исследования вперёд.

Что дальше

Три соревнования, одно правило

Мы приступаем к обучению на следующем этапе, только если завоёвываем медаль на текущем.

  1. Этап 1

    Локальный

    Крошечная · <2B активных параметров

    нояб. 2026 г.Lara Mini Base

    Победа в категории «маленькие» с Lara Base (A0.6B/7.2B).

    дек. 2026 г.Lara Mini

    Lara 4 Mini и Lara Mini LLM — для сверхнизкой задержки и мобильных устройств.

    Медаль получена → мы переходим к обучению на этапе «Национальный». Если медали нет, мы останавливаемся.

  2. Этап 2

    Национальный

    Малая · <10B активных параметров

    март 2027 г.Lara Piccola Base (A7B/138B)

    Примите участие в категории «малых» моделей и также завоевайте там медаль.

    апр. 2027 г.Lara 4 и Lara Piccola LLM

    Модель перевода Lara 4 и LLM Lara Piccola — суверенная для ЕС модель A7B/138B.

    Медаль завоёвана → мы переходим к этапу «Олимпиада». Нет медали — мы останавливаемся.

  3. Этап 3

    Олимпийские игры

    Передовые модели · Более 40 млрд активных параметров

    дек. 2027 г.Lara Grande Base (A60B/1.2T)

    Переход в категорию передовых моделей, где она будет соревноваться с лучшими моделями мира.

    март 2028 г.Lara 5 и Lara Grande LLM

    Lara 5 превосходит профессиональных переводчиков уровня P95. Lara Grande: суверенная для ЕС передовая LLM, опережающая китайские модели и приближающаяся к уровню Anthropic и OpenAI.

Эталонные модели: крошечная Gemma 4 E2B · небольшая Gemma 4B/26B · средняя Qwen 17B/397B · передовые GPT-6 Astra, Claude 5.6, Kimi K3.

Бюджет на обучение

Бюджеты на однократный цикл обучения, следующие релизы

МодельТокеныFLOPsАппаратное обеспечениеДниСтоимость обучения
Lara 4 PiccolaMoE 6,7B / 138B20T8,0 × 10²³512 × H10031$1,0M
Lara 4 GrandeMoE 60B / 1,2T24T8,6 × 10²⁴512 × Vera Rubin25$2,4M
Lara 4 SaggiaMoE 600B / 12T36T1,3 × 10²⁶2 304 × Vera Rubin83$36,6M
Для справки
Типичный передовой уровеньMoE 150B / 3T36T3,2 × 10²⁵4 096 × B20051$18,8M

Источник: Lara 4 LLM Training Budget Planning, 3 ноября 2026 г. · FP8 · только стоимость вычислений · Количество дней Saggia, рассчитанное по методике плана

Следующее обучение

Кандидат Lara Piccola

60 слоёв и 138 млрд параметров: модель, призванная превзойти Gemma 4 31B.

  • 138Bобщее количество параметров
  • 6,7Bактивно на токен
  • Токенизаторновый, сбалансированный заново
  • 60слои
  • 2816размер скрытого слоя
  • 512 × 512эксперты, топ-8 + 2 общих
  • 400kGPU-часы H100 для 20T токенов
  • 30 днейна 512 GPU H100
  • $1MСтоимость цикла обучения

  • Цель: победить в классе малых моделей (<10B активных параметров)

    Текущие лидеры: Qwen3.5-122B-A10B, GLM-4.5-Air

  • Цель: превзойти Gemma 4 31B в многоязычных задачах

    Превосходит высокомультиязычные плотные модели в классе моделей среднего размера.

30,7 с на шаг при 32 узлах · тот же гибридный механизм внимания, что и у Lara Mini Base (GDN, окно, глобальный)

Технический отчёт

Получить технический отчёт

Архитектура, данные для обучения, бенчмарки и методология, лежащие в основе Lara Mini Base, — в одном документе. Оставьте свои данные, и мы отправим вам документ по электронной почте.

Я даю согласие на то, чтобы Лара связалась со мной для получения дополнительной информации и демонстрации. Я прочитал(-а) и согласен(-на) с Политикой конфиденциальности*

Работайте с Lara

Два способа задействовать Lara

  • Интересуетесь генеративной моделью?

    Доступ будет предоставлен избранным корпоративным клиентам Translated. Lara Mini разработана для донастройки под специализированные суверенные приложения, работает на мобильных устройствах и в нашем облаке, обеспечивая сквозную задержку менее 20 мс и обрабатывая миллионы токенов в секунду.

    Связаться с отделом продаж

  • Переводить с помощью Lara

    Переводите текст, документы и диалоги с помощью Lara — системы перевода, созданной на основе этого исследования.

    Начните использовать Lara для перевода