ВлизанеВлизанеРегистриранеРегистрирайте се безплатноВръзка с отдела за продажби

Всяка лаборатория за ИИ приема, че повечето езици влошават качеството на модела.Ние залагаме на обратното.

Създаден като езиков модел с общо предназначение (LLM), стоящ в основата на Lara 4 Translation AI, Lara Mini е разработен като най-многоезичният и най-многокултурният модел още от самото начало.
След приключване на обучението си с 6 трилиона токена, тя се нарежда на първо място сред 36 модела в своя клас в световен мащаб.

Изтеглете техническия докладИзтеглете модела

Translated · историята зад Lara

Разнообразието не е цена, която се плаща за сметка на интелигентността. Тя е източник на интелигентност.

  • Убеждението

    Големите лаборатории обучават моделите си предимно на английски език и третират другите езици и култури като шум, който влошава качеството.

  • Залогът

    Translated, чиято дейност е преводът, създаде Lara въз основа на автентични текстове, написани на множество езици и произхождащи от различни култури. Като възприема една идея през множество от тях, моделът я разбира по-добре.

  • Доказателството

    № 1 от 36 модела с до 2 млрд. активни параметри в световен мащаб, обучен върху 6 трилиона токена, с контекст от 128 хил.

Провеждането на теста с един поглед

Архитектура

  • 0,6 млрд.активни параметри на токен (4 експерта)
  • 7,2 млрд.общ брой параметри, MoE със 128 експерта, 1 споделен
  • 34слоеве: памет (GDN), прозорец и глобално внимание
  • 128Kтокени в прозореца за контекст

Данни

  • 6Tтокени за обучение
  • 39%от филтрираните необработени токени
  • 44 + ENезици, всичките 24 официални езика на ЕС
  • 151 643токени в речника, ребалансиране за езици с ограничени ресурси

Как го създадохме

Хибриден, разредено представен дизайн за най-многоезичния модел

Хибриден, разредено представен модел: 34 слоя, 128 експерта

Три вида слоеве, една повтаряща се единица

  • 14 памет · Gated DeltaNet: състояние на линейно внимание за всяка глава, актуализирано токен по токен
  • 13 прозорец · внимание върху последните 512 токена, RoPE позиции
  • 7 глобално · пълно внимание, без позиционно кодиране; последният слой винаги е глобален

Комбинация от експерти във всеки слой

  • 4 от 128 насочени експерта, избирани за всеки токен от рутер
  • 1 споделен експерт, който е винаги активен
  • 0,6 млрд. от 7,2 млрд. параметъра са активни на токен; размер на скрития слой 1024, свързани вграждания за вход и изход

Оптимизатор

Muon + AdamW

Всяка актуализация на импулса се ортогонализира (по метода на Нютон–Шулц) преди да бъде приложена, така че всяка посока на матрицата с тегла се движи с приблизително еднаква скорост, вместо няколко от тях да доминират.

Контекстен прозорец от 4096 токена при обучението; речник от 151 643 токена.

Най-многоезичният и мултикултурен модел

6T токена за обучение от пул, дедупликиран във всички източници: 39% от необработените токени са филтрирани. Никой източник не се повтаря повече от 2 епохи (с изключение на уики и висококачествени математически източници); обикновеният уеб никога не се повтаря.

  • Английски език2,49TВисококачествени данни от мрежата 1,34T · Синтетични данни с високо качество 0,66T · PDF файлове 0,32T · Уеб – средно качество 0,15T · Уики 0,02T
  • Многоезичен2,18TУеб 0,79T · Висококачествени данни от мрежата 0,66T · PDF файлове 0,4T · Синтетичен 0,28T · Уики 0,05T
  • Код0,77TИстински код 0,45T · Синтетичен 0,31T
  • Математика0,35TМатематика – основно ниво 0,21T · Математика в мрежата 0,15T
  • Подобно на SFT0,21TОценка на качеството 0,12T · Математика 0,07T · Програмиране 0,02T

Три етапа, едно намаляване на скоростта на обучение

  1. Основен · 4,8T0–80% · до стъпка 572,2k
  2. Преход · 0,6T80–90% · до стъпка 643,7k
  3. Отгряване · 0,6T90–100% · до стъпка 715,3k
График на скоростта на обучениеОценен модел: край на обучението, 6T токена.

Всеки етап представлява отделна комбинация от данни, която се зарежда на границата на съответната стъпка. Преход: мост между двете фази при стабилен темп на обучение, където миксът вече се придвижва наполовина към състава на anneal (по-висококачествени данни, QA, код и математически данни), така че моделът да се адаптира преди намаляването на темпа. Anneal: комбинацията с най-високо качество, докато скоростта на обучение намалява до нула през последните 10%.

Всеки етап все повече се ориентира към код, математика и данни от тип SFT.

Дял на токените във всеки етап. Данните се разбъркват, а не се подават домейн по домейн: всяка партида от 2048 последователности смесва всички домейни приблизително в тези пропорции. Подобно на SFT (данни за въпроси и отговори, математика и инструкции за код): 2% в основната част, 3,5% за цялото изпълнение.

Методология

26 бенчмарка, един харнес, всеки модел

Общо = ¼ английски + ¼ многоезичен + ¼ математика + ¼ програмиране. Всеки модел се оценява от нас с помощта на lm-evaluation-harness и с едни и същи корекции на формата на отговорите. За всеки многоезичен бенчмарк се изчислява средна стойност въз основа на нашите 44 езика за обучение, различни от английски.

  • Английски език10

    • NLI
    • PAWS
    • Belebele (en)
    • COPA
    • PIQA
    • HellaSwag
    • WinoGrande
    • ARC-C
    • MMLU
    • MMLU-Pro

  • Многоезичен9

    • XNLI
    • PAWS-X
    • Belebele
    • XCOPA
    • Global PIQA NP
    • Global PIQA P
    • T-HellaSwag
    • INCLUDE
    • Global MMLU

  • Математика3

    • GSM8K
    • MATH
    • MGSM

  • Програмиране4

    • MBPP
    • MBPP+
    • CRUX-I
    • CRUX-O

Без надничане: на финалния етап от обучението се пропуска всеки документ, който съдържа елемент от бенчмарка.

Резултати

№ 1 от 36 сред малките модели в световен мащаб

Първо място в категориите „Общо“, „Текст“ и „Многоезичен“, с 3,1 точки преднина пред granite-4.0-h-tiny в категорията „Общо“.

Общо

Класиране на малките модели

#1

от 36 модела

Класиране по категории

  • Математика и програмиране#1
  • Текст#1
  • Многоезичен#1

Определение на бенчмарка. Нашият модел е финалната контролна точка от процеса с 6T токена, като контекстът му е разширен до 128K; неговият процес на „отгряване“ пропуска всеки документ, съдържащ елемент от бенчмарка. Неговият клас: модели с до 2B активни параметри (gemma-4-E2B при неговия ефективен размер от 2B). Многоезичните резултати се осредняват за всяка от 44-те езика, различни от английски, върху които обучаваме всеки модел.

Класиране

Топ 12 малки модели

36 модела с до 2B активни параметри (gemma-4-E2B с ефективен размер от 2B, общо 5.1B). Многоезичност в нашите езици за обучение. Стълбчетата започват от 0.

  1. #1Lara Mini Base (A0.6B/7.2B)57,0
  2. #2IBM - granite-4.0-h-tiny (1B active)53,9
  3. #3Alibaba - Qwen3-1.7B53,8
  4. #4Falcon-H1-1.5B-Deep53,2
  5. #5Hunyuan-1.8B52,2
  6. #6LFM2.5-8B-A1B (1.7B active)50,8
  7. #7Trinity-Nano (1B active)50,7
  8. #8LFM3-1.7B49,2
  9. #9Qwen3.5-2B48,9
  10. #10Falcon-H1-1.5B48,8
  11. #11Qwen2.5-1.5B47,6
  12. #12granite-4.0-1b47,2
  13. #17Google - gemma-4-E2B41,9

Общо = ¼ английски + ¼ многоезичен + ¼ математика + ¼ програмиране.

Ефективност

№ 1 сред моделите под 2 млрд., с едва 0,6 млрд. активни параметри

Lara Mini Base надминава всички останали 35 модела от своя клас, включително модели, които използват до 3 пъти повече активни параметри, като Qwen3-1.7B и gemma-4-E2B.

20304050600,5B1B2BLara Mini Base (A0.6B/7.2B) · 57,0granite-4.0-h-tiny · 53,9gemma-4-E2B
Общ резултат спрямо активните параметри, логаритмична скала. Ступаловидната линия представлява границата: нито един модел с по-малко активни параметри не постига по-висок резултат. gemma-4-E2B е представен със своя ефективен размер от 2B (общо 5,1B).

Ограничено издание · кой го получава

За какво служи Lara Mini

  • Приложение Lara Translate

    Офлайн превод

    Lara Mini е базовият модел, който стои зад функцията за офлайн превод на Lara 4 в следващото приложение Lara Translate. Вашият текст никога не напуска телефона, а всяка транслация отнема по-малко от секунда.

  • Клиенти на Translated

    Малък базов LLM

    Избрани корпоративни клиенти на Translated ще имат достъп. Lara Mini е проектиран да бъде фино настройван за специализирани суверенни приложения, работи на мобилни устройства и в нашия облак осигурява цялостно забавяне под 20 ms, обработвайки милиони токени в секунда.

  • Изследвания

    Изследователи в областта на ИИ

    Достъп за изследователи в областта на ИИ, за да възпроизведат нашите резултати и да надградят върху тях, като по този начин развият още повече мултиезичните изследвания.

Какво следва

Три състезания, едно правило

Обучаваме следващия етап само ако спечелим медал в текущия.

  1. Етап 1

    Локално

    Много малък · <2B активни

    11.2026 г.Lara Mini Base

    Спечелете категорията за малки модели с Lara Base (A0.6B/7.2B).

    12.2026 г.Lara Mini

    Lara 4 Mini и Lara Mini LLM – за изключително ниска латентност и за мобилни устройства.

    Спечелен медал → обучаваме на етап „Национален“. Без медал – спираме.

  2. Етап 2

    Национален

    Малък · <10B активен

    03.2027 г.Lara Piccola Base (A7B/138B)

    Участвайте в категорията за малки модели и спечелете медал и там.

    04.2027 г.Lara 4 и Lara Piccola LLM

    Моделът за превод Lara 4 и езиковият модел Lara Piccola LLM – суверенен за ЕС модел с A7B/138B параметри.

    Спечелен медал → обучаваме се на етапа „Олимпиада“. Без медал спираме.

  3. Етап 3

    Олимпийски игри

    Най-високо ниво · Над 40 млрд. активни

    12.2027 г.Lara Grande Base (A60B/1.2T)

    Включете се в категорията „Frontier“ – срещу най-добрите модели в света.

    03.2028 г.Lara 5 и Lara Grande LLM

    Lara 5 надминава професионалните преводачи на ниво P95. Lara Grande: суверенен за ЕС авангарден LLM, който изпреварва китайските модели и се доближава до Anthropic и OpenAI.

Референтни модели: tiny Gemma 4 E2B · small Gemma 4B/26B · medium Qwen 17B/397B · frontier GPT-6 Astra, Claude 5.6, Kimi K3.

Бюджет за обучение

Бюджети за еднократно обучение, следващи издания

МоделТокениFLOP-овеХардуерДниРазходи за обучение
Lara 4 PiccolaMoE 6,7B / 138B20T8,0 × 10²³512 × H10031$1,0M
Lara 4 GrandeMoE 60B / 1,2T24T8,6 × 10²⁴512 × Vera Rubin25$2,4M
Lara 4 SaggiaMoE 600B / 12T36T1,3 × 10²⁶2304 × Vera Rubin83$36,6M
За справка
Типична границаMoE 150B / 3T36T3,2 × 10²⁵4096 × B20051$18,8M

Източник: Планиране на бюджета за обучение на Lara 4 LLM, 3 ноември 2026 г. · FP8 · само разходи за изчислителни ресурси · Броят дни за Saggia, изчислен по метода на плана

Следващо обучение

Кандидат за Lara Piccola

60 слоя и 138 млрд. параметъра: моделът, който трябва да победи Gemma 4 31B.

  • 138Bобщ брой параметри
  • 6,7Bактивни на токен
  • Токенезаторнов, ребалансиран
  • 60слоеве
  • 2816скрит размер
  • 512 × 512експерти, топ 8 + 2 споделени
  • 400kH100 GPU-часове за 20T токена
  • 30 днина 512 графични процесора H100
  • $1MРазходи за изпълнение на обучението

  • Цел: победа в категорията на малките модели (<10 B активни)

    Настоящи лидери: Qwen3.5-122B-A10B, GLM-4.5-Air

  • Цел: да се постигне по-добър резултат от Gemma 4 31B в многоезиковата област

    Побеждава високо мултиезични плътни модели в класа на средните модели.

30,7 s на стъпка при 32 възла · същото хибридно внимание като Lara Mini Base (GDN, прозорец, глобално)

Технически доклад

Изтеглете техническия доклад

Архитектура, данни за обучение, бенчмаркове и методология, стоящи зад Lara Mini Base – в един документ. Оставете данните си и ще ви го изпратим по имейл.

Съгласявам се Lara да се свърже с мен за допълнителна информация и демонстрация. Прочетох и приемам Правилата за поверителност*

Работа с Lara

Два начина да накарате Lara да работи

  • Интересувате ли се от генеративния модел?

    Избрани корпоративни клиенти на Translated ще имат достъп. Lara Mini е проектиран да бъде фино настройван за специализирани суверенни приложения, работи на мобилни устройства и в нашия облак осигурява цялостна (end-to-end) латентност под 20 ms, обработвайки милиони токени в секунда.

    Свързване с отдела по продажбите

  • Превеждайте с Lara

    Превеждайте текст, документи и разговори с Lara – преводача, създаден въз основа на това изследване.

    Започнете да използвате Lara за превод