EntrarEntrarCadastre-seCadastre-se grátisFale com a equipe de vendas

Todos os laboratórios de IA partem do pressuposto de que mais idiomas prejudicam o desempenho de um modelo.Apostamos no contrário.

Concebido como o LLM de uso geral por trás da Lara 4 Translation AI, o Lara Mini foi desenvolvido desde o início como o modelo mais multilíngue e multicultural.
Ao final de seu treinamento de 6T‑tokens, ela ocupa o 1º lugar entre 36 modelos de sua categoria no mundo todo.

Obter o relatório técnicoObter o modelo

Translated · a história por trás de Lara

A diversidade não é um custo para a inteligência. É uma fonte dela.

  • A convicção

    Os grandes laboratórios treinam principalmente em inglês e tratam outras línguas e culturas como ruído que prejudica a qualidade.

  • A aposta

    A Translated, cuja atividade é a tradução, desenvolveu o Lara com base em textos reais escritos em diversos idiomas e culturas. Ao ver uma ideia em muitas delas, o modelo entende a ideia com mais clareza.

  • A comprovação

    Nº 1 entre 36 modelos com até 2B de parâmetros ativos no mundo todo, treinado em 6T de tokens, com janela de contexto de 128K.

Visão geral da execução

Arquitetura

  • 0,6Bparâmetros ativos por token (4 especialistas)
  • 7,2Bparâmetros totais, MoE com 128 especialistas, 1 compartilhado
  • 34camadas: memória (GDN), janela e atenção global
  • 128 miltokens da janela de contexto

Dados

  • 6Ttokens de treinamento
  • 39%de tokens brutos filtrados
  • 44 + ENidiomas, todos os 24 oficiais da UE
  • 151.643tokens no vocabulário, reequilíbrio para línguas de poucos recursos

Como o desenvolvemos

Um design híbrido e esparso para o modelo mais multilíngue

Um modelo híbrido e esparso: 34 camadas, 128 especialistas

Três tipos de camada, uma unidade de repetição

  • 14 memória · Gated DeltaNet: um estado de atenção linear por cabeça, atualizado token por token
  • 13 janela · atenção sobre os últimos 512 tokens, posições RoPE
  • 7 global · atenção completa, sem codificação posicional; a última camada é sempre global

Mixture of Experts em cada camada

  • 4 de 128 especialistas roteados escolhidos por token por um roteador
  • 1 especialista compartilhado sempre ativo
  • 0,6B de 7,2B parâmetros ativos por token; tamanho oculto de 1.024; embeddings de entrada e saída vinculados

Otimizador

Muon + AdamW

Cada atualização de momento é ortogonalizada (Newton–Schulz) antes de ser aplicada, de modo que todas as direções de uma matriz de pesos se movem a uma taxa semelhante, em vez de algumas delas dominarem.

Janela de contexto de 4.096 tokens no treinamento; vocabulário de 151.643 tokens.

O modelo mais multilíngue e multicultural

6 trilhões de tokens de treinamento provenientes de um pool desduplicado em todas as fontes: 39% dos tokens brutos foram filtrados e descartados. Nenhuma fonte é repetida por mais de 2 épocas (com exceção de wiki e matemática de alta qualidade); a web comum nunca é repetida.

  • Inglês2,49TAlta qualidade da Web 1,34T · Alta qualidade sintética 0,66T · Arquivos PDF 0,32T · Web de qualidade média 0,15T · Wiki 0,02T
  • Multilíngue2,18TWeb 0,79T · Alta qualidade da Web 0,66T · Arquivos PDF 0,4T · Sintético 0,28T · Wiki 0,05T
  • Programação0,77TCódigo real 0,45T · Sintético 0,31T
  • Matemática0,35TMatemática HQ 0,21T · Matemática na web 0,15T
  • Semelhante a SFT0,21TQA 0,12T · Matemática 0,07T · Programação 0,02T

Três estágios, um decaimento da taxa de aprendizado

  1. Principal · 4,8T0–80% · até a etapa 572,2k
  2. Transição · 0,6T80–90% · até a etapa 643,7k
  3. Recozimento · 0,6T90–100% · até a etapa 715,3k
Programação da taxa de aprendizadoModelo avaliado: fim do treinamento, 6T tokens.

Cada estágio é uma combinação de dados separada, carregada no limite de sua etapa. Transição: uma ponte entre as duas fases, mantida na taxa de aprendizado estável, em que o mix já avança até a metade do caminho em direção ao anneal (dados de maior qualidade, QA, código e matemática), de modo que o modelo se adapta antes do decaimento. Anneal: o conjunto de dados de mais alta qualidade, enquanto a taxa de aprendizado decai até zero nos últimos 10%.

Cada estágio se concentra cada vez mais em código, matemática e dados do tipo SFT.

Proporção dos tokens de cada estágio. Os dados são embaralhados, não fornecidos domínio por domínio: cada lote de 2.048 sequências combina todos os domínios aproximadamente nessas proporções. Semelhante a SFT (dados de QA, matemática e instruções de código): 2% na fase principal, 3,5% em toda a execução.

Metodologia

26 benchmarks, um único harness, todos os modelos

Geral = ¼ Inglês + ¼ Multilíngue + ¼ Matemática + ¼ Programação. Todos os modelos são avaliados por nós com o lm-evaluation-harness e com as mesmas correções de formato de resposta. Cada benchmark multilíngue é calculado como a média dos nossos 44 idiomas de treinamento não ingleses.

  • Inglês10

    • NLI
    • PAWS
    • Belebele (en)
    • COPA
    • PIQA
    • HellaSwag
    • WinoGrande
    • ARC-C
    • MMLU
    • MMLU-Pro

  • Multilíngue9

    • XNLI
    • PAWS-X
    • Belebele
    • XCOPA
    • Global PIQA NP
    • Global PIQA P
    • T-HellaSwag
    • INCLUDE
    • Global MMLU

  • Matemática3

    • GSM8K
    • MATH
    • MGSM

  • Programação4

    • MBPP
    • MBPP+
    • CRUX-I
    • CRUX-O

Sem espiar: na etapa final de treinamento, todos os documentos que contêm um item de benchmark são ignorados.

Resultados

Nº 1 entre 36 modelos minúsculos no mundo todo

Primeiro lugar em Geral, Texto e Multilíngue, 3,1 pontos à frente do granite-4.0-h-tiny em Geral.

Geral

Ranking de modelos pequenos

#1

de 36 modelos

Classificação por categoria

  • Matemática e Programação#1
  • Texto#1
  • Multilíngue#1

Definição de benchmark. Nosso modelo é o checkpoint final da execução de 6T‑tokens, com seu contexto estendido para 128K; seu processo de anneal ignora todos os documentos que contêm um item de benchmark. Sua classe: modelos com até 2B parâmetros ativos (gemma-4-E2B em seu tamanho efetivo de 2B). As pontuações multilíngues são calculadas como médias dos 44 idiomas não ingleses em que treinamos, para cada modelo.

Classificações

Os 12 principais modelos minúsculos

36 modelos com até 2B de parâmetros ativos (gemma-4-E2B com tamanho efetivo de 2B, total de 5,1B). Multilíngue nos nossos idiomas de treinamento. As barras começam em 0.

  1. #1Lara Mini Base (A0.6B/7.2B)57,0
  2. #2IBM - granite-4.0-h-tiny (1B active)53,9
  3. #3Alibaba - Qwen3-1.7B53,8
  4. #4Falcon-H1-1.5B-Deep53,2
  5. #5Hunyuan-1.8B52,2
  6. #6LFM2.5-8B-A1B (1.7B active)50,8
  7. #7Trinity-Nano (1B active)50,7
  8. #8LFM3-1.7B49,2
  9. #9Qwen3.5-2B48,9
  10. #10Falcon-H1-1.5B48,8
  11. #11Qwen2.5-1.5B47,6
  12. #12granite-4.0-1b47,2
  13. #17Google - gemma-4-E2B41,9

Geral = ¼ Inglês + ¼ Multilíngue + ¼ Matemática + ¼ Programação.

Eficiência

Nº 1 entre os modelos com menos de 2B, com apenas 0,6B ativos

O Lara Mini Base supera todos os outros 35 modelos de sua classe, incluindo modelos que usam até 3× mais parâmetros ativos, como o Qwen3-1.7B e o gemma-4-E2B.

20304050600,5B1B2BLara Mini Base (A0.6B/7.2B) · 57,0granite-4.0-h-tiny · 53,9gemma-4-E2B
Pontuação geral em relação aos parâmetros ativos, em escala logarítmica. A linha de degraus representa a fronteira: nenhum modelo com menos parâmetros ativos obtém pontuação superior. O gemma-4-E2B é representado com seu tamanho efetivo de 2B (5,1B no total).

Lançamento limitado · quem tem acesso

Para que serve o Lara Mini

  • Aplicativo Lara Translate

    Tradução offline

    Lara Mini é o modelo base por trás do recurso de tradução offline do Lara 4 para o próximo aplicativo Lara Translate. Seu texto nunca sai do telefone, e cada tradução ainda leva menos de um segundo.

  • Clientes da Translated

    LLM base pequeno

    Clientes corporativos selecionados da Translated terão acesso. O Lara Mini foi projetado para ser ajustado (fine-tuned) para aplicações soberanas especializadas, roda em dispositivos móveis e, em nossa nuvem, oferece latência de ponta a ponta inferior a 20 ms, processando milhões de tokens por segundo.

  • Pesquisa em IA

    Pesquisadores de IA

    Acesso para pesquisadores de IA reproduzirem nossos resultados e desenvolverem com base neles, avançando ainda mais a pesquisa multilíngue.

O que vem a seguir

Três competições, uma regra

Treinamos a próxima etapa somente se conquistarmos uma medalha na etapa atual.

  1. Etapa 1

    Local

    Tiny · <2B ativos

    nov. de 2026Lara Mini Base

    Vença a categoria "tiny" com o Lara Base (A0,6B/7,2B).

    dez. de 2026Lara Mini

    Lara 4 Mini e Lara Mini LLM, para latência ultrabaixa e dispositivos móveis.

    Medalha conquistada → treinamos a etapa Nacional. Sem medalha, paramos.

  2. Etapa 2

    Nacional

    Pequeno · <10B ativos

    mar. de 2027Lara Piccola Base (A7B/138B)

    Participe da categoria Small e conquiste uma medalha também nessa categoria.

    abr. de 2027Lara 4 e Lara Piccola LLM

    Modelo de tradução Lara 4 e LLM Lara Piccola, um modelo A7B/138B soberano da UE.

    Medalha conquistada → treinamos para a etapa das Olimpíadas. Sem medalha, paramos.

  3. Etapa 3

    Olimpíadas

    Ponta · Mais de 40B ativos

    dez. de 2027Lara Grande Base (A60B/1,2T)

    Entre na categoria de ponta, competindo com os melhores modelos do mundo.

    mar. de 2028Lara 5 e Lara Grande LLM

    Lara 5 supera os tradutores profissionais P95. Lara Grande: um LLM de ponta soberano da UE, à frente dos modelos chineses e se aproximando dos da Anthropic e da OpenAI.

Modelos de referência: Gemma 4 E2B (minúsculo) · Gemma 4B/26B (pequeno) · Qwen 17B/397B (médio) · GPT-6 Astra, Claude 5.6, Kimi K3 (de ponta).

Orçamento de treinamento

Orçamentos de treinamento em execução única, próximas versões

ModeloTokensFLOPsHardwareDiasCusto de treinamento
Lara 4 PiccolaMoE 6,7B / 138B20T8,0 × 10²³512 × H10031$1,0M
Lara 4 GrandeMoE 60B / 1,2T24T8,6 × 10²⁴512 × Vera Rubin25$2,4M
Lara 4 SaggiaMoE 600B / 12T36T1,3 × 10²⁶2.304 × Vera Rubin83$36,6M
Para referência
Fronteira típicaMoE 150B / 3T36T3,2 × 10²⁵4.096 × B20051$18,8M

Fonte: Lara 4 LLM Training Budget Planning, 3 de novembro de 2026 · FP8 · apenas custo de computação · dias de Saggia estimados pelo método do plano

Próximo treinamento

Candidata Lara Piccola

60 camadas e 138 bilhões de parâmetros: o modelo para superar o Gemma 4 31B.

  • 138Bparâmetros totais
  • 6,7Bativos por token
  • Tokenizadornovo, rebalanceado
  • 60camadas
  • 2816tamanho oculto
  • 512 × 512especialistas, top-8 + 2 compartilhados
  • 400kHoras de GPU H100 para 20T tokens
  • 30 diasem 512 GPUs H100
  • $1MCusto da execução do treinamento

  • Objetivo: vencer na categoria de modelos pequenos (<10B ativos)

    Líderes atuais: Qwen3.5-122B-A10B, GLM-4.5-Air

  • Objetivo: superar o Gemma 4 31B em multilinguismo

    Superar modelos densos altamente multilíngues na classe de modelos médios.

30,7 s por etapa em 32 nós · mesma atenção híbrida do Lara Mini Base (GDN, janela, global)

Relatório técnico

Obter o relatório técnico

Arquitetura, dados de treinamento, benchmarks e metodologia por trás do Lara Mini Base, em um único documento. Deixe seus dados e nós o enviaremos por e-mail.

Eu concordo em ser contatado por Lara para mais informações e demonstração. Li e concordo com a Política de Privacidade*

Trabalhe com a Lara

Duas maneiras de colocar a Lara para trabalhar

  • Tem interesse no modelo generativo?

    Clientes corporativos selecionados da Translated terão acesso. O Lara Mini foi projetado para ser ajustado para aplicações soberanas especializadas, funciona em dispositivos móveis e, em nossa nuvem, oferece latência de ponta a ponta inferior a 20 ms, processando milhões de tokens por segundo.

    Fale com a equipe de vendas

  • Traduzir com Lara

    Traduza textos, documentos e conversas com a Lara, a tradutora desenvolvida com base nesta pesquisa.

    Comece a usar a Lara para tradução