Iniciar sesiónIniciar sesiónRegístrateRegístrate gratisHabla con Ventas

Todos los laboratorios de IA parten de la premisa de que cuantos más idiomas se incluyan, peor será el modelo.Nosotros apostamos por lo contrario.

Concebido como el LLM de uso general que sustenta Lara 4 Translation AI, Lara Mini se diseñó desde el primer momento como el modelo más multilingüe y multicultural.
Al finalizar su entrenamiento de 6 billones de «tokens», ocupa el primer puesto de 36 modelos de su categoría a nivel mundial.

Obtener el informe técnicoObtener el modelo

Translated · la historia detrás de Lara

La diversidad no supone un lastre para la inteligencia. Es una fuente de ella.

  • La convicción

    Los grandes laboratorios entrenan principalmente en inglés y consideran las demás lenguas y culturas como ruido que resta calidad.

  • La apuesta

    Translated, cuya actividad es la traducción, desarrolló Lara a partir de textos reales escritos en numerosos idiomas y culturas. Al percibir una misma idea a través de muchas de ellas, el modelo la comprende mejor.

  • La prueba

    N.º 1 de 36 modelos con hasta 2000 millones de parámetros activos en todo el mundo, entrenado con 6 billones de «tokens» y una ventana de contexto de 128 000.

La ejecución de un vistazo

Arquitectura

  • 0,6 Bparámetros activos por token (4 expertos)
  • 7,2 Bparámetros totales, MoE con 128 expertos, 1 compartido
  • 34capas: memoria (GDN), ventana y atención global
  • 128 Ktokens de la ventana de contexto

Datos

  • 6 Ttokens de entrenamiento
  • 39 %de tokens en bruto filtrados
  • 44 + ENidiomas, las 24 lenguas oficiales de la UE
  • 151 643tokens en el vocabulario, reequilibrio para lenguas con pocos recursos

Cómo lo creamos

Un diseño híbrido y disperso para el modelo más multilingüe

Un modelo híbrido y disperso: 34 capas, 128 expertos

Tres tipos de capas, una unidad repetitiva

  • 14 memoria · Gated DeltaNet: un estado de atención lineal por cabeza, actualizado «token» a «token»
  • 13 ventana · atención sobre los últimos 512 tokens, posiciones RoPE
  • 7 global · atención completa, sin codificación posicional; la última capa es siempre global

Mixture of Experts en cada capa

  • 4 de 128 expertos enrutados seleccionados por «token» mediante un enrutador
  • 1 experto compartido siempre activo
  • 0,6 mil millones de 7,2 mil millones de parámetros activos por «token»; tamaño oculto de 1024; «embeddings» de entrada y salida vinculados

Optimizador

Muon + AdamW

Cada actualización del momento se ortogonaliza (Newton–Schulz) antes de aplicarse, de modo que todas las direcciones de una matriz de pesos se mueven a un ritmo similar, en lugar de que unas pocas dominen.

Ventana de contexto de 4096 tokens en el entrenamiento; vocabulario de 151 643 tokens.

El modelo más multilingüe y multicultural

6 billones de «tokens» de entrenamiento procedentes de un conjunto desduplicado en todas las fuentes: se filtró el 39 % de los «tokens» en bruto. Ninguna fuente se repite más de 2 épocas (excepto las de la wiki y las de matemáticas de alta calidad); la web general nunca se repite.

  • Inglés2,49TDatos de alta calidad de la web 1,34T · Alta calidad sintética 0,66T · PDF 0,32T · Web de calidad media 0,15T · Wiki 0,02T
  • Multilingüe2,18TWeb 0,79T · Datos de alta calidad de la web 0,66T · PDF 0,4T · Sintético 0,28T · Wiki 0,05T
  • Código0,77TCódigo real 0,45T · Sintético 0,31T
  • Matemáticas0,35TMatemáticas de alta calidad 0,21T · Matemáticas en la web 0,15T
  • Tipo SFT0,21TPreguntas y respuestas 0,12T · Matemáticas 0,07T · Programación 0,02T

Tres etapas, una única reducción de la tasa de aprendizaje

  1. Principal · 4,8T0–80% · hasta el paso 572,2k
  2. Transición · 0,6T80–90% · hasta el paso 643,7k
  3. Recocido · 0,6T90–100% · hasta el paso 715,3k
Programación de la tasa de aprendizajeModelo evaluado: fin del entrenamiento, 6 T de tokens.

Cada etapa es una combinación de datos independiente que se carga en el límite de su paso. Transición: un puente entre ambas etapas, con una tasa de aprendizaje estable, en el que la mezcla ya avanza hasta la mitad del camino hacia la fase de «anneal» (datos de mayor calidad, de preguntas y respuestas, de código y de matemáticas), de modo que el modelo se adapta antes de que se produzca la disminución. Anneal: la combinación de mayor calidad, mientras que la tasa de aprendizaje decae hasta cero en el último 10 %.

Cada etapa se centra cada vez más en código, matemáticas y datos de tipo SFT.

Proporción de los tokens de cada etapa. Los datos se barajan, no se introducen dominio por dominio: cada lote de 2048 secuencias combina todos los dominios aproximadamente en estas proporciones. Tipo SFT (datos de preguntas y respuestas, matemáticas e instrucciones de código): 2 % en la fase principal, 3,5 % en toda la ejecución.

Metodología

26 benchmarks, un único «harness», todos los modelos

Total = ¼ inglés + ¼ multilingüe + ¼ matemáticas + ¼ programación. Evaluamos cada modelo con lm-evaluation-harness y aplicamos las mismas correcciones de formato de respuesta. Cada «benchmark» multilingüe se promedia entre nuestros 44 idiomas de entrenamiento distintos del inglés.

  • Inglés10

    • NLI
    • PAWS
    • Belebele (en)
    • COPA
    • PIQA
    • HellaSwag
    • WinoGrande
    • ARC-C
    • MMLU
    • MMLU-Pro

  • Multilingüe9

    • XNLI
    • PAWS-X
    • Belebele
    • XCOPA
    • Global PIQA NP
    • Global PIQA P
    • T-HellaSwag
    • INCLUDE
    • Global MMLU

  • Matemáticas3

    • GSM8K
    • MATH
    • MGSM

  • Programación4

    • MBPP
    • MBPP+
    • CRUX-I
    • CRUX-O

Prohibido echar un vistazo: en la fase final de entrenamiento se omite cualquier documento que contenga un elemento de «benchmark».

Resultados

N.º 1 de 36 entre los modelos «tiny» de todo el mundo

Primera en General, Texto y Multilingüe, 3,1 puntos por delante de granite-4.0-h-tiny en General.

General

Clasificación de modelos Tiny

#1

de 36 modelos

Clasificación por categorías

  • Matemáticas y Programación#1
  • Texto#1
  • Multilingüe#1

Definición del benchmark. Nuestro modelo es el punto de control final de la ejecución de 6 billones de tokens, con su contexto ampliado a 128 K; su proceso de «annealing» omite todos los documentos que contienen un elemento del benchmark. Su categoría: modelos con hasta 2B de parámetros activos (gemma-4-E2B en su tamaño efectivo de 2B). Las puntuaciones multilingües se calculan como la media de los 44 idiomas distintos del inglés con los que entrenamos cada modelo.

Clasificaciones

Los 12 mejores modelos «tiny»

36 modelos con hasta 2000 millones de parámetros activos (gemma-4-E2B con un tamaño efectivo de 2000 millones y un total de 5100 millones). Multilingüe en nuestros idiomas de entrenamiento. Las barras comienzan en 0.

  1. #1Lara Mini Base (A0.6B/7.2B)57,0
  2. #2IBM - granite-4.0-h-tiny (1B active)53,9
  3. #3Alibaba - Qwen3-1.7B53,8
  4. #4Falcon-H1-1.5B-Deep53,2
  5. #5Hunyuan-1.8B52,2
  6. #6LFM2.5-8B-A1B (1.7B active)50,8
  7. #7Trinity-Nano (1B active)50,7
  8. #8LFM3-1.7B49,2
  9. #9Qwen3.5-2B48,9
  10. #10Falcon-H1-1.5B48,8
  11. #11Qwen2.5-1.5B47,6
  12. #12granite-4.0-1b47,2
  13. #17Google - gemma-4-E2B41,9

General = ¼ inglés + ¼ multilingüe + ¼ matemáticas + ¼ programación.

Eficiencia

N.º 1 entre los modelos de menos de 2000 millones de parámetros, con solo 600 millones activos

Lara Mini Base supera a los otros 35 modelos de su categoría, incluidos modelos que utilizan hasta 3 veces más parámetros activos, como Qwen3-1.7B y gemma-4-E2B.

20304050600,5B1B2BLara Mini Base (A0.6B/7.2B) · 57,0granite-4.0-h-tiny · 53,9gemma-4-E2B
Puntuación global en función de los parámetros activos, en escala logarítmica. La línea escalonada marca la frontera: ningún modelo con menos parámetros activos obtiene una puntuación superior. gemma-4-E2B se representa con su tamaño efectivo de 2B (5,1B en total).

Versión de lanzamiento limitado · Quién tiene acceso

Para qué sirve Lara Mini

  • Aplicación Lara Translate

    Traducción sin conexión

    Lara Mini es el modelo base en el que se sustenta la función de traducción sin conexión de Lara 4 para la próxima aplicación Lara Translate. Tu texto nunca sale del teléfono, y cada traducción sigue tardando menos de un segundo.

  • Clientes de Translated

    LLM base ultracompacto

    Tendrán acceso determinados clientes empresariales de Translated. Lara Mini está diseñado para ser ajustado (fine-tuned) para aplicaciones soberanas especializadas, funciona en dispositivos móviles y, en nuestra nube, ofrece una latencia de extremo a extremo inferior a 20 ms, generando millones de «tokens» por segundo.

  • Investigación

    Investigadores de IA

    Acceso para que los investigadores de IA reproduzcan nuestros resultados y los tomen como base para seguir avanzando en la investigación multilingüe.

¿Qué sigue?

Tres competiciones, una sola regla

Solo entrenamos la siguiente etapa si conseguimos una medalla en la actual.

  1. Etapa 1

    Local

    Tiny · <2B activos

    nov 2026Lara Mini Base

    Gana en la categoría «tiny» con Lara Base (A0,6B/7,2B).

    dic 2026Lara Mini

    Lara 4 Mini y Lara Mini LLM, para latencia ultrabaja y dispositivos móviles.

    Medalla conseguida → entrenamos la fase Nacional. Sin medalla, nos detenemos.

  2. Etapa 2

    Nacional

    Pequeño · <10 mil millones activos

    mar 2027Lara Piccola Base (A7B/138B)

    Participa en la categoría «Small» y gana una medalla también allí.

    abr 2027Lara 4 y Lara Piccola LLM

    El modelo de traducción Lara 4 y el LLM Lara Piccola, un modelo A7B/138B soberano de la UE.

    Medalla conseguida → entrenamos en la fase de los Juegos Olímpicos. Sin medalla, nos detenemos.

  3. Etapa 3

    Juegos Olímpicos

    Vanguardia · Más de 40 B activos

    dic 2027Lara Grande Base (A60B/1,2T)

    Accede a la categoría «Frontier» y compite con los mejores modelos del mundo.

    mar 2028LLM Lara 5 y Lara Grande

    Lara 5 supera a los traductores profesionales del percentil 95. Lara Grande: un LLM de frontera soberano de la UE, por delante de los modelos chinos y acercándose a Anthropic y OpenAI.

Modelos de referencia: tiny Gemma 4 E2B · small Gemma 4B/26B · medium Qwen 17B/397B · frontier GPT-6 Astra, Claude 5.6, Kimi K3.

Presupuesto de entrenamiento

Presupuestos de entrenamiento en una sola ejecución, próximas versiones

ModeloTokensFLOPHardwareDíasCoste del entrenamiento
Lara 4 PiccolaMoE 6,7B / 138B20T8,0 × 10²³512 × H10031$1,0M
Lara 4 GrandeMoE 60B / 1,2T24T8,6 × 10²⁴512 × Vera Rubin25$2,4M
Lara 4 SaggiaMoE 600B / 12T36T1,3 × 10²⁶2304 × Vera Rubin83$36,6M
A título informativo
Modelo puntero típicoMoE 150B / 3T36T3,2 × 10²⁵4096 × B20051$18,8M

Fuente: Planificación del presupuesto de entrenamiento de Lara 4 LLM, 3 de noviembre de 2026 · FP8 · solo coste de computación · Días de Saggia estimados con el método del plan

Próximo entrenamiento

Candidata Lara Piccola

60 capas y 138 000 millones de parámetros: el modelo para superar a Gemma 4 31B.

  • 138Bparámetros totales
  • 6,7Bactivos por «token»
  • Tokenizadornuevo, reequilibrado
  • 60capas
  • 2816tamaño oculto
  • 512 × 512expertos, los 8 principales + 2 compartidos
  • 400kHoras de GPU H100 para 20 T de «tokens»
  • 30 díasen 512 GPU H100
  • $1MCoste de la ejecución del entrenamiento

  • Objetivo: ganar en la categoría de modelos pequeños (<10 B activos)

    Líderes actuales: Qwen3.5-122B-A10B, GLM-4.5-Air

  • Objetivo: superar a Gemma 4 31B en multilingüe

    Superar a los modelos densos altamente multilingües en la categoría de modelos medianos.

30,7 s por paso con 32 nodos · misma atención híbrida que Lara Mini Base (GDN, ventana, global)

Informe técnico

Obtener el informe técnico

Arquitectura, datos de entrenamiento, benchmarks y metodología detrás de Lara Mini Base, en un único documento. Déjenos sus datos y se lo enviaremos por correo electrónico.

Doy mi consentimiento para que Lara se ponga en contacto conmigo para obtener más información y una demostración. He leído y acepto la Política de privacidad*

Trabajar con Lara

Dos formas de poner a Lara en funcionamiento

  • ¿Le interesa el modelo generativo?

    Tendrán acceso determinados clientes empresariales de Translated. Lara Mini está diseñado para ser ajustado (fine-tuned) para aplicaciones soberanas especializadas, funciona en dispositivos móviles y, en nuestra nube, ofrece una latencia de extremo a extremo inferior a 20 ms, generando millones de tokens por segundo.

    Ponte en contacto con el equipo de ventas

  • Traducir con Lara

    Traduzca textos, documentos y conversaciones con Lara, el traductor desarrollado a partir de esta investigación.

    Empieza a usar Lara para traducir