로그인로그인회원 가입무료 회원 가입영업팀에 문의하기

모든 AI 연구실은 언어가 많아질수록 모델 성능이 떨어진다고 가정합니다.우리는 그 반대라고 생각합니다.

Lara 4 Translation AI의 기반이 되는 범용 LLM으로 탄생한 Lara Mini는 처음부터 가장 다국어적이고 다문화적인 모델로 설계되었습니다.
6T‑토큰 훈련을 마친 후, Lara Mini는 전 세계 동급 모델 36개 중 1위를 차지했습니다.

기술 보고서 다운로드모델 다운로드

Translated · Lara의 탄생 이야기

다양성은 지능에 부담이 되지 않습니다. 오히려 그 원천입니다.

  • 신념

    대형 연구소들은 주로 영어 데이터를 중심으로 모델을 훈련하며, 다른 언어와 문화는 품질을 저해하는 '노이즈'로 취급합니다.

  • 도전

    번역을 전문으로 하는 Translated는 다양한 언어와 문화권에서 작성된 실제 텍스트를 바탕으로 Lara를 구축했습니다. 하나의 아이디어를 여러 언어와 문화에서 바라봄으로써, 모델은 해당 아이디어를 더욱 잘 이해하게 됩니다.

  • 증거

    전 세계적으로 활성 파라미터가 최대 2B인 36개 모델 중 1위. 6T개의 토큰으로 훈련되었으며, 컨텍스트는 128K입니다.

실행 개요

아키텍처

  • 0.6B토큰당 활성 파라미터 수(전문가 4명)
  • 7.2B총 파라미터 수, MoE(Mixture of Experts) 구성: 전문가 128명, 공유 전문가 1명
  • 34레이어: 메모리(GDN), 윈도우 및 글로벌 어텐션
  • 128K컨텍스트 창의 토큰 수

데이터

  • 6T훈련용 토큰
  • 39%필터링된 원시 토큰 비율
  • 44 + EN언어, EU 공식 언어 24개 전원 포함
  • 151,643어휘 내 토큰 수, 저자원 언어 재조정

개발 과정

가장 다국어를 지원하는 모델을 위한 하이브리드형 희소(sparse) 설계

하이브리드 희소 모델: 34개 계층, 128명의 전문가

세 가지 유형의 레이어, 하나의 반복 단위

  • 14 메모리 · Gated DeltaNet: 헤드당 하나의 선형 주의(linear-attention) 상태로, 토큰 단위로 업데이트됨
  • 13 창 · 최근 512개 토큰에 대한 주의 집중, RoPE 위치
  • 7 글로벌 · 풀 어텐션, 위치 인코딩 없음. 마지막 레이어는 항상 글로벌입니다.

모든 계층에 적용된 Mixture of Experts

  • 라우터가 토큰당 128명의 라우팅된 전문가 중 4명을 선택합니다.
  • 공유 전문가 1명 항상 활성화
  • 토큰당 7.2B 파라미터 중 0.6B가 활성화됨. 은닉층 크기 1,024, 입력 및 출력 임베딩 공유(tied)

최적화 도구

Muon + AdamW

각 모멘텀 업데이트는 적용되기 전에 직교화(Newton–Schulz)됩니다. 따라서 가중치 행렬의 모든 방향이 몇몇 방향이 지배적인 대신 비슷한 속도로 움직입니다.

훈련 시 4,096토큰의 컨텍스트 창; 151,643토큰의 어휘.

가장 다국어적이고 다문화적인 모델

모든 소스에 걸쳐 중복 제거된 풀에서 6T의 훈련 토큰을 사용했습니다. 원시 토큰의 39%가 필터링되어 제외되었습니다. 어떤 소스도 2 에포크를 초과하여 반복되지 않습니다(위키 및 고품질 수학 소스는 예외). 일반 웹 소스는 결코 반복되지 않습니다.

  • 영어2.49T웹 고품질(Web HQ) 1.34T · 합성 고품질(Synthetic HQ) 0.66T · PDF 파일 0.32T · 웹 중간 품질 0.15T · 위키 0.02T
  • 다국어2.18T웹 0.79T · 웹 고품질(Web HQ) 0.66T · PDF 파일 0.4T · 합성 데이터 0.28T · 위키 0.05T
  • 코드0.77T실제 코드 0.45T · 합성 데이터 0.31T
  • 수학0.35T수학 HQ 0.21T · 수학 웹 0.15T
  • SFT 유사0.21T품질 관리(QA) 0.12T · 수학 0.07T · 코드 0.02T

세 단계, 단일 학습률 감소

  1. 메인 · 4.8T0–80% · 572.2k 단계까지
  2. 전환 · 0.6T80–90% · 643.7k 단계까지
  3. 어닐링 · 0.6T90–100% · 715.3k 단계까지
학습률 스케줄평가 대상 모델: 훈련 종료 시점, 6T 토큰.

각 단계는 해당 단계 경계에서 로드되는 별도의 데이터 혼합입니다. 전환: 두 단계 사이를 안정적인 학습률로 연결하는 가교 역할을 합니다. 이 단계에서는 데이터 조합이 이미 앤닐(더 높은 품질의 데이터, QA, 코드, 수학 데이터) 쪽으로 절반가량 이동한 상태이므로, 학습률이 감소하기 전에 모델이 적응할 수 있습니다. Anneal: 최고 품질의 데이터 조합으로, 학습률은 마지막 10% 구간에서 0으로 감소합니다.

각 단계는 코드, 수학 및 SFT 유사 데이터에 더욱 집중합니다.

각 단계의 토큰 점유율. 데이터는 도메인별로 순차적으로 입력되는 것이 아니라 무작위로 섞입니다. 2,048개의 시퀀스로 구성된 각 배치에는 모든 도메인이 대략 이러한 비율로 혼합되어 있습니다. SFT 유사(QA, 수학 및 코드 지시 데이터): 메인에서 2%, 전체 실행에서 3.5%.

방법론

26개의 벤치마크, 하나의 하네스, 모든 모델

전체 = ¼ 영어 + ¼ 다국어 + ¼ 수학 + ¼ 코드. 모든 모델은 당사에서 lm-evaluation-harness를 사용하여 평가하며, 동일한 답변 형식 보정을 적용합니다. 각 다국어 벤치마크는 당사의 영어 이외 44개 훈련 언어를 대상으로 평균을 산출합니다.

  • 영어10

    • NLI
    • PAWS
    • Belebele (en)
    • COPA
    • PIQA
    • HellaSwag
    • WinoGrande
    • ARC-C
    • MMLU
    • MMLU-Pro

  • 다국어9

    • XNLI
    • PAWS-X
    • Belebele
    • XCOPA
    • Global PIQA NP
    • Global PIQA P
    • T-HellaSwag
    • INCLUDE
    • Global MMLU

  • 수학3

    • GSM8K
    • MATH
    • MGSM

  • 코드4

    • MBPP
    • MBPP+
    • CRUX-I
    • CRUX-O

미리 보지 마세요: 최종 훈련 단계에서는 벤치마크 항목이 포함된 모든 문서를 건너뜁니다.

결과

전 세계 초소형 모델 36개 중 1위

전체, 텍스트 및 다국어 부문에서 1위를 차지했으며, 전체 부문에서 granite-4.0-h-tiny보다 3.1포인트 앞섰습니다.

전체

초소형 모델 순위

#1

36개 모델 중

카테고리 순위

  • 수학 및 코드#1
  • 텍스트#1
  • 다국어#1

벤치마크 정의. 당사의 모델은 6T‑토큰 실행의 최종 체크포인트이며, 컨텍스트는 128K로 확장되었습니다. 또한, 벤치마크 항목이 포함된 모든 문서를 어닐링 과정에서 건너뜁니다. 모델 분류: 활성 파라미터가 최대 2B인 모델(gemma-4-E2B는 유효 크기가 2B). 다국어 점수는 각 모델에 대해 우리가 학습에 사용하는 44개 비영어권 언어의 평균값으로 산출됩니다.

순위

상위 12개 초소형 모델

최대 2B의 활성 파라미터를 갖춘 36개 모델(gemma-4-E2B는 유효 크기 2B, 총 파라미터 5.1B). 당사의 훈련 언어에서 다국어 지원. 막대는 0에서 시작합니다.

  1. #1Lara Mini Base (A0.6B/7.2B)57.0
  2. #2IBM - granite-4.0-h-tiny (1B active)53.9
  3. #3Alibaba - Qwen3-1.7B53.8
  4. #4Falcon-H1-1.5B-Deep53.2
  5. #5Hunyuan-1.8B52.2
  6. #6LFM2.5-8B-A1B (1.7B active)50.8
  7. #7Trinity-Nano (1B active)50.7
  8. #8LFM3-1.7B49.2
  9. #9Qwen3.5-2B48.9
  10. #10Falcon-H1-1.5B48.8
  11. #11Qwen2.5-1.5B47.6
  12. #12granite-4.0-1b47.2
  13. #17Google - gemma-4-E2B41.9

전체 = ¼ 영어 + ¼ 다국어 + ¼ 수학 + ¼ 코드.

효율성

20억 이하 부문 1위, 활성 파라미터는 단 6억 개

Lara Mini Base는 Qwen3-1.7B 및 gemma-4-E2B와 같이 최대 3배 더 많은 활성 파라미터를 사용하는 모델을 포함하여 동급의 다른 35개 모델을 모두 능가합니다.

20304050600.5B1B2BLara Mini Base (A0.6B/7.2B) · 57.0granite-4.0-h-tiny · 53.9gemma-4-E2B
활성 매개변수에 대한 전체 점수, 로그 척도. 계단형 선은 경계선을 나타냅니다. 활성 파라미터 수가 더 적은 모델은 이 선을 넘어 더 높은 점수를 기록할 수 없습니다. gemma-4-E2B는 유효 크기 2B(총 5.1B)로 표시되어 있습니다.

한정 공개 · 이용 대상

Lara Mini의 용도

  • Lara Translate 앱

    오프라인 번역

    Lara Mini는 차기 Lara Translate 앱의 Lara 4 오프라인 번역 기능을 뒷받침하는 기본 모델입니다. 텍스트는 절대로 휴대폰 외부로 전송되지 않으며, 각 번역은 여전히 1초 이내에 완료됩니다.

  • Translated 고객

    초소형 기본 LLM

    Translated의 일부 엔터프라이즈 고객에게만 액세스 권한이 제공됩니다. Lara Mini는 특수 목적의 주권 애플리케이션에 맞게 미세 조정되도록 설계되었으며, 모바일 기기 및 당사 클라우드에서 실행됩니다. 엔드투엔드 지연 시간이 20ms 미만이며 초당 수백만 개의 토큰을 처리합니다.

  • 연구

    AI 연구자

    AI 연구자들이 당사의 결과를 재현하고 이를 기반으로 연구를 발전시켜 다국어 연구를 한층 더 진전시킬 수 있도록 접근 권한을 제공합니다.

다음 단계는 무엇인가요?

세 가지 대회, 하나의 규칙

현재 단계에서 메달을 획득한 경우에만 다음 단계를 훈련합니다.

  1. 단계 1

    로컬

    초소형 · 활성 파라미터 2B 미만

    2026년 11월Lara Mini Base

    Lara Base(A0.6B/7.2B)로 초소형(tiny) 카테고리에서 우위를 차지하세요.

    2026년 12월Lara Mini

    Lara 4 Mini 및 Lara Mini LLM은 초저지연 환경과 모바일 기기를 위한 모델입니다.

    메달 획득 → National 단계 훈련을 진행합니다. 메달을 획득하지 못하면 중단합니다.

  2. 단계 2

    국가

    소형 · 활성 파라미터 수 10B 미만

    2027년 3월Lara Piccola Base(A7B/138B)

    소형 모델 부문에 출전하여 그곳에서도 메달을 획득하세요.

    2027년 4월Lara 4 및 Lara Piccola LLM

    Lara 4 번역 모델과 EU 주권 모델인 A7B/138B 규모의 Lara Piccola LLM.

    메달 획득 → 올림픽 스테이지에서 훈련합니다. 메달을 획득하지 못하면 중단합니다.

  3. 단계 3

    올림픽

    프론티어 · 40B+ 활성

    2027년 12월Lara Grande Base(A60B/1.2T)

    세계 최고의 모델들과 경쟁하는 최첨단(frontier) 카테고리에 진입합니다.

    2028년 3월Lara 5 및 Lara Grande LLM

    Lara 5는 P95 전문 번역사를 능가합니다. Lara Grande: EU 주권 기반의 최첨단 LLM으로, 중국 모델들을 앞서며 Anthropic과 OpenAI에 근접하고 있습니다.

참조 모델: 초소형 Gemma 4 E2B · 소형 Gemma 4B/26B · 중형 Qwen 17B/397B · 최첨단 GPT-6 Astra, Claude 5.6, Kimi K3.

훈련 예산

단일 실행 훈련 예산, 향후 릴리스

모델토큰FLOPs하드웨어일수훈련 비용
Lara 4 PiccolaMoE 6.7B / 138B20T8.0 × 10²³512 × H10031$1.0M
Lara 4 GrandeMoE 60B / 1.2T24T8.6 × 10²⁴512 × Vera Rubin25$2.4M
Lara 4 SaggiaMoE 600B / 12T36T1.3 × 10²⁶2,304 × Vera Rubin83$36.6M
참고용
일반적인 최첨단 모델MoE 150B / 3T36T3.2 × 10²⁵4,096 × B20051$18.8M

출처: Lara 4 LLM 훈련 예산 계획, 2026년 11월 3일 · FP8 · 컴퓨팅 비용만 포함 · Saggia 소요 일수는 계획의 방법에 따라 추정됨

다음 훈련

Lara Piccola 후보 모델

60개의 레이어와 1380억 개의 파라미터: Gemma 4 31B를 능가할 모델.

  • 138B총 파라미터 수
  • 6.7B토큰당 활성
  • 토크나이저새로운, 재조정된
  • 60레이어
  • 2816숨겨진 크기
  • 512 × 512전문가, 상위 8명 + 공유 2명
  • 400k20T 토큰에 대한 H100 GPU 시간
  • 30일H100 GPU 512개에서
  • $1M훈련 실행 비용

  • 목표: 소형 모델 부문(<10B 활성)에서 우승

    현재 선두 모델: Qwen3.5-122B-A10B, GLM-4.5-Air

  • 목표: 다국어 부문에서 Gemma 4 31B를 능가

    중형 모델 부문에서 다국어 성능이 뛰어난 고밀도 모델들을 능가합니다.

32개 노드에서 단계당 30.7초 · Lara Mini Base와 동일한 하이브리드 어텐션(GDN, 윈도우, 글로벌)

기술 보고서

기술 보고서 받기

Lara Mini Base의 아키텍처, 훈련 데이터, 벤치마크 및 방법론을 한 문서에 담았습니다. 연락처 정보를 남겨 주시면 이메일로 보내 드리겠습니다.

추가 정보 및 데모를 위해 Lara가 연락하는 것에 동의합니다. 본인은 개인정보처리방침*을 읽었으며 이에 동의합니다.

Lara와 함께 작업하기

Lara를 활용하는 두 가지 방법

  • 생성 모델에 관심이 있으신가요?

    Translated의 일부 엔터프라이즈 고객에게만 액세스 권한이 제공됩니다. Lara Mini는 특수 주권 애플리케이션에 맞게 미세 조정되도록 설계되었으며, 모바일 기기에서 실행되고 당사 클라우드에서는 엔드투엔드 지연 시간이 20ms 미만으로, 초당 수백만 개의 토큰을 처리합니다.

    영업팀에 문의하기

  • Lara로 번역하기

    이 연구를 기반으로 개발된 번역 도구 Lara로 텍스트, 문서 및 대화를 번역하세요.

    Lara를 사용하여 번역을 시작하세요