ลงชื่อเข้าใช้ลงชื่อเข้าใช้ลงทะเบียนลงทะเบียนฟรีคุยกับฝ่ายขาย

ห้องปฏิบัติการ AI ทุกแห่งสันนิษฐานว่าการเพิ่มจำนวนภาษาจะทำให้ประสิทธิภาพของโมเดลแย่ลงเรากลับเดิมพันในทางตรงกันข้าม

Lara Mini ถือกำเนิดขึ้นในฐานะ LLM สำหรับใช้งานทั่วไปที่อยู่เบื้องหลัง Lara 4 Translation AI และได้รับการพัฒนาให้เป็นโมเดลที่มีความหลากหลายทางภาษาและวัฒนธรรมมากที่สุดตั้งแต่แรกเริ่ม
เมื่อสิ้นสุดการฝึกด้วยข้อมูลขนาด 6T‑token โมเดลนี้ครองอันดับ 1 จาก 36 โมเดลในระดับเดียวกันทั่วโลก

ดาวน์โหลดรายงานทางเทคนิครับโมเดล

Translated · เรื่องราวเบื้องหลัง Lara

ความหลากหลายไม่ใช่ต้นทุนของสติปัญญา แต่เป็นแหล่งกำเนิดของมันต่างหาก

  • ความเชื่อ

    ห้องปฏิบัติการขนาดใหญ่ส่วนใหญ่ฝึกโมเดลด้วยภาษาอังกฤษเป็นหลัก และถือว่าภาษาและวัฒนธรรมอื่นๆ เป็นสัญญาณรบกวนที่ทำให้คุณภาพลดลง

  • การเดิมพัน

    Translated ซึ่งมีหน้าที่ด้านการแปล ได้สร้าง Lara ขึ้นจากข้อความจริงที่เขียนขึ้นในหลายภาษาและหลายวัฒนธรรม เมื่อได้เห็นแนวคิดเดียวกันผ่านภาษาและวัฒนธรรมหลายแบบ โมเดลจะเข้าใจแนวคิดนั้นได้ดียิ่งขึ้น

  • ข้อพิสูจน์

    อันดับ 1 จาก 36 โมเดลที่มีพารามิเตอร์ที่ใช้งานอยู่สูงสุด 2B ทั่วโลก ได้รับการฝึกด้วยโทเค็น 6T และบริบท 128K

ภาพรวมของการทดสอบ

สถาปัตยกรรม

  • 0.6Bพารามิเตอร์ที่ใช้งานต่อโทเค็น (ผู้เชี่ยวชาญ 4 คน)
  • 7.2Bพารามิเตอร์ทั้งหมด, MoE ที่มี 128 ผู้เชี่ยวชาญ, 1 ผู้เชี่ยวชาญที่ใช้ร่วมกัน
  • 34เลเยอร์: หน่วยความจำ (GDN), หน้าต่าง และกลไกการให้ความสนใจแบบทั่วถึง (global attention)
  • 128Kโทเค็นของหน้าต่างบริบท

ข้อมูล

  • 6Tโทเค็นสำหรับการฝึก (training tokens)
  • 39%ของโทเค็นดิบที่ผ่านการกรอง
  • 44 + ENภาษา ทั้ง 24 ภาษาที่เป็นภาษาราชการของสหภาพยุโรป
  • 151,643โทเค็นในชุดคำศัพท์ ปรับสมดุลใหม่เพื่อภาษาที่มีทรัพยากรต่ำ

เราสร้างมันขึ้นมาอย่างไร

การออกแบบแบบไฮบริดและแบบสปาร์สสำหรับโมเดลที่มีความสามารถด้านภาษาหลากหลายที่สุด

โมเดลแบบไฮบริดที่มีความหนาแน่นต่ำ: 34 เลเยอร์, 128 เอ็กซ์เพิร์ต

เลเยอร์สามชนิด หน่วยที่ทำซ้ำหนึ่งหน่วย

  • 14 หน่วยความจำ · Gated DeltaNet: สถานะการให้ความสนใจแบบเชิงเส้นต่อหัว (linear-attention state per head) ซึ่งอัปเดตทีละโทเค็น (token by token)
  • 13 หน้าต่าง · ความสนใจต่อโทเค็น 512 ตัวล่าสุด ตำแหน่ง RoPE
  • 7 ระดับสากล · การให้ความสนใจแบบเต็มรูปแบบ ไม่มี positional encoding; เลเยอร์สุดท้ายเป็นแบบสากลเสมอ

Mixture of Experts ในทุกเลเยอร์

  • 4 จาก 128 Mixture of Experts ที่ถูกกำหนดเส้นทาง (routed) โดยเราเตอร์ (router) สำหรับแต่ละโทเค็น (token)
  • ผู้เชี่ยวชาญแบบใช้ร่วมกัน 1 ราย เปิดใช้งานตลอดเวลา
  • พารามิเตอร์ที่ใช้งานอยู่ 0.6 พันล้านจากทั้งหมด 7.2 พันล้านต่อโทเค็น; ขนาดเลเยอร์ซ่อน 1,024; การฝังอินพุตและเอาต์พุตแบบผูกกัน

ตัวเพิ่มประสิทธิภาพ

Muon + AdamW

การอัปเดตโมเมนตัมแต่ละครั้งจะได้รับการออร์โทโกแนไลซ์ (Newton–Schulz) ก่อนที่จะนำไปใช้ เพื่อให้ทุกทิศทางของเมทริกซ์น้ำหนักเคลื่อนที่ด้วยอัตราที่ใกล้เคียงกัน แทนที่จะมีเพียงไม่กี่ทิศทางที่ครอบงำ

หน้าต่างบริบทขนาด 4,096 โทเค็นในการฝึกอบรม; ศัพท์ขนาด 151,643 โทเค็น

โมเดลที่รองรับหลายภาษาและหลายวัฒนธรรมมากที่สุด

โทเค็นสำหรับการฝึกจำนวน 6 ล้านล้านโทเค็นจากพูลที่ได้รับการกำจัดข้อมูลซ้ำจากทุกแหล่งข้อมูล: โทเค็นดิบ 39% ถูกคัดออก ไม่มีแหล่งข้อมูลใดถูกนำมาใช้ซ้ำเกิน 2 รอบ (ยกเว้นข้อมูลจากวิกิพีเดียและข้อมูลทางคณิตศาสตร์คุณภาพสูง) ส่วนข้อมูลจากเว็บทั่วไปจะไม่ถูกนำมาใช้ซ้ำเลย

  • ภาษาอังกฤษ2.49Tคุณภาพสูงจากเว็บ 1.34T · ข้อมูลคุณภาพสูงแบบสังเคราะห์ 0.66T · ไฟล์ PDF 0.32T · เว็บคุณภาพปานกลาง 0.15T · วิกิพีเดีย 0.02T
  • หลายภาษา2.18Tเว็บ 0.79T · คุณภาพสูงจากเว็บ 0.66T · ไฟล์ PDF 0.4T · สังเคราะห์ 0.28T · วิกิพีเดีย 0.05T
  • โค้ด0.77Tโค้ดจริง 0.45T · สังเคราะห์ 0.31T
  • คณิตศาสตร์0.35Tคณิตศาสตร์ระดับสูง 0.21T · คณิตศาสตร์บนเว็บ 0.15T
  • คล้าย SFT0.21Tการถาม-ตอบ (QA) 0.12T · คณิตศาสตร์ 0.07T · โค้ด 0.02T

สามขั้นตอน การลดลงของอัตราการเรียนรู้เพียงครั้งเดียว

  1. หลัก · 4.8T0–80% · ไปยังขั้นตอนที่ 572.2k
  2. ช่วงเปลี่ยนผ่าน · 0.6T80–90% · ไปยังขั้นตอนที่ 643.7k
  3. การปรับสมดุล (Anneal) · 0.6T90–100% · ไปยังขั้นตอนที่ 715.3k
กำหนดการอัตราการเรียนรู้โมเดลที่ประเมิน: สิ้นสุดการฝึก 6T โทเค็น

แต่ละขั้นตอนคือการผสมผสานข้อมูลที่แยกจากกัน ซึ่งจะถูกโหลดเมื่อถึงจุดสิ้นสุดของขั้นตอนนี้ Transition: สะพานเชื่อมระหว่างสองระยะนี้ที่อัตราการเรียนรู้คงที่ ซึ่งส่วนผสมได้ขยับไปถึงครึ่งทางแล้วในทิศทางของระยะ Anneal (ข้อมูลคุณภาพสูงกว่า รวมถึงข้อมูล QA, โค้ด และคณิตศาสตร์) เพื่อให้โมเดลปรับตัวได้ก่อนที่อัตราการเรียนรู้จะลดลง Anneal: ชุดข้อมูลผสมที่มีคุณภาพสูงสุด ในขณะที่อัตราการเรียนรู้ลดลงจนถึงศูนย์ในช่วง 10% สุดท้าย

แต่ละขั้นเน้นไปที่โค้ด คณิตศาสตร์ และข้อมูลแบบ SFT มากขึ้นเรื่อยๆ

สัดส่วนของโทเค็นในแต่ละขั้นตอน ข้อมูลจะถูกสุ่มลำดับใหม่ ไม่ได้ป้อนทีละโดเมน: แต่ละแบทช์ที่มี 2,048 ลำดับจะผสมทุกโดเมนในสัดส่วนโดยประมาณดังนี้ ลักษณะคล้าย SFT (ข้อมูลคำถาม-คำตอบ, คณิตศาสตร์ และคำสั่งเขียนโค้ด): 2% ในส่วนหลัก, 3.5% ตลอดการรันทั้งหมด

ระเบียบวิธีวิจัย

26 เกณฑ์มาตรฐาน หนึ่งเฟรมเวิร์กการประเมิน ทุกโมเดล

โดยรวม = ¼ ภาษาอังกฤษ + ¼ หลายภาษา + ¼ คณิตศาสตร์ + ¼ การเขียนโค้ด เราให้คะแนนทุกโมเดลด้วย lm-evaluation-harness และใช้การแก้ไขรูปแบบคำตอบแบบเดียวกัน เกณฑ์มาตรฐานหลายภาษาแต่ละรายการจะถูกคำนวณค่าเฉลี่ยจากภาษาที่ใช้ในการฝึกอบรมที่ไม่ใช่ภาษาอังกฤษทั้ง 44 ภาษาของเรา

  • ภาษาอังกฤษ10

    • NLI
    • PAWS
    • Belebele (en)
    • COPA
    • PIQA
    • HellaSwag
    • WinoGrande
    • ARC-C
    • MMLU
    • MMLU-Pro

  • หลายภาษา9

    • XNLI
    • PAWS-X
    • Belebele
    • XCOPA
    • Global PIQA NP
    • Global PIQA P
    • T-HellaSwag
    • INCLUDE
    • Global MMLU

  • คณิตศาสตร์3

    • GSM8K
    • MATH
    • MGSM

  • การเขียนโปรแกรม4

    • MBPP
    • MBPP+
    • CRUX-I
    • CRUX-O

ห้ามแอบดู: ในขั้นตอนการฝึกขั้นสุดท้าย ระบบจะข้ามเอกสารทุกฉบับที่มีรายการเบนช์มาร์กอยู่

ผลลัพธ์

อันดับ 1 จาก 36 ในกลุ่มโมเดลขนาดเล็กทั่วโลก

อันดับ 1 ในด้านคะแนนโดยรวม ด้านข้อความ และด้านพหุภาษา โดยนำหน้า granite-4.0-h-tiny อยู่ 3.1 คะแนนในด้านคะแนนโดยรวม

โดยรวม

การจัดอันดับโมเดลขนาดเล็ก

#1

จาก 36 โมเดล

การจัดอันดับตามหมวดหมู่

  • คณิตศาสตร์และโค้ด#1
  • ข้อความ#1
  • หลายภาษา#1

คำจำกัดความของเกณฑ์มาตรฐาน โมเดลของเราคือจุดตรวจสอบสุดท้ายของการฝึกด้วยข้อมูลขนาด 6T‑token โดยขยายบริบทเป็น 128K; ขั้นตอนการปรับสมดุล (anneal) จะข้ามทุกเอกสารที่มีรายการที่ใช้เป็นเกณฑ์มาตรฐาน ระดับของโมเดล: โมเดลที่มีพารามิเตอร์ที่ใช้งานอยู่สูงสุด 2B (gemma-4-E2B ที่ขนาดที่มีประสิทธิผล 2B) สำหรับแต่ละโมเดล คะแนนด้านพหุภาษาจะคำนวณจากค่าเฉลี่ยของ 44 ภาษาที่ไม่ใช่ภาษาอังกฤษที่เราใช้ในการฝึก

การจัดอันดับ

โมเดลขนาดเล็ก 12 อันดับแรก

โมเดลจำนวน 36 โมเดลที่มีพารามิเตอร์ที่ใช้งานอยู่สูงสุด 2B (gemma-4-E2B ที่ขนาดที่มีประสิทธิผล 2B, รวมทั้งสิ้น 5.1B) รองรับหลายภาษาในชุดภาษาที่ใช้ฝึกของเรา แถบเริ่มต้นจาก 0

  1. #1Lara Mini Base (A0.6B/7.2B)57.0
  2. #2IBM - granite-4.0-h-tiny (1B active)53.9
  3. #3Alibaba - Qwen3-1.7B53.8
  4. #4Falcon-H1-1.5B-Deep53.2
  5. #5Hunyuan-1.8B52.2
  6. #6LFM2.5-8B-A1B (1.7B active)50.8
  7. #7Trinity-Nano (1B active)50.7
  8. #8LFM3-1.7B49.2
  9. #9Qwen3.5-2B48.9
  10. #10Falcon-H1-1.5B48.8
  11. #11Qwen2.5-1.5B47.6
  12. #12granite-4.0-1b47.2
  13. #17Google - gemma-4-E2B41.9

โดยรวม = ¼ ภาษาอังกฤษ + ¼ หลายภาษา + ¼ คณิตศาสตร์ + ¼ การเขียนโค้ด

ประสิทธิภาพ

อันดับ 1 ในกลุ่มที่มีขนาดต่ำกว่า 2B โดยมีพารามิเตอร์ที่ใช้งานจริงเพียง 0.6B

Lara Mini Base ทำคะแนนได้เหนือกว่าโมเดลอื่น ๆ ทั้ง 35 แบบในระดับเดียวกัน รวมถึงโมเดลที่ใช้พารามิเตอร์ที่ใช้งานจริงมากกว่าถึง 3 เท่า เช่น Qwen3-1.7B และ gemma-4-E2B

20304050600.5B1B2BLara Mini Base (A0.6B/7.2B) · 57.0granite-4.0-h-tiny · 53.9gemma-4-E2B
คะแนนโดยรวมเทียบกับพารามิเตอร์ที่ใช้งานอยู่ แสดงในสเกลล็อก เส้นขั้นบันไดคือเส้นแบ่งขอบเขต: ไม่มีโมเดลที่มีพารามิเตอร์ที่ใช้งานอยู่ (active parameters) น้อยกว่านี้ที่ทำคะแนนได้สูงกว่านี้ gemma-4-E2B ถูกวาดที่ขนาดที่มีประสิทธิผล (effective size) 2B (ขนาดรวม 5.1B)

การเปิดตัวแบบจำกัด · ใครได้รับสิทธิ์

Lara Mini มีไว้เพื่ออะไร

  • แอป Lara Translate

    การแปลแบบออฟไลน์

    Lara Mini คือโมเดลพื้นฐานที่อยู่เบื้องหลังฟีเจอร์การแปลออฟไลน์ของ Lara 4 สำหรับแอป Lara Translate รุ่นถัดไป ข้อความของคุณจะไม่ถูกส่งออกจากโทรศัพท์ และการแปลแต่ละครั้งยังคงใช้เวลาไม่ถึงหนึ่งวินาที

  • ลูกค้าของ Translated

    โมเดลภาษาขนาดเล็กพื้นฐาน (Tiny Base LLM)

    ลูกค้าองค์กรของ Translated ที่ได้รับคัดเลือกจะมีสิทธิ์เข้าถึง Lara Mini ได้รับการออกแบบมาเพื่อปรับแต่งให้เหมาะกับแอปพลิเคชันแบบโซเวอเรนเฉพาะทาง ทำงานได้บนอุปกรณ์เคลื่อนที่และบนคลาวด์ของเรา โดยมีเวลาแฝงแบบต้นทางถึงปลายทางต่ำกว่า 20 มิลลิวินาที และสามารถประมวลผลได้หลายล้านโทเค็นต่อวินาที

  • การวิจัย

    นักวิจัยด้าน AI

    สิทธิ์การเข้าถึงสำหรับนักวิจัยด้าน AI เพื่อทำซ้ำผลลัพธ์ของเราและต่อยอดจากผลลัพธ์เหล่านั้น เพื่อขับเคลื่อนงานวิจัยด้านพหุภาษาให้ก้าวหน้ายิ่งขึ้น

ลำดับต่อไปคืออะไร

การแข่งขันสามรายการ กฎเดียว

เราจะฝึกอบรมในขั้นถัดไปก็ต่อเมื่อเราได้รับเหรียญรางวัลในขั้นปัจจุบันเท่านั้น

  1. ขั้นตอนที่ 1

    ระดับท้องถิ่น

    ขนาดเล็กมาก · <2B ที่ใช้งานอยู่

    พ.ย. 2569Lara Mini Base

    ครองความเป็นหนึ่งในหมวด Tiny ด้วย Lara Base (A0.6B/7.2B)

    ธ.ค. 2569Lara Mini

    Lara 4 Mini และ Lara Mini LLM สำหรับอุปกรณ์เคลื่อนที่และกรณีที่ต้องการความหน่วงแฝงต่ำเป็นพิเศษ

    ได้รับเหรียญ → เราจะฝึกอบรมในระดับ National หากไม่ได้รับเหรียญ เราจะหยุด

  2. ขั้นตอนที่ 2

    ระดับชาติ

    ขนาดเล็ก · มีพารามิเตอร์ที่ใช้งานอยู่ <10B

    มี.ค. 2570Lara Piccola Base (A7B/138B)

    เข้าร่วมการแข่งขันในประเภทขนาดเล็ก แล้วคว้าเหรียญรางวัลจากที่นั่นด้วย

    เม.ย. 2570Lara 4 และ Lara Piccola LLM

    โมเดลการแปล Lara 4 และ LLM Lara Piccola ซึ่งเป็นโมเดล A7B/138B ที่อยู่ภายใต้อธิปไตยของสหภาพยุโรป

    ได้เหรียญ → เราฝึกในขั้นโอลิมปิก หากไม่ได้เหรียญ เราจะหยุด

  3. ขั้นตอนที่ 3

    โอลิมปิกเกมส์

    ระดับแนวหน้า · มีการใช้งานมากกว่า 40B

    ธ.ค. 2570Lara Grande Base (A60B/1.2T)

    ก้าวเข้าสู่หมวดหมู่ระดับแนวหน้า เพื่อประชันกับโมเดลที่ดีที่สุดในโลก

    มี.ค. 2571Lara 5 และ Lara Grande LLM

    Lara 5 ทำผลงานได้เหนือกว่านักแปลระดับมืออาชีพ P95 Lara Grande: LLM ระดับแนวหน้าภายใต้อธิปไตยของสหภาพยุโรป ซึ่งมีประสิทธิภาพเหนือกว่าโมเดลของจีนและกำลังไล่ตาม Anthropic กับ OpenAI

โมเดลอ้างอิง: Gemma 4 E2B ขนาดเล็กมาก · Gemma 4B/26B ขนาดเล็ก · Qwen 17B/397B ขนาดกลาง · โมเดลระดับแนวหน้า GPT-6 Astra, Claude 5.6, Kimi K3

งบประมาณสำหรับการฝึก

งบประมาณสำหรับการฝึกอบรมแบบดำเนินการครั้งเดียว การเปิดตัวรุ่นถัดไป

โมเดลโทเค็นFLOPsฮาร์ดแวร์จำนวนวันค่าใช้จ่ายในการฝึกอบรม
Lara 4 PiccolaMoE 6.7B / 138B20T8.0 × 10²³512 × H10031$1.0M
Lara 4 GrandeMoE 60B / 1.2T24T8.6 × 10²⁴512 × Vera Rubin25$2.4M
Lara 4 SaggiaMoE 600B / 12T36T1.3 × 10²⁶2,304 × Vera Rubin83$36.6M
เพื่อการอ้างอิง
ระดับแนวหน้าโดยทั่วไปMoE 150B / 3T36T3.2 × 10²⁵4,096 × B20051$18.8M

แหล่งที่มา: Lara 4 LLM Training Budget Planning, 3 พ.ย. 2026 · FP8 · เฉพาะค่าใช้จ่ายด้านการประมวลผล · จำนวนวัน Saggia ที่ประมาณการตามวิธีการของแผน

การฝึกอบรมครั้งต่อไป

ผู้สมัคร Lara Piccola

60 เลเยอร์และพารามิเตอร์ 138B: โมเดลที่สร้างมาเพื่อเอาชนะ Gemma 4 31B

  • 138Bพารามิเตอร์ทั้งหมด
  • 6.7Bใช้งานอยู่ต่อโทเค็น
  • ตัวแยกโทเค็นใหม่ ปรับสมดุลใหม่
  • 60เลเยอร์
  • 2816ขนาดที่ซ่อนอยู่
  • 512 × 512ผู้เชี่ยวชาญ, อันดับสูงสุด 8 อันดับ + 2 อันดับที่ใช้ร่วมกัน
  • 400kชั่วโมงการใช้งาน GPU รุ่น H100 สำหรับโทเค็นจำนวน 20T
  • 30 วันบน GPU รุ่น H100 จำนวน 512 ตัว
  • $1Mค่าใช้จ่ายในการดำเนินการฝึกอบรม

  • เป้าหมาย: ชนะในกลุ่มโมเดลขนาดเล็ก (<10B พารามิเตอร์ที่ใช้งาน)

    ผู้นำในปัจจุบัน: Qwen3.5-122B-A10B, GLM-4.5-Air

  • เป้าหมาย: เอาชนะ Gemma 4 31B ในด้านพหุภาษา

    เอาชนะโมเดลแบบหนาแน่นที่มีความสามารถด้านพหุภาษาในระดับสูง ซึ่งอยู่ในกลุ่มโมเดลขนาดกลาง

30.7 วินาทีต่อขั้นตอนที่ 32 โหนด · ใช้กลไก Hybrid Attention แบบเดียวกับ Lara Mini Base (GDN, window, global)

รายงานทางเทคนิค

รับรายงานทางเทคนิค

สถาปัตยกรรม ข้อมูลการฝึก เทียบวัดประสิทธิภาพ และระเบียบวิธีที่อยู่เบื้องหลัง Lara Mini Base รวบรวมไว้ในเอกสารเดียว กรุณาระบุรายละเอียดของคุณ แล้วเราจะส่งให้ทางอีเมล

ฉันยินยอมให้ลาราติดต่อเพื่อขอข้อมูลเพิ่มเติมและสาธิต ฉันได้อ่านและยอมรับนโยบายความเป็นส่วนตัว*

ทำงานร่วมกับ Lara

สองวิธีในการนำ Lara มาใช้งาน

  • สนใจโมเดลเชิงสร้างสรรค์หรือไม่?

    ลูกค้าองค์กรของ Translated ที่ได้รับคัดเลือกจะมีสิทธิ์เข้าถึง Lara Mini ได้รับการออกแบบมาเพื่อปรับแต่งให้เหมาะกับแอปพลิเคชันเฉพาะทางระดับประเทศ สามารถทำงานบนอุปกรณ์เคลื่อนที่ และบนคลาวด์ของเรา โดยให้ค่าความหน่วงแบบต้นทางถึงปลายทาง (end-to-end latency) ต่ำกว่า 20 มิลลิวินาที และประมวลผลได้หลายล้านโทเค็นต่อวินาที

    ติดต่อฝ่ายขาย

  • แปลด้วย Lara

    แปลข้อความ เอกสาร และบทสนทนาด้วย Lara ซึ่งเป็นเครื่องมือแปลที่พัฒนาขึ้นจากงานวิจัยนี้

    เริ่มใช้ Lara สำหรับการแปล