ハイブリッドかつスパースなモデル:34層、128エキスパート
3種類のレイヤー、1つの繰り返し単位
- 14 メモリ· Gated DeltaNet:ヘッドごとに1つの線形アテンション状態をもち、トークンごとに更新される
- 13 ウィンドウ· 直近の512トークンに対するアテンション、RoPE位置
- 7 グローバル· フルアテンション、位置エンコーディングなし。最後のレイヤーは常にグローバル。
各レイヤーに存在する Mixture of Experts
- トークンごとにルーターが選択する、128人のルーティングされたエキスパートのうち4人
- 1人の共有エキスパートが常時稼働
- トークンあたり7.2Bのうち0.6Bのパラメータがアクティブ。隠れ層のサイズは1,024。入力と出力の埋め込みは共有(tied)。
最適化手法
Muon + AdamW
各モーメンタム更新は、適用される前に直交化(Newton–Schulz)されます。これにより、重み行列のすべての方向が、一部の方向が支配的になるのではなく、ほぼ同じ速度で変化します。
トレーニング時のコンテキストウィンドウは4,096トークン、語彙サイズは151,643トークン。