2026.10.15 THU00:00 JSTMicrosoft
MAI-Base-2事前学習の技術詳細
様子見技術報告・モデル未公開
Microsoftが巨大な新基盤モデルの作り方を公開。効率の秘訣がわかる技術報告です。
- 2.8T総パラメータのMoE基盤モデルを16k GB200で38日訓練した詳細が公開された
- 開源最強比で4-12倍FLOPs効率、source scalingやLR/WD法則を共有
- 現在post-training中でFoundry経由の重み提供を視野
目線
フロンティア事前学習のスケーリング法則やMoE実装を自作・再現する判断材料になる。
対象
大規模モデル開発者・研究者
使える場面
- MoE毎層化やdropless実装の効率改善を参考にする
- LR×WDやdropoutの経験則を自前実験に適用する
試すなら
PDFを読みスケーリング法則を確認する
確認点
モデル重みは未公開でpost-training中
背景
MAI-Base-1に続く基盤モデル。end-to-endパイプライン所有でデータ来歴を確保し、蒸留なし有機データで訓練。
何が変わったか
- 80B active / 2.8T totalのMoE、16k GB200で38日（MFU 21%、goodput 89%）
- source scalingで多エポックを再現しスケーリング梯子を安定化
- LR×WD積をsteps依存、LRをTPP・steps依存の経験則を導出
- MoE毎層化（MFU 24→35%）、dropless固定メモリ、Muon最適化
使える場面・影響
開源ベース比で大幅効率向上を実現。自社製品とFoundry顧客向けに低コスト高性能を狙う。
試す前に確認
- モデルはpost-training中で一般提供は未定
- 重みは信頼パートナー向けFoundryライセンスを想定
- PDFで詳細図・法則式を確認可能
一次ソース
- Microsoft AI Lab Notesmicrosoft.ai