2026.11.07 SAT03:01 JSTAWS
SageMaker推論、GPUのMIG分割に対応
今日試せるSageMaker推論で利用可能
1台の高価なGPUを複数に切り分け、別々のモデルを干渉なしで同時に動かして費用を抑えられる仕組み。
- 1基のGPUを最大7分割し、複数モデルをハードウェア分離で配備可能になった
- 専用の計算資源とメモリ帯域が割り当てられ、他モデルの負荷変動や障害を隔離する
- 自前K8sクラスタなしに、推論コンポーネントから低コストにGPUを集約できる
目線
1基専有するほどではない複数モデルを、安全に同一GPUへ集約して推論基盤のコストを最適化できる。
対象
SageMaker上で複数の推論モデルを運用するインフラ・機械学習エンジニア
使える場面
- ファインチューニング済みモデルやテナント別モデルを1基のGPUに集約配置する
- 自前でKubernetesクラスタを運用せずにマネージド環境でMIGを利用する
試すなら
CreateEndpointConfigでAcceleratorPartitionLayoutsの設定を検証する
確認点
推論コンポーネントを使用するエンドポイントが対象（サーバーレスエンドポイント等は非対応）
背景
従来SageMakerのGPU推論は最低1基単位での確保が必要で、小中規模モデルでは計算資源が余りやすく、MIGによる分割利用には自前のKubernetes構築が必要だった。
何が変わったか
- NVIDIA Multi-Instance GPU (MIG) により、1基のGPUを最大7つの独立区画にハードウェア分割可能に
- 区画ごとに専用の計算コア・メモリ・帯域が保証され、遅延の予測性と耐障害性を確保
- CreateEndpointConfigの追加フィールドで分割構成（AcceleratorPartitionLayouts）を宣言可能
使える場面・影響
高価な最新アクセラレータを用途に応じた適正サイズに細分化でき、GPU稼働率の向上と推論コストの削減につながる。
試す前に確認
- サーバーレス、単一モデルエンドポイント、異種インスタンスプールは非対応
- 分割レイアウトはエンドポイント作成時の指定が必要
一次ソース
- AWS Machine Learning Blogaws.amazon.com