2026.10.13 TUE00:51 JSTAWS
SageMaker AI、llama.cppで決定モデル配信
今日試せるSageMaker DLC公開
文章を生成する代わりに、選択肢の中から最適な答えの確率だけを素早く返すAIモデルを動かせます。
- llama.cppによる決定モデルの確率出力配信に対応
- 生成テキストを待たずに選択肢の確率を直接取得
- SageMakerのCPUやGPU環境で低遅延に配備可能
目線
エージェントのルーティングや分類タスクで、出力パースを排して低遅延かつ安定した判定を実装できる。
対象
LLMを用いたリクエストルーティングやエージェントのアクション決定を実装する開発者
使える場面
- 問い合わせ内容から適切な窓口キューを選択肢の中から確率付きで判定
- エージェントの次アクションを自由文生成せずに安定して決定
試すなら
AWS DLCのllama.cppイメージを参照してSageMakerエンドポイントをデプロイする
確認点
SemIfを利用したロジット取得にはCodeBuildでのコンテナビルドが必要
背景
リクエストの振り分けやポリシー判定では、自由文生成よりも固定選択肢に対する確率値のほうがパースエラーを防ぎやすい。
何が変わったか
- AWS Deep Learning Container（DLC）for llama.cppでOpenAI互換エンドポイントを提供
- SemIfアダプターを用いてトークン生成を行わず選択肢ごとの確率とロジットを直接取得可能に
- GGUF形式モデルをCPU（c6i）またはGPU（g6e等）インスタンスへ柔軟に配備可能
使える場面・影響
テキスト生成の待機時間を削減し、エージェントの分岐判定やトリアージ処理を低コスト・低遅延に組み込める。
試す前に確認
- Qwen 4B Q4_K_MのベンチマークではGPU構成でp50が0.352秒と高速
- OpenAI互換チャット配信は標準DLCで即時利用可能
一次ソース
- AWS Machine Learning Blogaws.amazon.com