2026.09.11 FRI18:24 JSTAWS
BedrockのOpenAIモデル選択を成果単価で
- AWSがBedrock上OpenAIモデルの成果あたりコストを測るOSS harnessを公開
- トークン単価だけでなく正解率・エージェント軌跡コスト・成果物品質を比較
- 本番ワークロードの実質支払いに近い指標を提供
目線
Amazon BedrockでOpenAIモデルを使う開発・導入担当が、トークン単価表だけで選ばず自ワークロードの成果単価で比較する段階に使える
対象
Amazon Bedrock利用者、OpenAIモデル選定担当、エージェント開発者
使える場面
- 自社タスクでcost per correct answerを計測する
- エージェント多ターンのtrajectoryコストを比較する
- ルーブリック評価による成果物品質を併せて見る
試すなら
公開されたOSS benchmarking harnessをクローンして自ワークロードで回す
確認点
計測対象は主にBedrock上のOpenAIモデル（例: gpt-5.6系列）と一部APIモデル。自環境の料金・レイテンシは別途確認
背景
多くの組織が$/百万トークンでモデルを比較するが、本番は成果（解決チケット、正しい要約など）を買っている。正解頻度、必要トークン数、エージェントのターン数（履歴再送）が実質コストを左右する。
何が変わったか
- オープンソースのbenchmarking harnessを公開
- cost per correct answer、agent trajectory cost、rubric-graded deliverable qualityを測定
- Bedrock上のOpenAIモデル（gpt-5.6-luna/terra/solなど）とAPIのコスト効率モデルを比較可能に
- client-managed history（store: false）で多ターン再送コストを再現
使える場面・影響
安いトークン単価モデルが成果単価で不利になるケースや、エージェントでターン数が効くケースを定量化でき、選定・プロンプト設計の判断が変わる。
試す前に確認
- harnessはOSSなので自前実行が必要
- 対象モデルは記事時点のBedrock提供OpenAIモデル中心
- 品質ルーブリックは自業務に合わせて調整
一次ソース
- AWS Machine Learning Blogaws.amazon.com