一次情報で読む、いまのAI
← すべてのニュース

Bedrock、OpenAIモデルの推論拡大

今日試せるAWS設定とリージョン有効化で利用可

Amazon Bedrockで、アジア各地からOpenAIの最新モデルを制限を気にせず安定して呼べるようになりました。

目線

単一拠点での容量制限を回避できるため、アジア拠点のシステムからOpenAIモデルを安定運用する基盤として検討できます。

対象

AWS Bedrock上でOpenAIモデルを運用・検証する開発者

使える場面

  • シンガポール等の拠点からOpenAI互換エンドポイント経由でGPT-6を呼び出す
  • 高負荷時の処理待ちを避けるために複数リージョン分散推論を設定する

試すなら

Bedrockコンソールのシステム定義推論プロファイル一覧で設定を確認する

確認点

シンガポール以外の地域はAWSアカウント側でリージョンの事前有効化が必要

背景

単一リージョンでの需要超過によるスロットリングを回避するため、対応する商業リージョンへ自動分散する枠組みが拡張された。

何が変わったか

  • シンガポール、ジャカルタ、マレーシア、タイ、台北からGPT-6 SolとLunaのクロスリージョン推論が可能に
  • GPT-6 Astraはシンガポールからのクロスリージョン推論に対応
  • Converse APIおよびOpenAI互換API(/openai/v1)をサポート

使える場面・影響

請求やCloudWatch監視、CloudTrailのログは呼び出し元のリージョンに保持されたまま他拠点の計算能力を活用できる。

一次ソース