一次情報で読む、いまのAI
← すべてのニュース

Vercelログにセッション表示

今日試せるAI Gatewayで提供

AIの対話ごとに、どの提供元へルーティングされてキャッシュが効いたかを確認できるようになりました。

目線

コーディングエージェントの継続対話でプロンプトキャッシュが効いているか確認し、コスト効率の検証に使える。

対象

AI Gatewayを使ってエージェントやチャットアプリを運用する開発者

使える場面

  • CursorやClaude Codeのセッションごとのキャッシュヒット率とコストを確認する
  • 直前の提供元に継続ルーティングされているかを追跡し遅延を分析する

試すなら

AI Gatewayのログ画面でSessionsビューを開き、ターン数やプロバイダごとのヒット率を確認する

確認点

明示的にセッションを管理する場合はリクエストヘッダー等でsessionIDを指定する必要がある

背景

AI Gatewayでは、同じセッションの要求を同一プロバイダへ送り、キャッシュ効率を高めるセッションアフィニティ機能を提供している。

何が変わったか

  • ログ画面にSessionsビューを追加し、リクエストをセッション単位でグループ化して表示
  • 各セッションのキャッシュヒット率、所要時間、ルーティング経路、コストを可視化
  • ターン数、クライアント、モデル、プロバイダ、認証、コストによるフィルタリングに対応

使える場面・影響

エージェント利用時のキャッシュヒット状況が透明化され、プロンプト再利用による費用削減の効果を把握しやすくなる。

試す前に確認

  • テキストおよびチャットリクエストではデフォルトで有効
  • providerOptions.gatewayのsessionId指定またはx-session-idヘッダーで任意グループ化が可能

一次ソース