AI Gateway 統計とモニタリング
AI Gateway は通過するすべてのリクエストを記録し、概要(Overview)、統計(Statistics)、**モニタリング(Monitoring)**の 3 つのページで使用量、コスト、稼働状況を提示します。本記事では、これら 3 つのページの内容と使用方法を紹介します。
概要(Overview)
概要ページでは、AI Gateway の全体的な状態のサマリーを示します:
- KPI カード — アクティブな channel 数、virtual key 数、本日のリクエスト数、本日のコスト(および Token 使用量)。
- channel ヘルス概要 — 各 channel のリアルタイムのヘルス状態(正常 / 低下 / 利用不可)。
- 最近のイベント — 直近のルーティングイベントストリーム(イベントタイプ、モデル、channel、レイテンシ、時間)。
概要ページは、Gateway が正常に機能しているか、本日の支出とリクエスト量を日常的に素早く確認するのに適しています。
統計(Statistics)
統計ページは、使用量とコストの詳細な分析に使用されます。
KPI サマリー
ページの上部にはコア指標が表示されます:総リクエスト数、総 Token 使用量、コスト(USD)、平均レイテンシ(ミリ秒)。
サマリーとグループ化
- 全体サマリー — 合計 / 成功 / 失敗リクエスト数、入力 / 出力 / 合計 Token 数、リクエストあたりの平均 Token 数、総コスト、およびイベントタイプ別の分布(正常ルーティング routed、フェイルオーバー failover、失敗 failed、利用可能な channel なし no_channel)。
- ディメンション別グループ化 — グループ化のビューを切り替えられます:
- モデル別 — 各モデルのリクエスト数、Token、コスト、レイテンシ。
- キー別 — 各 virtual key の消費状況。
- 日付別 — 日ごとの使用量トレンド。
- リクエストタイプ別 — リクエストタイプごとのグループ化。
マルチモーダル使用量
テキスト対話に加えて、統計ページではマルチモーダル使用量も個別に表示されます:画像生成数、音声入力ユニット、音声出力ユニット。これにより、画像や音声系の呼び出しにかかるコストを計算しやすくなっています。
トレンドグラフ
日ごとに集計されたリクエスト量の推移を折れ線グラフで表示し、使用量の変化を観察するのに役立てます。
予算管理(VIP)
- 各予算の使用済みクレジットとパーセンテージをゲージ(gauge)形式で表示し、しきい値に近づくと通知します。
- 予算管理は有料機能であり、サブスクリプションしていない場合、この領域はロックされ、アップグレードが促されます。
サブスクリプションクレジット追跡
サブスクリプション型の provider アカウントを紐付けている場合(詳細は サブスクリプションアカウントとクレジット追跡 を参照)、統計ページにはサブスクリプションクレジットのリアルタイムステータスも表示されます:
- 使用済み / 残りパーセンテージ — 各サブスクリプションウィンドウのクレジット消費進捗をプログレスバー形式で表示します。
- クレジット枯渇状態 — いずれかのウィンドウのクレジットが枯渇すると、対応する channel は「枯渇」とマークされ、Gateway は(フェイルオーバーが設定されている場合)バックアップ channel に自動的にダウングレードします。
- リセット時間 — クレジットウィンドウのリセット時間を表示し、復旧時間の見積もりに役立てます。
- 認証情報失効の通知 — サブスクリプションアカウントの承認用認証情報が期限切れになると、インターフェース上に明確にマークされ、再承認が促されます。
サブスクリプションクレジット情報は、channel リスト の展開エリアにもサマリー形式で表示されます。
モニタリング(Monitoring)
モニタリングページは、よりリアルタイムな稼働ビューを提供します:
- リアルタイムイベントログ — ルーティングイベント(リクエスト ID、モデル、channel、レイテンシなど)を 1 件ずつ表示します。
- イベントタイプ別カウント — 正常ルーティング、失敗、フェイルオーバー、利用可能な channel なし等の分類カウントにより、異常を迅速に特定しやすくします。
前提条件
- ServBay アカウントにログインし、channel と virtual key が設定されていること。
- 実際のリクエストが Gateway を経由していること(そうでない場合、統計は空になります)。
使用の推奨事項
- コストの制御 — 「モデル別 / virtual key 別」のグループ化を使用して高い消費元を見つけ、必要に応じて対応する virtual key にレート制限を設定するか、channel にクレジット上限を設定します。
- 異常のトラブルシューティング — 成功率が低下した場合は、イベントタイプ分布における failed / no_channel の割合を確認し、channel のヘルス状態と組み合わせて無効な channel を特定します。
- レイテンシの最適化 — 平均レイテンシ KPI とモデル別レイテンシに注目し、異なる provider / リージョンエンドポイントの応答速度を評価します。
よくある質問(FAQ)
- Q:統計ページにデータがありませんか?
- A:統計は、Gateway を経由する実際のリクエストに基づいています。アプリケーションまたは引き継がれたツールが Gateway を通じてリクエストを送信したことを確認してください。
- Q:予算管理エリアがロックされていますか?
- A:予算管理は有料機能であり、対応するプランをサブスクリプションすることで利用できるようになります。
- Q:コストはどのように計算されますか?
- A:Gateway は各 channel の価格設定(設定した価格倍率を含む)と実際の Token / 呼び出し量に基づいてコストを見積もり、channel の詳細設定 で価格パラメータを調整できます。
まとめ
概要、統計、モニタリングの 3 つのページにより、AI Gateway のすべての呼び出しを観測可能にします。本日の支出の迅速な確認から、モデル / virtual key / 日付別の詳細な内訳、さらにリアルタイムのイベントストリームや予算管理まで。これらのビューを活用することで、AI 開発のコストと安定性を継続的に最適化できます。
