AI Gateway 統計與監控
AI Gateway 會記錄所有經過它的請求,並在概覽(Overview)、統計(Statistics)、**監控(Monitoring)**三個頁面為你呈現用量、成本與運行狀況。本文介紹這三個頁面的內容與用法。
概覽(Overview)
概覽頁給出 AI Gateway 的整體狀態一覽:
- KPI 卡片 — 活躍 channel 數、virtual key 數、今日請求數、今日成本(以及 Token 用量)。
- channel 健康一覽 — 各 channel 的即時健康狀態(正常 / 降級 / 不可用)。
- 最近事件 — 最近若干條路由事件流(事件類型、模型、channel、延遲、時間)。
概覽頁適合日常快速查看 Gateway 是否正常、今日花費與請求量。
統計(Statistics)
統計頁用於深入分析用量與成本。
KPI 摘要
頁面頂部展示核心指標:請求總數、Token 總用量、成本(USD)、平均延遲(毫秒)。
匯總與分組
- 總體匯總 — 總 / 成功 / 失敗請求數,輸入 / 輸出 / 總 Token 數,平均每請求 Token 數,總成本,以及按事件類型的分佈(正常路由 routed、故障轉移 failover、失敗 failed、無可用 channel no_channel)。
- 按維度分組 — 可切換分組視角:
- 按模型 — 各模型的請求數、Token、成本、延遲。
- 按密鑰 — 各 virtual key 的消費情況。
- 按日期 — 按天的用量趨勢。
- 按請求類型 — 按請求類型分組。
多模態用量
除文字對話外,統計頁還單獨展示多模態用量:圖像生成數量、語音輸入單位、語音輸出單位,便於核算圖像與語音類調用的花費。
趨勢圖
以折線圖展示按天聚合的請求量走勢,幫助你觀察用量變化。
預算管理(VIP)
- 以儀表板形式展示各預算的已用額度與百分比,接近閾值時給出提示。
- 預算管理屬於付費能力,未訂閱時該區域會鎖定並提示升級。
訂閱額度追蹤
如果你綁定了訂閱型 provider 帳戶(詳見 訂閱帳戶與額度追蹤),統計頁還會展示訂閱額度的即時狀態:
- 已用 / 剩餘百分比 — 以進度條形式展示各訂閱視窗的額度消耗進度。
- 額度耗盡狀態 — 當某視窗額度耗盡時,對應 channel 會標記為「已耗盡」,Gateway 自動降級到備用 channel(如果配置了 failover)。
- 重置時間 — 顯示額度視窗的重置時間,幫助你預估恢復時間。
- 憑證失效提示 — 當訂閱帳戶的授權憑證過期時,介面上會明確標記,提醒你重新授權。
訂閱額度資訊也會在 channel 列表 的展開區中以摘要形式展示。
監控(Monitoring)
監控頁提供更即時的運行視圖:
- 即時事件日誌 — 逐條展示路由事件(請求 ID、模型、channel、延遲等)。
- 按事件類型計數 — 正常路由、失敗、故障轉移、無可用 channel 等分類計數,便於快速定位異常。
前提條件
- 已登入 ServBay 帳號並配置了 channel 與 virtual key。
- 已有實際請求經過 Gateway(否則統計為空)。
使用建議
- 控制成本 — 用「按模型 / 按 virtual key」分組找出高消耗來源,必要時為對應 virtual key 設置速率限制或為 channel 設置額度。
- 排查異常 — 若成功率下降,查看事件類型分佈中的 failed / no_channel 佔比,並結合 channel 健康狀態定位失效 channel。
- 優化延遲 — 關注平均延遲 KPI 與按模型延遲,評估不同 provider / 區域端點的回應速度。
常見問題(FAQ)
- Q:統計頁沒有資料?
- A:統計基於經過 Gateway 的真實請求。請確認已有應用或被接管的工具透過 Gateway 發起過請求。
- Q:預算管理區域被鎖定?
- A:預算管理是付費能力,訂閱相應方案後即可使用。
- Q:成本是如何計算的?
- A:Gateway 按各 channel 的計價(含你設置的計價倍率)與實際 Token / 調用量估算成本,可在 channel 高級配置 中調整計價參數。
總結
概覽、統計與監控三頁讓 AI Gateway 的每一次調用都可觀測:從今日花費的快速一覽,到按模型 / virtual key / 日期的深度拆解,再到即時事件流與預算管控。善用這些視圖,你可以持續優化 AI 開發的成本與穩定性。
