在 AI Gateway 中管理渠道
「渠道(Channel)」是在 AI Gateway 中連接一個供應商的配置——它儲存某個供應商的 API 位址、真實 API Key、可用模型,以及計價與額度等資訊。Gateway 會根據這些渠道,把應用傳入的請求路由到對應的供應商。本文將說明如何新增、設定、測試及管理渠道。
前置條件
- 已安裝並運行 ServBay,且已登入 ServBay 帳號(新增渠道前需先登入)。
- 已準備好目標供應商的真實 API Key(本地供應商如 Ollama / LM Studio 可不填)。
- 若尚未了解 AI Gateway 整體架構,建議先閱讀 AI Gateway 介紹。
新增渠道
進入 AI Gateway → 渠道(Channels) 頁,點擊 新增(Add) 開啟向導。向導共分三步驟。
第一步:選擇供應商
供應商依分類分組展示,點擊卡片即可選擇:
- 主流(Mainstream):OpenAI、Anthropic、Google Gemini、Azure OpenAI、AWS Bedrock、OpenRouter。
- 中國(China):DeepSeek、通義千問、智譜 GLM、Kimi、豆包·火山、文心一言、混元、MiniMax、零一萬物、階躍星辰。
- 本地(Local):Ollama、LM Studio。
- 自訂(Custom):OpenAI Compatible、Custom。
選擇供應商後,Gateway 會自動填入該供應商的預設 Base URL。
雙區域切換
通義千問、智譜 GLM、Kimi、豆包·火山、混元、MiniMax、階躍星辰等中國供應商,皆同時提供中國國內與全球兩組端點。選擇此類供應商時,向導將出現「區域」選擇器(🇨🇳 國內 / 🌐 全球),切換後 Base URL 也會自動更新為對應區域的地址。
第二步:填寫設定
- 渠道名稱(必填) — 幫助你在清單中識別此渠道,可自訂。
- Base URL(必填) — 供應商的 API 位址。大部分供應商自動填好;Azure OpenAI 及 Custom 需自行填寫。
- API Key(選填) — 供應商的真實密鑰。若留空,只會測試端點是否可達,無法驗證密鑰有效性;本地供應商(Ollama / LM Studio)通常無需填寫。
- 模型 — 提供兩種方式,擇一選用:
- 自動發現:點擊後,Gateway 會呼叫供應商模型列表介面,自動拉取可用模型,並以標籤方式多選。
- 手動填寫:直接輸入模型名稱。Azure 渠道需填入部署名稱(Deployment name),而非模型名。
- 優先級 / 權重 — 若多個渠道可服務同一模型,Gateway 會依此設定決定請求路由及負載分配。
Azure OpenAI 注意
Azure 渠道的「模型」欄位應填寫你在 Azure 管理台創建的部署名稱(Deployment name),而非底層模型名。Base URL 亦需填入你的 Azure 資源端點。
第三步:確認並送出
檢查設定摘要後送出。成功後,新建的渠道將出現在渠道列表,並即時顯示其健康狀態。
連通性測試
你可以於渠道列表對單一渠道執行連通性測試。測試包含兩個層面:
- 端點可達性(reachable) — 檢查 Base URL 網路與位址是否正確、可正常連線。
- 密鑰有效性(authenticated) — 實際呼叫供應商 API,驗證 API Key 是否有效。僅在填入 API Key 時才會驗證。
測試會顯示:來回延遲(毫秒)、狀態標誌及錯誤訊息。
TIP
於新增向導中,若端點不可達,無法進入下一步;若端點可達但密鑰無效,則僅提供警告,你仍可繼續(例如稍後再補 API Key)。
進階設定
新增或編輯渠道時可展開進階設定,協助成本管理與額度控管:
- 計價倍率(Rate Multiplier) — 依供應商官方價格再乘以倍率,以便根據你的實際成本或售價進行計算,預設為
1.0。 - 計費類型 — 說明該渠道的計費方式,如按量付費(pay as you go)、訂閱(subscription)、方案包(package)。
- 餘額 — 餘額來源可以選擇固定值、OSS 帳單或手動維護;選 OSS 帳單時可指定類型。餘額與更新時間在渠道詳情中僅供參考。
- 訂閱到期時間 — 訂閱 / 方案包類渠道可記錄到期日期。
- 額度限制(VIP) — 可根據 Token 數、請求數或金額設上限,再選周期(日/週/月/自訂),亦可啟用「允許浮動」以容忍一定幅度超額。額度限制屬進階付費功能。
編輯與刪除渠道
- 編輯 — 於渠道列表開啟指定渠道即可編輯名稱、Base URL、API Key、模型及進階設定。
- 刪除 — 刪除渠道後,倚賴該渠道的虛擬密鑰將無法繼續路由,請謹慎操作。
健康狀態
渠道列表與 總覽頁 會即時顯示各渠道的健康狀態(正常 / 降級 / 不可用),協助你快速掌握供應商設定是否仍有效。
常見問題(FAQ)
- Q:新增渠道時提示需登入?
- A:AI Gateway 屬於 ServBay 的增值功能,新增渠道或密鑰前需登入 ServBay 帳號,請按照介面指示登入。
- Q:提示渠道數已達上限?
- A:可新增的渠道數受帳號方案限制,若達上限請刪除無用渠道或升級方案。
- Q:自動發現模型抓不到清單?
- A:請檢查 Base URL 是否正確、API Key 是否有效(可用連通性測試的「密鑰有效性」來驗證),部分供應商只有填入有效密鑰才會顯示可用模型;亦可改用手動輸入模型名。
- Q:串接本地 Ollama / LM Studio 需要填 Key 嗎?
- A:通常不用。請確認本地服務已啟動並監聽預設埠口(Ollama
11434、LM Studio1234)即可。
- A:通常不用。請確認本地服務已啟動並監聽預設埠口(Ollama
總結
「渠道」是 AI Gateway 請求路由的基礎。透過三步驟向導,你能快速串接近 20 家供應商,結合雙區域切換、模型自動發現與雙層連通性測試確保設定正確,再搭配計價與額度等進階選項細緻控管成本。設定完渠道後,即可建立 虛擬密鑰,方便應用程式及工具存取使用。
