路由與模型選擇:通道、模型與客戶端的關係
使用 AI 閘道時,最容易混淆的是三個概念:通道、模型與客戶端。理解它們之間的關係,能幫助你正確設定路由,避免「為什麼請求沒有走我預期的通道」這類困惑。
三個基本概念
- 通道是一條上游連線:一個 Ollama 實例,或一個雲端服務商帳號。
- 模型是通道上的一種能力:例如
qwen3:8b這樣一個具體的模型名稱。 - 客戶端是你日常使用的 AI 工具:Claude Code、Codex、opencode 等。
它們的關係是一條單向鏈路:
客戶端 →(虛擬金鑰)→ 閘道(路由策略)→ 通道 → 模型
每次請求時,客戶端會在請求中指定模型名稱,閘道根據這個模型名稱找到能提供服務的通道,並將請求轉發過去。
模型列表中的「model (通道名稱)」是什麼意思
在 Claude Code、opencode 等客戶端的模型選擇器中,你會看到 qwen3:8b (Ollama Qwen3) 這樣的條目。括號中的名稱表示這個模型的來源通道,而不是「另一條連線」:
- 你的客戶端與閘道之間始終只有一條連線(一個位址 + 一把虛擬金鑰)。
- 同一個模型也可以設定在多條通道上。此時選擇器中仍只顯示一行(括號中顯示其中一條來源通道),每次請求實際由哪條通道服務,由路由策略決定(見下文)。
三種路由模式:Fixed、Failover、Balanced
路由策略回答的問題是:當同一個模型有多條通道都能提供服務時,要用哪條?
| 模式 | 行為 | 適用情境 |
|---|---|---|
| Fixed(固定) | 永遠使用同一條通道 | 通道品質穩定,想鎖定來源 |
| Failover(主備) | 主要通道失敗或額度用盡時,依序切換到備用通道 | 有主要與備用的設定 |
| Balanced(均衡) | 在可用通道之間輪流分配請求 | 多條同質通道分攤負載 |
兩個關鍵界線:
- 路由只在通道之間切換,不會切換模型。 要請求哪個模型始終由你的客戶端決定,閘道不會替你更換模型。
- 不同模型本來就走各自的通道。 Balanced 不會「這次用 A 通道的模型、下次用 B 通道的模型」——它只在同一個模型的多條通道之間輪流。
模型由客戶端決定:如何切換模型
閘道只負責轉發:你的工具在每次請求中帶上模型名稱,閘道依照它進行路由。切換模型是在客戶端中完成的:
- opencode:在 TUI 中輸入
/models選擇;或在opencode.json中設定model(主要模型)與small_model(標題生成等輕量任務)。 - Claude Code:使用
/model命令切換。 - Codex:使用
-m <model>參數或在設定檔中指定。
安全地將日常工具串接至閘道
擔心影響日常使用?按照以下流程操作:
- 先在次要專案上測試:在一個不重要的專案目錄中完成一鍵串接,確認工作流程正常。
- 以單一請求驗證:傳送一個測試請求,到「使用紀錄」頁面查看它落在哪個模型、哪條通道、花費了多少成本。
- 隨時可退回:在「串接管理」頁面停止接管。停止後:ServBay 寫入的設定將被移除,接管時建立的虛擬金鑰將被吊銷;你先前的自訂設定不會自動復原,如有需要請手動調整,重新啟動客戶端後生效。
總結
- 通道 = 上游連線;模型 = 通道上的能力;模型名稱由客戶端在每次請求中指定。
- 路由策略只在「同一個模型的多條通道」之間選擇:Fixed 固定、Failover 主備、Balanced 輪流。
- 在客戶端的模型選擇器中切換模型;在「使用紀錄」頁面核對每筆請求的歸屬與成本。
