AI 網關端點與環境變數
除了一鍵接管現成的 AI 工具,你也可於自有應用程式、腳本或任意 AI 工具中直接呼叫 AI 網關。本文介紹網關所開放的端點格式,以及如何以虛擬密鑰串接。
代理端點
AI 網關的代理服務監聽 http://127.0.0.1:11580。為兼容不同供應商之 SDK 與工具,網關於同一埠口上同時提供多種協議格式的端點:
| 協議格式 | 端點路徑 | 適用情境 |
|---|---|---|
| OpenAI 兼容 | http://127.0.0.1:11580/v1 | 任何遵循 OpenAI API 規格之 SDK/工具(如 /v1/chat/completions) |
| Anthropic 兼容 | http://127.0.0.1:11580/v1/messages | Anthropic SDK 及 Claude Code 等 |
| Gemini 兼容 | http://127.0.0.1:11580/v1beta | Google Gemini SDK 及 Gemini CLI 等 |
只需依據所用 SDK 協議選擇對應格式,並將請求指向網關位址,網關會依虛擬密鑰權限,自動將請求路由到相應供應商通道。
驗證:使用虛擬密鑰
所有對網關的請求皆以虛擬密鑰進行驗證,而非供應商的真實 Key。請先於 密鑰 頁面新建一組虛擬密鑰,並複製其明文。
在 AI 網關 → 端點(Endpoints) 頁面,您可選擇一支虛擬密鑰,網關會自動生成可複製的環境變數片段,便於常見工具設定。
環境變數範例
以下範例假設您已取得一組虛擬密鑰(以 <你的虛擬密鑰> 代表)。
OpenAI 兼容 SDK/工具
bash
export OPENAI_BASE_URL="http://127.0.0.1:11580/v1"
export OPENAI_API_KEY="<你的虛擬密鑰>"1
2
2
Claude Code/Anthropic
bash
# 注意:Anthropic 協議需使用網關根位址,不需加上 /v1
export ANTHROPIC_BASE_URL="http://127.0.0.1:11580"
export ANTHROPIC_AUTH_TOKEN="<你的虛擬密鑰>"1
2
3
2
3
Gemini
bash
export GOOGLE_GEMINI_BASE_URL="http://127.0.0.1:11580"
export GEMINI_API_KEY="<你的虛擬密鑰>"1
2
2
呼叫範例(OpenAI 兼容)
bash
curl http://127.0.0.1:11580/v1/chat/completions \
-H "Authorization: Bearer <你的虛擬密鑰>" \
-H "Content-Type: application/json" \
-d '{
"model": "gpt-4o",
"messages": [{"role": "user", "content": "你好"}]
}'1
2
3
4
5
6
7
2
3
4
5
6
7
其 model 須為您已於通道中配置,且當前虛擬密鑰具有調用權限的模型。
前置條件
- AI 網關代理服務已啟動。
- 至少已設定一組健康的通道,並建立具備相應模型/通道存取權限的虛擬密鑰。
常見問題(FAQ)
- Q:請求回傳驗證失敗?
- A:請確認所用為虛擬密鑰(非供應商原始 Key),同時確保該密鑰未過期或被註銷。
- Q:出現模型不可用或無權限?
- A:請確定該
model已於至少一組通道中設定,且「允許使用的模型/通道」權限包含於該虛擬密鑰。
- A:請確定該
- Q:該選擇哪種端點格式?
- A:按您所用 SDK 協議選擇——採 OpenAI 格式請用
/v1,Anthropic 格式選/v1/messages(Base URL 不帶/v1),Gemini 格式選/v1beta。
- A:按您所用 SDK 協議選擇——採 OpenAI 格式請用
- Q:區網內其他設備能否存取網關?
- A:網關預設僅監聽
127.0.0.1(僅本機)。此乃出於安全考量之建議設定。
- A:網關預設僅監聽
總結
AI 網關以 OpenAI/Anthropic/Gemini 三種兼容格式提供統一的本地端點,並結合虛擬密鑰驗證,可讓任何應用程式或 AI 工具無縫串接網關,享受集中密鑰管理與用量統計的便利。針對常見 CLI 工具,建議直接使用一鍵接管可更省時便利。
