Endpoint và biến môi trường của AI Gateway
Ngoài việc tiếp quản chỉ với một cú nhấp các công cụ AI có sẵn, bạn cũng có thể gọi trực tiếp AI Gateway ngay trong ứng dụng, script hoặc bất kỳ công cụ AI nào của riêng bạn. Bài viết này giới thiệu định dạng endpoint mà gateway cung cấp, cùng cách kết nối bằng khóa ảo.
Endpoint proxy
Dịch vụ proxy của AI Gateway lắng nghe tại http://127.0.0.1:11580. Để tương thích với SDK và công cụ của nhiều nhà cung cấp khác nhau, gateway cung cấp các endpoint với nhiều định dạng giao thức ngay trên cùng một cổng:
| Định dạng giao thức | Đường dẫn endpoint | Trường hợp sử dụng |
|---|---|---|
| Tương thích OpenAI | http://127.0.0.1:11580/v1 | Mọi SDK / công cụ dùng định dạng OpenAI API (ví dụ /v1/chat/completions) |
| Tương thích Anthropic | http://127.0.0.1:11580/v1/messages | Anthropic SDK, Claude Code, v.v. |
| Tương thích Gemini | http://127.0.0.1:11580/v1beta | Google Gemini SDK, v.v. |
Bạn chỉ cần chọn định dạng tương ứng theo giao thức của SDK đang dùng và hướng request đến địa chỉ gateway; gateway sẽ dựa trên quyền của khóa ảo để định tuyến request đến kênh của nhà cung cấp phù hợp.
Xác thực: dùng khóa ảo
Mọi request gửi tới gateway đều được xác thực bằng khóa ảo, chứ không phải Key thật của nhà cung cấp. Trước tiên, hãy tạo một khóa ảo tại trang Khóa và sao chép bản rõ của nó.
Tại trang AI Gateway → Endpoint (Endpoints), bạn có thể chọn một khóa ảo; gateway sẽ tạo sẵn đoạn biến môi trường có thể sao chép cho các công cụ thường dùng.
Ví dụ về biến môi trường
Các ví dụ dưới đây giả định bạn đã có một khóa ảo (ký hiệu là <khóa ảo của bạn>).
SDK / công cụ tương thích OpenAI
bash
export OPENAI_BASE_URL="http://127.0.0.1:11580/v1"
export OPENAI_API_KEY="<khóa ảo của bạn>"1
2
2
Claude Code / Anthropic
bash
# Lưu ý: giao thức Anthropic dùng địa chỉ gốc của gateway, không kèm /v1
export ANTHROPIC_BASE_URL="http://127.0.0.1:11580"
export ANTHROPIC_AUTH_TOKEN="<khóa ảo của bạn>"1
2
3
2
3
Gemini
bash
export GOOGLE_GEMINI_BASE_URL="http://127.0.0.1:11580"
export GEMINI_API_KEY="<khóa ảo của bạn>"1
2
2
Ví dụ gọi (tương thích OpenAI)
bash
curl http://127.0.0.1:11580/v1/chat/completions \
-H "Authorization: Bearer <khóa ảo của bạn>" \
-H "Content-Type: application/json" \
-d '{
"model": "gpt-4o",
"messages": [{"role": "user", "content": "你好"}]
}'1
2
3
4
5
6
7
2
3
4
5
6
7
Trong đó model phải là model bạn đã cấu hình trong kênh và được khóa ảo này cho phép gọi.
Điều kiện tiên quyết
- Dịch vụ proxy của AI Gateway đang chạy.
- Đã cấu hình ít nhất một kênh hoạt động tốt, đồng thời tạo khóa ảo có quyền tương ứng với model / kênh.
Câu hỏi thường gặp (FAQ)
- Hỏi: Request trả về lỗi xác thực?
- Đáp: Hãy xác nhận rằng bạn đang dùng khóa ảo (chứ không phải Key thật của nhà cung cấp), và khóa đó chưa hết hạn, chưa bị thu hồi.
- Hỏi: Báo lỗi model không khả dụng hoặc không có quyền?
- Đáp: Hãy xác nhận rằng
modelđó đã được cấu hình trong một kênh nào đó, và mục "Model / kênh được phép" của khóa ảo hiện tại có bao gồm nó.
- Đáp: Hãy xác nhận rằng
- Hỏi: Nên dùng định dạng endpoint nào?
- Đáp: Chọn theo giao thức của SDK bạn đang dùng — kiểu OpenAI dùng
/v1, kiểu Anthropic dùng/v1/messages(Base URL không kèm/v1), kiểu Gemini dùng/v1beta.
- Đáp: Chọn theo giao thức của SDK bạn đang dùng — kiểu OpenAI dùng
- Hỏi: Các thiết bị khác trong mạng LAN có truy cập được gateway không?
- Đáp: Mặc định gateway chỉ lắng nghe
127.0.0.1(chỉ máy cục bộ). Đây là cấu hình được khuyến nghị vì lý do bảo mật.
- Đáp: Mặc định gateway chỉ lắng nghe
Tổng kết
AI Gateway cung cấp ra bên ngoài một endpoint cục bộ thống nhất với ba định dạng tương thích OpenAI / Anthropic / Gemini; kết hợp với xác thực bằng khóa ảo, bạn có thể kết nối bất kỳ ứng dụng hay công cụ AI nào với gateway, tận hưởng việc quản lý khóa và thống kê mức sử dụng tập trung. Với các công cụ CLI thường dùng, dùng trực tiếp tiếp quản chỉ với một cú nhấp sẽ tiện lợi hơn.
