Quản lý kênh trong AI Gateway
"Kênh (Channel)" là cấu hình điểm truy cập nhà cung cấp trong AI Gateway — nó lưu trữ địa chỉ, API Key thực, các mô hình khả dụng cùng thông tin định giá và hạn mức của một nhà cung cấp. Gateway dựa trên các kênh này để định tuyến yêu cầu từ ứng dụng đến nhà cung cấp tương ứng. Bài viết này giới thiệu cách thêm, cấu hình, kiểm tra và quản lý kênh.
Điều kiện tiên quyết
- Đã cài đặt và đang chạy ServBay, đồng thời đã đăng nhập tài khoản ServBay (cần đăng nhập trước khi thêm kênh).
- Đã chuẩn bị API Key thực của nhà cung cấp mục tiêu (nhà cung cấp cục bộ như Ollama / LM Studio có thể để trống).
- Nếu chưa hiểu tổng thể kiến trúc AI Gateway, bạn nên đọc Giới thiệu AI Gateway trước.
Thêm kênh
Truy cập trang AI Gateway → Kênh (Channels), nhấp vào Thêm (Add) để mở trình hướng dẫn. Trình hướng dẫn gồm ba bước.
Bước 1: Chọn nhà cung cấp
Nhà cung cấp được hiển thị theo nhóm, nhấp vào thẻ để chọn:
- Chính thống (Mainstream): OpenAI, Anthropic, Google Gemini, Azure OpenAI, AWS Bedrock, OpenRouter.
- Trung Quốc (China): DeepSeek, Qwen (Tongyi Qianwen), Zhipu GLM, Kimi, Doubao·Volcano, ERNIE Bot (Văn Tâm Nhất Ngôn), Hunyuan, MiniMax, 01.AI (Yi), StepFun.
- Cục bộ (Local): Ollama, LM Studio.
- Tùy chỉnh (Custom): OpenAI Compatible, Custom.
Sau khi chọn nhà cung cấp, Gateway sẽ tự động điền Base URL mặc định của nhà cung cấp đó.
Chuyển đổi hai khu vực
Các nhà cung cấp Trung Quốc như Qwen, Zhipu GLM, Kimi, Doubao·Volcano, Hunyuan, MiniMax, StepFun đồng thời cung cấp hai bộ endpoint: nội địa (Trung Quốc) và toàn cầu. Khi chọn loại nhà cung cấp này, trình hướng dẫn sẽ hiển thị bộ chọn "Khu vực" (🇨🇳 Nội địa / 🌐 Toàn cầu), sau khi chuyển đổi Base URL sẽ tự động cập nhật thành địa chỉ khu vực tương ứng.
Bước 2: Điền cấu hình
- Tên kênh (bắt buộc) — Dùng để nhận diện kênh trong danh sách, có thể tùy chỉnh.
- Base URL (bắt buộc) — Địa chỉ API của nhà cung cấp. Hầu hết nhà cung cấp đã được điền sẵn; Azure OpenAI và Custom cần bạn điền thủ công.
- API Key (tùy chọn) — Khóa thực của nhà cung cấp. Nếu để trống, chỉ có thể kiểm tra endpoint có thể truy cập hay không, không thể xác minh tính hợp lệ của khóa; nhà cung cấp cục bộ (Ollama / LM Studio) thường không cần điền.
- Mô hình — Có hai cách, chọn một trong hai:
- Tự động phát hiện: Sau khi nhấp phát hiện, Gateway gọi API danh sách mô hình của nhà cung cấp để lấy các mô hình khả dụng, bạn chọn nhiều bằng thẻ nhãn (chip).
- Điền thủ công: Nhập trực tiếp tên mô hình. Kênh Azure cần điền Tên triển khai (Deployment name) thay vì tên mô hình.
- Ưu tiên / Trọng số — Khi có nhiều kênh có thể phục vụ cùng một mô hình, Gateway dựa vào đây để quyết định định tuyến và phân phối tải.
Lưu ý về Azure OpenAI
Trường "Mô hình" của kênh Azure nên điền Tên triển khai (Deployment name) bạn đã tạo trong Azure Portal, chứ không phải tên mô hình cơ sở. Base URL cũng cần điền endpoint tài nguyên Azure của bạn.
Bước 3: Xác nhận và gửi
Kiểm tra tóm tắt cấu hình rồi gửi. Sau khi gửi thành công, kênh mới sẽ xuất hiện trong danh sách kênh và hiển thị trạng thái sức khỏe theo thời gian thực.
Thăm dò năng lực và chiến lược định tuyến
Sau khi thêm kênh, Gateway sẽ thực hiện thăm dò năng lực (capability probing) đối với kênh đó — đây là cơ chế định tuyến thông minh cốt lõi nhất của AI Gateway. Kết quả thăm dò quyết định liệu các công cụ như Claude Code có thể sử dụng trực tiếp hay cần tạo ánh xạ mô hình, cũng như cách chọn mô hình mục tiêu.
Hai chỉ số then chốt của thăm dò
Gateway thăm dò hai sự kiện cốt lõi cho mỗi kênh (đều là ba trạng thái: true / false / chưa xác định):
| Mục thăm dò | Ý nghĩa | true | false | Chưa xác định |
|---|---|---|---|---|
Nhận tên mô hình Claude (accepts_claude_names) | Kênh có nhận diện nguyên bản các tên mô hình claude-opus-* / claude-sonnet-* / claude-haiku-* hay không | Kết nối trực tiếp, không cần ánh xạ | Không nhận, phải tạo ánh xạ để dịch tên claude-* thành tên mô hình thực của upstream | Thăm dò chưa chạy hoặc thất bại, chưa thể kết luận |
Phân biệt theo bậc (tier_aware) | Upstream có tự trả về mô hình khác nhau theo bậc opus / sonnet / haiku hay không | Upstream đã phân bậc, chỉ cần giao cho upstream xử lý | Không phân bậc (trả về cùng một mô hình cho mọi bậc), cần Gateway tạo ánh xạ | Không thể thăm dò hoặc chưa từng thăm dò |
Tại sao cần thăm dò thay vì phỏng đoán
Hành vi của các nhà cung cấp khác nhau rất nhiều. OpenAI nguyên bản không nhận tên mô hình claude-*; một số nhà cung cấp trung chuyển nhận diện thông qua chuyển tiếp; còn các nhà cung cấp gói lập trình (như gói đăng ký Claude Pro/Max) có thể chỉ nhận tên mô hình cụ thể gắn với đăng ký. Gateway không phỏng đoán dựa trên loại kênh mà thăm dò thực tế rồi mới quyết định chiến lược định tuyến.
Phán định định tuyến: năm trạng thái
Khi bạn thực hiện "Tiếp quản một chạm" cho Claude Code tại AI Gateway → Quản lý truy cập → trang khách hàng, Gateway sẽ tổng hợp kết quả thăm dò của tất cả kênh ứng viên để đưa ra một phán định định tuyến:
| Trạng thái kênh ứng viên | Phán định | Ý nghĩa |
|---|---|---|
| Không có kênh ứng viên khả dụng (không có kênh / tất cả không khỏe mạnh / không có kênh trong phạm vi khóa ảo) | Không có kênh ứng viên | Bạn cần thêm hoặc sửa kênh trước |
| Giá trị thăm dò của bất kỳ kênh ứng viên nào là chưa xác định | Chưa kiểm tra | Cần chạy thăm dò trước, không thể tạo ánh xạ khi chưa xác minh |
| Tất cả kênh ứng viên đều nhận tên mô hình claude | Kết nối trực tiếp | Không tạo ánh xạ, yêu cầu được chuyển tiếp nguyên dạng |
| Tất cả kênh ứng viên đều không nhận tên mô hình claude | Bắt buộc ánh xạ | Gateway tạo ánh xạ ba bậc, dịch claude-* thành tên mô hình thực của upstream |
| Trong ứng viên có cả kênh nhận và không nhận | Hỗn hợp | Cần quyết định thủ công (kênh nhận thì đi trực tiếp, không nhận thì đi ánh xạ) |
Ánh xạ mô hình: dịch claude-* thành mô hình thực của upstream
Khi phán định là "Bắt buộc ánh xạ", Gateway sẽ tạo ba quy tắc ánh xạ mô hình cho Claude Code, bao phủ ba bậc:
| Tên mô hình Claude Code gửi đi | Quy tắc ánh xạ (ký tự đại diện) | Ánh xạ đến |
|---|---|---|
claude-opus-* | Khớp mọi yêu cầu bậc opus | Mô hình hàng đầu trong kênh ứng viên |
claude-sonnet-* | Khớp mọi yêu cầu bậc sonnet | Mô hình hàng đầu hoặc mô hình tiêu chuẩn trong kênh ứng viên |
claude-haiku-* | Khớp mọi yêu cầu bậc haiku | Mô hình nhẹ trong kênh ứng viên |
Quy tắc chọn mô hình mục tiêu (dự phòng theo thứ tự ưu tiên):
- Cài đặt sẵn theo dòng họ: Nếu trong mô hình ứng viên xuất hiện từ khóa dòng họ đã biết (như
glm), trực tiếp lấy mẫu hàng đầu của dòng họ đó (nhưglm-5.2) làm mục tiêu bậc opus/sonnet, lấy mẫu nhẹ của dòng họ đó (nhưglm-4.7-flash) làm mục tiêu bậc haiku. - Khớp từ khóa: Khi không có cài đặt sẵn dòng họ, opus/sonnet lấy mô hình đầu tiên trong danh sách ứng viên; haiku lấy mô hình đầu tiên khớp từ khóa nhẹ (
flash/mini/lite/air/small/turbo/haiku) trong ứng viên. - Dự phòng cuối: Khi vẫn chưa khớp, cả ba bậc đều lấy mô hình đầu tiên trong danh sách ứng viên.
Cấu hình sai bậc haiku có giá đắt nhất
Khối lượng gọi của bậc haiku trong Claude Code là lớn nhất (mọi cuộc hội thoại đều dùng nó cho các gọi nhẹ). Nếu vô tình điền mô hình hàng đầu vào bậc haiku, hóa đơn có thể tăng gấp nhiều lần. Bảng khớp từ khóa của Gateway bao phủ 7 loại hậu tố nhẹ (flash / mini / lite / air / small / turbo / haiku), đảm bảo không điền mô hình nặng vào bậc haiku.
Cơ chế ghi ánh xạ
Sau khi xác nhận tiếp quản, Gateway ghi bản ghi ánh xạ thông qua API /admin/model-mappings. Mỗi bản ghi ánh xạ bao gồm:
- Giao thức nguồn (
source_protocol):anthropic(yêu cầu do Claude Code gửi đi có định dạng Anthropic) - Khớp mô hình nguồn (
source_model_pattern): ký tự đại diện, nhưclaude-opus-* - Giao thức đích (
target_protocol):openai(chuyển đổi thống nhất sang định dạng OpenAI để gửi đến upstream) - Mô hình đích (
target_model): tên mô hình cụ thể được chọn từ thăm dò
Việc ghi là idempotent — tiếp quản lặp lại sẽ không tạo ánh xạ trùng; trước khi ghi sẽ lấy danh sách ánh xạ hiện có để đối chiếu.
Quy tắc định tuyến thời gian chạy: failover và giảm cấp
Ngoài các ánh xạ tĩnh được ghi trong giai đoạn tiếp quản, Gateway còn hỗ trợ quy tắc định tuyến thời gian chạy (routing rules), đưa ra quyết định động khi yêu cầu đi qua Gateway:
| Trường quy tắc | Tác dụng |
|---|---|
Điều kiện kích hoạt (condition_type) | Khi nào kích hoạt giảm cấp, như khi kênh cạn hạn mức (quota_exhausted) |
Ngưỡng chi phí (cost_threshold_usd) | Tùy chọn: kích hoạt khi chi phí tích lũy của kênh vượt ngưỡng |
Hành động (action_type) | Làm gì sau khi kích hoạt, như chuyển sang kênh dự phòng chỉ định (switch_to) |
Kênh đích (target_channel_id) | Kênh dự phòng để giảm cấp đến |
Mô hình đích (target_model) | Tùy chọn: đồng thời chuyển mô hình khi giảm cấp sang kênh dự phòng |
Bằng cách kết hợp nhiều quy tắc định tuyến, bạn có thể thực hiện: tự động chuyển sang endpoint trả theo lượng dùng của kênh B khi hạn mức đăng ký của kênh A cạn; giảm cấp xuống mô hình rẻ hơn khi chi phí 24 giờ của một kênh vượt giới hạn.
Cân bằng tải và ưu tiên
Khi nhiều kênh khỏe mạnh có thể phục vụ cùng một mô hình, Gateway chọn theo chiến lược sau:
- Chế độ ưu tiên (mặc định): Chỉ lấy kênh có ưu tiên cao nhất; trong các kênh cùng ưu tiên, Gateway phân phối theo trọng số nội bộ.
- Chế độ luân phiên (
round_robin): Luân phiên phân phối yêu cầu giữa tất cả kênh ứng viên khỏe mạnh.
Ưu tiên được thiết lập trong cấu hình kênh (số càng lớn ưu tiên càng cao), allowed_channels của khóa ảo giới hạn phạm vi kênh khả dụng.
Kiểm tra kết nối
Trong danh sách kênh, bạn có thể thực hiện kiểm tra kết nối cho từng kênh. Kiểm tra gồm hai chiều:
- Khả năng truy cập endpoint (reachable) — Kiểm tra Base URL có thể kết nối hay không (mạng và địa chỉ có đúng không).
- Tính hợp lệ của khóa (authenticated) — Thực tế gọi API nhà cung cấp để xác minh API Key có hợp lệ hay không. Chỉ xác minh khi đã điền API Key.
Kết quả kiểm tra sẽ hiển thị: độ trễ khứ hồi (mili giây), huy hiệu trạng thái và thông tin lỗi.
TIP
Trong trình hướng dẫn thêm, nếu endpoint không thể truy cập, bạn sẽ bị chặn không cho sang bước tiếp theo; nếu endpoint truy cập được nhưng khóa không hợp lệ, chỉ đưa ra cảnh báo, bạn vẫn có thể tiếp tục (ví dụ bạn dự định bổ sung khóa sau).
Cấu hình nâng cao
Khi thêm hoặc chỉnh sửa kênh, bạn có thể mở rộng cấu hình nâng cao để dùng cho tính toán chi phí và kiểm soát hạn mức:
- Hệ số định giá (Rate Multiplier) — Nhân với giá chính thức của nhà cung cấp một hệ số, thuận tiện tính toán theo chi phí thực hoặc giá bán lại của bạn, mặc định là
1.0. - Cấu trúc tính phí — Mô tả phương thức tính phí của kênh, như trả theo lượng dùng (pay as you go), đăng ký (subscription), gói (package).
- Số dư — Nguồn số dư có thể chọn giá trị cố định, hóa đơn OSS hoặc bảo trì thủ công; khi chọn hóa đơn OSS còn có thể chỉ định loại hóa đơn. Số dư và thời gian cập nhật được hiển thị chỉ đọc trong chi tiết kênh.
- Thời gian hết hạn đăng ký — Kênh loại đăng ký / gói có thể ghi lại thời gian hết hạn.
- Hạn mức — Có thể đặt giới hạn theo số Token, số yêu cầu hoặc số tiền, và chọn chu kỳ (hàng ngày / hàng tuần / hàng tháng / tùy chỉnh). Sau khi hạn mức cạn, kênh đó sẽ tự động bị loại khỏi định tuyến, là van an toàn ngăn chi tiêu vượt mức ngoài ý muốn.
Chỉnh sửa và xóa kênh
- Chỉnh sửa — Mở một kênh trong danh sách kênh để sửa tên, Base URL, API Key, mô hình và cấu hình nâng cao.
- Xóa — Sau khi xóa kênh, khóa ảo phụ thuộc vào kênh đó sẽ không thể định tuyến đến nó nữa, hãy thao tác cẩn thận.
Trạng thái sức khỏe
Danh sách kênh và trang tổng quan sẽ hiển thị theo thời gian thực trạng thái sức khỏe của từng kênh (bình thường / giảm cấp / không khả dụng), giúp bạn nhanh chóng phát hiện cấu hình nhà cung cấp bị hỏng.
Câu hỏi thường gặp (FAQ)
- H: Khi thêm kênh thông báo cần đăng nhập?
- Đ: AI Gateway là tính năng giá trị gia tăng của ServBay, cần đăng nhập tài khoản ServBay trước khi thêm kênh / khóa, chỉ cần đăng nhập theo hướng dẫn trên giao diện.
- H: Thông báo số lượng kênh đã đạt giới hạn?
- Đ: Số lượng kênh có thể tạo liên quan đến gói tài khoản, khi đạt giới hạn có thể xóa kênh không dùng hoặc nâng cấp gói.
- H: Tự động phát hiện mô hình không lấy được danh sách?
- Đ: Trước tiên hãy xác nhận Base URL đúng, API Key hợp lệ (có thể dùng "Tính hợp lệ của khóa" trong kiểm tra kết nối để xác minh), một số nhà cung cấp cần khóa hợp lệ mới trả về danh sách mô hình; cũng có thể chuyển sang điền thủ công tên mô hình.
- H: Kết nối Ollama / LM Studio cục bộ có cần điền Key không?
- Đ: Thường không cần. Chỉ cần đảm bảo dịch vụ cục bộ tương ứng đã khởi động và lắng nghe cổng mặc định (Ollama
11434, LM Studio1234).
- Đ: Thường không cần. Chỉ cần đảm bảo dịch vụ cục bộ tương ứng đã khởi động và lắng nghe cổng mặc định (Ollama
Tổng kết
Kênh là nền tảng để AI Gateway định tuyến yêu cầu. Thông qua trình hướng dẫn ba bước, bạn có thể nhanh chóng kết nối gần 20 nhà cung cấp, kết hợp chuyển đổi hai khu vực, tự động phát hiện mô hình và kiểm tra kết nối hai chiều để đảm bảo cấu hình đúng, rồi nhờ các cấu hình nâng cao như định giá và hạn mức để quản lý chi phí tinh tế. Sau khi cấu hình kênh xong, bạn có thể tạo khóa ảo để ứng dụng và công cụ sử dụng.
