Quản Lý Kênh trong AI Gateway

Kênh (Channel) là cấu hình điểm kết nối với nhà cung cấp trong AI Gateway – nơi lưu trữ địa chỉ của nhà cung cấp, API Key thực tế, các mô hình hỗ trợ, giá, hạn mức,... Gateway sẽ dựa vào các kênh này để điều phối yêu cầu từ các ứng dụng tới đúng nhà cung cấp. Bài viết này sẽ hướng dẫn bạn cách thêm, cấu hình, kiểm thử và quản lý kênh.

Điều kiện cần

• Đã cài đặt và chạy ServBay, đăng nhập tài khoản ServBay (cần đăng nhập trước khi thêm kênh).
• Có sẵn API Key thật của nhà cung cấp bạn muốn thêm (với kênh cục bộ như Ollama / LM Studio có thể bỏ trống).
• Nếu chưa nắm rõ kiến trúc của AI Gateway, nên đọc trước Giới thiệu AI Gateway.

Thêm kênh mới

Vào AI Gateway → Kênh (Channels), nhấn Thêm (Add) để khởi động hướng dẫn. Các bước thêm kênh gồm 3 bước.

Bước 1: Chọn nhà cung cấp

Danh sách nhà cung cấp được nhóm theo loại. Nhấn lên thẻ bất kỳ để chọn:

• Phổ biến (Mainstream): OpenAI, Anthropic, Google Gemini, Azure OpenAI, AWS Bedrock, OpenRouter.
• Trung Quốc (China): DeepSeek, Qwen, Zhipu GLM, Kimi, Doubao·Volcano, Wenxin Yiyan, Hunyuan, MiniMax, 01.AI, StepStar.
• Cục bộ (Local): Ollama, LM Studio.
• Tùy chỉnh (Custom): OpenAI Compatible, Custom.

Sau khi chọn, Gateway sẽ tự động điền Base URL mặc định của nhà cung cấp đó.

Chuyển đổi hai vùng

Các nhà cung cấp Trung Quốc như Qwen, Zhipu GLM, Kimi, Doubao·Volcano, Hunyuan, MiniMax, StepStar đều có 2 endpoint: Nội địa và Toàn cầu. Khi chọn, sẽ hiển thị nút chọn “Khu vực” (🇨🇳 Nội địa / 🌐 Toàn cầu), thay đổi vùng sẽ tự động cập nhật địa chỉ Base URL tương ứng.

Bước 2: Nhập thông tin cấu hình

• Tên kênh (bắt buộc) — Dùng để phân biệt các kênh trên danh sách, bạn có thể tùy chỉnh.
• Base URL (bắt buộc) — Địa chỉ API của nhà cung cấp. Phần lớn đã tự động điền; Azure OpenAI và Custom cần bạn nhập tay.
• API Key (tuỳ chọn) — API Key thực của nhà cung cấp. Nếu để trống chỉ kiểm tra được endpoint có kết nối không, không xác thực hiệu lực key; với các nhà cung cấp cục bộ (Ollama / LM Studio) thường không cần.
• Mô hình — Có 2 cách, chọn một trong hai:
  • Tự động phát hiện: Nhấp "phát hiện", Gateway sẽ gọi API nhà cung cấp để lấy danh sách mô hình, bạn tick chọn các mô hình bằng chip.
  • Nhập tay: Tự nhập tên mô hình. Với Azure cần nhập Deployment name thay vì model name.
• Ưu tiên / Trọng số — Khi nhiều kênh phục vụ cùng một mô hình, Gateway sẽ dựa vào đây để quyết định phân tải và điều phối request.

Lưu ý với Azure OpenAI

Với kênh Azure, trường “Mô hình” cần nhập Deployment name bạn đã tạo trên portal Azure, KHÔNG phải tên model gốc. Base URL cũng cần là endpoint tài nguyên Azure của bạn.

Bước 3: Xác nhận và hoàn tất

Kiểm tra lại tóm tắt cấu hình, bấm gửi để hoàn tất. Sau khi tạo, kênh sẽ xuất hiện trên danh sách và hiển thị trạng thái sức khoẻ thời gian thực.

Kiểm thử kết nối

Bạn có thể thực hiện kiểm thử với từng kênh trên danh sách. Kết quả sẽ được đánh giá qua 2 tiêu chí:

• Kết nối endpoint (reachable) — Kiểm tra Base URL có kết nối được không (đúng địa chỉ, có mạng,…)
• API Key hợp lệ (authenticated) — Gọi thử API nhà cung cấp để xác thực API Key. Chỉ kiểm tra khi đã nhập Key.

Kết quả sẽ gồm: độ trễ (ms), biểu tượng trạng thái và thông báo lỗi (nếu có).

TIP

Khi thêm kênh mới, nếu Base URL không kết nối được, hệ thống sẽ không cho sang bước tiếp theo; Nếu kết nối được nhưng API Key sai sẽ chỉ cảnh báo, bạn vẫn có thể tiếp tục (ví dụ có thể thêm Key sau).

Cấu hình nâng cao

Khi thêm/sửa kênh, bạn có thể mở phần cấu hình nâng cao để tính toán chi phí và kiểm soát hạn mức:

• Hệ số nhân giá (Rate Multiplier) — Nhân giá niêm yết của nhà cung cấp với hệ số tuỳ chọn, giúp bạn tự tính chi phí hoặc định giá resell, mặc định là 1.0.
• Cách tính phí — Ghi chú thông tin tính phí của kênh, ví dụ trả theo dùng (pay as you go), thuê bao (subscription), hay gói cước (package).
• Số dư — Có thể chọn số dư cố định, lấy từ OSS bill hoặc nhập tay; Nếu chọn OSS bill có thể chỉ định kiểu bill. Số dư và thời gian cập nhật chỉ đọc ở trang chi tiết kênh.
• Thời gian hết hạn thuê bao — Kênh dạng thuê bao/gói có thể nhập ngày hết hạn.
• Hạn mức (VIP) — Đặt giới hạn theo số Token, số lượt truy cập hoặc số tiền, chọn chu kỳ (ngày/tuần/tháng/tùy chỉnh) và có thể bật “cho phép vượt nhẹ” để chịu đựng xài quá mức một tỷ lệ nhất định. Hạn mức này là tính năng trả phí.

Sửa và xoá kênh

• Sửa — Nhấn vào kênh bất kỳ trên danh sách để đổi tên, Base URL, API Key, mô hình và cấu hình nâng cao.
• Xoá — Xoá kênh sẽ khiến các khóa ảo phụ thuộc vào nó không thể điều phối tới, nên cần cân nhắc kỹ.

Trạng thái sức khoẻ

Danh sách kênh và trang tổng quan sẽ cập nhật trạng thái sức khoẻ của từng kênh (Bình thường / Suy giảm / Không khả dụng), giúp bạn phát hiện lỗi cấu hình sớm.

Câu hỏi thường gặp (FAQ)

• Q: Thêm kênh mà bị báo cần đăng nhập?
  • A: AI Gateway là tính năng giá trị gia tăng của ServBay, bạn phải đăng nhập tài khoản để thêm kênh/API Key theo hướng dẫn trên giao diện.
• Q: Báo đã đạt số lượng kênh tối đa?
  • A: Số lượng kênh tuỳ theo loại tài khoản, nếu đạt giới hạn bạn có thể xoá bớt hoặc nâng cấp gói.
• Q: Không phát hiện được danh sách mô hình?
  • A: Kiểm tra lại Base URL đã nhập đúng chưa, API Key có hợp lệ không (bạn có thể dùng tính năng kiểm thử API Key). Một số nhà cung cấp yêu cầu API Key hợp lệ mới trả về danh sách mô hình; bạn cũng có thể nhập tay tên các mô hình.
• Q: Thêm kênh nội bộ Ollama / LM Studio có cần nhập Key không?
  • A: Thường không cần. Chỉ cần chắc chắn dịch vụ cục bộ đã chạy đúng port mặc định (Ollama 11434, LM Studio 1234).

Tóm tắt

Kênh là nền tảng định tuyến yêu cầu của AI Gateway. Chỉ với 3 bước đơn giản, bạn dễ dàng kết nối gần 20 nhà cung cấp AI. Kết hợp khả năng chuyển vùng địa lý, phát hiện mô hình tự động và kiểm thử kết nối hai chiều giúp đảm bảo cấu hình chuẩn xác. Thêm vào đó, các tùy chọn chi phí và hạn mức nâng cao giúp bạn quản lý ngân sách hiệu quả. Sau khi đã thêm kênh, bạn có thể tạo Khoá ảo phục vụ cho ứng dụng hoặc công cụ bên ngoài.