Định tuyến và lựa chọn mô hình: Mối quan hệ giữa kênh, mô hình và máy khách
Khi sử dụng AI Gateway, ba khái niệm dễ gây nhầm lẫn nhất là: kênh (channel), mô hình (model) và máy khách (client). Hiểu rõ mối quan hệ giữa chúng sẽ giúp bạn cấu hình định tuyến đúng cách, tránh khỏi những thắc mắc kiểu như "tại sao yêu cầu không đi qua kênh như tôi mong đợi".
Ba khái niệm cơ bản
- Kênh (channel) là một kết nối thượng nguồn (upstream): một phiên bản Ollama, hoặc một tài khoản nhà cung cấp đám mây.
- Mô hình (model) là một năng lực trên kênh: ví dụ một tên mô hình cụ thể như
qwen3:8b. - Máy khách (client) là công cụ AI bạn dùng hàng ngày: Claude Code, Codex, opencode, v.v.
Mối quan hệ giữa chúng là một chuỗi liên kết một chiều:
Máy khách → (khóa ảo) → Gateway (chiến lược định tuyến) → Kênh → Mô hình
Với mỗi yêu cầu, máy khách sẽ chỉ định tên mô hình trong yêu cầu, Gateway dựa trên tên mô hình đó để tìm kênh có thể phục vụ và chuyển tiếp yêu cầu đến kênh đó.
Mục "model (tên kênh)" trong danh sách mô hình nghĩa là gì
Trong trình chọn mô hình của các máy khách như Claude Code, opencode, bạn sẽ thấy các mục như qwen3:8b (Ollama Qwen3). Tên trong ngoặc thể hiện kênh nguồn của mô hình này, chứ không phải là "một kết nối khác":
- Giữa máy khách của bạn và Gateway luôn chỉ có duy nhất một kết nối (một địa chỉ + một khóa ảo).
- Cùng một mô hình cũng có thể được cấu hình trên nhiều kênh. Khi đó, trình chọn vẫn chỉ hiển thị một dòng (trong ngoặc hiển thị một trong các kênh nguồn), còn việc mỗi yêu cầu thực tế được kênh nào phục vụ sẽ do chiến lược định tuyến quyết định (xem bên dưới).
Ba chế độ định tuyến: Fixed, Failover, Balanced
Chiến lược định tuyến trả lời câu hỏi: khi cùng một mô hình có nhiều kênh đều có thể phục vụ, thì dùng kênh nào?
| Chế độ | Hành vi | Tình huống phù hợp |
|---|---|---|
| Fixed (cố định) | Luôn sử dụng cùng một kênh | Kênh ổn định, muốn khóa nguồn |
| Failover (chính - dự phòng) | Khi kênh chính lỗi hoặc hết hạn mức, tự động chuyển sang kênh dự phòng theo thứ tự | Cấu hình có kênh chính lẫn kênh dự phòng |
| Balanced (cân bằng) | Phân bổ luân phiên các yêu cầu giữa các kênh khả dụng | Nhiều kênh đồng nhất cùng chia sẻ tải |
Hai ranh giới quan trọng cần lưu ý:
- Định tuyến chỉ chuyển đổi giữa các kênh, không chuyển đổi mô hình. Việc yêu cầu mô hình nào luôn do máy khách của bạn quyết định, Gateway sẽ không thay mô hình giúp bạn.
- Các mô hình khác nhau vốn dĩ đã đi qua kênh riêng của chúng. Balanced không hề "lần này dùng mô hình của kênh A, lần sau dùng mô hình của kênh B" — nó chỉ luân phiên giữa các kênh của cùng một mô hình mà thôi.
Mô hình do máy khách quyết định: cách chuyển đổi mô hình
Gateway chỉ đảm nhận chuyển tiếp: công cụ của bạn kèm theo tên mô hình trong mỗi yêu cầu, Gateway định tuyến theo đúng như vậy. Việc chuyển đổi mô hình được thực hiện ngay trong máy khách:
- opencode: nhập
/modelstrong TUI để chọn; hoặc cấu hìnhmodel(mô hình chính) vàsmall_model(dùng cho các tác vụ nhẹ như tạo tiêu đề) trongopencode.json. - Claude Code: dùng lệnh
/modelđể chuyển đổi. - Codex: dùng tham số
-m <model>hoặc chỉ định trong tệp cấu hình.
Kết nối an toàn các công cụ hàng ngày vào Gateway
Lo ngại ảnh hưởng đến việc sử dụng hàng ngày? Hãy làm theo quy trình sau:
- Thử trước với dự án thứ yếu: hoàn tất kết nối một chạm trong một thư mục dự án không quan trọng, xác nhận quy trình làm việc vẫn diễn ra bình thường.
- Xác minh bằng một yêu cầu: gửi một yêu cầu thử nghiệm, rồi vào trang "Lịch sử sử dụng" để xem yêu cầu rơi vào mô hình nào, kênh nào và tốn bao nhiêu chi phí.
- Luôn có thể quay lại: dừng tiếp quản tại trang "Quản lý kết nối". Sau khi dừng: cấu hình do ServBay ghi vào sẽ được gỡ bỏ, khóa ảo được tạo ra khi tiếp quản sẽ bị thu hồi; cấu hình tùy chỉnh trước đây của bạn sẽ không được tự động khôi phục, nếu cần hãy điều chỉnh thủ công, thay đổi sẽ có hiệu lực sau khi khởi động lại máy khách.
Tổng kết
- Kênh = kết nối thượng nguồn; mô hình = năng lực trên kênh; tên mô hình do máy khách chỉ định trong mỗi yêu cầu.
- Chiến lược định tuyến chỉ lựa chọn giữa "các kênh của cùng một mô hình": Fixed cố định, Failover chính - dự phòng, Balanced luân phiên.
- Chuyển đổi mô hình ngay trong trình chọn mô hình của máy khách; kiểm tra kênh và chi phí của từng yêu cầu tại trang "Lịch sử sử dụng".
