Penghalaan dan Pemilihan Model: Hubungan antara Saluran, Model dan Klien
Apabila menggunakan gerbang AI, tiga konsep yang paling mudah mengelirukan ialah saluran, model dan klien. Memahami hubungan ketiga-tiganya dapat membantu anda membuat tetapan penghalaan dengan betul dan mengelakkan kekeliruan seperti "mengapa permintaan saya tidak melalui saluran yang saya jangkakan".
Tiga Konsep Asas
- Saluran ialah satu sambungan upstream: satu instance Ollama, atau satu akaun penyedia perkhidmatan awan.
- Model ialah satu keupayaan pada saluran: contohnya nama model khusus seperti
qwen3:8b. - Klien ialah alat AI yang anda gunakan setiap hari: Claude Code, Codex, opencode dan lain-lain.
Hubungan ketiga-tiganya membentuk satu rantaian sehala:
Klien → (kunci maya) → Gerbang (strategi penghalaan) → Saluran → Model
Pada setiap permintaan, klien menyatakan nama model di dalam permintaan; gerbang kemudian mencari saluran yang mampu melayan model tersebut berdasarkan namanya, lalu memajukan permintaan ke saluran berkenaan.
Apa Maksud "model (nama saluran)" dalam Senarai Model
Dalam pemilih model pada klien seperti Claude Code dan opencode, anda akan melihat entri seperti qwen3:8b (Ollama Qwen3). Nama dalam kurungan menunjukkan saluran asal model tersebut, bukan "sambungan lain":
- Antara klien anda dan gerbang sentiasa hanya wujud satu sambungan sahaja (satu alamat + satu kunci maya).
- Model yang sama juga boleh ditetapkan pada berbilang saluran. Dalam kes ini, pemilih tetap hanya memaparkan satu baris (kurungan memaparkan salah satu saluran asal), dan saluran mana yang benar-benar melayan setiap permintaan ditentukan oleh strategi penghalaan (lihat di bawah).
Tiga Mod Penghalaan: Fixed, Failover, Balanced
Soalan yang dijawab oleh strategi penghalaan ialah: apabila model yang sama boleh dilayani oleh berbilang saluran, saluran mana yang akan digunakan?
| Mod | Tingkah Laku | Senario Sesuai |
|---|---|---|
| Fixed (tetap) | Sentiasa menggunakan saluran yang sama | Kualiti saluran stabil dan anda mahu mengunci sumbernya |
| Failover (utama–sandaran) | Apabila saluran utama gagal atau kuotanya habis, bertukar secara berurutan ke saluran sandaran | Konfigurasi yang mempunyai saluran utama dan sandaran |
| Balanced (seimbang) | Mengagihkan permintaan secara bergilir antara saluran yang tersedia | Mengagihkan beban merentas berbilang saluran yang setara |
Dua batasan penting:
- Penghalaan hanya bertukar antara saluran, tidak menukar model. Model yang diminta sentiasa ditentukan oleh klien anda; gerbang tidak akan menukar model untuk anda.
- Model yang berbeza memang melalui saluran masing-masing. Balanced tidak akan "kali ini guna model dari saluran A, kali berikutnya model dari saluran B" — ia hanya bergilir antara berbilang saluran bagi model yang sama.
Model Ditentukan oleh Klien: Cara Menukar Model
Gerbang hanya bertanggungjawab memajukan permintaan: alat anda menyertakan nama model dalam setiap permintaan, dan gerbang menghalanya mengikut nama tersebut. Penukaran model dilakukan di dalam klien:
- opencode: taip
/modelsdalam TUI untuk memilih; atau tetapkanmodel(model utama) dansmall_model(tugasan ringan seperti penjanaan tajuk) dalamopencode.json. - Claude Code: gunakan arahan
/modeluntuk bertukar. - Codex: nyatakan melalui parameter
-m <model>atau fail konfigurasi.
Menyambungkan Alat Harian ke Gerbang dengan Selamat
Bimbang ia menjejaskan kerja harian anda? Ikuti proses ini:
- Cuba dahulu pada projek kurang penting: selesaikan integrasi satu klik dalam direktori projek yang tidak penting, dan pastikan aliran kerja berjalan dengan lancar.
- Sahkan dengan satu permintaan: hantar satu permintaan ujian, kemudian buka halaman "Rekod Penggunaan" untuk melihat model mana dan saluran mana yang melayannya, serta berapa kosnya.
- Boleh berundur pada bila-bila masa: hentikan pengambilalihan di halaman "Pengurusan Integrasi". Selepas dihentikan: konfigurasi yang ditulis oleh ServBay akan dibuang, dan kunci maya yang dibuat semasa pengambilalihan akan dibatalkan; konfigurasi tersuai anda sebelum ini tidak akan dipulihkan secara automatik — sila laraskan secara manual jika perlu, dan ia berkuat kuasa selepas klien dimulakan semula.
Ringkasan
- Saluran = sambungan upstream; model = keupayaan pada saluran; nama model dinyatakan oleh klien dalam setiap permintaan.
- Strategi penghalaan hanya memilih antara "berbilang saluran bagi model yang sama": Fixed untuk kekal tetap, Failover untuk utama–sandaran, Balanced untuk giliran.
- Tukar model melalui pemilih model pada klien; semak saluran/model yang melayan setiap permintaan serta kosnya di halaman "Rekod Penggunaan".
