Routing dan Pemilihan Model: Hubungan antara Channel, Model, dan Klien

Saat menggunakan AI gateway, tiga konsep yang paling mudah membingungkan adalah: channel, model, dan klien. Memahami hubungan di antara ketiganya akan membantu Anda mengonfigurasi routing dengan benar dan menghindari kebingungan seperti "mengapa permintaan tidak melewati channel yang saya harapkan".

Tiga Konsep Dasar

• Channel adalah koneksi upstream: satu instance Ollama, atau satu akun penyedia cloud.
• Model adalah sebuah kemampuan pada channel: misalnya nama model spesifik seperti qwen3:8b.
• Klien adalah tool AI yang Anda gunakan sehari-hari: Claude Code, Codex, opencode, dan lainnya.

Hubungan di antara ketiganya membentuk rantai satu arah:

Klien → (kunci virtual) → Gateway (kebijakan routing) → Channel → Model

Setiap kali permintaan dikirim, klien menentukan nama model di dalam permintaan tersebut, gateway mencari channel yang dapat melayani model itu berdasarkan namanya, lalu meneruskan permintaan ke sana.

Apa Arti "model (nama channel)" dalam Daftar Model

Di pemilih model pada klien seperti Claude Code dan opencode, Anda akan melihat entri seperti qwen3:8b (Ollama Qwen3). Nama dalam tanda kurung menunjukkan channel sumber dari model tersebut, bukan "koneksi lain":

• Antara klien Anda dan gateway selalu hanya ada satu koneksi (satu alamat + satu kunci virtual).
• Model yang sama juga dapat dikonfigurasi di beberapa channel. Dalam kasus ini, pemilih tetap hanya menampilkan satu baris (dengan salah satu channel sumber ditampilkan dalam tanda kurung), dan channel mana yang benar-benar melayani setiap permintaan ditentukan oleh kebijakan routing (lihat penjelasan di bawah).

Tiga Mode Routing: Fixed, Failover, Balanced

Pertanyaan yang dijawab oleh kebijakan routing adalah: ketika satu model dapat dilayani oleh beberapa channel, channel mana yang digunakan?

Mode	Perilaku	Skenario yang Cocok
Fixed (tetap)	Selalu menggunakan channel yang sama	Kualitas channel stabil, ingin mengunci sumber
Failover (utama-cadangan)	Beralih secara berurutan ke channel cadangan saat channel utama gagal atau kuotanya habis	Konfigurasi dengan channel utama dan cadangan
Balanced (seimbang)	Mendistribusikan permintaan secara bergantian di antara channel yang tersedia	Membagi beban di beberapa channel yang setara

Dua batasan penting:

1. Routing hanya beralih di antara channel, tidak mengganti model. Model yang diminta selalu ditentukan oleh klien Anda; gateway tidak akan mengganti model atas nama Anda.
2. Model yang berbeda memang sudah melalui channelnya masing-masing. Balanced tidak akan "kali ini memakai model dari channel A, lain kali memakai model dari channel B" — ia hanya bergantian di antara beberapa channel untuk model yang sama.

Model Ditentukan oleh Klien: Cara Mengganti Model

Gateway hanya bertugas meneruskan: tool Anda menyertakan nama model pada setiap permintaan, dan gateway melakukan routing sesuai dengan itu. Penggantian model dilakukan di sisi klien:

• opencode: ketik /models di TUI untuk memilih; atau konfigurasikan model (model utama) dan small_model (tugas ringan seperti pembuatan judul) di opencode.json.
• Claude Code: gunakan perintah /model untuk berganti.
• Codex: gunakan parameter -m <model> atau tentukan melalui file konfigurasi.

Menghubungkan Tool Harian ke Gateway secara Aman

Khawatir akan mengganggu penggunaan sehari-hari? Ikuti alur berikut:

1. Uji dulu dengan proyek yang kurang penting: selesaikan integrasi satu klik di direktori proyek yang tidak penting, lalu pastikan alur kerja berjalan normal.
2. Verifikasi dengan satu permintaan: kirim satu permintaan uji, lalu buka halaman "Riwayat Penggunaan" untuk melihat model mana dan channel mana yang menanganinya, serta berapa biayanya.
3. Kembali kapan saja: hentikan takeover di halaman "Manajemen Integrasi". Setelah dihentikan: konfigurasi yang ditulis oleh ServBay akan dihapus dan kunci virtual yang dibuat saat takeover akan dicabut; konfigurasi kustom Anda sebelumnya tidak akan dipulihkan secara otomatis — sesuaikan secara manual bila perlu, dan restart klien agar perubahan berlaku.

Ringkasan

• Channel = koneksi upstream; model = kemampuan pada channel; nama model ditentukan oleh klien pada setiap permintaan.
• Kebijakan routing hanya memilih di antara "beberapa channel untuk model yang sama": Fixed mengunci channel, Failover utama-cadangan, Balanced bergantian.
• Ganti model melalui pemilih model di klien; periksa tujuan dan biaya setiap permintaan di halaman "Riwayat Penggunaan".

Artikel Terkait

• Pengenalan AI Gateway
• Manajemen Channel
• Kunci Virtual
• Takeover Satu Klik