Mengelola Saluran di AI Gateway

"Saluran (Channel)" adalah konfigurasi titik akses vendor di AI Gateway—yang menyimpan alamat vendor, API Key asli, model yang tersedia, serta informasi seperti penetapan biaya dan kuota. Gateway menggunakan saluran ini untuk merutekan permintaan dari aplikasi ke vendor yang sesuai. Panduan ini menjelaskan cara menambah, mengatur, menguji, dan mengelola saluran.

Prasyarat

• ServBay telah terpasang dan berjalan, Anda sudah login ke akun ServBay (login diperlukan sebelum menambah saluran).
• Sudah menyiapkan API Key asli dari vendor tujuan (vendor lokal seperti Ollama / LM Studio tidak perlu diisi).
• Jika Anda belum memahami arsitektur AI Gateway secara umum, disarankan membaca Pengenalan AI Gateway terlebih dahulu.

Menambah Saluran

Buka halaman AI Gateway → Saluran (Channels), lalu klik Tambah (Add) untuk membuka wizard. Wizard terdiri dari tiga langkah.

Langkah 1: Pilih Vendor

Vendor dikelompokkan berdasarkan kategori, klik pada kartu untuk memilih:

• Mainstream: OpenAI, Anthropic, Google Gemini, Azure OpenAI, AWS Bedrock, OpenRouter.
• China: DeepSeek, Tongyi Qianwen, Zhipu GLM, Kimi, Doubao · Huoshan, Wenxin Yiyan, Hunyuan, MiniMax, Lingyi Wanwu, Jieyue Xingchen.
• Lokal: Ollama, LM Studio.
• Kustom: OpenAI Compatible, Custom.

Setelah memilih vendor, Gateway akan otomatis mengisi Base URL default dari vendor tersebut.

Pengalihan Dua Wilayah

Vendor Tiongkok seperti Tongyi Qianwen, Zhipu GLM, Kimi, Doubao · Huoshan, Hunyuan, MiniMax, dan Jieyue Xingchen menawarkan dua endpoint: Domestik dan Global. Jika memilih vendor seperti ini, wizard akan menampilkan pemilih "Wilayah" (🇨🇳 Domestik / 🌐 Global). Setelah dialihkan, Base URL akan diperbarui sesuai alamat wilayah yang dipilih.

Langkah 2: Isi Konfigurasi

• Nama Saluran (wajib) — Nama yang membedakan saluran, bebas diisi sesuai keinginan Anda.
• Base URL (wajib) — Alamat API vendor. Sebagian besar vendor sudah otomatis terisi; Azure OpenAI dan Custom perlu Anda isi manual.
• API Key (opsional) — Kunci asli dari vendor. Jika dikosongkan, hanya endpoint yang akan diuji konektivitasnya, tanpa validasi keabsahan API Key; untuk vendor lokal (Ollama / LM Studio) biasanya tidak perlu.
• Model — Tersedia dua cara, pilih salah satu:
  • Deteksi Otomatis: Klik deteksi, Gateway akan mengambil daftar model dari vendor, lalu Anda bisa memilih beberapa model dengan tag (chip).
  • Isi Manual: Masukkan nama model secara manual. Untuk saluran Azure, masukkan Deployment name bukan nama model.
• Prioritas / Bobot — Jika beberapa saluran melayani model yang sama, Gateway mengaturnya berdasarkan prioritas/bobot untuk merutekan dan membagi beban.

Catatan Penting Azure OpenAI

Kolom "Model" pada saluran Azure harus diisi dengan Deployment name yang Anda buat di portal Azure, bukan nama model bawaan. Base URL juga harus sesuai dengan endpoint resource Azure Anda.

Langkah 3: Konfirmasi & Kirim

Periksa ringkasan konfigurasi lalu kirim. Setelah berhasil, saluran baru akan muncul di daftar saluran beserta status kesehatannya secara real-time.

Pengujian Konektivitas

Pada daftar saluran, Anda bisa menguji konektivitas tiap saluran. Pengujian meliputi dua aspek:

• Keterjangkauan Endpoint (reachable) — Memastikan Base URL dapat diakses (cek jaringan & alamat).
• Keabsahan API Key (authenticated) — Melakukan panggilan nyata ke vendor untuk memverifikasi API Key. Hanya diverifikasi jika Anda mengisi API Key.

Hasil pengujian menampilkan: waktu tunda (milidetik), ikon status, dan pesan error jika ada.

TIP

Jika di wizard penambahan endpoint tidak terjangkau, Anda tidak bisa melanjutkan ke langkah berikutnya; jika endpoint bisa diakses namun API Key tidak valid, hanya akan muncul peringatan dan Anda tetap bisa melanjutkan (mis: jika ingin mengisi API Key nanti).

Pengaturan Lanjutan

Saat menambah/menyunting saluran, Anda dapat membuka pengaturan lanjutan untuk kalkulasi biaya dan kontrol kuota:

• Rate Multiplier — Kalikan biaya resmi vendor dengan angka ini, untuk menghitung sesuai biaya Anda atau harga jual ke user. Default 1.0.
• Struktur Tarif — Pilihan metode pembayaran, seperti pay as you go, langganan (subscription), atau paket (package).
• Saldo — Sumber saldo bisa berupa nilai tetap, tagihan OSS, atau manual; jika memilih OSS, Anda dapat menyesuaikan tipe tagihan. Saldo & waktu update hanya bisa dilihat pada detail saluran.
• Waktu Kadaluwarsa Langganan — Untuk saluran bertipe langganan/paket, Anda bisa mencatat waktu berakhirnya.
• Batas Kuota (VIP) — Batasi pemakaian berdasarkan jumlah Token, jumlah permintaan, atau dari sisi nominal, bisa juga memilih siklus (harian / mingguan / bulanan / kustom). Fitur “izinkan drift” memberi toleransi terhadap sedikit kelebihan pemakaian. Batas kuota hanya tersedia di fitur berbayar.

Edit dan Hapus Saluran

• Edit — Klik pada saluran di daftar untuk mengubah nama, Base URL, API Key, model maupun pengaturan lanjutan.
• Hapus — Setelah dihapus, virtual key yang bergantung pada saluran itu tidak dapat lagi merutekan permintaan ke sana. Hati-hati sebelum menghapus.

Status Kesehatan

Di daftar saluran dan halaman statistik & monitoring, status kesehatan saluran (Normal / Degraded / Unavailable) akan muncul secara real-time, membantu Anda cepat menemukan konfigurasi vendor yang bermasalah.

FAQ (Pertanyaan yang Sering Diajukan)

• Q: Kenapa muncul notifikasi harus login saat menambah saluran?
  • A: AI Gateway adalah fitur premium di ServBay, Anda harus login sebelum menambah saluran/API Key. Silakan login sesuai petunjuk layar.
• Q: Kenapa jumlah saluran sudah mencapai batas maksimal?
  • A: Jumlah saluran tergantung paket akun Anda. Jika sudah penuh, hapus saluran yang tidak dipakai atau upgrade paket.
• Q: Deteksi model otomatis tidak menampilkan daftar?
  • A: Pastikan Base URL benar dan API Key valid (Anda bisa cek menggunakan "keabsahan API Key" pada pengujian konektivitas). Beberapa vendor memang perlu API Key yang valid untuk menampilkan daftar model; atau isi manual nama model.
• Q: Untuk akses lokal Ollama / LM Studio, apakah perlu isi Key?
  • A: Umumnya tidak perlu. Pastikan service lokal aktif dan port default berjalan (Ollama 11434, LM Studio 1234).

Ringkasan

Saluran adalah fondasi utama untuk perutean permintaan di AI Gateway. Dengan bantuan wizard tiga langkah, Anda bisa dengan cepat menghubungkan hampir 20 vendor, didukung pengalihan dua wilayah, deteksi model otomatis, serta pengujian konektivitas dua aspek agar konfigurasi tepat. Pengaturan lanjutan seperti tarif dan kuota membantu mengelola biaya dengan lebih detail. Setelah saluran siap, Anda bisa membuat virtual key yang dapat digunakan oleh aplikasi dan alat Anda.