Statistik dan Pemantauan AI Gateway
AI Gateway akan merekod semua permintaan yang melaluinya dan memaparkan penggunaan, kos, serta status operasi melalui tiga halaman iaitu Gambaran Keseluruhan (Overview), Statistik (Statistics), dan Pemantauan (Monitoring). Dokumen ini memperkenalkan kandungan dan cara penggunaan ketiga-tiga halaman ini.
Gambaran Keseluruhan (Overview)
Halaman Gambaran Keseluruhan menyediakan status umum AI Gateway pada satu pandangan:
- Kad KPI — Bilangan saluran aktif, bilangan kunci maya, jumlah permintaan hari ini, kos hari ini (termasuk penggunaan token).
- Status Kesihatan Saluran — Status kesihatan setiap saluran secara masa nyata (Normal / Degradasi / Tidak tersedia).
- Peristiwa Terkini — Aliran beberapa peristiwa penghalaan terkini (jenis peristiwa, model, saluran, kelewatan, masa).
Halaman ini sesuai untuk semakan pantas status gateway pada hari ini, perbelanjaan serta jumlah permintaan.
Statistik (Statistics)
Halaman Statistik digunakan untuk analisis mendalam tentang penggunaan dan kos.
Ringkasan KPI
Bahagian atas halaman memaparkan indikator utama: Jumlah permintaan, Jumlah token digunakan, Kos (USD), Purata kependekan (milisaat).
Ringkasan dan Pengelompokan
- Ringkasan Keseluruhan — Jumlah / Permintaan berjaya / Gagal, bilangan token input / output / jumlah keseluruhan, purata token per permintaan, jumlah kos serta distribusi mengikut jenis peristiwa (penghalaan normal routed, failover, gagal failed, tiada saluran no_channel).
- Pengelompokan Mengikut Dimensi — Tukar perspektif pengelompokan:
- Mengikut Model — Jumlah permintaan, penggunaan token, kos, dan kependekan setiap model.
- Mengikut Kunci — Pemakaian setiap kunci maya.
- Mengikut Tarikh — Tren penggunaan harian.
- Mengikut Jenis Permintaan — Pengelompokan mengikut jenis permintaan.
Penggunaan Multimodal
Selain dialog teks, halaman statistik juga memaparkan secara berasingan penggunaan multimodal: Bilangan penjanaan imej, unit input suara, unit output suara, untuk mudah pengiraan kos panggilan imej dan suara.
Carta Tren
Paparan carta garisan bagi tren penggunaan permintaan harian, membantu memantau perubahan penggunaan.
Pengurusan Bajet (VIP)
- Paparan bentuk meter analog (gauge) untuk menunjukkan amaun dan peratus bajet yang telah digunakan, serta amaran apabila hampir kepada had yang ditetapkan.
- Pengurusan bajet adalah ciri berbayar; jika belum melanggan, bahagian ini dikunci dan akan dipaparkan notis naik taraf.
Pemantauan (Monitoring)
Halaman Pemantauan menyediakan paparan operasi masa nyata dengan butiran berikut:
- Log Peristiwa Masa Nyata — Paparan setiap peristiwa penghalaan secara terperinci (ID permintaan, model, saluran, kelewatan dan lain-lain).
- Kiraan Mengikut Jenis Peristiwa — Statistik penghalaan normal, gagal, failover, tiada saluran dan kategori lain, memudahkan pengesanan isu dengan cepat.
Prasyarat
- Sudah log masuk ke akaun ServBay serta mengkonfigurasi saluran dan kunci maya.
- Sudah terdapat permintaan sebenar yang melalui gateway (jika tiada, statistik tidak akan dipaparkan).
Cadangan Penggunaan
- Kawal Kos — Gunakan pengelompokan “mengikut model / mengikut kunci” untuk kenal pasti sumber penggunaan tinggi. Tetapkan had kadar untuk kunci maya tertentu atau bajet pada saluran jika perlu.
- Jejak Isu — Jika kadar kejayaan menurun, semak peratusan failed / no_channel dalam distribusi jenis peristiwa dan padankan dengan status kesihatan saluran untuk jejak punca masalah.
- Optimumkan Kelewatan — Pantau KPI kependekan purata serta kependekan mengikut model bagi menilai kelajuan respons pembekal atau endpoint wilayah yang berbeza.
Soalan Lazim (FAQ)
- S: Tiada data di halaman statistik?
- J: Statistik berdasarkan permintaan sebenar yang melalui gateway. Sila pastikan aplikasi atau alat yang diambil alih telah membuat permintaan melalui gateway.
- S: Kenapa bahagian pengurusan bajet dikunci?
- J: Pengurusan bajet ialah ciri berbayar. Anda perlu melanggan pakej yang sesuai untuk mengaktifkannya.
- S: Bagaimana kos dikira?
- J: Gateway menganggarkan kos berdasarkan harga setiap saluran (termasuk kadar yang ditetapkan anda) dan jumlah token / penggunaan sebenar. Anda boleh ubah tetapan harga di Konfigurasi Lanjutan Saluran.
Rumusan
Tiga halaman Gambaran Keseluruhan, Statistik, dan Pemantauan membolehkan setiap pemanggilan AI Gateway dapat diperhatikan dengan jelas: dari semakan kos harian secara pantas, analisis terperinci mengikut model / kunci / tarikh, hinggalah ke log peristiwa masa nyata dan kawalan bajet. Dengan memanfaatkan paparan-paparan ini, anda boleh terus mengoptimumkan kos dan kestabilan pembangunan AI anda.
