Statistiche e Monitoraggio del AI Gateway

Il AI Gateway registra tutte le richieste che lo attraversano e presenta l'utilizzo, i costi e lo stato operativo nelle tre pagine Panoramica (Overview), Statistiche (Statistics) e Monitoraggio (Monitoring). Questo articolo descrive il contenuto e l'uso di queste tre pagine.

Panoramica (Overview)

La pagina di panoramica offre una visione generale dello stato del AI Gateway:

• Schede KPI — Numero di channel attivi, numero di virtual key, numero di richieste di oggi, costi di oggi (e utilizzo di Token).
• Panoramica dell'integrità dei channel — Stato di integrità in tempo reale di ciascun channel (Normale / Degradato / Non disponibile).
• Eventi recenti — Flusso degli ultimi eventi di instradamento (tipo di evento, modello, channel, latenza, tempo).

La pagina di panoramica è adatta per verificare quotidianamente e rapidamente se il gateway funziona correttamente, nonché le spese e il volume di richieste di oggi.

Statistiche (Statistics)

La pagina delle statistiche viene utilizzata per analizzare in modo approfondito l'utilizzo e i costi.

Riepilogo KPI

La parte superiore della pagina mostra le metriche principali: Numero totale di richieste, utilizzo totale di Token, costo (USD), latenza media (millisecondi).

Riepilogo e Raggruppamento

• Riepilogo generale — Numero di richieste totali / riuscite / fallite, numero di Token di input / output / totale, numero medio di Token per richiesta, costo totale e distribuzione per tipo di evento (instradamento normale routed, failover, failed, nessun channel disponibile no_channel).
• Raggruppamento per dimensione — È possibile cambiare prospettiva di raggruppamento:
  • Per modello — Numero di richieste, Token, costo e latenza per ciascun modello.
  • Per chiave — Consumi di ciascuna virtual key.
  • Per data — Tendenza di utilizzo giornaliera.
  • Per tipo di richiesta — Raggruppato per tipo di richiesta.

Utilizzo multimodale

Oltre alle conversazioni testuali, la pagina delle statistiche mostra separatamente l'utilizzo multimodale: numero di immagini generate, unità di input vocale, unità di output vocale, facilitando il calcolo dei costi per le chiamate di immagini e vocali.

Grafico delle tendenze

Mostra l'andamento del volume delle richieste aggregato giornalmente tramite un grafico a linee, aiutandoti a osservare le variazioni di utilizzo.

Gestione del budget (VIP)

• Mostra il credito utilizzato e la percentuale di ciascun budget sotto forma di contatore (gauge), fornendo un avviso quando ci si avvicina alla soglia.
• La gestione del budget è una funzionalità a pagamento; se non sei abbonato, quest'area sarà bloccata e ti verrà chiesto di effettuare un upgrade.

Tracciamento del credito dell'abbonamento

Se hai collegato un account di provider in abbonamento (vedi Account in abbonamento e tracciamento del credito per maggiori dettagli), la pagina delle statistiche mostrerà anche lo stato in tempo reale del credito dell'abbonamento:

• Percentuale utilizzata / rimanente — Mostra il progresso di consumo del credito per ciascuna finestra di abbonamento sotto forma di barra di avanzamento.
• Stato di esaurimento del credito — Quando il credito per una determinata finestra si esaurisce, il channel corrispondente verrà contrassegnato come "Esaurito" e il gateway effettuerà automaticamente il fallback su un channel di backup (se è configurato il failover).
• Tempo di ripristino — Mostra l'ora di ripristino della finestra di credito, aiutandoti a stimare i tempi di ripristino.
• Avviso di credenziali scadute — Quando le credenziali di autorizzazione dell'account in abbonamento scadono, verranno chiaramente contrassegnate sull'interfaccia per ricordarti di effettuare nuovamente l'autorizzazione.

Le informazioni sul credito dell'abbonamento verranno anche mostrate in forma di riepilogo nell'area espansa della Lista dei channel.

Monitoraggio (Monitoring)

La pagina di monitoraggio fornisce una vista operativa più in tempo reale:

• Log degli eventi in tempo reale — Mostra ogni singolo evento di instradamento (ID richiesta, modello, channel, latenza, ecc.).
• Conteggio per tipo di evento — Conteggi categorizzati per instradamento normale, fallito, failover, nessun channel disponibile, ecc., per facilitare l'individuazione rapida delle anomalie.

Prerequisiti

• Hai effettuato l'accesso al tuo account ServBay e hai configurato i channel e le virtual key.
• Sono già passate richieste effettive attraverso il gateway (altrimenti le statistiche saranno vuote).

Consigli per l'utilizzo

• Controllare i costi — Usa il raggruppamento "Per modello / Per chiave" per individuare le fonti di alto consumo e, se necessario, imposta limiti di velocità per le virtual key corrispondenti o limiti di credito per i channel.
• Risolvere le anomalie — Se il tasso di successo diminuisce, controlla la proporzione di failed / no_channel nella distribuzione dei tipi di evento e individua il channel guasto combinandolo con lo stato di integrità del channel.
• Ottimizzare la latenza — Presta attenzione al KPI della latenza media e alla latenza per modello per valutare la velocità di risposta dei diversi provider / endpoint regionali.

Domande frequenti (FAQ)

• D: La pagina delle statistiche non ha dati?
  • R: Le statistiche si basano sulle richieste reali che attraversano il gateway. Assicurati che un'applicazione o uno strumento gestito abbia già inviato richieste tramite il gateway.
• D: L'area di gestione del budget è bloccata?
  • R: La gestione del budget è una funzionalità a pagamento; sarà disponibile dopo aver abbonato il piano corrispondente.
• D: Come vengono calcolati i costi?
  • R: Il gateway stima i costi in base alle tariffe di ciascun channel (incluso il moltiplicatore di prezzo che hai impostato) e all'utilizzo effettivo di Token / chiamate. I parametri di prezzo possono essere modificati nella Configurazione avanzata del channel.

Conclusione

Le tre pagine di panoramica, statistiche e monitoraggio rendono osservabile ogni singola chiamata del AI Gateway: da una rapida occhiata alle spese di oggi, a un'analisi approfondita per modello / chiave / data, fino al flusso di eventi in tempo reale e al controllo del budget. Utilizzando bene queste viste, puoi ottimizzare continuamente i costi e l'affidabilità dello sviluppo dell'IA.