AI Gateway statistieken en monitoring

Het AI Gateway registreert alle verzoeken die erdoorheen gaan en toont het gebruik, de kosten en de prestaties op drie pagina's: Overzicht (Overview), Statistieken (Statistics) en Monitoring (Monitoring). Dit artikel beschrijft de inhoud en het gebruik van deze drie pagina's.

Overzicht (Overview)

De overzichtspagina geeft een overzicht van de algehele status van het AI Gateway:

• KPI-kaarten — Aantal actieve channels, aantal virtuele keys, aantal verzoeken vandaag, kosten vandaag (en Token-gebruik).
• Channel-statusoverzicht — Realtime status van alle channels (normaal / gedegradeerd / niet beschikbaar).
• Recente gebeurtenissen — De laatste paar routeringsgebeurtenissen (gebeurtenistype, model, channel, latentie, tijd).

De overzichtspagina is geschikt voor een snelle dagelijkse controle of de gateway normaal werkt, en om de kosten en het aantal verzoeken van vandaag te bekijken.

Statistieken (Statistics)

De statistiekenpagina wordt gebruikt voor een diepgaande analyse van gebruik en kosten.

KPI-samenvatting

Bovenaan de pagina worden de kernindicatoren weergegeven: Totaal aantal verzoeken, totaal Token-gebruik, kosten (USD), gemiddelde latentie (milliseconden).

Samenvatting en groepering

• Algemene samenvatting — Totaal / succesvolle / mislukte verzoeken, input / output / totale Tokens, gemiddeld aantal Tokens per verzoek, totale kosten, en de verdeling per gebeurtenistype (normaal gerouteerd routed, failover failover, mislukt failed, geen channel beschikbaar no_channel).
• Gegroepeerd op dimensie — Schakel tussen groeperingsweergaven:
  • Per model — Aantal verzoeken, Tokens, kosten, latentie per model.
  • Per key — Verbruik per virtuele key.
  • Per datum — Gebruikstrend per dag.
  • Per verzoektype — Gegroepeerd op verzoektype.

Multimodaal gebruik

Naast tekstconversaties toont de statistiekenpagina ook het multimodale gebruik afzonderlijk: Aantal gegenereerde afbeeldingen, spraakinvoereenheden, spraakuitvoereenheden, om de kosten voor afbeeldings- en spraakoproepen gemakkelijk te kunnen berekenen.

Trendgrafiek

Toont de trend van het aantal verzoeken, geaggregeerd per dag, in een lijngrafiek om veranderingen in het gebruik te observeren.

Budgetbeheer (VIP)

• Toont het gebruikte bedrag en percentage van elk budget in de vorm van een meter (gauge), met een waarschuwing wanneer de drempelwaarde nadert.
• Budgetbeheer is een betaalde functie; als u niet bent geabonneerd, wordt dit gebied vergrendeld en wordt u gevraagd te upgraden.

Abonnementsquotum tracking

Als u een abonnementstype provider-account heeft gekoppeld (zie Abonnementsaccounts en quotum tracking), toont de statistiekenpagina ook de realtime status van het abonnementsquotum:

• Gebruikt / resterend percentage — Toont de voortgang van het quotumverbruik voor elk abonnementsvenster in een voortgangsbalk.
• Quotum uitgeput status — Wanneer het quotum van een venster is uitgeput, wordt het bijbehorende channel gemarkeerd als "uitgeput" en degradeert de gateway automatisch naar een back-up channel (als failover is geconfigureerd).
• Reset tijd — Toont de resettijd van het quotumvenster, zodat u de hersteltijd kunt inschatten.
• Referentie verlopen melding — Wanneer de autorisatiereferenties van een abonnementsaccount verlopen, wordt dit duidelijk gemarkeerd op de interface om u eraan te herinneren opnieuw te autoriseren.

De informatie over het abonnementsquotum wordt ook samengevat weergegeven in het uitvouwgebied van de Channel-lijst.

Monitoring

De monitoringpagina biedt een meer realtime operationele weergave:

• Realtime gebeurtenislogboek — Toont elk routeringsgebeurtenis afzonderlijk (verzoek-ID, model, channel, latentie, enz.).
• Telling per gebeurtenistype — Geeft tellingen weer in categorieën zoals normaal gerouteerd, mislukt, failover, geen channel beschikbaar, enz., om snel afwijkingen te kunnen lokaliseren.

Voorwaarden

• U bent ingelogd op uw ServBay-account en heeft channels en virtuele keys geconfigureerd.
• Er hebben daadwerkelijk verzoeken plaatsgevonden via de gateway (anders zijn de statistieken leeg).

Gebruiksadviezen

• Kosten beheersen — Gebruik de groepering 'Per model / Per key' om bronnen van hoog verbruik te identificeren en stel indien nodig snelheidslimieten in voor de betreffende virtuele key of quota voor channels.
• Problemen oplossen — Als het slagingspercentage daalt, controleert u het aandeel failed / no_channel in de verdeling van gebeurtenistypen en combineert u dit met de status van de channel om het niet-functionerende channel te lokaliseren.
• Latentie optimaliseren — Houd de gemiddelde latentie-KPI en latentie per model in de gaten om de reactiesnelheid van verschillende providers / regionale eindpunten te evalueren.

Veelgestelde vragen (FAQ)

• V: Zijn er geen gegevens op de statistiekenpagina?
  • A: Statistieken zijn gebaseerd op echte verzoeken via de gateway. Controleer of een applicatie of een overgenomen tool al een verzoek via de gateway heeft gedaan.
• V: Is het gebied voor budgetbeheer vergrendeld?
  • A: Budgetbeheer is een betaalde functie. Het kan worden gebruikt na het afsluiten van een abonnement op het betreffende pakket.
• V: Hoe worden de kosten berekend?
  • A: De gateway schat de kosten op basis van de prijsstelling van elk channel (inclusief de door u ingestelde prijsvermenigvuldigingsfactor) en de werkelijke Token- en aanroepvolumes. De prijsparameters kunnen worden aangepast in de Geavanceerde channel-configuratie.

Samenvatting

De drie pagina's Overzicht, Statistieken en Monitoring maken elke aanroep via het AI Gateway observeerbaar: van een snelle blik op de kosten van vandaag, tot een diepgaande uitsplitsing per model / key / datum, tot realtime gebeurtenisstromen en budgetbeheer. Door deze weergaven goed te benutten, kunt u de kosten en stabiliteit van uw AI-ontwikkeling continu optimaliseren.