Statystyki i monitorowanie AI Gateway

Bramka AI Gateway rejestruje wszystkie żądania, które przez nią przechodzą, i prezentuje zużycie, koszty oraz stan działania na stronach Overview (Przegląd), Statistics (Statystyki) oraz Monitoring. W tym artykule opisano zawartość i zastosowanie tych trzech stron.

Overview (Przegląd)

Strona Overview przedstawia ogólny stan bramki AI Gateway:

• Karty KPI — liczba aktywnych channel, liczba virtual key, dzisiejsza liczba żądań, dzisiejsze koszty (oraz zużycie Token).
• Przegląd zdrowia channel — stan zdrowia poszczególnych channel w czasie rzeczywistym (normalny / zdegradowany / niedostępny).
• Ostatnie zdarzenia — strumień ostatnich zdarzeń routingu (typ zdarzenia, model, channel, opóźnienie, czas).

Strona Overview nadaje się do codziennego, szybkiego sprawdzania, czy bramka działa poprawnie, oraz do weryfikacji dzisiejszych kosztów i liczby żądań.

Statistics (Statystyki)

Strona Statistics służy do dogłębnej analizy zużycia i kosztów.

Podsumowanie KPI

W górnej części strony wyświetlane są kluczowe wskaźniki: całkowita liczba żądań, całkowite zużycie Token, koszty (USD), średnie opóźnienie (w milisekundach).

Podsumowanie i grupowanie

• Ogólne podsumowanie — całkowita / udana / nieudana liczba żądań, liczba Token wejściowych / wyjściowych / łącznie, średnia liczba Token na żądanie, całkowity koszt oraz rozkład według typów zdarzeń (normalne trasowanie routed, przełączenie awaryjne failover, błąd failed, brak dostępnego channel no_channel).
• Grupowanie według wymiarów — możliwość przełączania perspektywy grupowania:
  • Według modelu — liczba żądań, Token, koszty, opóźnienia dla poszczególnych modeli.
  • Według klucza — zużycie poszczególnych virtual key.
  • Według daty — trendy zużycia z podziałem na dni.
  • Według typu żądania — grupowanie według typu żądania.

Zużycie multimodalne

Oprócz konwersacji tekstowych, strona Statistics wyświetla również oddzielnie zużycie multimodalne: liczba wygenerowanych obrazów, jednostki wejścia głosowego, jednostki wyjścia głosowego, co ułatwia rozliczanie kosztów wywołań związanych z obrazami i głosem.

Wykresy trendów

Wykres liniowy przedstawia trendy wolumenu żądań zagregowane z podziałem na dni, pomagając w obserwowaniu zmian w zużyciu.

Zarządzanie budżetem (VIP)

• W formie wskaźnika (gauge) wyświetla wykorzystany limit i procent dla każdego budżetu, ostrzegając w przypadku zbliżenia się do progu.
• Zarządzanie budżetem jest funkcją płatną; bez aktywnej subskrypcji ten obszar będzie zablokowany i wyświetli monit o ulepszenie.

Śledzenie limitu subskrypcji

Jeśli powiązałeś subskrypcyjne konto provider (szczegóły w Konta subskrypcyjne i śledzenie limitu), strona Statistics wyświetli również stan limitu subskrypcji w czasie rzeczywistym:

• Wykorzystany / pozostały procent — w formie paska postępu pokazuje tempo zużycia limitu w poszczególnych oknach subskrypcji.
• Stan wyczerpania limitu — gdy limit w danym oknie zostanie wyczerpany, odpowiedni channel zostanie oznaczony jako „Wyczerpany”, a bramka automatycznie przełączy się na zapasowy channel (jeśli skonfigurowano failover).
• Czas resetowania — wyświetla czas resetowania okna limitu, pomagając oszacować czas przywrócenia dostępności.
• Powiadomienie o wygaśnięciu poświadczeń — gdy poświadczenia autoryzacyjne konta subskrypcyjnego wygasną, interfejs wyraźnie to oznaczy, przypominając o konieczności ponownej autoryzacji.

Informacje o limicie subskrypcji będą również wyświetlane w formie podsumowania w rozwiniętym obszarze Listy channel.

Monitoring

Strona Monitoring oferuje bardziej operacyjny widok w czasie rzeczywistym:

• Dziennik zdarzeń w czasie rzeczywistym — pokazuje poszczególne zdarzenia routingu (ID żądania, model, channel, opóźnienie itp.).
• Liczba według typów zdarzeń — zlicza zdarzenia w kategoriach takich jak normalne trasowanie routed, błąd failed, przełączenie awaryjne failover czy brak dostępnego channel no_channel, co ułatwia szybkie lokalizowanie anomalii.

Wymagania wstępne

• Jesteś zalogowany na konto ServBay i skonfigurowałeś channel oraz virtual key.
• Przez bramkę przeszły już rzeczywiste żądania (w przeciwnym razie statystyki będą puste).

Zalecenia dotyczące użytkowania

• Kontrola kosztów — użyj grupowania „według modelu / według klucza”, aby znaleźć źródła wysokiego zużycia, a w razie potrzeby ustaw limity szybkości dla odpowiednich virtual key lub limity dla channel.
• Rozwiązywanie problemów — jeśli wskaźnik sukcesu spada, sprawdź proporcję failed / no_channel w rozkładzie typów zdarzeń i połącz to ze stanem zdrowia channel, aby zidentyfikować uszkodzony channel.
• Optymalizacja opóźnień — zwróć uwagę na średnie opóźnienie KPI oraz opóźnienia w podziale na modele, aby ocenić czas odpowiedzi różnych punktów końcowych provider / regionów.

Często zadawane pytania (FAQ)

• P: Strona Statistics nie ma danych?
  • O: Statystyki opierają się na rzeczywistych żądaniach przechodzących przez bramkę. Upewnij się, że aplikacja lub przejęte narzędzie wysłały już żądania przez bramkę.
• P: Obszar zarządzania budżetem jest zablokowany?
  • O: Zarządzanie budżetem to płatna funkcja, dostępna po wykupieniu odpowiedniego planu subskrypcji.
• P: Jak obliczane są koszty?
  • O: Bramka szacuje koszty na podstawie cennika poszczególnych channel (w tym ustawionych przez Ciebie mnożników cenowych) oraz rzeczywistego zużycia Token / liczby wywołań. Parametry cennika można dostosować w Zaawansowanej konfiguracji channel.

Podsumowanie

Trzy strony: Overview, Statistics oraz Monitoring sprawiają, że każde wywołanie w bramce AI Gateway jest obserwowalne: od szybkiego przeglądu dzisiejszych wydatków, przez dogłębną analizę według modelu / klucza / daty, aż po strumień zdarzeń w czasie rzeczywistym i kontrolę budżetu. Wykorzystując mądrze te widoki, możesz stale optymalizować koszty i stabilność rozwoju AI.