Statystyki i monitorowanie bramy AI

Brama AI rejestruje wszystkie przechodzące przez nią żądania i prezentuje dane dotyczące zużycia, kosztów oraz kondycji systemu na trzech stronach: Przegląd (Overview), Statystyki (Statistics) oraz Monitorowanie (Monitoring). W tym artykule opisano zawartość i zastosowanie każdej z tych stron.

Przegląd (Overview)

Strona przeglądu prezentuje ogólny status bramy AI:

• Karty KPI — liczba aktywnych kanałów, liczba wirtualnych kluczy, liczba dzisiejszych żądań, dzisiejszy koszt (oraz zużycie tokenów).
• Przegląd kondycji kanałów — bieżący stan zdrowia każdego kanału (normalny / obniżona wydajność / niedostępny).
• Ostatnie zdarzenia — lista najnowszych zdarzeń routingu (typ zdarzenia, model, kanał, opóźnienie, czas).

Strona przeglądu doskonale nadaje się do szybkiego sprawdzania, czy brama działa poprawnie, oraz monitorowania bieżących wydatków i liczby żądań.

Statystyki (Statistics)

Strona statystyk służy do szczegółowej analizy zużycia i kosztów.

Podsumowanie KPI

Na górze strony wyświetlane są kluczowe wskaźniki: łączna liczba żądań, całkowite zużycie tokenów, koszty (USD), średnie opóźnienie (ms).

Podsumowanie i grupowanie

• Podsumowanie ogółem — liczba wszystkich / udanych / nieudanych żądań, liczba tokenów wejściowych / wyjściowych / łącznie, średnia liczba tokenów na żądanie, koszt całkowity oraz podział według typów zdarzeń (routed – standardowe routowanie, failover – awaryjne przekierowanie, failed – niepowodzenie, no_channel – brak dostępnego kanału).
• Grupowanie według wymiarów — możliwość przełączania widoku grupowania:
  • Według modelu — liczba żądań, tokenów, koszty i opóźnienia dla każdego modelu.
  • Według klucza — zużycie pod kątem każdego wirtualnego klucza.
  • Według daty — analiza trendów dziennych.
  • Według typu żądania — grupowanie wg typu żądań.

Zużycie multimodalne

Poza analizą tekstową, statystyki prezentują też osobno zużycie multimodalne: liczbę wygenerowanych obrazów, jednostki wejścia głosowego, jednostki wyjścia głosowego – co ułatwia kalkulację kosztów korzystania z funkcji związanych z obrazami i głosem.

Wykres trendu

Zmiany liczby żądań w czasie prezentowane są na wykresie liniowym, co pozwala monitorować trendy zużycia.

Zarządzanie budżetem (VIP)

• Procentowe i kwotowe wykorzystanie każdego budżetu prezentowane jest na wskaźnikach typu "gauge", a przy zbliżeniu do progu pojawia się alert.
• Zarządzanie budżetem to funkcja płatna – w przypadku braku aktywnej subskrypcji sekcja ta jest zablokowana i wyświetla zachętę do podniesienia planu.

Monitorowanie (Monitoring)

Strona monitorowania prezentuje jeszcze bardziej szczegółowy wgląd w bieżące działanie systemu:

• Bieżący dziennik zdarzeń — każde zdarzenie routingu (ID żądania, model, kanał, opóźnienie itp.) prezentowane jest w formie listy.
• Zliczanie według typu zdarzenia — liczba standardowych routowań, niepowodzeń, awaryjnych przekierowań i sytuacji "brak kanału", co pozwala na szybką identyfikację anomalii.

Wymagania wstępne

• Zalogowane konto ServBay i skonfigurowane kanały oraz wirtualne klucze.
• Przez bramę przeszły już rzeczywiste żądania (w przeciwnym razie statystyki będą puste).

Zalecenia użytkowania

• Kontrola kosztów — wykorzystaj grupowanie „według modelu” lub „według klucza”, aby zidentyfikować główne źródła zużycia; w razie potrzeby nałóż limity szybkości dla określonych kluczy lub ogranicz limity dla kanałów.
• Wykrywanie nieprawidłowości — jeśli skuteczność żądań spada, sprawdź udział „failed/no_channel” w typach zdarzeń oraz porównaj ze stanem zdrowia kanałów, aby szybko odnaleźć niesprawne kanały.
• Optymalizacja opóźnień — obserwuj średnie KPI dotyczące opóźnienia i opóźnienia wg modeli, aby porównać wydajność dostawców lub regionów.

Najczęściej zadawane pytania (FAQ)

• Q: Dlaczego nie ma danych na stronie statystyk?
  • A: Statystyki bazują na rzeczywistych żądaniach przechodzących przez bramę. Upewnij się, że aplikacje lub narzędzia korzystają z bramy do wysyłania żądań.
• Q: Dlaczego sekcja zarządzania budżetem jest zablokowana?
  • A: Zarządzanie budżetem to funkcja płatna, dostępna po wykupieniu odpowiedniego pakietu.
• Q: Jak obliczane są koszty?
  • A: Koszty szacowane są na podstawie stawek (oraz ustawionych przez Ciebie mnożników) dla poszczególnych kanałów i rzeczywistego zużycia tokenów lub wywołań. Parametry możesz dostosować w zaawansowanych ustawieniach kanału.

Podsumowanie

Przegląd, statystyki i monitoring sprawiają, że każda interakcja przez bramę AI jest w pełni obserwowalna: od szybkiego podsumowania dziennych wydatków, przez szczegółowe analizy według modelu, klucza lub daty, aż po monitoring zdarzeń w czasie rzeczywistym i zarządzanie budżetem. Efektywne korzystanie z tych narzędzi pozwoli Ci stale optymalizować koszty i stabilność rozwiązań AI.