Статистика та моніторинг AI Gateway

AI Gateway записує всі запити, що проходять через нього, і надає вам інформацію про використання, витрати та стан роботи на трьох сторінках: Огляд (Overview), Статистика (Statistics) та Моніторинг (Monitoring). У цій статті описується вміст та використання цих трьох сторінок.

Огляд (Overview)

Сторінка огляду дає загальне уявлення про стан AI Gateway:

• Картки KPI — кількість активних channel, кількість virtual key, кількість запитів за сьогодні, витрати за сьогодні (а також використання токенів).
• Огляд стану channel — стан кожного channel у режимі реального часу (працює / деградація / недоступний).
• Останні події — потік нещодавніх подій маршрутизації (тип події, модель, channel, затримка, час).

Сторінка огляду підходить для щоденної швидкої перевірки того, чи працює AI Gateway нормально, а також для перегляду сьогоднішніх витрат та кількості запитів.

Статистика (Statistics)

Сторінка статистики використовується для глибокого аналізу використання та витрат.

Зведення KPI

У верхній частині сторінки відображаються основні показники: загальна кількість запитів, загальне використання токенів, витрати (USD), середня затримка (мілісекунди).

Зведення та групування

• Загальне зведення — загальна / успішна / невдала кількість запитів, кількість вхідних / вихідних / загальних токенів, середня кількість токенів на запит, загальні витрати, а також розподіл за типами подій (успішна маршрутизація routed, відновлення після збою failover, збій failed, немає доступних channel no_channel).
• Групування за вимірами — можна переключати перспективи групування:
  • За моделлю — кількість запитів, токени, витрати, затримка для кожної моделі.
  • За ключем — споживання для кожного virtual key.
  • За датою — тенденція використання по днях.
  • За типом запиту — групування за типом запиту.

Багатомодальне використання

Окрім текстових діалогів, сторінка статистики також окремо відображає багатомодальне використання: кількість згенерованих зображень, одиниці голосового вводу, одиниці голосового виводу, що полегшує розрахунок витрат на виклики зображень та голосу.

Графік тенденцій

Відображає динаміку кількості запитів, агрегованих за днями, у вигляді лінійного графіка, допомагаючи вам спостерігати за змінами у використанні.

Управління бюджетом (VIP)

• Використану квоту та відсоток для кожного бюджету показано у вигляді датчика (gauge); коли значення наближається до порогового, виводиться попередження.
• Управління бюджетом є платною функцією; без підписки ця область буде заблокована з підказкою про необхідність оновлення.

Відстеження квоти підписки

Якщо ви прив'язали обліковий запис підписки provider (див. Облікові записи підписки та відстеження квоти), сторінка статистики також відображатиме стан квоти підписки в режимі реального часу:

• Відсоток використано / залишилось — прогрес вичерпання квоти для кожного вікна підписки відображається у вигляді індикатора виконання.
• Статус вичерпання квоти — коли квота для певного вікна вичерпується, відповідний channel позначається як «Вичерпано», і AI Gateway автоматично переходить на резервний channel (якщо налаштовано failover).
• Час скидання — відображає час скидання вікна квоти, допомагаючи вам оцінити час відновлення.
• Попередження про недійсні облікові дані — коли авторизаційні дані облікового запису підписки застарівають, в інтерфейсі з'являється чітка позначка, яка нагадує вам про необхідність повторної авторизації.

Інформація про квоту підписки також відображатиметься у вигляді короткого зведення в розгорнутій області Списку channel.

Моніторинг (Monitoring)

Сторінка моніторингу надає перегляд роботи в режимі реального часу:

• Журнал подій у реальному часі — відображає події маршрутизації по черзі (ID запиту, модель, channel, затримка тощо).
• Підрахунок за типами подій — розділений підрахунок успішної маршрутизації, збійів, відмов (failover), відсутності доступних channel тощо, що дозволяє швидко виявляти аномалії.

Попередні умови

• Ви увійшли у свій обліковий запис ServBay і налаштували channel та virtual key.
• Через AI Gateway вже пройшли реальні запити (інакше статистика буде порожньою).

Рекомендації щодо використання

• Контроль витрат — використовуйте групування «за моделлю / за ключем», щоб знайти джерела високого споживання, і за потреби встановіть обмеження швидкості для відповідного virtual key або квоту для channel.
• Усунення несправностей — якщо рівень успіху знижується, перевірте частку failed / no_channel у розподілі типів подій і використовуйте стан здоров'я channel, щоб виявити неробочий channel.
• Оптимізація затримки — звертайте увагу на KPI середньої затримки та затримку за моделлю, щоб оцінити швидкість відповіді різних provider / регіональних кінцевих точок.

Поширені запитання (FAQ)

• Q: На сторінці статистики немає даних?
  • A: Статистика базується на реальних запитах, що проходять через AI Gateway. Переконайтеся, що якийсь додаток або підключений інструмент вже надсилав запити через AI Gateway.
• Q: Область управління бюджетом заблокована?
  • A: Управління бюджетом — це платна функція, яку можна використовувати після підписки на відповідний тарифний план.
• Q: Як розраховуються витрати?
  • A: AI Gateway оцінює витрати на основі тарифів кожного channel (включаючи встановлений вами коефіцієнт ціни) та фактичної кількості токенів / викликів. Ви можете змінити параметри ціноутворення в Розширених налаштуваннях channel.

Підсумок

Три сторінки — Огляд, Статистика та Моніторинг — роблять кожен виклик AI Gateway спостережним: від швидкого перегляду сьогоднішніх витрат до глибокої деталізації за моделями / ключами / датами, аж до потоку подій у реальному часі та контролю бюджету. Ефективно використовуючи ці подання, ви можете постійно оптимізувати витрати та стабільність розробки AI.