Статистика и мониторинг AI Gateway

AI Gateway записывает все проходящие через него запросы и представляет данные об использовании, затратах и состоянии работоспособности на трех страницах: Overview, Statistics и Monitoring. В этой статье описывается содержание и назначение этих страниц.

Overview

Страница Overview предоставляет общий обзор состояния AI Gateway:

• Карточки KPI — количество активных channel, количество virtual key, количество запросов за сегодня, затраты за сегодня (а также использование Token).
• Обзор состояния channel — состояние работоспособности каждого channel в реальном времени (нормальный / деградированный / недоступный).
• Последние события — поток последних событий маршрутизации (тип события, модель, channel, задержка, время).

Страница Overview подходит для быстрого ежедневного просмотра того, работает ли шлюз нормально, а также для проверки сегодняшних расходов и объема запросов.

Statistics

Страница Statistics используется для глубокого анализа использования и затрат.

Сводка KPI

В верхней части страницы отображаются ключевые метрики: Общее количество запросов, Общее использование Token, Затраты (USD), Средняя задержка (мс).

Сводки и группировка

• Общая сводка — общее / успешное / неудачное количество запросов, входящие / исходящие / общие Token, среднее количество Token на запрос, общая стоимость, а также распределение по типам событий (нормальная маршрутизация routed, аварийное переключение failover, сбой failed, нет доступного channel no_channel).
• Группировка по измерениям — возможность переключения видов группировки:
  • По модели — количество запросов, Token, затраты, задержка для каждой модели.
  • По virtual key — потребление для каждого virtual key.
  • По дате — тренды использования по дням.
  • По типу запроса — группировка по типу запроса.

Мультимодальное использование

Помимо текстовых диалогов, страница Statistics также отдельно отображает мультимодальное использование: Количество сгенерированных изображений, единицы речевого ввода, единицы речевого вывода, что упрощает расчет затрат на вызовы для работы с изображениями и голосом.

Графики трендов

В виде линейного графика отображается динамика количества запросов, агрегированных по дням, что помогает наблюдать за изменениями в использовании.

Управление бюджетом (VIP)

• В виде круговой диаграммы (gauge) отображает использованный лимит и процент для каждого бюджета, выдавая предупреждение при приближении к пороговому значению.
• Управление бюджетом является платной функцией; без подписки эта область будет заблокирована с предложением повысить уровень.

Отслеживание квоты подписки

Если вы привязали аккаунт провайдера с подпиской (подробнее см. Аккаунты подписки и отслеживание квоты), страница Statistics также покажет статус квоты подписки в реальном времени:

• Процент использования / остатка — в виде индикатора прогресса отображает ход расходования квоты для каждого окна подписки.
• Статус исчерпания квоты — когда квота для окна исчерпана, соответствующий channel помечается как «Исчерпан», и шлюз автоматически переходит на резервный channel (если настроен failover).
• Время сброса — отображает время сброса окна квоты, помогая оценить время восстановления.
• Предупреждение о недействительности учетных данных — когда учетные данные для авторизации аккаунта подписки истекают, это четко помечается в интерфейсе, напоминая о необходимости повторной авторизации.

Информация о квоте подписки также отображается в виде сводки в развернутой области Список channel.

Monitoring

Страница Monitoring обеспечивает более оперативный обзор работы:

• Журнал событий в реальном времени — отображает события маршрутизации по одному (ID запроса, модель, channel, задержка и т. д.).
• Подсчет по типам событий — классифицированный подсчет нормальной маршрутизации, сбоев, аварийных переключений, отсутствия доступных channel и т.д., что позволяет быстро выявлять аномалии.

Предварительные требования

• Вы вошли в аккаунт ServBay и настроили channel и virtual key.
• Через шлюз прошли реальные запросы (в противном случае статистика будет пустой).

Рекомендации по использованию

• Контроль затрат — используйте группировку «По модели / По virtual key» для выявления источников высоких расходов, при необходимости задавайте ограничение скорости для соответствующего virtual key или устанавливайте квоту для channel.
• Устранение неисправностей — если уровень успеха снижается, проверьте долю failed / no_channel в распределении типов событий и используйте состояние работоспособности channel для выявления неработающего channel.
• Оптимизация задержки — следите за KPI средней задержки и задержкой по моделям для оценки скорости ответа различных provider / региональных конечных точек.

Часто задаваемые вопросы (FAQ)

• Q: На странице Statistics нет данных?
  • A: Статистика основана на реальных запросах, прошедших через шлюз. Убедитесь, что приложение или перехваченный инструмент уже отправляли запросы через шлюз.
• Q: Область управления бюджетом заблокирована?
  • A: Управление бюджетом — это платная функция; она станет доступна после оформления соответствующей подписки.
• Q: Как рассчитываются затраты?
  • A: Шлюз оценивает затраты на основе ценообразования каждого channel (включая установленное вами ценовое соотношение) и фактического использования Token / количества вызовов. Параметры ценообразования можно настроить в Расширенные настройки channel.

Заключение

Три страницы — Overview, Statistics и Monitoring — делают каждый вызов в AI Gateway наблюдаемым: от быстрого просмотра сегодняшних расходов до глубокого анализа по модели / virtual key / дате, а также просмотра потока событий в реальном времени и контроля бюджета. Грамотное использование этих представлений позволит вам постоянно оптимизировать затраты и стабильность разработки ИИ.