Статистика и мониторинг AI-шлюза

AI-шлюз отслеживает все проходящие через него запросы и на страницах Обзор (Overview), Статистика (Statistics) и Мониторинг (Monitoring) отображает информацию об использовании, стоимости и рабочем состоянии. В этой статье описывается содержание и назначение этих страниц.

Обзор (Overview)

Страница обзора предоставляет общее состояние AI-шлюза:

• KPI-карточки — количество активных каналов, количество виртуальных ключей, количество сегодняшних запросов, сегодняшние расходы (и потребление токенов).
• Обзор состояния каналов — текущее состояние каналов в реальном времени (нормально / деградация / не доступен).
• Последние события — последние маршрутизируемые события со сведениями о типе события, модели, канале, задержке и времени.

Страница обзора подходит для быстрого ежедневного контроля нормальной работы шлюза, расходов и трафика за день.

Статистика (Statistics)

Страница статистики предназначена для детального анализа использования и затрат.

Краткое описание KPI

В верхней части страницы отображаются ключевые показатели: общее количество запросов, общее количество токенов, расходы (USD), средняя задержка (мс).

Сводка и группировка

• Общая сводка — всего / успешно / неудачных запросов, число входных / выходных / всех токенов, среднее количество токенов на запрос, общая стоимость, а также распределение по типам событий (нормальная маршрутизация routed, аварийный переход failover, сбой failed, нет доступных каналов no_channel).
• Группировка по параметрам — можно выбрать способ группировки данных:
  • По моделям — количество запросов, токены, затраты и задержка по каждой модели.
  • По ключам — расход по каждому виртуальному ключу.
  • По датам — анализ динамики использования по дням.
  • По типу запроса — группировка по типу запроса.

Мультимодальное использование

Помимо текстовых диалогов, на странице статистики отдельно отображается мультимодальное использование: количество сгенерированных изображений, количество единиц голосового входа и выхода — для учета затрат по изображениям и голосовым функциям.

Трендовые графики

Динамика запросов по дням представлена в виде линейных графиков, что помогает отследить изменение объемов использования.

Управление бюджетом (VIP)

• Использованы визуальные индикаторы (gauge) для отображения уже потраченных средств и процента затрат по каждому бюджету, с предупреждениями при приближении к лимиту.
• Управление бюджетом является платной функцией: если подписка не оформлена, область будет заблокирована и появится предложение перейти на расширенный тариф.

Мониторинг (Monitoring)

Страница мониторинга предоставляет более детальный и оперативный взгляд на работу AI-шлюза:

• Журнал событий в реальном времени — поочередная фиксация событий маршрутизации (ID запроса, модель, канал, задержка и прочее).
• Счетчики по типам событий — подсчет по категориям: нормальная маршрутизация, сбои, аварийное переключение, отсутствие доступных каналов, что позволяет быстро выявлять аномалии.

Необходимые условия

• Вход в аккаунт ServBay и настройка каналов и виртуальных ключей.
• Наличие реальных запросов, прошедших через шлюз (в противном случае статистика пустая).

Рекомендации по использованию

• Контроль расходов — чтобы найти источники высоких затрат, используйте группировку «по моделям / по ключам», при необходимости ограничивайте скорость для отдельных ключей или устанавливайте лимиты для каналов.
• Диагностика ошибок — если уровень успешности падает, проверьте долю failed/no_channel в распределении событий и сопоставьте с состоянием каналов, чтобы выявить неработающие.
• Оптимизация задержек — следите за средним значением KPI задержки и задержкой по моделям, чтобы оценить скорость отклика различных провайдеров и региональных точек доступа.

Часто задаваемые вопросы (FAQ)

• В: На странице статистики нет данных?
  • О: Статистика основывается на реальных запросах, прошедших через шлюз. Убедитесь, что ваше приложение или подключенный инструмент отправлял запросы через шлюз.
• В: Почему раздел управления бюджетом заблокирован?
  • О: Управление бюджетом доступно только по платной подписке. После ее оформления функция будет открыта.
• В: Как рассчитывается стоимость?
  • О: Шлюз оценивает стоимость на основе цен каждого канала (включая установленный вами множитель) и фактического количества токенов/вызовов. Параметры стоимости настраиваются в расширенных настройках канала.

Резюме

Три страницы — обзор, статистика и мониторинг — позволяют полностью контролировать каждое использование AI-шлюза: от быстрой оценки сегодняшних расходов, глубокой разбивки по моделям/ключам/датам, до анализа событий в режиме реального времени и управления бюджетами. Эффективно используя эти инструменты, вы сможете постоянно оптимизировать затраты и стабильность AI-разработки.