AI Gateway 통계 및 모니터링

AI Gateway는 통과하는 모든 요청을 기록하며, 개요 (Overview), 통계 (Statistics), 모니터링 페이지를 통해 사용량, 비용 및 운영 상태를 보여줍니다. 이 문서에서는 이 세 페이지의 내용과 사용법을 소개합니다.

개요 (Overview)

개요 페이지는 AI Gateway의 전반적인 상태를 한눈에 보여줍니다:

• KPI 카드 — 활성 channel 수, virtual key 수, 오늘의 요청 수, 오늘의 비용(및 Token 사용량).
• channel 상태 개요 — 각 channel의 실시간 상태(정상 / 저하 / 사용 불가).
• 최근 이벤트 — 최근 몇 가지 라우팅 이벤트 스트림(이벤트 유형, 모델, channel, 지연 시간, 시간).

개요 페이지는 매일 gateway가 정상적으로 작동하는지, 오늘의 지출과 요청량을 빠르게 확인하는 데 적합합니다.

통계 (Statistics)

통계 페이지는 사용량과 비용을 심층적으로 분석하는 데 사용됩니다.

KPI 요약

페이지 상단에는 핵심 지표가 표시됩니다: 총 요청 수, 총 Token 사용량, 비용(USD), 평균 지연(밀리초).

요약 및 그룹화

• 전체 요약 — 총 / 성공 / 실패 요청 수, 입력 / 출력 / 총 Token 수, 요청당 평균 Token 수, 총 비용 및 이벤트 유형별 분포(정상 라우팅 routed, 장애 조치 failover, 실패 failed, 사용 가능한 channel 없음 no_channel).
• 차원별 그룹화 — 그룹화 보기를 전환할 수 있습니다:
  • 모델별 — 각 모델의 요청 수, Token, 비용, 지연.
  • 키별 — 각 virtual key의 사용량.
  • 날짜별 — 일별 사용량 추세.
  • 요청 유형별 — 요청 유형별 그룹화.

멀티모달 사용량

텍스트 대화 외에도 통계 페이지는 멀티모달 사용량을 별도로 보여줍니다: 이미지 생성 수, 음성 입력 단위, 음성 출력 단위를 통해 이미지 및 음성 호출에 대한 비용을 쉽게 계산할 수 있습니다.

추세 차트

일별로 집계된 요청량 추세를 꺾은선 그래프로 보여주어 사용량 변화를 관찰하는 데 도움을 줍니다.

예산 관리 (VIP)

• 게이지(gauge) 형태로 각 예산의 사용된 한도와 백분율을 보여주며, 임계값에 가까워지면 알림을 제공합니다.
• 예산 관리는 유료 기능이므로 미구독 시 해당 영역이 잠기고 업그레이드 알림이 표시됩니다.

구독 한도 추적

구독형 provider 계정을 연결한 경우(구독 계정 및 한도 추적 참조), 통계 페이지는 구독 한도의 실시간 상태도 보여줍니다:

• 사용됨 / 남은 백분율 — 진행률 표시줄 형태로 각 구독 기간의 한도 소모 진행률을 표시합니다.
• 한도 소진 상태 — 특정 기간의 한도가 소진되면 해당 channel이 '소진됨'으로 표시되며, gateway는 자동으로 백업 channel로 저하됩니다(failover가 구성된 경우).
• 재설정 시간 — 한도 기간의 재설정 시간을 표시하여 복구 시간을 예측하는 데 도움을 줍니다.
• 자격 증명 만료 알림 — 구독 계정의 인증 자격 증명이 만료되면 인터페이스에 명확하게 표시되어 재인증을 상기시켜 줍니다.

구독 한도 정보는 channel 목록의 확장 영역에서도 요약 형태로 표시됩니다.

모니터링

모니터링 페이지는 더 실시간인 운영 보기를 제공합니다:

• 실시간 이벤트 로그 — 라우팅 이벤트를 항목별로 표시합니다(요청 ID, 모델, channel, 지연 시간 등).
• 이벤트 유형별 카운트 — 정상 라우팅, 실패, 장애 조치, 사용 가능한 channel 없음 등 분류별 카운트를 통해 이상을 빠르게 파악할 수 있습니다.

전제 조건

• ServBay 계정에 로그인되어 있고 channel과 virtual key가 구성되어 있어야 합니다.
• gateway를 통해 실제 요청이 발생해야 합니다(그렇지 않으면 통계가 비어 있습니다).

사용 권장 사항

• 비용 제어 — '모델별 / 키별' 그룹화를 사용하여 높은 소비원을 찾아내고, 필요한 경우 해당 virtual key에 속도 제한을 설정하거나 channel에 대한 한도를 설정합니다.
• 예외 해결 — 성공률이 떨어지면 이벤트 유형 분포에서 실패(failed) / 사용 가능한 channel 없음(no_channel) 비율을 확인하고 channel 상태와 결합하여 실패한 channel을 찾아냅니다.
• 지연 최적화 — 평균 지연 KPI와 모델별 지연 시간에 주의를 기울여 다양한 provider / 리전 엔드포인트의 응답 속도를 평가합니다.

자주 묻는 질문 (FAQ)

• Q: 통계 페이지에 데이터가 없나요?
  • A: 통계는 gateway를 통과하는 실제 요청을 기반으로 합니다. 애플리케이션이나 인계된 도구가 gateway를 통해 요청을 보냈는지 확인하세요.
• Q: 예산 관리 영역이 잠겨 있나요?
  • A: 예산 관리는 유료 기능이며, 해당 플랜을 구독하면 사용할 수 있습니다.
• Q: 비용은 어떻게 계산되나요?
  • A: gateway는 각 channel의 가격 책정(사용자가 설정한 가격 배율 포함)과 실제 Token / 호출량을 기준으로 비용을 추정하며, channel 고급 설정에서 가격 책정 매개변수를 조정할 수 있습니다.

요약

개요, 통계 및 모니터링의 세 페이지는 AI Gateway의 모든 호출을 관찰 가능하게 만듭니다: 오늘의 지출을 빠르게 살펴보는 것부터 모델 / 키 / 날짜별 심층 분석, 실시간 이벤트 스트림 및 예산 제어에 이르기까지. 이러한 보기를 잘 활용하면 AI 개발의 비용과 안정성을 지속적으로 최적화할 수 있습니다.