AI 게이트웨이 통계 및 모니터링

AI 게이트웨이는 모든 경유 요청을 기록하며, 개요(Overview), 통계(Statistics), 모니터링(Monitoring) 3개 페이지에서 사용량, 비용, 운영 상태를 보여줍니다. 본 문서에서는 이 세 가지 페이지의 내용과 활용법을 안내합니다.

개요(Overview)

개요 페이지에서는 AI 게이트웨이의 전체적인 상태를 한눈에 파악할 수 있습니다:

• KPI 카드 — 활성 채널 수, 가상 키 수, 오늘의 요청 수, 오늘의 비용(그리고 토큰 사용량).
• 채널 상태 요약 — 각 채널의 실시간 정상/저하/사용불가 상태.
• 최근 이벤트 — 최근 라우팅 이벤트 스트림(이벤트 유형, 모델, 채널, 지연, 시간).

개요 페이지는 게이트웨이가 정상 작동 중인지, 오늘의 지출 및 요청량을 빠르게 점검하기에 적합합니다.

통계(Statistics)

통계 페이지는 AI 사용량과 비용을 심층적으로 분석할 수 있도록 도와줍니다.

KPI 요약

페이지 상단에서 핵심 지표인 **총 요청 수, 총 토큰 사용량, 비용(USD), 평균 지연 시간(밀리초)**을 확인할 수 있습니다.

집계 및 그룹화

• 전체 요약 — 총/성공/실패 요청 수, 입력/출력/총 토큰 수, 요청당 평균 토큰 수, 총 비용, 이벤트 유형별 분포(정상 라우팅 routed, 장애 조치 failover, 실패 failed, 사용 가능한 채널 없음 no_channel).
• 다차원 분석 — 다양한 기준으로 데이터를 그룹화할 수 있습니다:
  • 모델별 — 각 모델의 요청 수, 토큰, 비용, 지연.
  • 키별 — 각 가상 키의 소비 현황.
  • 날짜별 — 일별 사용 추이.
  • 요청 유형별 — 요청 유형별 그룹 통계.

멀티모달 사용량

텍스트 대화 외에도, 멀티모달 사용량(이미지 생성 건수, 음성 입력 단위, 음성 출력 단위)이 별도로 표시되어 이미지/음성 호출 비용을 손쉽게 파악할 수 있습니다.

추이 그래프

일별로 집계된 요청량 추이를 선 그래프로 제공하여, 사용량 변화 및 트렌드를 쉽게 확인할 수 있습니다.

예산 관리(VIP)

• 대시보드(게이지) 형태로 각 예산의 사용 금액 및 비율을 시각적으로 표시하며, 한계에 가까울 경우 알림을 제공합니다.
• 예산 관리는 유료 기능이며, 미가입 시 해당 영역이 잠기고 업그레이드 안내가 나타납니다.

모니터링(Monitoring)

모니터링 페이지는 더욱 실시간성 높은 운영 정보를 제공합니다:

• 실시간 이벤트 로그 — 요청 ID, 모델, 채널, 지연 등 라우팅 이벤트를 하나씩 확인할 수 있습니다.
• 이벤트 유형별 카운트 — 정상 라우팅, 실패, 장애조치, 사용 가능한 채널 없음 등 구분별 건수를 집계해 문제를 신속하게 진단할 수 있습니다.

전제 조건

• ServBay 계정에 로그인되어 있고, 채널 및 가상 키가 설정되어 있어야 합니다.
• 실제 요청이 게이트웨이를 통과한 내역이 있을 때만 통계가 집계됩니다(그렇지 않은 경우 통계는 비어 있음).

사용 팁

• 비용 관리 — [모델별/키별] 그룹화로 고비용 소모처를 찾고, 필요하다면 해당 가상 키에 속도 제한이나 채널에 별도 할당량을 설정하세요.
• 이상 진단 — 성공률 저하 시 이벤트 유형의 failed / no_channel 비율을 확인하고, 채널 상태와 비교해 장애 채널을 찾아보세요.
• 지연 최적화 — 평균 지연 KPI 및 모델별 지연을 체크하여, 다양한 벤더/지역 엔드포인트의 응답 속도를 평가할 수 있습니다.

자주 묻는 질문(FAQ)

• Q: 통계 페이지에 데이터가 없어요?
  • A: 통계 데이터는 게이트웨이를 거친 실제 요청이 있을 때만 집계됩니다. 앱 또는 관리되는 도구가 게이트웨이를 통해 요청을 전송하는지 확인하세요.
• Q: 예산 관리 구역이 잠겨 있어요?
  • A: 예산 관리는 유료 기능이며, 해당 플랜을 구독해야 사용할 수 있습니다.
• Q: 비용은 어떻게 산정되나요?
  • A: 채널별 단가(및 설정한 배율)와 실제 토큰/호출량을 기준으로 비용을 추산합니다. 채널 고급 설정에서 단가 파라미터를 조정할 수 있습니다.

요약

개요, 통계, 모니터링 3개 페이지를 활용해 AI 게이트웨이의 모든 호출 내역을 체계적으로 관찰하세요. 오늘의 지출을 빠르게 확인하고, 모델/키/날짜별 심층 분석, 실시간 이벤트 흐름과 예산 관리까지 — 이 모든 뷰를 적극적으로 활용하면, AI 개발의 비용 및 안정성을 지속적으로 최적화할 수 있습니다.