Thống kê và Giám sát AI Gateway

AI Gateway sẽ ghi lại tất cả các yêu cầu đi qua nó và trình bày cho bạn mức sử dụng, chi phí và tình trạng hoạt động trên ba trang: Tổng quan (Overview), Thống kê (Statistics) và Giám sát (Monitoring). Bài viết này giới thiệu nội dung và cách sử dụng của ba trang này.

Tổng quan (Overview)

Trang Tổng quan cung cấp cái nhìn toàn cảnh về trạng thái của AI Gateway:

• Thẻ KPI — Số lượng channel đang hoạt động, số lượng virtual key, số lượng yêu cầu hôm nay, chi phí hôm nay (và mức sử dụng Token).
• Tổng quan sức khỏe channel — Trạng thái sức khỏe theo thời gian thực của từng channel (Bình thường / Giảm cấp / Không khả dụng).
• Sự kiện gần đây — Luồng sự kiện định tuyến gần đây (loại sự kiện, mô hình, channel, độ trễ, thời gian).

Trang Tổng quan phù hợp để kiểm tra nhanh hàng ngày xem gateway có hoạt động bình thường không, cũng như chi tiêu và lưu lượng yêu cầu trong ngày.

Thống kê (Statistics)

Trang Thống kê được sử dụng để phân tích chuyên sâu về mức sử dụng và chi phí.

Tóm tắt KPI

Phần đầu trang hiển thị các chỉ số cốt lõi: Tổng số yêu cầu, Tổng mức sử dụng Token, Chi phí (USD), Độ trễ trung bình (mili giây).

Tổng hợp và Phân nhóm

• Tổng hợp chung — Tổng số yêu cầu / Thành công / Thất bại, Số lượng Token đầu vào / Đầu ra / Tổng, Số lượng Token trung bình mỗi yêu cầu, Tổng chi phí và Phân bổ theo loại sự kiện (Định tuyến bình thường routed, Chuyển đổi dự phòng failover, Thất bại failed, Không có channel no_channel).
• Phân nhóm theo chiều dữ liệu — Có thể chuyển đổi góc nhìn phân nhóm:
  • Theo mô hình — Số lượng yêu cầu, Token, chi phí, độ trễ của từng mô hình.
  • Theo virtual key — Tình trạng tiêu thụ của từng virtual key.
  • Theo ngày — Xu hướng sử dụng theo ngày.
  • Theo loại yêu cầu — Nhóm theo loại yêu cầu.

Mức sử dụng đa phương thức

Ngoài hội thoại văn bản, trang Thống kê còn hiển thị riêng mức sử dụng đa phương thức: Số lượng hình ảnh được tạo, Đơn vị đầu vào giọng nói, Đơn vị đầu ra giọng nói, giúp dễ dàng tính toán chi phí cho các lệnh gọi loại hình ảnh và giọng nói.

Biểu đồ xu hướng

Sử dụng biểu đồ đường để hiển thị xu hướng lưu lượng yêu cầu được tổng hợp theo ngày, giúp bạn quan sát các thay đổi về mức sử dụng.

Quản lý ngân sách (VIP)

• Hiển thị hạn mức đã sử dụng và phần trăm của từng ngân sách dưới dạng đồng hồ đo (gauge), đưa ra cảnh báo khi gần đạt đến ngưỡng.
• Quản lý ngân sách là một tính năng trả phí, nếu chưa đăng ký, khu vực này sẽ bị khóa và nhắc nhở bạn nâng cấp.

Theo dõi hạn mức đăng ký

Nếu bạn đã liên kết tài khoản provider loại đăng ký (chi tiết xem tại Tài khoản đăng ký và Theo dõi hạn mức), trang Thống kê cũng sẽ hiển thị trạng thái theo thời gian thực của hạn mức đăng ký:

• Phần trăm đã dùng / còn lại — Hiển thị tiến trình tiêu thụ hạn mức của các cửa sổ đăng ký dưới dạng thanh tiến trình.
• Trạng thái cạn kiệt hạn mức — Khi hạn mức của một cửa sổ bị cạn kiệt, channel tương ứng sẽ được đánh dấu là "Đã cạn kiệt", gateway sẽ tự động giảm cấp xuống channel dự phòng (nếu đã cấu hình failover).
• Thời gian đặt lại — Hiển thị thời gian đặt lại của cửa sổ hạn mức, giúp bạn ước tính thời gian phục hồi.
• Cảnh báo thông tin xác thực hết hạn — Khi thông tin xác thực ủy quyền của tài khoản đăng ký hết hạn, giao diện sẽ đánh dấu rõ ràng để nhắc nhở bạn ủy quyền lại.

Thông tin hạn mức đăng ký cũng sẽ được hiển thị dưới dạng tóm tắt trong khu vực mở rộng của Danh sách channel.

Giám sát (Monitoring)

Trang Giám sát cung cấp chế độ xem hoạt động theo thời gian thực hơn:

• Nhật ký sự kiện theo thời gian thực — Hiển thị từng sự kiện định tuyến (ID yêu cầu, mô hình, channel, độ trễ, v.v.).
• Số lượng theo loại sự kiện — Phân loại và đếm các sự kiện như định tuyến bình thường, thất bại, chuyển đổi dự phòng, không có channel khả dụng, giúp nhanh chóng xác định vị trí bất thường.

Điều kiện tiên quyết

• Đã đăng nhập vào tài khoản ServBay và cấu hình channel cũng như virtual key.
• Đã có yêu cầu thực tế đi qua gateway (nếu không, thống kê sẽ trống).

Gợi ý sử dụng

• Kiểm soát chi phí — Sử dụng nhóm "Theo mô hình / Theo virtual key" để tìm ra nguồn tiêu thụ cao, nếu cần, hãy đặt giới hạn tốc độ cho virtual key tương ứng hoặc đặt hạn mức cho channel.
• Khắc phục sự cố — Nếu tỷ lệ thành công giảm, hãy kiểm tra tỷ lệ phân bổ failed / no_channel trong loại sự kiện, và kết hợp với trạng thái sức khỏe channel để xác định channel bị lỗi.
• Tối ưu hóa độ trễ — Chú ý đến KPI độ trễ trung bình và độ trễ theo từng mô hình, đánh giá tốc độ phản hồi của các provider / endpoint khu vực khác nhau.

Câu hỏi thường gặp (FAQ)

• Q: Trang Thống kê không có dữ liệu?
  • A: Thống kê dựa trên các yêu cầu thực tế đi qua gateway. Hãy đảm bảo rằng ứng dụng hoặc công cụ được tiếp quản đã từng gửi yêu cầu thông qua gateway.
• Q: Khu vực Quản lý ngân sách bị khóa?
  • A: Quản lý ngân sách là tính năng trả phí, bạn có thể sử dụng sau khi đăng ký gói tương ứng.
• Q: Chi phí được tính như thế nào?
  • A: Gateway ước tính chi phí dựa trên giá của từng channel (bao gồm hệ số nhân giá bạn đã thiết lập) và lượng Token / lệnh gọi thực tế. Bạn có thể điều chỉnh các tham số giá tại Cấu hình nâng cao của channel.

Tổng kết

Ba trang Tổng quan, Thống kê và Giám sát cho phép quan sát mọi lệnh gọi của AI Gateway: từ cái nhìn nhanh về chi tiêu trong ngày, đến việc phân tích chuyên sâu theo Mô hình / virtual key / Ngày, cho đến luồng sự kiện theo thời gian thực và kiểm soát ngân sách. Tận dụng tốt các chế độ xem này, bạn có thể liên tục tối ưu hóa chi phí và độ ổn định trong quá trình phát triển AI.