สถิติและการมอนิเตอร์ AI Gateway

AI Gateway จะบันทึกคำขอทั้งหมดที่ผ่านเข้ามา และนำเสนอปริมาณการใช้งาน ต้นทุน และสถานะการทำงานผ่านสามหน้าหลักคือ ภาพรวม (Overview), สถิติ (Statistics) และ การมอนิเตอร์ (Monitoring) บทความนี้อธิบายเนื้อหาและวิธีการใช้งานของสามหน้านี้

ภาพรวม (Overview)

หน้าภาพรวมแสดงสถานะโดยรวมของ AI Gateway:

• การ์ด KPI — จำนวน channel ที่ใช้งานอยู่, จำนวน virtual key, จำนวนคำขอวันนี้, ต้นทุนวันนี้ (และปริมาณการใช้งาน Token)
• ภาพรวมสถานะความสมบูรณ์ของ channel — สถานะความสมบูรณ์แบบเรียลไทม์ของแต่ละ channel (ปกติ / ทำงานลดลง / ไม่พร้อมใช้งาน)
• เหตุการณ์ล่าสุด — สตรีมเหตุการณ์การกำหนดเส้นทางล่าสุด (ประเภทเหตุการณ์, โมเดล, channel, ความหน่วง, เวลา)

หน้าภาพรวมเหมาะสำหรับตรวจสอบอย่างรวดเร็วในแต่ละวันว่าเกตเวย์ทำงานปกติหรือไม่ ตลอดจนค่าใช้จ่ายและปริมาณคำขอในวันนี้

สถิติ (Statistics)

หน้าสถิติใช้สำหรับวิเคราะห์เชิงลึกเกี่ยวกับการใช้งานและต้นทุน

สรุป KPI

ด้านบนของหน้าจะแสดงตัวชี้วัดหลัก: จำนวนคำขอทั้งหมด, ปริมาณการใช้งาน Token ทั้งหมด, ต้นทุน (USD), ความหน่วงเฉลี่ย (มิลลิวินาที)

สรุปและการจัดกลุ่ม

• สรุปภาพรวม — จำนวนคำขอทั้งหมด / สำเร็จ / ล้มเหลว, จำนวน Token ที่ป้อนเข้า / ส่งออก / รวมทั้งหมด, จำนวน Token เฉลี่ยต่อคำขอ, ต้นทุนรวม และการกระจายตามประเภทเหตุการณ์ (กำหนดเส้นทางปกติ routed, รองรับเมื่อเกิดข้อผิดพลาด failover, ล้มเหลว failed, ไม่มี channel ที่พร้อมใช้งาน no_channel)
• จัดกลุ่มตามมิติข้อมูล — สามารถสลับมุมมองการจัดกลุ่มได้:
  • ตามโมเดล — จำนวนคำขอ, Token, ต้นทุน, ความหน่วงของแต่ละโมเดล
  • ตามคีย์ — การใช้จ่ายของแต่ละ virtual key
  • ตามวันที่ — แนวโน้มการใช้งานรายวัน
  • ตามประเภทคำขอ — จัดกลุ่มตามประเภทของคำขอ

การใช้งานมัลติโมดอล

นอกเหนือจากการสนทนาแบบข้อความแล้ว หน้าสถิติยังแสดงการใช้งานมัลติโมดอลแยกต่างหาก: จำนวนการสร้างภาพ, หน่วยป้อนเสียง, หน่วยส่งออกเสียง เพื่อให้ง่ายต่อการคำนวณต้นทุนของการเรียกใช้งานประเภทรูปภาพและเสียง

กราฟแนวโน้ม

แสดงแนวโน้มปริมาณคำขอที่รวบรวมรายวันในรูปแบบกราฟเส้น เพื่อช่วยให้คุณสังเกตการเปลี่ยนแปลงของการใช้งาน

การจัดการงบประมาณ (VIP)

• แสดงโควต้าที่ใช้แล้วและเปอร์เซ็นต์ของแต่ละงบประมาณในรูปแบบมิเตอร์วัด (gauge) พร้อมแจ้งเตือนเมื่อใกล้ถึงค่าเกณฑ์
• การจัดการงบประมาณถือเป็นคุณสมบัติที่ต้องชำระเงิน หากไม่ได้สมัครรับสมาชิก พื้นที่นี้จะถูกล็อกไว้และแจ้งให้อัปเกรด

การติดตามโควต้าการสมัครสมาชิก

หากคุณผูกบัญชีของ provider แบบสมัครสมาชิกไว้ (ดูรายละเอียดเพิ่มเติมที่ บัญชีสมัครสมาชิกและการติดตามโควต้า) หน้าสถิติจะแสดงสถานะเรียลไทม์ของโควต้าการสมัครสมาชิก:

• เปอร์เซ็นต์ที่ใช้แล้ว / คงเหลือ — แสดงความคืบหน้าการใช้งานโควต้าของแต่ละช่วงเวลาการสมัครสมาชิกในรูปแบบแถบความคืบหน้า
• สถานะโควต้าหมด — เมื่อโควต้าในช่วงเวลาใดหมด channel ที่เกี่ยวข้องจะถูกทำเครื่องหมายว่า "หมดแล้ว" และเกตเวย์จะทำการลดระดับไปยัง channel สำรองโดยอัตโนมัติ (หากมีการกำหนดค่า failover ไว้)
• เวลารีเซ็ต — แสดงเวลารีเซ็ตของช่วงเวลาโควต้า เพื่อช่วยให้คุณประเมินเวลาที่จะกลับมาพร้อมใช้งาน
• การแจ้งเตือนข้อมูลประจำตัวหมดอายุ — เมื่อข้อมูลประจำตัวการอนุญาตของบัญชีสมัครสมาชิกหมดอายุ ระบบจะทำเครื่องหมายไว้บนอินเทอร์เฟซอย่างชัดเจนเพื่อเตือนให้คุณทำการอนุญาตใหม่

ข้อมูลโควต้าการสมัครสมาชิกจะแสดงในรูปแบบสรุปในส่วนขยายของ รายการ channel ด้วย

การมอนิเตอร์ (Monitoring)

หน้ามอนิเตอร์ให้มุมมองการทำงานที่เรียลไทม์ยิ่งขึ้น:

• บันทึกเหตุการณ์เรียลไทม์ — แสดงเหตุการณ์การกำหนดเส้นทางทีละรายการ (ID คำขอ, โมเดล, channel, ความหน่วง ฯลฯ)
• การนับตามประเภทเหตุการณ์ — การนับแยกประเภท เช่น กำหนดเส้นทางปกติ, ล้มเหลว, รองรับเมื่อเกิดข้อผิดพลาด, ไม่มี channel ที่พร้อมใช้งาน เพื่อให้ง่ายต่อการระบุความผิดปกติอย่างรวดเร็ว

ข้อกำหนดเบื้องต้น

• เข้าสู่ระบบบัญชี ServBay และกำหนดค่า channel และ virtual key แล้ว
• มีคำขอจริงผ่านเกตเวย์แล้ว (มิฉะนั้นสถิติจะเป็นค่าว่าง)

คำแนะนำในการใช้งาน

• ควบคุมต้นทุน — ใช้การจัดกลุ่ม "ตามโมเดล / ตามคีย์" เพื่อค้นหาแหล่งที่มาของการใช้จ่ายสูง หากจำเป็น ให้ตั้งค่าการจำกัดอัตราสำหรับ virtual key ที่เกี่ยวข้อง หรือตั้งค่าโควต้าสำหรับ channel
• ตรวจสอบความผิดปกติ — หากอัตราความสำเร็จลดลง ให้ตรวจสอบสัดส่วนของ failed / no_channel ในการกระจายประเภทเหตุการณ์ และระบุ channel ที่ล้มเหลวโดยผสานกับสถานะความสมบูรณ์ของ channel
• เพิ่มประสิทธิภาพความหน่วง — ให้ความสนใจกับ KPI ความหน่วงเฉลี่ยและความหน่วงตามโมเดล เพื่อประเมินความเร็วในการตอบสนองของ provider / จุดสิ้นสุดในแต่ละภูมิภาค

คำถามที่พบบ่อย (FAQ)

• Q: หน้าสถิติไม่มีข้อมูล?
  • A: สถิติจะอ้างอิงจากคำขอจริงที่ผ่านเกตเวย์ โปรดยืนยันว่ามีแอปพลิเคชันหรือเครื่องมือที่ถูกเข้าควบคุมได้ส่งคำขอผ่านเกตเวย์แล้ว
• Q: พื้นที่จัดการงบประมาณถูกล็อก?
  • A: การจัดการงบประมาณเป็นคุณสมบัติที่ต้องชำระเงิน คุณสามารถใช้งานได้หลังจากสมัครแพ็กเกจที่เกี่ยวข้อง
• Q: ต้นทุนถูกคำนวณอย่างไร?
  • A: เกตเวย์จะประเมินต้นทุนตามราคาของแต่ละ channel (รวมถึงอัตราส่วนราคาที่คุณตั้งไว้) และปริมาณ Token / การเรียกใช้งานจริง สามารถปรับพารามิเตอร์ราคาได้ใน การกำหนดค่าขั้นสูงของ channel

สรุป

หน้าภาพรวม สถิติ และการมอนิเตอร์ ทั้งสามหน้าทำให้การเรียกใช้งาน AI Gateway ทุกครั้งสามารถสังเกตได้: ตั้งแต่การดูค่าใช้จ่ายของวันนี้อย่างรวดเร็ว ไปจนถึงการวิเคราะห์เชิงลึกตามโมเดล / คีย์ / วันที่ ไปจนถึงสตรีมเหตุการณ์แบบเรียลไทม์และการควบคุมงบประมาณ หากใช้มุมมองเหล่านี้อย่างเต็มที่ คุณจะสามารถปรับปรุงต้นทุนและความเสถียรของการพัฒนา AI ได้อย่างต่อเนื่อง