การเพิ่มประสิทธิภาพต้นทุนอัจฉริยะ
ระบบ Model Cascading ของ EDDI ช่วยให้การเราท์แบบหลายโมเดลที่คำนึงถึงต้นทุน เริ่มด้วยโมเดลที่เร็วและถูก และเพิ่มระดับไปยังโมเดลที่แรงกว่า (และแพงกว่า) โดยอัตโนมัติเมื่อความเชื่อมั่นต่ำ ลดต้นทุน AI โดยไม่เสียคุณภาพ
ฟีเจอร์การเรียงซ้อน
- การปรับต้นทุนให้เหมาะสม ลองโมเดลถูก/เร็วก่อน เพิ่มระดับเมื่อความเชื่อมั่นต่ำ
- 4 กลยุทธ์ความเชื่อมั่น Structured output, heuristic, judge model หรือไม่มี เลือกวิธีประเมินที่เหมาะกับกรณีใช้งาน
- งบประมาณต่อสนทนา การติดตามต้นทุนอัตโนมัติพร้อมเพดานงบประมาณและการยกเลิกสนทนาเมื่อเกิน
- เพดานต้นทุนต่อผู้เช่า งบประมาณรายเดือนต่อผู้เช่าพร้อมการบังคับใช้อัตโนมัติในการใช้งานแบบหลายผู้เช่า
- 19 LLM Providers ผสมรายใดก็ได้ใน cascade เดียว เช่น ชั้น Gemini Flash หรือ DeepSeek ไว้ด้านหน้า Claude หรือ GPT ดูแคตตาล็อกโมเดล
วิธีการทำงาน
กำหนดค่า cascade chain ของโมเดลเรียงตามต้นทุน สำหรับแต่ละข้อความผู้ใช้ EDDI จะลองโมเดลถูกที่สุดก่อนและประเมินความเชื่อมั่น หากความเชื่อมั่นต่ำกว่าเกณฑ์จะเพิ่มระดับไปยังโมเดลถัดไปใน chain โดยอัตโนมัติ การใช้งานจริงของรูปแบบนี้ที่เผยแพร่แล้วรายงานต้นทุน inference ลดลง 31% (เวิร์กโหลดโปรดักชัน 75,000 คำถาม) ถึง 58% (โครงการนำร่องในองค์กร 8 สัปดาห์) โดยคุณภาพคงเดิม คุณจะประหยัดได้เท่าไรขึ้นอยู่กับสัดส่วนคำถามง่ายของคุณ และราคาของแต่ละชั้นห่างกันเท่าใด: ดูหลักฐานและข้อจำกัด