การเพิ่มประสิทธิภาพต้นทุนอัจฉริยะ
ระบบ Model Cascading ของ EDDI ช่วยให้การเราท์แบบหลายโมเดลที่คำนึงถึงต้นทุน เริ่มด้วยโมเดลที่เร็วและถูก และเพิ่มระดับไปยังโมเดลที่แรงกว่า (และแพงกว่า) โดยอัตโนมัติเมื่อความเชื่อมั่นต่ำ ลดต้นทุน AI โดยไม่เสียคุณภาพ
ฟีเจอร์การเรียงซ้อน
- การปรับต้นทุนให้เหมาะสม ลองโมเดลถูก/เร็วก่อน เพิ่มระดับเมื่อความเชื่อมั่นต่ำ
- 4 กลยุทธ์ความเชื่อมั่น Structured output, heuristic, judge model หรือไม่มี เลือกวิธีประเมินที่เหมาะกับกรณีใช้งาน
- งบประมาณต่อสนทนา การติดตามต้นทุนอัตโนมัติพร้อมเพดานงบประมาณและการยกเลิกสนทนาเมื่อเกิน
- เพดานต้นทุนต่อผู้เช่า งบประมาณรายเดือนต่อผู้เช่าพร้อมการบังคับใช้อัตโนมัติในการใช้งานแบบหลายผู้เช่า
- 12 LLM Providers OpenAI, Anthropic, Google Gemini, Mistral, Azure OpenAI, Amazon Bedrock, Oracle GenAI, Vertex AI, Ollama, Jlama, Hugging Face และ endpoint ที่เข้ากันได้กับ OpenAI
วิธีการทำงาน
กำหนดค่า cascade chain ของโมเดลเรียงตามต้นทุน สำหรับแต่ละข้อความผู้ใช้ EDDI จะลองโมเดลถูกที่สุดก่อนและประเมินความเชื่อมั่น หากความเชื่อมั่นต่ำกว่าเกณฑ์จะเพิ่มระดับไปยังโมเดลถัดไปใน chain โดยอัตโนมัติ วิธีนี้สามารถลดต้นทุน LLM ได้สูงสุด 60-80% ในเวิร์กโหลดแบบหลายโมเดลทั่วไปที่คำถามส่วนใหญ่ง่ายพอสำหรับโมเดลขนาดเล็ก