बुद्धिमान लागत अनुकूलन
EDDI का मॉडल कैस्केडिंग सिस्टम लागत-सचेत मल्टी-मॉडल रूटिंग सक्षम करता है। तेज़, सस्ते मॉडल्स से शुरू करें और केवल तब शक्तिशाली (और महँगे) मॉडल्स पर ऑटोमैटिकली एस्केलेट करें जब कॉन्फ़िडेंस कम हो, गुणवत्ता से समझौता किए बिना AI लागत घटाएं।
कैस्केडिंग सुविधाएँ
- लागत अनुकूलन, पहले सस्ते/तेज़ मॉडल्स, केवल कम कॉन्फ़िडेंस पर शक्तिशाली मॉडल्स पर एस्केलेट
- 4 कॉन्फ़िडेंस स्ट्रैटेजीज़, स्ट्रक्चर्ड आउटपुट, ह्यूरिस्टिक, जज मॉडल या कोई नहीं, अपने यूज़ केस के लिए मूल्यांकन विधि चुनें
- प्रति-वार्तालाप बजट, बजट सीमाओं और अतिक्रमण पर वार्तालाप हटाने के साथ ऑटोमैटिक लागत ट्रैकिंग
- टेनेंट लागत सीमाएं, मल्टी-टेनेंट डिप्लॉयमेंट्स में ऑटोमैटिक एन्फोर्समेंट के साथ प्रति टेनेंट मासिक लागत बजट
- 19 LLM प्रोवाइडर, इनमें से किसी को भी एक कैस्केड में मिलाएं, उदाहरण के लिए Claude या GPT के आगे Gemini Flash या DeepSeek टियर। देखें मॉडल कैटलॉग
यह कैसे काम करता है
लागत क्रम में मॉडल्स की कैस्केड चेन कॉन्फ़िगर करें। प्रत्येक यूज़र मैसेज के लिए, EDDI पहले सबसे सस्ता मॉडल आज़माता है और कॉन्फ़िडेंस का मूल्यांकन करता है। यदि कॉन्फ़िडेंस सीमा से नीचे गिरती है, तो यह स्वचालित रूप से चेन के अगले मॉडल पर एस्केलेट करता है। इस पैटर्न के प्रकाशित डिप्लॉयमेंट समान गुणवत्ता पर 31% (75,000 क्वेरी वाला प्रोडक्शन वर्कलोड) से 58% (8 सप्ताह का एंटरप्राइज़ पायलट) तक कम इन्फ़रेंस लागत दर्ज करते हैं। आपकी बचत इस पर निर्भर करती है कि आपकी कितनी क्वेरी आसान हैं और आपके टियर की कीमतों में कितना अंतर है: देखें प्रमाण और उसकी सीमाएँ।