बुद्धिमान लागत अनुकूलन
EDDI का मॉडल कैस्केडिंग सिस्टम लागत-सचेत मल्टी-मॉडल रूटिंग सक्षम करता है। तेज़, सस्ते मॉडल्स से शुरू करें और केवल तब शक्तिशाली (और महँगे) मॉडल्स पर ऑटोमैटिकली एस्केलेट करें जब कॉन्फ़िडेंस कम हो, गुणवत्ता से समझौता किए बिना AI लागत घटाएं।
कैस्केडिंग सुविधाएँ
- लागत अनुकूलन, पहले सस्ते/तेज़ मॉडल्स, केवल कम कॉन्फ़िडेंस पर शक्तिशाली मॉडल्स पर एस्केलेट
- 4 कॉन्फ़िडेंस स्ट्रैटेजीज़, स्ट्रक्चर्ड आउटपुट, ह्यूरिस्टिक, जज मॉडल या कोई नहीं, अपने यूज़ केस के लिए मूल्यांकन विधि चुनें
- प्रति-वार्तालाप बजट, बजट सीमाओं और अतिक्रमण पर वार्तालाप हटाने के साथ ऑटोमैटिक लागत ट्रैकिंग
- टेनेंट लागत सीमाएं, मल्टी-टेनेंट डिप्लॉयमेंट्स में ऑटोमैटिक एन्फोर्समेंट के साथ प्रति टेनेंट मासिक लागत बजट
- 12 LLM प्रोवाइडर, OpenAI, Anthropic, Google Gemini, Mistral, Azure OpenAI, Amazon Bedrock, Oracle GenAI, Vertex AI, Ollama, Jlama, Hugging Face और कोई भी OpenAI-संगत एंडपॉइंट
यह कैसे काम करता है
लागत क्रम में मॉडल्स की कैस्केड चेन कॉन्फ़िगर करें। प्रत्येक यूज़र मैसेज के लिए, EDDI पहले सबसे सस्ता मॉडल आज़माता है और कॉन्फ़िडेंस का मूल्यांकन करता है। यदि कॉन्फ़िडेंस सीमा से नीचे गिरती है, तो यह स्वचालित रूप से चेन के अगले मॉडल पर एस्केलेट करता है। यह दृष्टिकोण उन सामान्य मल्टी-मॉडल वर्कलोड में LLM लागत 60-80% तक कम कर सकता है जहाँ अधिकांश प्रश्न छोटे मॉडलों के लिए पर्याप्त सरल होते हैं।