تحسين ذكي للتكاليف
يتيح نظام تتابع النماذج في EDDI توجيهاً متعدد النماذج واعياً بالتكلفة. ابدأ بنماذج سريعة وغير مكلفة وصعّد تلقائياً إلى نماذج أقوى (وأغلى) فقط عند انخفاض الثقة، مما يقلل تكاليف الذكاء الاصطناعي بدون التضحية بالجودة.
ميزات التتابع
- تحسين التكلفة: جرّب النماذج الرخيصة/السريعة أولاً، وصعّد إلى النماذج القوية فقط عند انخفاض الثقة
- 4 استراتيجيات ثقة: مخرجات منظمة، استدلال، نموذج حاكم، أو بدون، اختر طريقة التقييم المناسبة لحالتك
- ميزانيات لكل محادثة: تتبع تلقائي للتكاليف مع سقوف الميزانية وإخلاء المحادثة عند تجاوزها
- سقوف تكلفة المستأجر: ميزانيات تكلفة شهرية لكل مستأجر مع تطبيق تلقائي في النشر متعدد المستأجرين
- 12 مزود LLM: OpenAI، Anthropic، Google Gemini، Mistral، Azure OpenAI، Amazon Bedrock، Oracle GenAI، Vertex AI، Ollama، Jlama، Hugging Face، وأي نقطة نهاية متوافقة مع OpenAI
كيف يعمل
كوّن سلسلة تتابع من النماذج مرتبة حسب التكلفة. لكل رسالة مستخدم، يجرب EDDI النموذج الأرخص أولاً ويقيّم الثقة. إذا انخفضت الثقة عن الحد، يصعّد تلقائياً إلى النموذج التالي في السلسلة. يمكن لهذا النهج تقليل تكاليف LLM بنسبة تصل إلى 60-80% في أحمال العمل النموذجية متعددة النماذج حيث معظم الاستعلامات بسيطة بما يكفي للنماذج الأصغر.