Intelligente Kostenoptimierung
EDDIs Modell-Kaskadierungssystem ermöglicht kostenoptimiertes Multi-Modell-Routing. Beginnen Sie mit schnellen, kostengünstigen Modellen und eskalieren Sie automatisch zu leistungsfähigeren (und teureren) Modellen nur bei niedriger Konfidenz, so senken Sie KI-Kosten ohne Qualitätseinbußen.
Kaskadierungsfunktionen
- Kostenoptimierung: Günstige/schnelle Modelle zuerst, Eskalation zu leistungsstarken Modellen nur bei niedriger Konfidenz
- 4 Konfidenzstrategien: Strukturierte Ausgabe, Heuristik, Bewertungsmodell oder keine, wählen Sie die Bewertungsmethode für Ihren Anwendungsfall
- Budgets pro Konversation: Automatische Kostenverfolgung mit Budgetgrenzen und Konversationsbereinigung bei Überschreitung
- Mandanten-Kostenobergrenzen: Monatliche Kostenbudgets pro Mandant mit automatischer Durchsetzung in Multi-Mandanten-Bereitstellungen
- 12 LLM-Provider: OpenAI, Anthropic, Google Gemini, Mistral, Azure OpenAI, Amazon Bedrock, Oracle GenAI, Vertex AI, Ollama, Jlama, Hugging Face und jeder OpenAI-kompatible Endpunkt
So funktioniert es
Konfigurieren Sie eine Kaskadenkette von Modellen, sortiert nach Kosten. Für jede Benutzernachricht probiert EDDI zunächst das günstigste Modell aus und bewertet die Konfidenz. Fällt die Konfidenz unter den Schwellenwert, wird automatisch zum nächsten Modell in der Kette eskaliert. Dieser Ansatz kann in typischen Multi-Modell-Workloads, in denen die meisten Anfragen einfach genug für kleinere Modelle sind, die LLM-Kosten um bis zu 60-80% senken.