Optimisation Intelligente des Coûts
Le système de Cascade de Modèles d'EDDI permet un routage multi-modèles sensible aux coûts. Commencez par des modèles rapides et économiques et escaladez automatiquement vers des modèles plus puissants (et coûteux) uniquement lorsque la confiance est faible, réduisant les coûts d'IA sans sacrifier la qualité.
Fonctionnalités de Cascade
- Optimisation des Coûts, Essayez les modèles économiques/rapides d'abord, escaladez uniquement quand la confiance est faible
- 4 Stratégies de Confiance, Sortie structurée, heuristique, modèle juge ou aucune, choisissez la méthode d'évaluation adaptée
- Budgets par Conversation, Suivi automatique des coûts avec plafonds budgétaires et éviction de conversation en cas de dépassement
- Plafonds de Coûts par Locataire, Budgets mensuels par locataire avec application automatique dans les déploiements multi-locataires
- 19 Fournisseurs LLM, Combinez-en autant que vous voulez dans une même cascade, par exemple un niveau Gemini Flash ou DeepSeek devant Claude ou GPT. Voir le catalogue de modèles
Comment Ça Marche
Configurez une chaîne de modèles en cascade classés par coût. Pour chaque message utilisateur, EDDI essaie d'abord le modèle le moins cher et évalue la confiance. Si la confiance tombe en dessous du seuil, il escalade automatiquement vers le modèle suivant de la chaîne. Les déploiements publiés de ce modèle font état de coûts d'inférence inférieurs de 31% (une charge de production de 75 000 requêtes) à 58% (un pilote en entreprise de 8 semaines) à qualité égale. L'économie réelle dépend de la part de requêtes simples et de l'écart de prix entre vos niveaux : voir les preuves et leurs limites.