Optimización Inteligente de Costes
El sistema de Cascada de Modelos de EDDI permite enrutamiento multi-modelo consciente de costes. Comience con modelos rápidos y económicos y escale automáticamente a modelos más potentes (y costosos) solo cuando la confianza es baja, reduciendo costes de IA sin sacrificar calidad.
Funciones de Cascada
- Optimización de Costes: Modelos baratos/rápidos primero, escalar a modelos potentes solo cuando la confianza es baja
- 4 Estrategias de Confianza: Salida estructurada, heurística, modelo juez o ninguna, elija el método de evaluación adecuado
- Presupuestos por Conversación: Seguimiento automático de costes con límites y eliminación de conversación al excederse
- Techos de Coste por Inquilino: Presupuestos mensuales por inquilino con aplicación automática en despliegues multi-inquilino
- 12 Proveedores LLM: OpenAI, Anthropic, Google Gemini, Mistral, Azure OpenAI, Amazon Bedrock, Oracle GenAI, Vertex AI, Ollama, Jlama, Hugging Face y cualquier endpoint compatible con OpenAI
Cómo Funciona
Configure una cadena de cascada de modelos ordenados por coste. Para cada mensaje del usuario, EDDI prueba primero el modelo más económico y evalúa la confianza. Si la confianza cae por debajo del umbral, escala automáticamente al siguiente modelo de la cadena. Este enfoque puede reducir los costes de LLM hasta en un 60-80% en cargas de trabajo multi-modelo típicas donde la mayoría de las consultas son lo suficientemente simples para modelos más pequeños.