Optimización Inteligente de Costes
El sistema de Cascada de Modelos de EDDI permite enrutamiento multi-modelo consciente de costes. Comience con modelos rápidos y económicos y escale automáticamente a modelos más potentes (y costosos) solo cuando la confianza es baja, reduciendo costes de IA sin sacrificar calidad.
Funciones de Cascada
- Optimización de Costes: Modelos baratos/rápidos primero, escalar a modelos potentes solo cuando la confianza es baja
- 4 Estrategias de Confianza: Salida estructurada, heurística, modelo juez o ninguna, elija el método de evaluación adecuado
- Presupuestos por Conversación: Seguimiento automático de costes con límites y eliminación de conversación al excederse
- Techos de Coste por Inquilino: Presupuestos mensuales por inquilino con aplicación automática en despliegues multi-inquilino
- 19 Proveedores LLM: Combine cualquiera de ellos en una misma cascada, por ejemplo un nivel Gemini Flash o DeepSeek delante de Claude o GPT. Consulte el catálogo de modelos
Cómo Funciona
Configure una cadena de cascada de modelos ordenados por coste. Para cada mensaje del usuario, EDDI prueba primero el modelo más económico y evalúa la confianza. Si la confianza cae por debajo del umbral, escala automáticamente al siguiente modelo de la cadena. Los despliegues publicados de este patrón reportan entre un 31% (una carga de producción de 75.000 consultas) y un 58% (un piloto empresarial de 8 semanas) menos de coste de inferencia con la misma calidad. Cuánto ahorre depende de cuántas de sus consultas sean sencillas y de la diferencia de precio entre sus niveles: consulte la evidencia y sus salvedades.