Otimização Inteligente de Custos
O sistema de Cascata de Modelos do EDDI permite roteamento multi-modelo baseado em custo. Comece com modelos rápidos e baratos e escale automaticamente para modelos mais poderosos (e caros) apenas quando a confiança é baixa, reduzindo custos de IA sem sacrificar qualidade.
Recursos de Cascata
- Otimização de Custos, Tente modelos baratos/rápidos primeiro, escale para modelos poderosos apenas quando a confiança é baixa
- 4 Estratégias de Confiança, Saída estruturada, heurística, modelo juiz ou nenhuma, escolha o método de avaliação ideal para seu caso
- Orçamentos por Conversa, Rastreamento automático de custos com limites de orçamento e evisção de conversa ao exceder
- Tetos de Custo por Tenant, Orçamentos mensais por tenant com aplicação automática em implantações multi-tenant
- 12 Provedores LLM, OpenAI, Anthropic, Google Gemini, Mistral, Azure OpenAI, Amazon Bedrock, Oracle GenAI, Vertex AI, Ollama, Jlama, Hugging Face e qualquer endpoint compatível com OpenAI
Como Funciona
Configure uma cadeia de cascata de modelos ordenados por custo. Para cada mensagem do usuário, o EDDI tenta primeiro o modelo mais barato e avalia a confiança. Se a confiança cair abaixo do limite, ele escala automaticamente para o próximo modelo na cadeia. Esta abordagem pode reduzir custos de LLM em até 60-80% em cargas de trabalho multi-modelo típicas, nas quais a maioria das consultas é simples o suficiente para modelos menores.