智能成本优化
EDDI的模型级联系统实现成本感知的多模型路由。从快速且低廉的模型开始，仅在置信度低时自动升级到更强大（更昂贵）的模型，在不牺牲质量的情况下降低AI成本。
级联功能
- 成本优化，先尝试廉价/快速模型，仅在置信度低时升级到强大模型
- 4种置信度策略，结构化输出、启发式、判官模型或无，选择适合您用例的评估方法
- 每对话预算，带预算上限和超出时对话驱逐的自动成本跟踪
- 租户成本上限，多租户部署中每个租户的月度成本预算，自动执行
- 12个LLM提供商，OpenAI、Anthropic、Google Gemini、Mistral、Azure OpenAI、Amazon Bedrock、Oracle GenAI、Vertex AI、Ollama、Jlama、Hugging Face及任何OpenAI兼容端点
工作原理
按成本顺序配置模型的级联链。对于每条用户消息，EDDI先尝试最低廉的模型并评估置信度。如果置信度低于阈值，它会自动升级到链中的下一个模型。在大多数查询足够简单、可由较小模型处理的典型多模型工作负载中，这种方法最高可将LLM成本降低60-80%。