智能成本优化
EDDI的模型级联系统实现成本感知的多模型路由。从快速且低廉的模型开始，仅在置信度低时自动升级到更强大（更昂贵）的模型，在不牺牲质量的情况下降低AI成本。
级联功能
- 成本优化，先尝试廉价/快速模型，仅在置信度低时升级到强大模型
- 4种置信度策略，结构化输出、启发式、判官模型或无，选择适合您用例的评估方法
- 每对话预算，带预算上限和超出时对话驱逐的自动成本跟踪
- 租户成本上限，多租户部署中每个租户的月度成本预算，自动执行
- 19个LLM提供商，可在一个级联中任意组合，例如在Claude或GPT之前放置Gemini Flash或DeepSeek层级。请参阅模型目录
工作原理
按成本顺序配置模型的级联链。对于每条用户消息，EDDI先尝试最低廉的模型并评估置信度。如果置信度低于阈值，它会自动升级到链中的下一个模型。该模式的已发表部署报告显示，在质量保持不变的情况下，推理成本降低31%（75,000次查询的生产工作负载）至58%（为期8周的企业试点）。能节省多少取决于您的查询中有多少是简单查询，以及各层级之间的价格差距：请参阅证据及其注意事项。