インテリジェントなコスト最適化
EDDIのモデルカスケードシステムはコスト対応マルチモデルルーティングを実現します。高速・低コストモデルから始め、コンフィデンスが低い場合のみ自動的により強力（かつ高価）なモデルにエスカレート、品質を犠牲にせずAIコストを削減。
カスケード機能
- コスト最適化、まず低コスト/高速モデルを試し、コンフィデンスが低い場合のみ強力モデルにエスカレート
- 4つのコンフィデンス戦略、構造化出力、ヒューリスティック、ジャッジモデル、またはなし、ユースケースに合った評価方法を選択
- 会話ごとのバジェット、バジェット上限と超過時の会話削除による自動コスト追跡
- テナントコスト上限、マルチテナントデプロイメントでの自動強制付きテナント別月次コストバジェット
- 19のLLMプロバイダー、どれでも1つのカスケードに組み合わせ可能。たとえばClaudeやGPTの前段にGemini FlashやDeepSeekの層を置けます。モデルカタログを参照
仕組み
コスト順にモデルのカスケードチェーンを構成します。各ユーザーメッセージに対し、EDDIはまず最も安価なモデルを試し、コンフィデンスを評価します。コンフィデンスが閾値を下回ると、自動的にチェーン内の次のモデルにエスカレートします。このパターンの公開された導入事例では、品質を維持したまま推論コストが31%（75,000クエリの本番ワークロード）から58%（8週間のエンタープライズパイロット）低下しています。どれだけ節約できるかは、クエリのうち簡単なものがどれだけあるか、そして各層の価格差がどれだけ大きいかによって決まります：エビデンスとその注意点をご覧ください。