インテリジェントなコスト最適化
EDDIのモデルカスケードシステムはコスト対応マルチモデルルーティングを実現します。高速・低コストモデルから始め、コンフィデンスが低い場合のみ自動的により強力（かつ高価）なモデルにエスカレート、品質を犠牲にせずAIコストを削減。
カスケード機能
- コスト最適化、まず低コスト/高速モデルを試し、コンフィデンスが低い場合のみ強力モデルにエスカレート
- 4つのコンフィデンス戦略、構造化出力、ヒューリスティック、ジャッジモデル、またはなし、ユースケースに合った評価方法を選択
- 会話ごとのバジェット、バジェット上限と超過時の会話削除による自動コスト追跡
- テナントコスト上限、マルチテナントデプロイメントでの自動強制付きテナント別月次コストバジェット
- 12 LLMプロバイダー、OpenAI、Anthropic、Google Gemini、Mistral、Azure OpenAI、Amazon Bedrock、Oracle GenAI、Vertex AI、Ollama、Jlama、Hugging Face、および任意のOpenAI互換エンドポイント
仕組み
コスト順にモデルのカスケードチェーンを構成します。各ユーザーメッセージに対し、EDDIはまず最も安価なモデルを試し、コンフィデンスを評価します。コンフィデンスが閾値を下回ると、自動的にチェーン内の次のモデルにエスカレートします。ほとんどのクエリが小規模モデルで十分な一般的なマルチモデルワークロードでは、このアプローチによりLLMコストを最大60-80%削減できます。