지능적 비용 최적화
EDDI의 모델 캐스케이딩 시스템은 비용 인식 멀티 모델 라우팅을 가능하게 합니다. 빠르고 저렴한 모델로 시작하고 신뢰도가 낮을 때만 자동으로 더 강력한 (그리고 비싼) 모델로 에스컬레이션, 품질 희생 없이 AI 비용 절감.
캐스케이딩 기능
- 비용 최적화, 저렴/빠른 모델 먼저, 신뢰도 낮을 때만 강력한 모델로 에스컬레이션
- 4가지 신뢰도 전략, 구조화 출력, 휴리스틱, 심판 모델, 또는 없음, 유스케이스에 맞는 평가 방법 선택
- 대화별 예산, 예산 상한과 초과 시 대화 제거를 통한 자동 비용 추적
- 테넌트 비용 상한, 멀티 테넌트 배포에서 자동 적용이 있는 테넌트별 월별 비용 예산
- 12개 LLM 프로바이더, OpenAI, Anthropic, Google Gemini, Mistral, Azure OpenAI, Amazon Bedrock, Oracle GenAI, Vertex AI, Ollama, Jlama, Hugging Face 및 모든 OpenAI 호환 엔드포인트
작동 방식
비용 순서로 모델의 캐스케이드 체인을 구성합니다. 각 사용자 메시지에 대해 EDDI는 먼저 가장 저렴한 모델을 시도하고 신뢰도를 평가합니다. 신뢰도가 임계값 아래로 떨어지면 체인의 다음 모델로 자동 에스컬레이션합니다. 대부분의 쿼리가 더 작은 모델로도 충분한 일반적인 멀티 모델 워크로드에서 이 접근 방식으로 LLM 비용을 최대 60-80%까지 절감할 수 있습니다.