지능적 비용 최적화
EDDI의 모델 캐스케이딩 시스템은 비용 인식 멀티 모델 라우팅을 가능하게 합니다. 빠르고 저렴한 모델로 시작하고 신뢰도가 낮을 때만 자동으로 더 강력한 (그리고 비싼) 모델로 에스컬레이션, 품질 희생 없이 AI 비용 절감.
캐스케이딩 기능
- 비용 최적화, 저렴/빠른 모델 먼저, 신뢰도 낮을 때만 강력한 모델로 에스컬레이션
- 4가지 신뢰도 전략, 구조화 출력, 휴리스틱, 심판 모델, 또는 없음, 유스케이스에 맞는 평가 방법 선택
- 대화별 예산, 예산 상한과 초과 시 대화 제거를 통한 자동 비용 추적
- 테넌트 비용 상한, 멀티 테넌트 배포에서 자동 적용이 있는 테넌트별 월별 비용 예산
- 19개 LLM 프로바이더, 하나의 캐스케이드에서 자유롭게 조합할 수 있습니다. 예를 들어 Claude나 GPT 앞에 Gemini Flash 또는 DeepSeek 계층을 둘 수 있습니다. 모델 카탈로그를 참조하세요
작동 방식
비용 순서로 모델의 캐스케이드 체인을 구성합니다. 각 사용자 메시지에 대해 EDDI는 먼저 가장 저렴한 모델을 시도하고 신뢰도를 평가합니다. 신뢰도가 임계값 아래로 떨어지면 체인의 다음 모델로 자동 에스컬레이션합니다. 이 패턴의 공개된 배포 사례는 품질을 유지하면서 추론 비용이 31%(75,000건 쿼리의 프로덕션 워크로드)에서 58%(8주간의 엔터프라이즈 파일럿)까지 감소했다고 보고합니다. 얼마나 절감되는지는 쿼리 중 쉬운 쿼리의 비율과 계층 간 가격 차이에 따라 달라집니다: 근거와 주의 사항을 참조하세요.