강점
- CPU에서 실행
- 128K 컨텍스트
- 8개 언어
적합한 용도
- 프로세스 내 오프라인 추론
- 쿼리와 프롬프트 재작성
- 짧은 요약
EDDI에서 실행하기
가장 빠른 방법은 EDDI 매니저입니다: 에이전트 위저드나 Platform Operator를 열고 프로바이더와 모델을 선택하세요. 직접 구성하려면 원하는 프로바이더에 대해 아래 단계를 따르세요.
Jlama (in-process) · type: "jlama"
모델 ID: tjake/Llama-3.2-1B-Instruct-JQ4
1. 자격 증명 저장
이 프로바이더는 API 키를 사용하지 않습니다: Jlama는 키가 필요 없습니다: 모델이 EDDI JVM 안에서 실행되며 처음 사용할 때 Hugging Face에서 다운로드됩니다.
2. LLM 태스크 구성
이것을 에이전트 워크플로우의 langchain.json으로 사용하거나, EDDI 매니저의 LLM 편집기에 파라미터를 붙여 넣으세요.
{
"tasks": [
{
"actions": [
"send_message"
],
"id": "chat",
"type": "jlama",
"parameters": {
"modelName": "tjake/Llama-3.2-1B-Instruct-JQ4",
"modelCachePath": "/var/lib/eddi/jlama",
"maxTokens": "512",
"systemMessage": "You are a helpful assistant",
"addToOutput": "true"
}
}
]
}EDDI 사용 시 참고 사항
- Jlama는 EDDI JVM 안에서 실행됩니다. 재시작 후에도 웨이트가 남도록
modelCachePath를 마운트된 볼륨으로 지정하고, Pod 크기는 모델과 EDDI 힙을 합쳐 잡으세요. - 모델을 다운로드한 뒤에는 완전히 오프라인으로 실행되므로 에어갭 배포에 적합합니다.
관련 모델
출처
이 페이지의 정보는 벤더 문서를 바탕으로 2026-09-30에 확인한 것입니다. 모델은 빠르게 바뀌므로 한도에 의존하기 전에 벤더에게 확인하세요. 가격은 여기에 표시하지 않습니다: 벤더의 가격 페이지를 참조하세요.