优势
- 可在 CPU 上运行
- 128K 上下文
- 八种语言
最适合
- 进程内离线推理
- 查询和提示词改写
- 简短摘要
在EDDI中运行
最快的方式是使用EDDI管理器：打开代理向导或Platform Operator，选择提供商和模型。如需自行配置，请针对所需的提供商按以下步骤操作。
Jlama (in-process) · type: "jlama"
模型ID: tjake/Llama-3.2-1B-Instruct-JQ4
1. 存储凭据
此提供商不使用API密钥： Jlama无需密钥：模型在EDDI JVM内运行，并在首次使用时从Hugging Face下载。
2. 配置LLM任务
将其用作代理工作流的langchain.json，或将参数粘贴到EDDI管理器的LLM编辑器中。
{
"tasks": [
{
"actions": [
"send_message"
],
"id": "chat",
"type": "jlama",
"parameters": {
"modelName": "tjake/Llama-3.2-1B-Instruct-JQ4",
"modelCachePath": "/var/lib/eddi/jlama",
"maxTokens": "512",
"systemMessage": "You are a helpful assistant",
"addToOutput": "true"
}
}
]
}EDDI使用说明
- Jlama 在 EDDI JVM 内运行。请将
modelCachePath指向已挂载的卷，使权重在重启后仍然保留，并按模型加上 EDDI 堆内存的总量来规划 Pod 资源。 - 模型下载后即可完全离线运行，因此适合离线（air-gapped）部署。
相关模型
来源
本页信息来自厂商文档，核实日期为2026-09-30。模型更新很快，在依赖这些限制之前，请先向厂商确认。此处不列出价格：请参阅厂商的定价页面。