Llama 3.2 1B

Jlama (in-process) · type: "jlama"

Ids de modelo: tjake/Llama-3.2-1B-Instruct-JQ4

1. Armazene a credencial

Este provedor não usa chave de API: O Jlama não precisa de chave: o modelo roda dentro da JVM do EDDI e é baixado do Hugging Face no primeiro uso.

2. Configure a tarefa LLM

Use isto como o langchain.json do workflow do agente, ou cole os parâmetros no editor LLM do Manager.

{
  "tasks": [
    {
      "actions": [
        "send_message"
      ],
      "id": "chat",
      "type": "jlama",
      "parameters": {
        "modelName": "tjake/Llama-3.2-1B-Instruct-JQ4",
        "modelCachePath": "/var/lib/eddi/jlama",
        "maxTokens": "512",
        "systemMessage": "You are a helpful assistant",
        "addToOutput": "true"
      }
    }
  ]
}