Llama 3.2 1B

Jlama (in-process) · type: "jlama"

Ids de modelo: tjake/Llama-3.2-1B-Instruct-JQ4

1. Guarde la credencial

Este proveedor no usa clave de API: Jlama no necesita clave: el modelo se ejecuta dentro de la JVM de EDDI y se descarga de Hugging Face en el primer uso.

2. Configure la tarea LLM

Use esto como el langchain.json del flujo de trabajo del agente, o pegue los parámetros en el editor LLM del Manager.

{
  "tasks": [
    {
      "actions": [
        "send_message"
      ],
      "id": "chat",
      "type": "jlama",
      "parameters": {
        "modelName": "tjake/Llama-3.2-1B-Instruct-JQ4",
        "modelCachePath": "/var/lib/eddi/jlama",
        "maxTokens": "512",
        "systemMessage": "You are a helpful assistant",
        "addToOutput": "true"
      }
    }
  ]
}