Llama 3.2 1B

Jlama (in-process) · type: "jlama"

Modell-IDs: tjake/Llama-3.2-1B-Instruct-JQ4

1. Zugangsdaten hinterlegen

Dieser Anbieter verwendet keinen API-Key: Jlama benötigt keinen Schlüssel: Das Modell läuft innerhalb der EDDI-JVM und wird bei der ersten Nutzung von Hugging Face heruntergeladen.

2. Den LLM-Task konfigurieren

Verwenden Sie dies als langchain.json im Workflow des Agenten, oder fügen Sie die Parameter in den LLM-Editor des Managers ein.

{
  "tasks": [
    {
      "actions": [
        "send_message"
      ],
      "id": "chat",
      "type": "jlama",
      "parameters": {
        "modelName": "tjake/Llama-3.2-1B-Instruct-JQ4",
        "modelCachePath": "/var/lib/eddi/jlama",
        "maxTokens": "512",
        "systemMessage": "You are a helpful assistant",
        "addToOutput": "true"
      }
    }
  ]
}