Llama 3.2 1B

Jlama (in-process) · type: "jlama"

Identifiants de modèle: tjake/Llama-3.2-1B-Instruct-JQ4

1. Enregistrer l'identifiant

Ce fournisseur n'utilise pas de clé API : Jlama ne nécessite aucune clé : le modèle s'exécute dans la JVM d'EDDI et est téléchargé depuis Hugging Face à la première utilisation.

2. Configurer la tâche LLM

Utilisez ceci comme langchain.json du workflow de l'agent, ou collez les paramètres dans l'éditeur LLM du Manager.

{
  "tasks": [
    {
      "actions": [
        "send_message"
      ],
      "id": "chat",
      "type": "jlama",
      "parameters": {
        "modelName": "tjake/Llama-3.2-1B-Instruct-JQ4",
        "modelCachePath": "/var/lib/eddi/jlama",
        "maxTokens": "512",
        "systemMessage": "You are a helpful assistant",
        "addToOutput": "true"
      }
    }
  ]
}