Llama 3.2 1B

Jlama (in-process) · type: "jlama"

मॉडल id: tjake/Llama-3.2-1B-Instruct-JQ4

1. क्रेडेंशियल सहेजें

यह प्रदाता API कुंजी का उपयोग नहीं करता: Jlama को किसी कुंजी की ज़रूरत नहीं: मॉडल EDDI JVM के अंदर चलता है और पहली बार उपयोग पर Hugging Face से डाउनलोड होता है।

2. LLM टास्क कॉन्फ़िगर करें

इसे एजेंट के वर्कफ़्लो की langchain.json के रूप में इस्तेमाल करें, या पैरामीटर Manager के LLM एडिटर में पेस्ट करें।

{
  "tasks": [
    {
      "actions": [
        "send_message"
      ],
      "id": "chat",
      "type": "jlama",
      "parameters": {
        "modelName": "tjake/Llama-3.2-1B-Instruct-JQ4",
        "modelCachePath": "/var/lib/eddi/jlama",
        "maxTokens": "512",
        "systemMessage": "You are a helpful assistant",
        "addToOutput": "true"
      }
    }
  ]
}