Ollama

Ollama से मॉडल लोकल चलाएँ और प्रॉम्प्ट व दस्तावेज़ अपने हार्डवेयर पर रखें, ऑन-प्रेमिसेस और एयर-गैप्ड सेटअप के लिए।

आपको क्या मिलता है

ollama प्रकार का LLM टास्क जो आपके Ollama सर्वर से बात करता है
कोई प्रोवाइडर API कुंजी नहीं और होस्टेड मॉडल को कोई डेटा नहीं जाता
EDDI के बगल में Ollama शुरू करने वाला compose ओवरले
छोटे क्वांटाइज़्ड मॉडल के लिए विकल्प के रूप में इन-प्रोसेस Jlama

EDDI में यह कैसे काम करता है

EDDI को Ollama compose ओवरले के साथ शुरू करें, या Ollama खुद चलाएँ और उसका URL नोट करें।
Ollama में एक मॉडल पुल करें। मॉडल टैग को ठीक वैसे इस्तेमाल करें जैसे ollama list दिखाता है।
टास्क का type ollama सेट करें, साथ में baseUrl और model।
कंटेनर के भीतर localhost का मतलब कंटेनर ही है। compose सर्विस नाम या host.docker.internal इस्तेमाल करें।

कॉन्फ़िगरेशन

EDDI दस्तावेज़ों से लिया गया। your-agent-id जैसे प्लेसहोल्डर आपको अपने मान से बदलने होंगे।

Start EDDI with Ollama on the same networkOllama को उसी नेटवर्क पर http://ollama:11434 के रूप में शुरू करता है।

docker compose -f docker-compose.yml -f docker-compose.ollama.yml up -d

langchain.jsonEDDI दस्तावेज़ों से एक Ollama टास्क।

{
  "tasks": [
    {
      "actions": ["send_message"],
      "id": "ollamaChat",
      "type": "ollama",
      "description": "Ollama local model chat",
      "parameters": {
        "baseUrl": "http://ollama:11434",
        "model": "llama3.2:3b",
        "timeout": "120000",
        "think": "false",
        "systemMessage": "You are a helpful assistant",
        "addToOutput": "true"
      }
    }
  ]
}

गवर्नेंस

प्रॉम्प्ट, रिट्रीव किया गया संदर्भ और जवाब आपके नेटवर्क पर रहते हैं, और लोकल मॉडल का मकसद यही है।
अनुमोदन, व्यवहार नियम और ऑडिट लेजर वैसे ही लागू होते हैं जैसे होस्टेड मॉडल के साथ।
कोई क्रेडेंशियल शामिल नहीं है, इसलिए मॉडल के लिए वॉल्ट में रखने को कुछ नहीं है।

जानने योग्य बातें

पूरी तरह एयर-गैप्ड सेटअप के लिए लोकल Ollama या पहले से भरा Jlama कैश चाहिए, क्योंकि नेटवर्क के बिना EDDI मॉडल डाउनलोड नहीं कर सकता।
लोकल मॉडल टूल-कॉलिंग और JSON की विश्वसनीयता में अलग-अलग होते हैं। जिस व्यवहार पर आप निर्भर हैं उसे टेस्ट करें।

शुरू करें दस्तावेज़ ↗

क्या आप चाहते हैं कि कोई इसे बनाए और चलाए?

EDDI Solutions कनेक्टर बनाता और बनाए रखता है, EDDI को मैनेज्ड या सह-संचालित इंस्टेंस के रूप में चलाता है, और आपके अपने क्लाउड या ऑन-प्रेमिसेस में आपका साथ देता है।

EDDI Solutions से बात करें ↗

सुविधाएँ

एंटरप्राइज़

मैनेज्ड क्लाउड और एंटरप्राइज़ सपोर्ट

संसाधन