🚀 EDDI 6.5.0

19 LLM-Anbieter, Wissensdatenbanken, die Ihre Website crawlen und Ihre Dateien lesen, und Konversationen, die kompatiblen Agentenversionen folgenNeuigkeiten

Managed Cloud Jetzt Starten
Alle Integrationen
Infrastrukturtype: ollama

Ollama

Modelle lokal mit Ollama betreiben und Prompts und Dokumente auf der eigenen Hardware halten, für On-Premises- und Air-Gap-Umgebungen.

KonfigurationDoku ↗

Was Sie bekommen

  • Eine LLM-Task vom Typ ollama, die mit Ihrem Ollama-Server spricht
  • Kein API-Schlüssel eines Anbieters und keine Daten an ein gehostetes Modell
  • Ein Compose-Overlay, das Ollama neben EDDI startet
  • In-Process-Jlama als Alternative für kleine quantisierte Modelle

So funktioniert es in EDDI

  1. EDDI mit dem Ollama-Compose-Overlay starten oder Ollama selbst betreiben und seine URL notieren.
  2. Ein Modell in Ollama laden. Den Modell-Tag genau so verwenden, wie ihn ollama list anzeigt.
  3. Den Task-type auf ollama setzen, mit baseUrl und model.
  4. In einem Container ist localhost der Container selbst. Den Compose-Servicenamen oder host.docker.internal verwenden.

Konfiguration

Aus der EDDI-Dokumentation übernommen. Platzhalter wie your-agent-id ersetzen Sie durch Ihre eigenen Werte.

Start EDDI with Ollama on the same networkStartet Ollama im selben Netzwerk unter http://ollama:11434.
docker compose -f docker-compose.yml -f docker-compose.ollama.yml up -d
langchain.jsonEine Ollama-Task aus der EDDI-Doku.
{
  "tasks": [
    {
      "actions": ["send_message"],
      "id": "ollamaChat",
      "type": "ollama",
      "description": "Ollama local model chat",
      "parameters": {
        "baseUrl": "http://ollama:11434",
        "model": "llama3.2:3b",
        "timeout": "120000",
        "think": "false",
        "systemMessage": "You are a helpful assistant",
        "addToOutput": "true"
      }
    }
  ]
}

Governance

  • Prompts, abgerufener Kontext und Antworten bleiben in Ihrem Netzwerk, was der Sinn eines lokalen Modells ist.
  • Freigaben, Behavior Rules und das Audit-Protokoll gelten genauso wie bei einem gehosteten Modell.
  • Es ist kein Credential beteiligt, sodass für das Modell selbst nichts im Vault abzulegen ist.

Gut zu wissen

  • Ein vollständig abgeschotteter Betrieb braucht ein lokales Ollama oder einen vorab befüllten Jlama-Cache, weil EDDI ohne Netzwerk kein Modell herunterladen kann.
  • Lokale Modelle unterscheiden sich in der Zuverlässigkeit bei Tool-Calling und JSON. Testen Sie das Verhalten, auf das Sie sich verlassen.
LoslegenDoku ↗

Sie möchten es gebaut und betrieben haben?

EDDI Solutions baut und pflegt Konnektoren, betreibt EDDI als verwaltete oder gemeinsam betriebene Instanz und unterstützt Sie in Ihrer eigenen Cloud oder On-Premises.

EDDI Solutions kontaktieren ↗

Verwandte Integrationen

Daten und RAGChromaChroma als Vektorspeicher für eine EDDI-Wissensbasis. Die Option mit der geringsten Einstiegshürde, wenn Sie keine bestehende Infrastruktur wiederverwenden können.InfrastrukturKubernetes and HelmEDDI auf jedem konformen Kubernetes-Cluster betreiben, mit einem Ein-Datei-Quickstart, einem Helm-Chart oder Kustomize-Overlays, mit MongoDB oder PostgreSQL.KanäleOpen WebUIEDDI stellt eine OpenAI-kompatible /v1-API bereit, die deployte Agenten als Modelle darstellt, sodass Open WebUI, die OpenAI-SDKs, LangChain und LiteLLM mit ihnen sprechen können.

Konfiguration und Verhalten auf dieser Seite folgen der EDDI-Dokumentation, geprüft am 2026-10-14. Feldnamen und Standardwerte können sich zwischen Releases ändern. Bestätigen Sie sie daher in der Dokumentation Ihrer Version.