Ollama ist der einfachste Weg, ein Sprachmodell auf eigener Hardware zu betreiben. Für einen ersten funktionierenden Eindruck reichen zwanzig Minuten, für den produktiven Einsatz braucht es etwas mehr Planung — beide Wege lassen sich mit echten Befehlen Schritt für Schritt nachvollziehen.
Was Ollama macht und warum lokal
Ollama nimmt die Komplexität aus dem lokalen Betrieb von Sprachmodellen: Es lädt Modelle herunter, verwaltet sie und stellt sie über eine standardisierte Schnittstelle bereit. Die Software läuft unter Windows, macOS und Linux.
Das Prinzip dahinter
Ein Sprachmodell ist eine Datei mit Milliarden trainierter Parameter. Ollama kapselt das Laden dieser Datei, die Zuweisung von Arbeitsspeicher und die Kommunikation über eine HTTP-Schnittstelle. Für den Nutzer sieht es aus wie ein einzelner Befehl — darunter steckt die gesamte Modellverwaltung.
Warum überhaupt lokal statt Cloud
Der entscheidende Unterschied zu ChatGPT oder Claude: Kein Datensatz verlässt den Rechner. Für Kanzleien, Arztpraxen und Unternehmen mit Betriebsgeheimnissen ist das oft der einzige Weg zu einer DSGVO-konformen KI. Es gibt keine Nutzungsgebühr pro Anfrage, keine Ratenbegrenzung und keine Abhängigkeit von einem Anbieter, der ein Modell abschalten könnte.
Was Sie an Hardware brauchen
Entscheidend ist der Arbeitsspeicher — bei Grafikkarten der VRAM, sonst der normale RAM. Als grobe Richtschnur:
| Modellgröße | RAM/VRAM nötig | Eignung |
|---|---|---|
| 3B Parameter | ca. 4 GB | einfache Klassifikation, Tests |
| 7–8B Parameter | ca. 8 GB | Zusammenfassung, Extraktion |
| 13–14B Parameter | ca. 16 GB | anspruchsvollere Texte |
| 70B Parameter | ca. 48 GB | nahe an Cloud-Qualität |
Installation und erster Dialog
Der Einstieg ist bewusst kurz gehalten und kommt ohne Konfigurationsdateien aus.
Die vier Schritte
- Installieren. Installationsprogramm von ollama.com herunterladen und ausführen. Unter Linux genügt ein Befehl.
- Modell laden. Über die Kommandozeile ein Modell auswählen und herunterladen.
- Ausprobieren. Direkt im Terminal einen Dialog starten.
- Anbinden. Die bereitgestellte Schnittstelle in eigene Abläufe einbinden.
Die konkreten Befehle
Unter Linux installiert dieser Aufruf Ollama vollständig:
curl -fsSL https://ollama.com/install.sh | sh
Dann ein Modell laden und sofort loslegen — der run-Befehl lädt bei Bedarf herunter und öffnet den Dialog:
# Ein kompaktes Modell für erste Tests
ollama run llama3.1:8b
# Oder ein noch kleineres für schwache Hardware
ollama run llama3.2:3b
Modelle verwalten geht über weitere Unterbefehle:
ollama list # geladene Modelle anzeigen
ollama pull mistral # nur herunterladen, nicht starten
ollama rm llama3.2:3b # Modell wieder entfernen
Die Anbindung an eigene Anwendungen
Punkt vier ist der eigentlich interessante. Ollama stellt eine HTTP-Schnittstelle bereit, die sich wie eine Cloud-API ansprechen lässt — nur eben lokal.
Der direkte HTTP-Aufruf
Standardmäßig lauscht Ollama auf Port 11434. Eine Anfrage sieht so aus:
curl http://localhost:11434/api/generate -d '{
"model": "llama3.1:8b",
"prompt": "Fasse diesen Text in einem Satz zusammen: ...",
"stream": false
}'
Einbindung in Automatisierung
Genau dieser Endpunkt lässt sich aus n8n oder Power Automate über einen HTTP-Baustein aufrufen. Ein bestehender Ablauf, der bisher ein externes Modell nutzte, wird so mit wenigen Änderungen auf lokale Verarbeitung umgestellt — der einzige Unterschied ist die Ziel-URL.
OpenAI-kompatibler Modus
Ollama bietet zusätzlich eine zu OpenAI kompatible Schnittstelle unter /v1/chat/completions. Werkzeuge und Bibliotheken, die für die OpenAI-API gebaut sind, funktionieren dadurch oft ohne Codeänderung — lediglich die Basis-URL wird umgestellt.
Die realistische Erwartung
Damit kein falsches Bild entsteht: Ein kleines lokales Modell ist nicht so gut wie die großen kommerziellen Modelle.
Wo die Qualität reicht
Für Zusammenfassungen, Klassifikation, Extraktion strukturierter Daten und einfache Formulierungen genügt die Qualität eines 8B-Modells in vielen Fällen. Das sind genau die hochvolumigen, einfachen Aufgaben, bei denen sich lokaler Betrieb rechnet.
Wo der Abstand sichtbar wird
Bei anspruchsvoller Analyse, komplexen Fachfragen und mehrstufigem Schlussfolgern ist der Unterschied zu einem großen Modell deutlich. Wer das vorher weiß, ist zufrieden; wer die gleiche Qualität erwartet, ist enttäuscht.
Vom Test zum produktiven Betrieb
Was für einen Test auf dem Notebook reicht, reicht nicht für den Regelbetrieb.
Der Sprung zur Server-Installation
Produktiv braucht es einen dedizierten Server — meist mit Grafikkarte, damit die Antwortzeiten stimmen. Ollama läuft dort als Dienst, den mehrere Nutzer oder Abläufe gleichzeitig ansprechen.
Betrieb, Sicherheit, Zuständigkeit
Dazu kommen dieselben Anforderungen wie bei jeder internen Software: Zugriffsschutz vor der Schnittstelle (sie ist im Standard nicht authentifiziert), Überwachung der Auslastung und eine klare Zuständigkeit für Modell- und Sicherheitsupdates. Ein Modell, auf das ein Geschäftsablauf angewiesen ist, braucht einen Verantwortlichen.
Was das kostet
Die Software ist kostenlos, ebenso die meisten Modelle. Kosten entstehen für Hardware und Strom — ein tauglicher Server mit Grafikkarte liegt im mittleren vierstelligen Bereich als Einmalinvestition. Ob sich das gegenüber Cloud-Nutzung lohnt, hängt am Volumen; die Rechnung dazu findet sich unter was KI kostet. Wenn Sie unsicher sind, ob lokal oder Cloud der richtige Weg ist, klären wir das im Erstgespräch.
Quellen: Bundesamt für Sicherheit in der Informationstechnik (BSI) · Verordnung (EU) 2016/679 (EUR-Lex)