Ollama ist eine kostenlose Laufzeitumgebung, mit der sich offene Sprachmodelle mit einem einzigen Befehl auf dem eigenen Rechner oder einem Server im Haus betreiben lassen. Die Software lädt das gewünschte Modell herunter, startet es und stellt eine Programmierschnittstelle bereit, über die Anwendungen es ansprechen können — ohne dass Daten das Unternehmen verlassen.
Wie Ollama funktioniert
Ollama nimmt die Komplexität aus dem lokalen Betrieb. Nach der Installation genügt ein Befehl wie ollama run llama3, um ein Modell zu laden und ein Gespräch zu starten. Im Hintergrund läuft ein Dienst, der eine zu OpenAI kompatible Schnittstelle (Port 11434) anbietet. Dadurch lassen sich vorhandene Werkzeuge, Chat-Oberflächen und Automatisierungen anbinden, die eigentlich für kommerzielle Anbieter gedacht sind. Die Modelle liegen als komprimierte (quantisierte) Dateien vor, damit sie auch mit begrenztem Grafikspeicher laufen.
Hardwarebedarf
Entscheidend ist der Speicher der Grafikkarte (VRAM). Als grobe Richtwerte:
| Modellgröße | Empfohlener VRAM | Eignung |
|---|---|---|
| 3–4 Mrd. Parameter | 8 GB | Notebook, einfache Aufgaben |
| 7–8 Mrd. Parameter | 12–16 GB | Standard-Arbeitsplatz |
| 30–70 Mrd. Parameter | 24–48 GB | dedizierter Server |
Ein reiner CPU-Betrieb ist möglich, aber deutlich langsamer. Apple-Rechner mit gemeinsamem Speicher (Unified Memory) eignen sich ebenfalls gut, weil das Modell auf den Arbeitsspeicher zugreifen kann.
Grenzen und ehrliche Einordnung
Ollama ist der schnellste Weg zu lokaler KI für Tests und für einzelne Nutzer. Für den Produktivbetrieb mit mehreren gleichzeitigen Anfragen fehlt es an eingebauter Nutzerverwaltung, Zugriffsschutz und Lastverteilung — dafür braucht es einen dedizierten Server und ergänzende Software. Auch der Qualitätsabstand bleibt: Offene Modelle auf handelsüblicher Hardware erreichen nicht das Niveau der größten kommerziellen Modelle. Für Zusammenfassen, Klassifizieren und Extrahieren reicht ihre Leistung meist aus, bei anspruchsvoller Analyse ist der Unterschied klar erkennbar.
Ollama ist damit ein Baustein für On-Premise-KI und den Betrieb von Open-Source-LLMs. Wer den lokalen Betrieb vor allem aus Datenschutzgründen erwägt, findet die rechtliche Einordnung unter DSGVO-konforme KI. Eine Übersicht der Grundbegriffe bietet der Eintrag zu LLM.
Häufige Fragen
Was kostet Ollama?
Nichts, ebenso wie die meisten verfügbaren Modelle. Kosten entstehen für Hardware und Strom.
Reicht das für den Produktivbetrieb?
Für Tests und einzelne Nutzer ja. Bei mehreren gleichzeitigen Nutzern braucht es einen dedizierten Server, Zugriffsschutz und Überwachung.
Welche Hardware brauche ich für Ollama?
Entscheidend ist der Grafikspeicher: 8 GB VRAM genügen für kleine Modelle mit 3–4 Milliarden Parametern, 12–16 GB für die gängige 7–8-Milliarden-Klasse, große Modelle ab 30 Milliarden brauchen einen dedizierten Server mit 24–48 GB. Für einen ersten Test reicht ein Arbeitsplatzrechner mit 16 GB Grafikspeicher.
Läuft Ollama auch ohne Grafikkarte?
Ja, ein reiner CPU-Betrieb ist möglich, aber deutlich langsamer. Gut geeignet sind auch Apple-Rechner mit gemeinsamem Speicher (Unified Memory), weil das Modell dort auf den Arbeitsspeicher zugreifen kann.
Verlassen bei Ollama Daten das Unternehmen?
Nein. Die Modelle laufen vollständig auf dem eigenen Rechner oder einem Server im Haus; Anwendungen sprechen sie über eine lokale Schnittstelle an. Genau das macht Ollama zu einem Baustein für On-Premise-KI aus Datenschutzgründen.
Wie gut sind die Modelle in Ollama?
Offene Modelle auf handelsüblicher Hardware erreichen nicht das Niveau der größten kommerziellen Modelle. Für Zusammenfassen, Klassifizieren und Extrahieren reicht ihre Leistung meist aus; bei anspruchsvoller Analyse bleibt der Unterschied klar erkennbar.