Lokale KI verlangt vor allem ausreichend Grafikspeicher: Quantisierte Modelle mit 7–8 Milliarden Parametern laufen ab 6–8 GB VRAM, 30–35 Milliarden brauchen rund 24 GB, 70-Milliarden-Modelle 48 GB oder mehr. Die Frage nach der Hardware kommt trotzdem meist zu früh — sinnvoller ist zuerst die Frage, welche Aufgabe das Modell lösen soll. Wer mit dem Anwendungsfall statt mit der Grafikkarte beginnt, spart in der Regel einen vierstelligen Betrag.
Die entscheidende Größe: VRAM
Der Speicher der Grafikkarte (VRAM) ist der Flaschenhals, nicht die reine Rechenleistung. Passt ein Modell nicht vollständig in den VRAM, muss es teilweise in den langsameren Arbeitsspeicher ausgelagert werden — die Antwortgeschwindigkeit bricht dann um ein Vielfaches ein. Die erste Kennzahl bei jeder Kaufentscheidung ist deshalb nicht die Taktrate, sondern die Gigabyte auf der Karte.
Wie viel Speicher welche Modellgröße braucht
| Modellgröße | VRAM (quantisiert, Q4) | Leistungsniveau | Grobe Kartenklasse |
|---|---|---|---|
| 7–8 Mrd. Parameter | 6–8 GB | Klassifikation, Extraktion | Einsteiger, ab ~350 € |
| 13–14 Mrd. | 10–12 GB | Zusammenfassungen, Textarbeit | Mittelklasse, ~700 € |
| 30–35 Mrd. | 24 GB | Gute Allgemeinqualität | Oberklasse, ~1.800 € |
| 70 Mrd. | 48 GB+ | Nah an kommerziellen Modellen | Profi/Server, ab 4.000 € |
Die Werte sind Richtwerte für den reinen Modellbetrieb. Für längere Eingaben — großer Kontext, etwa ein komplettes Dokument als Vorlage — kommen je nach Fenstergröße einige Gigabyte hinzu. Wer knapp kalkuliert, landet dann doch im Auslagerungsfall.
Quantisierung: der wichtigste Spar-Hebel
Quantisierung reduziert die Genauigkeit der Modellgewichte von 16 auf meist 4 Bit. Der Speicherbedarf sinkt dadurch um rund zwei Drittel, der Qualitätsverlust ist für die meisten betrieblichen Aufgaben gering. Ein 14-Milliarden-Modell, das unquantisiert 28 GB bräuchte, läuft quantisiert auf einer 12-GB-Karte. Für Extraktion, Klassifikation und Zusammenfassungen ist die Stufe Q4 in der Praxis ausreichend; erst bei anspruchsvollem, mehrstufigem Schlussfolgern lohnt eine höhere Stufe wie Q6 oder Q8.
Warum die Aufgabe vor der Karte kommt
Eine Adressextraktion aus E-Mails braucht kein 70-Milliarden-Modell. Ein 7-Milliarden-Modell löst das auf vorhandener Hardware. Erst wenn die Aufgabe steht und nur die Qualität nicht reicht, lohnt die Investition in mehr Speicher. Die häufigste Fehlinvestition ist die teure Karte für ein Modell, das die eigentliche Aufgabe deutlich unterfordert.
Realistische Ausstattungen nach Einsatzzweck
Zum Testen
Ein moderner Rechner mit 8 bis 12 GB VRAM. Reicht für kleine Modelle und die Frage, ob ein Anwendungsfall überhaupt trägt. Oft ist eine solche Karte im Betrieb bereits vorhanden — in jedem CAD-Arbeitsplatz oder Gaming-fähigen Rechner steckt genug, um einen ersten Test zu fahren.
Für einzelne Nutzer
Eine Karte mit 24 GB. Damit laufen mittelgroße Modelle in brauchbarer Geschwindigkeit für interaktive Nutzung, also für Antworten ohne störende Wartezeit am Bildschirm. Die Anschaffung liegt im unteren vierstelligen Bereich, dazu kommt der Betriebsstrom. Für einen einzelnen Sachbearbeiter, der den ganzen Tag mit dem Modell arbeitet, ist das die wirtschaftlich sinnvolle Klasse.
Für mehrere gleichzeitige Nutzer
Serverhardware mit einer oder mehreren Profikarten. Hier wird es deutlich teurer, und die Wirtschaftlichkeit gegenüber einem DSGVO-konformen Cloud-Angebot stellt sich neu. Mehrere Nutzer teilen sich den Speicher nicht beliebig — jede gleichzeitige Anfrage belegt eigenen Kontext-Speicher. Ab dieser Schwelle sollte gerechnet werden, nicht angenommen.
Apple-Rechner als übersehene Alternative
Macs mit vereinheitlichtem Speicher können große Speichermengen für Modelle nutzen — ein Gerät mit 64 GB geteiltem Speicher lädt Modelle, die sonst zwei Profikarten bräuchten. Die Geschwindigkeit liegt unter der dedizierter Grafikkarten, die Anschaffungskosten aber ebenfalls, und der Stromverbrauch ist deutlich niedriger. Für Einzelplätze mit großen Modellen ist das oft die günstigste Variante überhaupt.
Schnellstart mit Ollama
Vom Download zum ersten Test
Der einfachste Weg, lokale Modelle auszuprobieren, ist Ollama. Installation, Modell laden und erster Test dauern zusammen wenige Minuten:
# Modell herunterladen (ca. 4,7 GB, quantisiert)
ollama pull llama3.1:8b
# Interaktiv testen
ollama run llama3.1:8b "Fasse diesen Text in drei Sätzen zusammen: ..."
# Speicher- und Geschwindigkeitswerte prüfen
ollama ps
Die letzte Zeile zeigt, ob das Modell vollständig im VRAM läuft (Spalte PROCESSOR: 100% GPU) oder teilweise in den Arbeitsspeicher ausgelagert wird. Steht dort ein CPU-Anteil, ist die Karte zu klein für dieses Modell — dann eine kleinere Variante oder stärkere Quantisierung wählen.
Schritt für Schritt zum belastbaren Test
- Anwendungsfall präzise benennen (z. B. “E-Mails nach Dringlichkeit sortieren”).
- Kleinstes plausibles Modell auf vorhandener Hardware laden.
- 20 echte Beispiele durchlaufen lassen und Ergebnisse prüfen.
- Reicht die Qualität nicht, ein Modell eine Stufe größer testen.
- Erst wenn ein Modell überzeugt, die passende Hardware dazu beschaffen.
Der Sprung zur Anbindung
Ein nackter Chat im Terminal ist nur der Anfang. Sobald das Modell Aufgaben im Hintergrund erledigen soll — etwa eingehende Nachrichten klassifizieren —, spricht man es über seine Programmierschnittstelle an. Ollama stellt dafür einen lokalen HTTP-Endpunkt bereit, den vorhandene Werkzeuge und Automatisierungen ansteuern können, ohne dass Daten das Haus verlassen.
Wirtschaftlichkeit: lokal gegen Cloud
Wann sich der Eigenbetrieb rechnet
Der Reiz lokaler KI ist die Datensouveränität, nicht in erster Linie der Preis. Bei niedrigem oder schwankendem Volumen ist ein Cloud-Angebot fast immer günstiger, weil man nur die tatsächliche Nutzung zahlt. Lokal gewinnt bei hohem, konstantem Durchsatz oder bei Daten, die aus rechtlichen Gründen im Haus bleiben müssen.
Die Kostenblöcke im Vergleich
| Posten | Lokal (Einzelplatz 24 GB) | Cloud (nutzungsbasiert) |
|---|---|---|
| Einstieg | 1.500–2.000 € Hardware | 0 € |
| Laufend | Strom + Betreuung | pro Anfrage/Token |
| Datenlage | bleibt im Haus | Vertrag/Verarbeitungsort |
Die Tabelle zeigt die Grundstruktur, nicht Ihren konkreten Fall. Ob die Rechnung kippt, hängt am Volumen: Bei wenigen hundert Anfragen im Monat amortisiert sich Hardware nie, bei Dauerlast schon nach wenigen Monaten.
Was oft vergessen wird
Strom und Wärme
Eine Profikarte unter Dauerlast zieht 300 bis 450 Watt. Bei echtem Dauerbetrieb sind das mehrere hundert Euro Stromkosten im Jahr, dazu Abwärme, die der Aufstellungsort abführen muss. Ein Serverschrank im ungelüfteten Abstellraum ist keine Lösung — thermische Drosselung senkt dann die Leistung genau dann, wenn sie gebraucht wird.
Betreuung
Modelle, Treiber und Laufzeitumgebung brauchen Pflege. Ohne benannte Zuständigkeit veraltet das System, Sicherheitsupdates bleiben liegen. Diese Betriebskosten fehlen in fast jeder ersten Kalkulation und sind der Grund, warum lokale Projekte scheinbar günstig starten und später teuer werden.
Wann sich der Aufwand lohnt und welcher Weg für Ihren Fall trägt, klären wir am schnellsten in einem Erstgespräch. Für die Einordnung, was KI insgesamt kostet, hilft der Überblick zu den KI-Kosten.
Quellen: Bundesamt für Sicherheit in der Informationstechnik (BSI) · Verordnung (EU) 2016/679 (EUR-Lex)