Lokale KI-Modelle laufen auf eigener Hardware im Unternehmen, sodass keine Inhalte an einen Cloud-Anbieter übermittelt werden — sie sind damit der strengste, aber nicht in jedem Fall der wirtschaftlichste Weg zu einer datenschutzkonformen KI-Nutzung. Zwischen „alles in die Cloud” und „alles im Haus” liegen zwei weitere Optionen, die in der Praxis häufiger passen. Die Entscheidung fällt nicht am Datenschutz allein, sondern am Verhältnis von Volumen, Sensibilität und Betreuungsaufwand.
Der Ausgangskonflikt
Das Verbot ist selten pauschal
Der Satz „unsere Daten dürfen nicht in die Cloud” beschreibt in den meisten Betrieben keine durchgehende Regel, sondern eine Teilmenge. Ein Maschinenbauer darf allgemeine Korrespondenz problemlos über einen Cloud-Dienst laufen lassen, nicht aber Konstruktionsunterlagen eines Entwicklungsauftrags. Eine Kanzlei darf interne Prozessbeschreibungen verarbeiten, keine Mandatsakten. Wer den Konflikt pauschal auflöst, entscheidet für den gesamten Betrieb nach dem Maßstab des sensibelsten Vorgangs — und zahlt entsprechend.
Der erste Schritt ist deshalb keine Technikfrage, sondern eine Sortierung: Welche Vorgänge sind unkritisch, welche sind vertraulich, und bei welchen ist eine Übermittlung an Dritte grundsätzlich ausgeschlossen? Erst danach lohnt der Blick auf die Wege.
Was den Aufwand wirklich treibt
Nicht das Modell, sondern der Betrieb. Ein lokal betriebenes System braucht jemanden, der Updates einspielt, den Zugriff absichert, die Auslastung beobachtet und bei Ausfällen reagiert. In Betrieben ohne eigene IT ist das der Punkt, an dem der Eigenbetrieb kippt — nicht die Anschaffung.
Hinzu kommt eine Frage, die vor der Beschaffung geklärt sein sollte: Wer entscheidet über den Modellwechsel? Offene Modelle erscheinen in kurzen Abständen in neuen Fassungen, und ein Wechsel ändert das Antwortverhalten spürbar. Ohne eine benannte Zuständigkeit bleibt entweder ein veraltetes Modell im Einsatz, oder es wird ohne Prüfung getauscht und die abgestimmten Abläufe liefern plötzlich andere Ergebnisse.
Die drei Wege im Vergleich
| Weg | Einmalig | Laufend | Datenlage | Grenze |
|---|---|---|---|---|
| Cloud mit Auftragsverarbeitungsvertrag | gering | Nutzungsentgelt, meist zweistellig je Nutzer | Übermittlung an Auftragsverarbeiter, Drittlandtransfer prüfen | für streng vertrauliche Inhalte oft nicht tragfähig |
| Anbieter mit Verarbeitung in der EU | gering bis mittel | Nutzungsentgelt, tendenziell höher | Daten im europäischen Rechtsraum | Daten verlassen dennoch das Unternehmen |
| Lokales Modell im Haus | Hardware, vier- bis fünfstellig | Strom, Wartung, Betreuung | Inhalte verlassen den Server nicht | Qualitätsabstand, Betreuungsaufwand |
Preisangaben zu fremden Diensten und Hardware sind Größenordnungen; der Stand ist beim jeweiligen Anbieter zu prüfen.
Cloud mit Auftragsverarbeitungsvertrag
Der Standardweg und für die Mehrheit der Anwendungsfälle der richtige. Voraussetzung sind ein Auftragsverarbeitungsvertrag, eine dokumentierte Prüfung des Drittlandtransfers und die Abschaltung der Nutzung von Eingaben zu Trainingszwecken. Was dabei im Einzelnen zu regeln ist, steht unter DSGVO-konforme KI.
Anbieter mit Verarbeitung in der EU
Der mittlere Weg reduziert die Drittlandfrage, ohne den Betrieb ins Haus zu holen. Er ist der pragmatische Kompromiss für vertrauliche, aber nicht streng geschützte Inhalte. Die Anbieterlage dazu ist unter KI made in Germany und im Begriff digitale Souveränität eingeordnet.
Lokales Modell
Der strengste Weg. Ein quantisiertes offenes Modell läuft auf eigener Hardware, die Anfragen bleiben im Netz. Was das technisch bedeutet, ist unter On-Premise-KI und Open-Source-LLM beschrieben; die Hardwareanforderungen im Detail — Speicherbedarf je Modellgröße, Wirkung der Quantisierung, geeignete Ausstattungen — sind unter Lokale KI: welche Hardware wirklich nötig ist zusammengestellt, der praktische Einstieg unter Ollama-Anleitung.
Der ehrliche Blick auf die Qualität
Wo der Abstand gering ist
Bei den Aufgaben, die im Mittelstand tatsächlich anfallen, ist der Unterschied kleiner als erwartet: Daten aus Dokumenten extrahieren, Vorgänge klassifizieren, Texte zusammenfassen, Entwürfe formulieren, Anfragen einer Kategorie zuordnen. Für diese Klasse liefern quantisierte Modelle mittlerer Größe Ergebnisse, die im Alltag tragen.
Wo der Abstand bleibt
Deutlich sichtbar wird die Lücke bei mehrstufigem Schlussfolgern, bei sehr langen Eingaben, bei Code und bei der Verlässlichkeit strukturierter Ausgaben. Ein lokales Modell hält sich seltener zuverlässig an ein vorgegebenes Ausgabeformat, was in automatisierten Abläufen zu Nacharbeit führt. Auch bei fachsprachlich dichten Texten und bei Mehrsprachigkeit außerhalb der großen Sprachen ist der Unterschied spürbar.
Der gemischte Betrieb ist der Normalfall
In der Praxis endet die Entscheidung selten bei einer Option. Verbreitet ist die Aufteilung nach Sensibilität: sensible Vorgänge lokal, alles Übrige in der Cloud, mit einer Weiche davor, die anhand des Vorgangstyps entscheidet. Das kostet etwas mehr Einrichtungsaufwand und löst den Zielkonflikt, ohne die gesamte Organisation auf das strengste Niveau zu zwingen.
Was der Eigenbetrieb kostet
Anschaffung
Als Größenordnung: Eine Arbeitsplatzlösung für einzelne Nutzer liegt im niedrigen vierstelligen Bereich, ein Server für mehrere gleichzeitige Nutzer im fünfstelligen. Der Sprung entsteht nicht am Rechner, sondern am Grafikspeicher — er bestimmt, welche Modellgröße überhaupt läuft. Konkrete Preise sind tagesaktuell zu prüfen.
Betrieb
Hinzu kommen Strom und Kühlung, die Wartung des Systems und vor allem die Betreuung: Updates, Zugriffsschutz, Beobachtung der Auslastung, Reaktion bei Störungen. Diese Position ist der eigentliche Kostenblock und der häufigste Grund, warum lokale Installationen nach einem Jahr nicht mehr gepflegt sind.
Der Rechenpunkt
Der Eigenbetrieb rechnet sich, wenn zwei Bedingungen zusammenkommen: Es gibt einen dauerhaften Bestand an Vorgängen, die den Betrieb nicht verlassen dürfen, und das Volumen ist hoch genug, dass die Hardware ausgelastet ist. Bei wenigen Vorgängen im Monat steht teure Hardware still, während der Betreuungsaufwand unverändert anfällt.
Eine belastbare Gegenrechnung braucht drei Zahlen: die Anzahl der kritischen Vorgänge im Monat, den Aufwand je Vorgang im heutigen Zustand und die tatsächlichen Betriebskosten der Eigenlösung einschließlich der internen Zeit. Fehlt die dritte Zahl — was der Regelfall ist — sieht der Eigenbetrieb auf dem Papier immer günstig aus, weil die Betreuung in keinem Angebot steht.
Umsetzung und rechtliche Einordnung
Der Einstieg besteht aus drei Schritten: die Vorgangsarten nach Sensibilität sortieren, für die kritische Klasse einen Testlauf auf lokaler Hardware fahren, und erst danach über die endgültige Ausstattung entscheiden. Wie eine solche Anbindung im Ablauf aussieht, zeigt die Vorlage KI-Anfragen über ein lokales Modell beantworten: Anfragen kommen über eine Schnittstelle herein, werden von einem lokal gehosteten Modell beantwortet, und protokolliert werden nur Metadaten statt der Inhalte.
Rechtlich gilt: Der lokale Betrieb entfernt die Übermittlung an einen Auftragsverarbeiter, nicht die übrigen Pflichten. Rechtsgrundlage, Zweckbindung, Löschkonzept, Zugriffsschutz und Protokollierung bleiben bestehen — der Überblick dazu steht unter KI und Datenschutz. Unabhängig von der Betriebsform greift seit dem 02.02.2025 die Kompetenzpflicht aus Artikel 4 der KI-Verordnung; Einzelheiten unter KI-Schulungspflicht. Das ist eine Einordnung, keine Rechtsberatung.
Die Entscheidung in einem Satz
Lokale Modelle sind kein Fortschritt gegenüber der Cloud, sondern eine andere Abwägung: mehr Kontrolle gegen mehr Aufwand und etwas weniger Modellqualität. Wer regelmäßig mit Inhalten arbeitet, die den Betrieb nicht verlassen dürfen, bekommt dafür einen belastbaren Gegenwert. Wer das nicht tut, kauft Hardware, die stillsteht. Die Sortierung der eigenen Vorgänge ist der Teil, der die Antwort liefert — dabei hilft ein Erstgespräch schneller als jeder Modellvergleich.
Quellen: Verordnung (EU) 2016/679 (EUR-Lex) · Bundesamt für Sicherheit in der Informationstechnik (BSI) · Bundesbeauftragter für den Datenschutz (BfDI)
Häufige Fragen
Wann lohnt sich ein lokales KI-Modell?
Wenn regelmäßig Inhalte verarbeitet werden, die den Betrieb nicht verlassen dürfen — Patientendaten, Mandatsunterlagen, Konstruktionsdaten, Personalakten — und das Volumen so hoch ist, dass die Hardware nicht für einzelne Anfragen im Monat bereitsteht. Bei gelegentlicher Nutzung unkritischer Inhalte ist die Cloud mit Auftragsverarbeitungsvertrag der günstigere Weg.
Wo liegen lokale Modelle qualitativ zurück?
Bei mehrstufigem Schlussfolgern, langen Kontexten, Code und der Verlässlichkeit strukturierter Ausgaben. Für Extraktion, Klassifikation, Zusammenfassung und Formulierungshilfe ist der Abstand zu den großen Cloud-Modellen in der Praxis gering; bei komplexen Analyseaufgaben bleibt er deutlich spürbar.
Was kostet die Hardware für ein lokales Modell?
Als Größenordnung: eine Arbeitsplatzlösung für einen Nutzer im niedrigen vierstelligen Bereich, ein Server für mehrere gleichzeitige Nutzer im fünfstelligen Bereich, dazu Strom, Wartung und Betreuung. Konkrete Preise sind tagesaktuell beim Händler zu prüfen. Der laufende Betrieb ist der Posten, der regelmäßig unterschätzt wird.
Ist ein lokales Modell automatisch DSGVO-konform?
Nein. Der lokale Betrieb löst die Übermittlung an einen Auftragsverarbeiter, nicht die übrigen Pflichten: Rechtsgrundlage, Zweckbindung, Löschkonzept, Zugriffsschutz und Protokollierung gelten unverändert. Er vereinfacht die Prüfung erheblich, ersetzt sie aber nicht.
Was ist der Unterschied zu einem EU-Anbieter?
Bei einem EU-Anbieter bleiben die Daten im europäischen Rechtsraum, verlassen aber das Unternehmen. Beim lokalen Betrieb verlassen sie den eigenen Server nicht. Der mittlere Weg ist deutlich günstiger und für viele Anwendungsfälle ausreichend; der lokale Weg ist die Antwort dort, wo eine Übermittlung grundsätzlich ausgeschlossen ist.
Welche Modellgröße reicht für den Anfang?
Für Extraktion und Klassifikation reichen quantisierte Modelle im Bereich von sieben bis vierzehn Milliarden Parametern und laufen auf überschaubarer Hardware. Erst wenn die Aufgabe mehrstufiges Schlussfolgern verlangt, lohnt der Sprung auf größere Modelle mit entsprechendem Speicherbedarf.