Fine-Tuning bezeichnet das Nachtrainieren eines bereits vortrainierten Modells mit eigenen Beispieldaten, um Stil, Format oder Fachsprache dauerhaft anzupassen. Das Wissen des Basismodells bleibt erhalten; ergänzt wird ein bevorzugtes Verhalten, das durch reine Prompt-Anweisungen nicht zuverlässig erreichbar ist.
Wie es funktioniert
Man sammelt Beispielpaare aus Eingabe und gewünschter Ausgabe — je nach Ziel einige hundert bis mehrere tausend. Das Modell wird auf diesen Paaren weitertrainiert und verinnerlicht das Muster. Verbreitet ist heute effizientes Fine-Tuning (etwa per LoRA), bei dem nur ein kleiner Teil des Modells angepasst wird. Das senkt Kosten und Rechenaufwand deutlich gegenüber einem vollständigen Nachtraining.
Wann es sich lohnt
Bei Stil und Format — wenn Ausgaben durchgängig einem festen Muster folgen sollen und Prompt-Anweisungen dafür nicht ausreichen. Etwa ein immer gleicher Antwortaufbau im Support, ein bestimmter Tonfall in der Kundenkommunikation oder ein striktes Datenformat. Auch bei sehr spezieller Fachsprache kann es helfen.
Wann nicht
Für Wissen. Wer will, dass ein Modell interne Dokumente kennt, nimmt RAG. Fine-Tuning ist dafür teuer, langsam zu aktualisieren und liefert schlechtere Ergebnisse — bei jedem neuen Dokument müsste neu trainiert werden, und das Modell neigt dazu, Fakten zu vermischen statt sie sauber nachzuschlagen.
Fine-Tuning vs. RAG vs. Prompting
| Verfahren | Ändert | Gut für | Aktualisierung |
|---|---|---|---|
| Prompting | nichts am Modell | schnelle Anpassung | sofort |
| RAG | Wissenszugriff | Fakten, Dokumente | sofort (Datenquelle) |
| Fine-Tuning | Verhalten des Modells | Stil, Format, Fachsprache | erneutes Training nötig |
Die Faustregel: Erst Prompt und Kontext ausreizen, dann RAG, und Fine-Tuning nur, wenn beides nachweislich nicht genügt. In der Praxis lösen die ersten beiden Stufen den Großteil der Anwendungsfälle.
Einordnung für den Mittelstand
Für die meisten Unternehmen ist Fine-Tuning selten der erste Schritt. Es bindet an ein bestimmtes Basismodell (was der digitalen Souveränität zuwiderläuft), erzeugt laufenden Pflegeaufwand und setzt eine saubere, kuratierte Datenbasis voraus. Der wirtschaftliche Nutzen entsteht erst bei hohem, gleichförmigem Volumen — dann kann ein feinjustiertes kleineres Modell günstiger und schneller sein als ein großes LLM mit langen Anweisungen.
Wer prüfen will, ob sich Fine-Tuning im eigenen Fall rechnet oder ob RAG genügt, findet eine Einschätzung in unserer KI-Beratung und im Überblick, was KI kostet.
Häufige Fragen
Wann lohnt sich Fine-Tuning?
Bei Stil und Format, wenn Prompt-Anweisungen nicht ausreichen. Für Wissen ist RAG der bessere Weg.
Was ist die Reihenfolge?
Erst Prompt und Kontext ausreizen, dann RAG, und Fine-Tuning nur, wenn beides nachweislich nicht genügt.
Was ist der Unterschied zwischen Fine-Tuning und RAG?
Fine-Tuning verändert das Verhalten des Modells und eignet sich für Stil, Format und Fachsprache. RAG ändert den Wissenszugriff: Das Modell schlägt zur Laufzeit in eigenen Dokumenten nach — deshalb ist RAG für Faktenwissen der bessere Weg und sofort aktualisierbar.
Wie viele Trainingsdaten braucht Fine-Tuning?
Je nach Ziel einige hundert bis mehrere tausend Beispielpaare aus Eingabe und gewünschter Ausgabe. Qualität schlägt dabei Menge: Wenige hundert saubere, konsistente Beispiele bringen mehr als tausende widersprüchliche.
Was ist LoRA?
Ein verbreitetes Verfahren für effizientes Fine-Tuning, bei dem nur ein kleiner Teil des Modells angepasst wird. Das senkt Kosten und Rechenaufwand deutlich gegenüber einem vollständigen Nachtraining.
Kann man einem Modell per Fine-Tuning neues Wissen beibringen?
Schlecht. Für Wissen ist Fine-Tuning teuer, langsam zu aktualisieren und liefert schwächere Ergebnisse — bei jedem neuen Dokument müsste neu trainiert werden, und das Modell neigt dazu, Fakten zu vermischen. Dafür ist RAG gedacht.