vLLM ist eine Open-Source-Inferenz-Engine, die große Sprachmodelle auf eigener Hardware performant im Produktivbetrieb bereitstellt. Entwickelt wurde sie 2023 am Sky Computing Lab der UC Berkeley; heute wird das Projekt als Teil der PyTorch Foundation von einer breiten Community weiterentwickelt, zu den größten Unterstützern zählt Red Hat.
Während Werkzeuge wie Ollama das lokale Ausprobieren von Modellen bequem machen, beantwortet vLLM eine andere Frage: Wie bedient ein Server zehn, hundert oder tausend gleichzeitige Anfragen, ohne dass Kosten und Wartezeiten explodieren? Genau dafür ist vLLM der De-facto-Standard im Open-Source-Bereich.
Was vLLM technisch besonders macht
Der Engpass beim Betrieb von Sprachmodellen ist der GPU-Speicher. vLLMs Kerninnovation heißt PagedAttention: Der Zwischenspeicher der Anfragen (KV-Cache) wird wie virtueller Arbeitsspeicher in kleine Seiten aufgeteilt statt am Stück reserviert. Ergebnis: kaum Verschnitt, deutlich mehr parallele Anfragen pro Grafikkarte.
Dazu kommen:
- Continuous Batching: Neue Anfragen werden laufend in bestehende Rechenvorgänge eingefädelt, statt auf den nächsten Stapel zu warten.
- OpenAI-kompatible API: vLLM stellt dieselben Endpunkte bereit wie die ChatGPT-API. Bestehende Anwendungen lassen sich oft durch das Austauschen einer URL auf das eigene Modell umstellen.
- Quantisierung: Unterstützung für FP8, AWQ, GPTQ und GGUF reduziert den Speicherbedarf, sodass größere Modelle auf kleinerer Hardware laufen.
- Verteilter Betrieb: Tensor- und Pipeline-Parallelismus verteilen sehr große Modelle über mehrere GPUs oder Server.
- Breite Hardware-Basis: Neben NVIDIA-GPUs werden unter anderem AMD-GPUs, CPUs und Google TPUs unterstützt.
Praktisch heißt das: vLLM lädt offene Modelle wie Llama, Mistral oder Qwen direkt von Hugging Face und stellt sie als API-Dienst bereit.
Preise und Lizenz
vLLM ist freie Software unter der Apache-2.0-Lizenz – kostenlos, auch kommerziell, ohne Nutzungsgebühren pro Token. Die realen Kosten liegen woanders: GPU-Server (Kauf oder Miete), Strom, Einrichtung und laufender Betrieb. Ob sich das gegenüber einer API-Nutzung rechnet, hängt vom Volumen ab. Bei hoher, gleichmäßiger Last amortisiert sich eigene Hardware; bei sporadischer Nutzung ist eine gehostete API meist günstiger.
Datenschutz: der eigentliche Grund für den Mittelstand
vLLM ist Software, kein Cloud-Dienst. Alle Eingaben und Ausgaben bleiben auf der Infrastruktur, die Sie kontrollieren – im eigenen Rechenzentrum oder bei einem europäischen Hoster. Es gibt keinen US-Anbieter im Datenfluss, keine Trainingsnutzung Ihrer Daten, keine Drittlandsübermittlung. Für Branchen mit strengen Vorgaben (Gesundheit, Recht, Finanzen, öffentliche Hand) ist das der zentrale Vorteil gegenüber jeder API.
Die Kehrseite: Die Verantwortung wandert zu Ihnen. Absicherung des Servers, Zugriffskontrolle, Protokollierung und – beim externen Hosting – ein sauberer AV-Vertrag sind Ihre Aufgabe. Wie On-Premise-KI sauber aufgesetzt wird, haben wir gesondert beschrieben; die rechtliche Einordnung finden Sie unter KI und Datenschutz.
vLLM vs. Ollama: zwei Werkzeuge, zwei Jobs
Die häufigste Verwechslung: Beide Tools führen offene Sprachmodelle lokal aus, sind aber für unterschiedliche Szenarien gebaut.
| Kriterium | vLLM | Ollama |
|---|---|---|
| Zielszenario | Server, viele parallele Nutzer | Einzelplatz, Entwicklung, Tests |
| Durchsatz bei Parallelität | Hoch (Continuous Batching) | Begrenzt, Anfragen weitgehend sequenziell |
| Einrichtung | Linux, Python, GPU-Kenntnisse nötig | Ein Installer, ein Befehl |
| Hardware | Dedizierte GPU(s), auch Multi-GPU | Läuft auch auf Laptop und Apple Silicon |
| Modellverwaltung | Manuell (Hugging Face) | Eingebaut, sehr bequem |
| Lizenz/Kosten | Apache 2.0, kostenlos | MIT, kostenlos |
Der typische Weg im Unternehmen: Mit Ollama wird ein Anwendungsfall am Einzelplatz erprobt (Einstieg: unsere Ollama-Anleitung), für den Rollout an Abteilung oder Gesamtfirma übernimmt vLLM den Serverbetrieb.
Einordnung für den Mittelstand
Für Unternehmen zwischen 20 und 500 Mitarbeitern ist vLLM kein Werkzeug, das man nebenbei einführt – aber auch keines, vor dem man Respekt haben muss. Realistisch braucht es: einen GPU-Server (gemietet ab niedrigem vierstelligen Monatsbetrag bei EU-Hostern, je nach Karte), einen Admin mit Linux-Erfahrung und ein bis zwei Tage für Setup und Härtung. Danach steht eine firmeneigene KI-Schnittstelle, an die sich interne Tools, KI-Agenten und Automatisierungen anbinden lassen wie an jede kommerzielle API.
Sinnvoll ist das, wenn Datenschutz oder Datenhoheit den Ausschlag geben, wenn hohe Volumen die API-Kosten treiben oder wenn ein feinjustiertes eigenes Modell betrieben werden soll. Nicht sinnvoll ist es, wenn nur gelegentlich Texte generiert werden – dann ist der Betriebsaufwand größer als der Nutzen.
Häufige Fragen
Was ist vLLM?
vLLM ist eine Open-Source-Engine zum Betreiben großer Sprachmodelle auf eigener Hardware. Sie wurde an der UC Berkeley entwickelt und ist heute ein Projekt unter dem Dach der PyTorch Foundation. Kernstück ist PagedAttention, ein Speicherverfahren, das viele parallele Anfragen effizient auf einer GPU bündelt.
Was kostet vLLM?
Die Software selbst ist kostenlos und steht unter der Apache-2.0-Lizenz, auch für kommerzielle Nutzung. Kosten entstehen durch die GPU-Infrastruktur (eigene Server oder gemietete Cloud-GPUs) sowie durch Einrichtung und Betrieb. Das ist der eigentliche Kalkulationsposten, nicht die Lizenz.
Ist vLLM DSGVO-konform?
vLLM läuft vollständig auf Ihrer eigenen Infrastruktur, es fließen keine Daten an einen Anbieter ab. Das ist die datenschutzfreundlichste Betriebsform für Sprachmodelle. Die Verantwortung für Absicherung, Zugriffskontrolle und Auftragsverarbeitung beim Hosting-Partner liegt allerdings bei Ihnen als Betreiber.
vLLM oder Ollama – was ist besser?
Ollama ist für den einzelnen Nutzer am Laptop gebaut: eine Installation, ein Befehl, Modell läuft. vLLM ist für den Server gebaut: Es bedient viele gleichzeitige Anfragen mit deutlich höherem Durchsatz. Faustregel: Prototyp und Einzelplatz mit Ollama, produktiver Mehrbenutzerbetrieb mit vLLM.
Für wen eignet sich vLLM?
Für Unternehmen, die ein offenes Sprachmodell produktiv und mit mehreren Nutzern oder Anwendungen betreiben wollen – etwa aus Datenschutzgründen on-premise. Voraussetzung sind passende GPU-Hardware und jemand, der Linux-Server administrieren kann, intern oder über einen Dienstleister.