Lokale KI auf dem eigenen PC: Was du brauchst und wann es sich lohnt

Programme wie Ollama, LM Studio oder llama.cpp haben den Einstieg stark vereinfacht. Statt stundenlanger Bastelei reicht oft eine Installation und ein einziger Befehl. Dieser Ratgeber erklärt, was lokale KI leisten kann, welche Hardware du brauchst, wie du startest und wann sich der Aufwand im Vergleich zu ChatGPT und Co. lohnt.

Was lokale KI kann – und was nicht

Lokale KI bedeutet, dass ein Sprachmodell vollständig auf deinem eigenen Rechner läuft. Möglich machen das sogenannte Open-Weight-Modelle, deren Modelldateien die Anbieter zum Herunterladen freigeben. Bekannte Familien sind Llama von Meta, Gemma von Google, Qwen von Alibaba, DeepSeek-R1 und gpt-oss von OpenAI.

Gut geeignet sind lokale Modelle für:

• Texte zusammenfassen, umformulieren und Entwürfe schreiben
• Hilfe beim Programmieren, etwa Code erklären oder Fehler finden
• Eigene Dokumente befragen, ohne sie hochzuladen
• Übersetzungen und einfache Recherchen im eigenen Wissensbestand
• Experimente, zum Beispiel eigene kleine KI-Assistenten

Die Grenzen sind ebenso klar. Kleine Modelle machen mehr Fehler, erfinden häufiger Fakten und formulieren auf Deutsch oft weniger sicher als auf Englisch. Ohne Zusatzwerkzeuge haben sie keinen Zugriff auf das Internet und kennen nur den Stand ihrer Trainingsdaten. Wer einfach nur gelegentlich eine KI nutzen will, ist mit kostenlosen Online-Diensten oft schneller am Ziel – einen Überblick gibt unser Beitrag Kostenlose KI-Tools, die jeder Student kennen sollte.

Neben Sprachmodellen lassen sich auch Bildgeneratoren lokal betreiben. Sie stellen ähnliche Anforderungen an die Grafikkarte und profitieren ebenfalls von viel Grafikspeicher. Wie das Erstellen von KI-Bildern grundsätzlich funktioniert, zeigt unser Beitrag KI Bilder erstellen: Das Tutorial für Gamer und Tech-Fans.

Die wichtigste Zahl: der Speicher

Bei lokaler KI entscheidet weniger die reine Rechenleistung als der Speicher. Das Modell muss möglichst vollständig in den Grafikspeicher (VRAM) passen. Passt es nicht, lagern die Programme Teile in den Arbeitsspeicher aus. Das funktioniert, macht die Antworten aber deutlich langsamer.

Wie viel Platz ein Modell braucht, hängt von der Zahl seiner Parameter und der Quantisierung ab. Quantisierung bedeutet, dass die Werte des Modells mit weniger Bits gespeichert werden. Das spart viel Speicher und kostet etwas Genauigkeit. Einige Beispiele aus der Modellbibliothek von Ollama: Googles Gemma 3 belegt in der Variante mit 4 Milliarden Parametern 3,3 GB, mit 12 Milliarden 8,1 GB und mit 27 Milliarden 17 GB. OpenAI gibt für sein Modell gpt-oss-20b an, dass es mit 16 GB Speicher läuft, das größere gpt-oss-120b braucht 80 GB, wie die Ankündigung von OpenAI erklärt.

Daraus ergibt sich eine grobe Orientierung:

• 8 GB: Kleine Modelle mit bis zu etwa 8 Milliarden Parametern laufen flüssig. Für einfache Aufgaben reicht das, für anspruchsvolle Texte stößt du schnell an Grenzen.
• 12 bis 16 GB: Mittlere Modelle wie Gemma 3 12B oder gpt-oss-20b werden möglich. Für viele Alltagsaufgaben ist das der sinnvolle Einstieg.
• 24 GB und mehr: Größere Modelle mit spürbar besseren Antworten. Solche Grafikkarten sind allerdings teuer.

Beachte: Auch der Kontext, also die Länge von Gespräch und eingefügten Dokumenten, belegt Speicher. Wer lange Texte verarbeiten will, braucht deshalb etwas Reserve über der reinen Modellgröße.

Welche Hardware passt: Nvidia, AMD, Apple oder Intel?

Nvidia ist der unkomplizierteste Weg, weil nahezu alle KI-Programme die Nvidia-Schnittstelle CUDA unterstützen. Laut der Hardware-Dokumentation von Ollama funktionieren Nvidia-Karten ab Compute Capability 5.0 mit aktuellem Treiber, also auch viele ältere Modelle.

AMD wird über die Schnittstelle ROCm unterstützt. Unter Linux nennt Ollama Radeon-Karten von der RX 6800 bis zur RX-9000-Serie, unter Windows Modelle der RX-7000-Serie. Andere Grafikkarten können unter Windows und Linux zusätzlich über die Schnittstelle Vulkan beschleunigt werden. Prüfe vor dem Kauf, ob deine Karte in der aktuellen Liste steht.

Apple-Rechner mit M-Chip nutzen einen gemeinsamen Speicher für Prozessor und Grafikeinheit. Ein Mac mit viel Arbeitsspeicher kann deshalb auch größere Modelle laden, für die du am PC eine teure Grafikkarte bräuchtest. Ollama beschleunigt auf dem Mac über Apples Grafikschnittstelle Metal.

NPUs, also die KI-Einheiten in neuen Laptop-Prozessoren, spielen für diese Programme bisher eine Nebenrolle. Was die Chips im Alltag tatsächlich leisten, erklärt unser Beitrag KI-Chips für Heimanwender: Was NPUs in Laptops und Mini-PCs wirklich leisten.

Wer ohnehin eine neue Grafikkarte kaufen will, sollte für lokale KI vor allem auf den Speicher achten: Eine Karte mit 16 GB ist hier wertvoller als ein schnelleres Modell mit 8 GB. Welche Karten es gibt und was sie kosten, zeigt unser Ratgeber Grafikkarte für Gaming-PC kaufen: RTX vs. RX – welche passt zu deinem Budget?

So richtest du lokale KI ein

1. Programm wählen: Ollama läuft unter Windows, macOS und Linux und wird über die Kommandozeile oder eine App bedient. LM Studio bietet eine grafische Oberfläche, in der du Modelle per Mausklick suchst und lädst. llama.cpp ist die technische Grundlage vieler solcher Programme und richtet sich an Fortgeschrittene.
2. Kleines Modell testen: Starte mit einem Modell, das sicher in deinen Speicher passt, etwa Gemma 3 mit 4 Milliarden Parametern. In Ollama genügt dafür der Befehl ollama run gemma3. Das Programm lädt das Modell herunter und öffnet einen Chat.
3. Mit eigenen Aufgaben prüfen: Teste das Modell mit typischen Aufgaben aus deinem Alltag, am besten auf Deutsch. So merkst du schnell, ob die Qualität reicht.
4. Schrittweise größer werden: Reicht die Qualität nicht, probiere ein größeres Modell. Wird es zu langsam, ist der Speicher voll.
5. Oberfläche ergänzen: Wer lieber im Browser chattet oder eigene Dokumente einbinden will, kann zusätzliche Oberflächen nutzen, die auf Ollama aufsetzen.

Datenschutz: Was wirklich lokal bleibt

Der größte Vorteil lokaler KI ist, dass deine Eingaben den Rechner nicht verlassen, solange das Modell wirklich lokal läuft. Das ist interessant für vertrauliche Notizen, Kundendaten oder interne Dokumente. Achte aber auf die Details: Manche Programme bieten neben lokalen Modellen auch Cloud-Modelle an. Bei Ollama sind solche Varianten mit dem Zusatz „cloud“ im Namen gekennzeichnet, etwa gpt-oss:20b-cloud. Wenn du Daten schützen willst, nutze ausschließlich die lokalen Versionen.

Für Unternehmen gilt: Lokale Verarbeitung kann den Datenschutz nach DSGVO erleichtern, ersetzt aber keine Prüfung durch die zuständige Stelle. Achte außerdem auf die Lizenzen der Modelle. gpt-oss steht zum Beispiel unter der Apache-2.0-Lizenz, andere Modelle haben eigene Nutzungsbedingungen, die du vor einem geschäftlichen Einsatz lesen solltest.

Kosten: Lohnt sich lokale KI finanziell?

Die Programme und viele Modelle sind kostenlos. Teuer wird es nur, wenn du eigens Hardware anschaffst. Grafikkarten mit 16 GB Speicher kosten 2026 mehrere Hundert Euro, Modelle mit 24 GB und mehr deutlich mehr. Für ein Abo eines Cloud-Dienstes zahlst du dagegen einen monatlichen Betrag und bekommst in der Regel die stärkeren Modelle.

Finanziell lohnt sich lokale KI deshalb vor allem, wenn du die Hardware ohnehin besitzt, zum Beispiel einen Gaming-PC mit passender Grafikkarte oder einen Mac mit viel Arbeitsspeicher. Hinzu kommt der Strom: Eine Grafikkarte, die beim Rechnen 300 Watt aufnimmt, verbraucht in einer Stunde Volllast 0,3 Kilowattstunden. Bei einem angenommenen Strompreis von 35 Cent pro Kilowattstunde sind das gut 10 Cent. Bei gelegentlicher Nutzung fällt das kaum ins Gewicht, im Dauerbetrieb schon.

Typische Probleme und ihre Lösungen

Die Antworten kommen extrem langsam. Meist passt das Modell nicht vollständig in den Grafikspeicher. In Ollama zeigt der Befehl ollama ps, wie sich das Modell auf Prozessor und Grafikkarte verteilt. Wähle ein kleineres Modell oder eine stärker quantisierte Variante.

Die Grafikkarte wird nicht genutzt. Installiere den aktuellen Treiber und prüfe in der Hardware-Liste des Programms, ob deine Karte unterstützt wird. Bei AMD-Karten hängt die Unterstützung zusätzlich vom Betriebssystem ab.

Das Modell antwortet auf Englisch. Formuliere deine Anfrage auf Deutsch und bitte ausdrücklich um eine deutsche Antwort. Hilft das nicht, probiere ein Modell, das mehrsprachig trainiert wurde.

Das Programm bricht bei langen Dokumenten ab. Der Kontext belegt zusätzlichen Speicher. Teile lange Dokumente auf oder nutze ein kleineres Modell.

Die Festplatte läuft voll. Modelle sind große Dateien. Laut der Ollama-Bibliothek ist gpt-oss-20b als Download 14 GB groß, gpt-oss-120b sogar 65 GB. Lösche Modelle, die du nicht mehr brauchst (in Ollama mit ollama rm und dem Modellnamen), und plane auf der SSD ausreichend Platz ein.

Die Antworten enthalten falsche Fakten. Sprachmodelle erfinden gelegentlich Inhalte, kleine Modelle häufiger als große. Prüfe wichtige Angaben immer selbst.

Entscheidungshilfe: Ist lokale KI etwas für dich?

• Ja, wenn du vertrauliche Daten verarbeiten willst, bereits einen PC mit mindestens 12 bis 16 GB Grafikspeicher oder einen Mac mit viel Arbeitsspeicher besitzt und Freude am Ausprobieren hast.
• Eher nicht, wenn du die bestmögliche Antwortqualität brauchst, nur gelegentlich eine KI nutzt oder dafür eigens teure Hardware kaufen müsstest.
• Als Ergänzung ist lokale KI für viele die beste Lösung: sensible Aufgaben lokal, anspruchsvolle Aufgaben ohne vertrauliche Daten in der Cloud.

Das Wichtigste in Kürze

Lokale KI läuft mit kostenlosen Programmen wie Ollama oder LM Studio auf Windows, macOS und Linux. Der Speicher entscheidet: 8 GB reichen für kleine Modelle, 12 bis 16 GB sind der sinnvolle Einstieg, größere Modelle brauchen deutlich mehr.

Der wichtigste Vorteil ist der Datenschutz, solange du ausschließlich lokale Modelle nutzt. An die Qualität der stärksten Cloud-Modelle kommen Heim-PCs meist nicht heran. Starte mit einem kleinen Modell, teste es mit deinen eigenen Aufgaben und rüste erst auf, wenn du den Nutzen kennst.