Lokale KI auf Linux: Was ihr braucht und was ihr erwarten könnt

Jede Frage an ChatGPT, Gemini oder Copilot landet auf einem Server in den USA, wird dort verarbeitet und je nach Anbieter auch gespeichert. Für ein Kuchenrezept ist das egal. Für den Arbeitsvertrag, die Steuererklärung oder den Code eurer Firma eher nicht. Die gute Nachricht: Lokale KI ist 2026 kein Bastelprojekt mehr. Mit einer brauchbaren Grafikkarte, Linux und zwei freien Programmen läuft ein Sprachmodell auf eurem eigenen Rechner, ohne dass ein einziges Wort das Haus verlässt.

Dieser Beitrag ist Teil 1 unserer Serie zu lokaler KI. Er erklärt, was ihr dafür braucht, welches Modell für welchen Zweck taugt, was ihr realistisch erwarten könnt und wie das Basis-Setup aus Ollama und Open WebUI steht. Die Details zu Grafikkarten, Installation, Oberfläche und Einstellungen folgen in eigenen Teilen. Vorausgesetzt wird nur, dass ihr ein Terminal öffnen und einen Befehl abtippen könnt.

Lokale KI: was damit gemeint ist

Ein Sprachmodell (LLM) ist im Kern eine grosse Datei mit Milliarden von Zahlen, den sogenannten Parametern. Wer es benutzen will, braucht ein Programm, das diese Datei in den Speicher lädt und daraus Antworten berechnet. Bei ChatGPT passiert das in einem Rechenzentrum. Bei lokaler KI passiert es auf eurer eigenen Grafikkarte.

Der Aufbau, den wir in dieser Serie verwenden, besteht aus drei Teilen:

• Ollama ist der Motor. Es lädt Modelle herunter, verwaltet sie und rechnet die Antworten. Ollama läuft als Dienst im Hintergrund und bietet eine Schnittstelle auf localhost:11434, die auch andere Programme nutzen können.
• Open WebUI ist das Armaturenbrett. Eine Oberfläche im Browser, die sich anfühlt wie ChatGPT, mit Chatverlauf, mehreren Benutzern, Datei-Upload und Modellwahl.
• Das Modell ist das eigentliche Gehirn, zum Beispiel Qwen von Alibaba, Gemma von Google oder gpt-oss von OpenAI. Die Gewichte dieser Modelle sind frei herunterladbar, viele stehen unter Apache 2.0.

Ollama ist nicht das einzige Werkzeug dieser Art. LM Studio, llama.cpp oder vLLM leisten Ähnliches. Wir nehmen Ollama, weil es unter Linux mit einem Befehl installiert ist, Grafikkarten von NVIDIA und AMD selbst erkennt und eine riesige Modellbibliothek mitbringt, die sich mit ollama run ansprechen lässt.

Was ihr realistisch erwarten könnt

Bevor ihr Geld in eine Grafikkarte steckt, eine ehrliche Einordnung. Lokale Modelle haben in den letzten zwei Jahren enorm aufgeholt. Ein Modell wie Qwen3.8-27B, das Alibaba im August 2026 unter Apache 2.0 veröffentlicht hat, passt auf eine einzige Grafikkarte mit 24 GB und erledigt Texte, Zusammenfassungen, Übersetzungen und Programmieraufgaben in einer Qualität, die vor kurzem noch Cloud-Diensten vorbehalten war.

Die Benchmarks, mit denen solche Modelle beworben werden, solltet ihr trotzdem mit Vorsicht lesen. Sie stammen meist vom Hersteller selbst, und unabhängige Vergleiche unter gleichen Bedingungen fehlen oft, wie etwa eWeek zur Veröffentlichung von Qwen3.8 festhält. Unsere Faustregeln:

• Kleine Modelle (unter 10 Milliarden Parameter) sind gut für Umformulieren, Zusammenfassen, einfache Fragen und Übersetzen. Bei Faktenwissen erfinden sie häufiger etwas dazu, bei komplexer Logik verlieren sie schneller den Faden.
• Mittlere Modelle (rund 20 bis 35 Milliarden) sind der Punkt, an dem lokale KI für ernsthafte Arbeit taugt: Code, längere Texte, Analyse von Dokumenten und Bildern.
• Die stärksten Cloud-Modelle bleiben bei sehr schwierigen Aufgaben vorne. Wer täglich an der Grenze des Machbaren arbeitet, wird den Unterschied merken.
• Ein lokales Modell weiss nichts von heute. Sein Wissen endet mit dem Training. Aktuelle Informationen bekommt es nur, wenn ihr eine Websuche oder eigene Dokumente anbindet, dazu kommt ein eigener Teil dieser Serie.

Dafür bekommt ihr etwas, das kein Cloud-Dienst bieten kann: keine Daten beim Anbieter, keine Kosten pro Anfrage, keine Abhängigkeit von Preiserhöhungen oder geänderten Nutzungsbedingungen, und es funktioniert auch ohne Internet.

Die wichtigste Zahl: der Grafikspeicher

Ob ein Modell schnell oder quälend langsam läuft, entscheidet fast ausschliesslich eine Zahl: der VRAM, also der Speicher auf der Grafikkarte. Das Modell muss vollständig hineinpassen. Passt es nicht, lagert Ollama einen Teil in den normalen Arbeitsspeicher aus, und die CPU rechnet mit. Das funktioniert, ist aber deutlich langsamer.

Damit grosse Modelle überhaupt auf normale Grafikkarten passen, werden sie quantisiert: Die Zahlen im Modell werden mit weniger Nachkommastellen gespeichert, typischerweise mit 4 Bit statt 16. Das kostet etwas Qualität, macht das Modell aber rund viermal kleiner. Ollama lädt standardmässig solche quantisierten Fassungen herunter, ihr müsst dafür nichts einstellen.

Als Faustregel gilt: Downloadgrösse plus Reserve für den Kontext. Der Kontext ist das Kurzzeitgedächtnis eines Gesprächs, also alles, was das Modell gerade „im Kopf“ behalten muss: eure Fragen, seine Antworten, ein eingefügtes Dokument. Ein Beispiel aus einer aktuellen Modellübersicht: qwen3.8:27b ist ein Download von 18 GB, bei einem Kontext von 64'000 Tokens kommen rund 4,3 GB dazu. Das passt knapp auf eine Karte mit 24 GB, auf eine mit 16 GB nicht.

NVIDIA, AMD, Intel oder nur die CPU

NVIDIA ist unter Linux der einfachste Weg. Ollama unterstützt laut offizieller Hardware-Doku Karten ab Compute Capability 5.0 mit Treiber 550 oder neuer, ältere Karten mit Compute Capability 5.0 bis 6.2 brauchen Treiber 570. Praktisch heisst das: alles ab der GTX-900-Reihe, sinnvoll wird es ab einer RTX-Karte mit viel Speicher.

AMD läuft über ROCm, unter Linux verlangt Ollama dafür den ROCm-7-Treiber. Aktuelle Radeon-Karten stehen auf der Liste der unterstützten Modelle, ältere oder nicht gelistete Karten lassen sich oft über den Vulkan-Weg betreiben, den Ollama zusätzlich mitbringt. Das Installationsskript erkennt eine AMD-Karte und lädt das ROCm-Paket selbst nach, wie die Anleitung bei Linuxize beschreibt. Etwas mehr Handarbeit als bei NVIDIA bleibt trotzdem.

Intel Arc und andere Grafikchips nutzt Ollama über Vulkan. Laut Doku ist Vulkan unter Linux und Windows standardmässig aktiv, sobald das Backend installiert ist.

Ohne Grafikkarte läuft Ollama auf der CPU. Für kleine Modelle bis etwa 4 Milliarden Parameter reicht das für gelegentliche Fragen, für alles Grössere wird es zäh. Viel Arbeitsspeicher hilft, ersetzt aber keine Grafikkarte.

Ein Wort zu Laptops: Mobile Grafikchips haben meist deutlich weniger VRAM als ihre Desktop-Namensvettern, und integrierte Grafik teilt sich den Arbeitsspeicher mit dem System. Für kleine Modelle geht das, für die 27B-Klasse braucht ihr einen Desktop oder einen Server mit passender Karte. Ob eure Hardware unter Linux grundsätzlich mitspielt, klärt unser Beitrag Auf welcher Hardware läuft Linux. Welche Karte sich für welches Budget lohnt, behandeln wir ausführlich in Teil 2.

Welches Modell für welchen Zweck

Die Modellbibliothek von Ollama ist riesig, und jede Woche kommt etwas Neues dazu. Für den Einstieg reicht eine Handvoll. Die folgende Übersicht stützt sich auf die Modellempfehlungen von Cohorte vom November 2026, deren Tags und Grössen am 7. November auf ollama.com geprüft wurden, und ist nach Grafikspeicher sortiert.

Nach Einsatzzweck sortiert sieht das so aus:

Zweck	8 GB VRAM	16 GB VRAM	24 GB VRAM
Chat, Texte, Übersetzen	qwen3.5:4b	gemma4:12b	qwen3.8:27b oder gemma4:26b
Programmieren	lokal kaum sinnvoll	qwen3.5:9b	qwen3-coder:30b, devstral-small-2
Logik, Rechnen, Abwägen	deepseek-r1:8b	deepseek-r1:14b, gpt-oss:20b	qwen3.8:27b mit Denkmodus
Bilder und Screenshots verstehen	qwen3-vl:4b	qwen3-vl:8b	qwen3-vl:30b, qwen3.8:27b
Eingescannte Dokumente (OCR)	glm-ocr, läuft überall
Eigene Dokumente durchsuchen	qwen3-embedding:0.6b	qwen3-embedding:4b	qwen3-embedding:8b

Zwei Hinweise zur Tabelle. Erstens: Bei Qwen sind die Versionsnummern verwirrend. Von Qwen3.8 gibt es als offenes Modell nur die Grösse 27B. Das kleinere Modell mit 9 Milliarden Parametern stammt aus der Vorgängerreihe und heisst qwen3.5:9b. Zweitens: Für Coding-Agenten, die selbständig Dateien lesen und Befehle ausführen, braucht es viel Kontext, und dafür reicht eine 8-GB-Karte schlicht nicht.

Wenn ihr euch nur ein Modell merken wollt: Mit 24 GB ist qwen3.8:27b derzeit der Allrounder. Es versteht Text und Bilder, hat einen Denkmodus für schwierige Aufgaben und ein Kontextfenster von 256'000 Tokens. Mit 16 GB ist gemma4:12b für Texte und qwen3.5:9b fürs Programmieren ein guter Start, mit 8 GB qwen3.5:4b.

Das Basis-Setup in 15 Minuten

Hier die Kurzfassung, damit ihr heute Abend schon etwas zum Ausprobieren habt. Jeder Schritt bekommt später einen eigenen Teil mit allen Details und Sonderfällen. Die Befehle sind für Debian- und Ubuntu-basierte Systeme geschrieben, bei Fedora und Arch unterscheiden sich vor allem die Paketbefehle für die Treiber.

Schritt 1: Grafiktreiber prüfen

Bei NVIDIA muss der proprietäre Treiber laufen. Ob er das tut, zeigt:

nvidia-smi

Erscheint eine Tabelle mit eurer Karte, Treiberversion und Speicher, passt alles. Bei einer Fehlermeldung installiert ihr zuerst den Treiber über die Treiberverwaltung eurer Distribution. Bei AMD prüft ihr später mit ollama ps, ob die Karte erkannt wurde.

Schritt 2: Ollama installieren

Die offizielle Linux-Anleitung installiert Ollama mit einem Skript. Wer Skripte aus dem Internet nicht ungelesen ausführen will, und das ist eine gesunde Einstellung, lädt es zuerst herunter und schaut hinein:

curl -fsSL https://ollama.com/install.sh -o ollama-install.sh
less ollama-install.sh
sh ollama-install.sh

Das Skript legt einen Benutzer ollama an, richtet einen systemd-Dienst ein und lädt bei einer erkannten AMD-Karte die ROCm-Bibliotheken nach. Ob der Dienst läuft, seht ihr mit:

systemctl status ollama
ollama -v

Läuft der Dienst nicht sauber, zeigt journalctl -u ollama die Ursache. Wie ihr solche Meldungen lest, steht in Linux Problembehebung im systemd. Die Modelle landen laut FAQ unter /usr/share/ollama/.ollama/models. Plant dort genug Platz ein, zwei oder drei Modelle der 27B-Klasse belegen schnell 50 GB. Ein Update holt ihr später, indem ihr das Skript erneut ausführt.

Schritt 3: Das erste Modell starten

Wählt aus der Tabelle oben ein Modell, das zu eurem VRAM passt. Für eine Karte mit 8 GB:

ollama run qwen3.5:4b

Mit 24 GB nehmt ihr stattdessen ollama run qwen3.8:27b. Beim ersten Aufruf lädt Ollama das Modell herunter, danach öffnet sich ein Chat direkt im Terminal. Mit /bye beendet ihr ihn. Jetzt kommt der wichtigste Kontrollbefehl dieser Serie, in einem zweiten Terminal, solange das Modell geladen ist:

ollama ps

In der Spalte PROCESSOR muss 100% GPU stehen. Steht dort ein Anteil CPU, passt das Modell nicht vollständig in den Grafikspeicher, oder die Karte wurde nicht erkannt. Die Spalte CONTEXT zeigt, wie viel Kontext Ollama reserviert hat. Dazu gleich mehr.

Schritt 4: Open WebUI als Oberfläche

Der Chat im Terminal ist praktisch zum Testen, im Alltag wollt ihr eine richtige Oberfläche. Open WebUI läuft am einfachsten als Docker-Container. Ist Docker noch nicht installiert, holt ihr es aus den Paketquellen eurer Distribution. Dieser Befehl startet Open WebUI so, dass es Ollama auf demselben Rechner findet und nur lokal erreichbar ist:

docker run -d --network=host \
  -e HOST=127.0.0.1 -e PORT=3000 \
  -e OLLAMA_BASE_URL=http://127.0.0.1:11434 \
  -v open-webui:/app/backend/data \
  --name open-webui --restart always \
  ghcr.io/open-webui/open-webui:main

Nach einer Minute öffnet ihr im Browser http://localhost:3000. Das erste Konto, das ihr dort anlegt, wird Administrator. Oben links wählt ihr das Modell, das ihr in Schritt 3 geladen habt, und könnt loslegen. Warum hier --network=host steht und wie ihr Open WebUI mit Docker Compose oder Podman sauber betreibt, sichert und aktualisiert, kommt in Teil 4.

Drei Fallen, in die fast alle tappen

Falle 1: Der Kontext ist kleiner als gedacht

Ihr fügt ein langes Dokument ein, und die Zusammenfassung ignoriert die erste Hälfte. Das liegt selten am Modell, sondern am Kontext. Ollama wählt ihn laut Dokumentation zur Kontextlänge nach Grafikspeicher: unter 24 GiB nur 4k Tokens, von 24 bis 48 GiB 32k, ab 48 GiB 256k. Für Websuche, Agenten und Programmierwerkzeuge empfiehlt die Doku mindestens 64'000 Tokens.

Mit 4k ist nach wenigen Seiten Schluss, und was nicht mehr hineinpasst, fällt stillschweigend weg. Den Standard für alle Modelle hebt ihr über eine Ergänzung zum systemd-Dienst an:

sudo systemctl edit ollama.service

Im Editor tragt ihr zwischen den Kommentarzeilen ein:

[Service]
Environment="OLLAMA_CONTEXT_LENGTH=16384"

Danach sudo systemctl restart ollama und mit ollama ps prüfen, ob die Spalte CONTEXT den neuen Wert zeigt und PROCESSOR immer noch bei 100% GPU steht. Mehr Kontext kostet mehr VRAM. Rutscht das Modell dadurch teilweise auf die CPU, geht ihr wieder einen Schritt zurück. Feinere Einstellungen pro Modell und pro Chat behandeln wir in Teil 6.

Falle 2: Nicht jedes Modell in Ollama ist lokal

Ollama bietet inzwischen auch Cloud-Modelle an. Sie tragen cloud im Namen, etwa gpt-oss:120b-cloud, und laufen auf den Servern von Ollama, nicht auf eurem Rechner. Bedient werden sie mit denselben Befehlen und derselben Schnittstelle wie lokale Modelle. Wer lokale KI wegen des Datenschutzes betreibt, sollte das wissen: Mit einem Cloud-Modell verlassen eure Eingaben den Rechner, wie bei jedem anderen Cloud-Dienst auch.

Ollama kennt einen reinen Lokalbetrieb, in dem Cloud-Modelle gesperrt sind. Dafür steht in der Datei server.json im Ollama-Verzeichnis des Benutzers, unter dem der Server läuft:

{
  "disable_ollama_cloud": true
}

Beim systemd-Dienst aus dem Installationsskript ist das der Benutzer ollama mit dem Home-Verzeichnis /usr/share/ollama, die Datei gehört also nach /usr/share/ollama/.ollama/server.json. Danach den Dienst neu starten. Wie ihr kontrolliert, dass wirklich nichts nach aussen geht, zeigen wir in Teil 3.

Falle 3: Ollama offen im Internet

Ollama hat keine Anmeldung. Wer den Port 11434 erreicht, kann Modelle auflisten, herunterladen, löschen und auf eure Kosten rechnen lassen. Ab Werk ist das unproblematisch, denn Ollama lauscht laut FAQ nur auf 127.0.0.1:11434, also nur auf dem eigenen Rechner. Gefährlich wird es, wenn jemand für den Zugriff vom Handy OLLAMA_HOST=0.0.0.0 setzt und dazu eine Portweiterleitung im Router einrichtet.

Dass das kein theoretisches Problem ist, zeigen mehrere Untersuchungen. Cisco Talos fand 2025 per Shodan über 1'100 offen erreichbare Ollama-Server. LeakIX zählte im Februar 2026 bereits 12'269 Instanzen ohne jede Authentifizierung, Deutschland und Frankreich unter den Spitzenreitern.

Unsere Regel: Port 11434 und die Oberfläche von Open WebUI werden nie per Portweiterleitung freigegeben. Wer von unterwegs auf die eigene KI zugreifen will, baut ein VPN, wie in Eigenen VPN Server mit Linux aufsetzen beschrieben, und erreicht den Rechner dann so, als sässe er zu Hause.

So geht es in der Serie weiter

Dieser erste Teil ist die Übersicht. In den nächsten Wochen folgen die Vertiefungen:

2. Grafikkarte für lokale KI: VRAM, NVIDIA gegen AMD, neu oder gebraucht, Laptop oder Desktop.
3. Ollama unter Linux installieren: Treiber, systemd, Speicherort, Updates und Absicherung.
4. Open WebUI mit Docker oder Podman: Benutzer, Updates, Backup.
5. Lokale KI-Modelle im Vergleich: welches Modell für welchen Zweck, ausführlich.
6. Ollama-Einstellungen, die zählen: Kontext, Denkmodus, Temperatur, Systemprompts.
7. Eigene Dokumente und Websuche: RAG und SearXNG mit Open WebUI.

Fazit: Lokale KI lohnt sich ab der richtigen Grafikkarte

Lokale KI auf Linux braucht heute kein Informatikstudium mehr. Ollama ist mit einem Skript installiert, Open WebUI mit einem Docker-Befehl, und nach einer Viertelstunde chattet ihr mit einem Modell, das niemandem ausser euch zuhört. Entscheidend ist die Hardware: Mit 8 GB VRAM ist es ein Spielzeug, mit 16 GB ein brauchbares Werkzeug, mit 24 GB ein ernsthafter Ersatz für viele Aufgaben, für die ihr heute einen Cloud-Dienst nutzt.

Achtet auf die drei Fallen: Kontext anheben, Cloud-Modelle meiden, wenn es euch um Datenschutz geht, und Port 11434 nie ins Internet stellen. Dann habt ihr eine KI, die euch gehört, statt einer, die euch kennt.

Quellen und weiterführende Links

• Ollama-Dokumentation: Linux
• Ollama-Dokumentation: Hardware support
• Ollama-Dokumentation: Context length
• Ollama-Dokumentation: FAQ
• Ollama-Dokumentation: Cloud
• GitHub: Open WebUI
• Cohorte: The best Ollama models in 2026 (November 2026)
• Hugging Face: Qwen3.8-27B
• eWeek: Alibaba Releases Qwen3.8-27B Under Apache 2.0
• Linuxize: How to Install and Use Ollama on Ubuntu
• Cisco: Detecting Exposed LLM Servers, a Shodan Case Study on Ollama
• LeakIX: 12,000 Ollama Instances Exposed