Du möchtest eine KI ausprobieren, ohne jede Frage an einen Cloud-Chat zu schicken. Ollama kann Sprachmodelle auf deinem eigenen Rechner ausführen. Der entscheidende Unterschied liegt nicht im Aussehen einer Chatoberfläche: Die Berechnung des gewählten lokalen Modells findet auf deinem Gerät statt. Modell-Downloads benötigen trotzdem Internet. Dieser Leitfaden folgt der Herstellerdokumentation; er ist kein Leistungstest deiner Hardware.

Was Ollama macht – und was du zusätzlich brauchst
Ollama stellt Modelle bereit und führt sie aus. Ein Modell ist das heruntergeladene Paket mit den gelernten Gewichten, nicht Ollama selbst. Eine Chatoberfläche ist eine weitere mögliche Schicht. Für den ersten Versuch reicht das Terminal, also das Fenster, in dem du Befehle eingibst. Du brauchst einen unterstützten Rechner, freien Speicherplatz für das Modell und genügend Arbeitsspeicher für Modell und Kontext. Kontext bezeichnet die Texte, die das Modell während einer Anfrage berücksichtigt.
Starte mit einem kleinen Modell statt mit der größten verfügbaren Variante. Die Downloadgröße allein ist keine verlässliche Angabe des benötigten Arbeitsspeichers: Auch Betriebssystem, Kontext und Laufzeit brauchen Platz. Lokale Nutzung verursacht keine Gebühr pro Anfrage an einen Modellanbieter, aber Strom- und gegebenenfalls Hardwarekosten. Für Cloudmodelle über Ollama gelten andere Verarbeitungswege und Bedingungen. Wähle für diese Übung ausdrücklich ein lokales Modell.
Ollama aus der Originalquelle installieren
Öffne die offizielle Downloadseite von Ollama und wähle dein Betriebssystem. Unter Windows und macOS verwendest du das angebotene Installationspaket. Prüfe die dort genannten Systemvoraussetzungen. Unter Linux dokumentiert Ollama einen Installer. Lade ihn zunächst als Datei herunter, statt den Inhalt direkt aus dem Netz in eine Shell weiterzureichen:
curl -fsSL https://ollama.com/install.sh -o ollama-install.sh
less ollama-install.sh
sh ollama-install.shDie erste Zeile speichert das Herstellerskript, die zweite öffnet es zum Lesen; mit q schließt du die Ansicht. Erst die dritte Zeile führt es aus. Das Lesen ist keine automatische Sicherheitsprüfung. Wenn du die Systemänderungen nicht beurteilen kannst, bleibe beim passenden Herstellerpaket oder hole Unterstützung. Der Installer kann für die Einrichtung Administratorrechte verlangen. Ein vorhandenes Produktivsystem ist nicht die richtige Übungsumgebung.
Öffne nach der Installation ein neues Terminal und gib ollama --version ein. Erwartet wird eine Versionsausgabe, nicht zwingend dieselbe Nummer wie in einer fremden Anleitung. Meldet das Terminal „command not found“, prüfe zuerst die Installation und starte das Terminal neu. Unter Linux mit eingerichtetem Systemdienst zeigt systemctl status ollama dessen Zustand. Starte nicht zusätzlich einen zweiten Server, wenn der Dienst bereits läuft.
Ein kleines Modell laden und eine konkrete Aufgabe stellen

Als überschaubares Lernbeispiel verwenden wir die in der offiziellen Bibliothek dokumentierte Variante qwen2.5:0.5b. Das ist eine bewusst kleine Modellvariante, keine Empfehlung für anspruchsvolle Aufgaben und kein aktueller Testsieger. Die genaue Schreibweise hinter dem Doppelpunkt bezeichnet die Variante.
ollama run qwen2.5:0.5bBeim ersten Aufruf wird das Modell heruntergeladen. Danach sollte eine Eingabeaufforderung erscheinen. Verwende ausschließlich diese erfundenen Notizen:
Montag: Fahrrad zur Werkstatt bringen. Vorher Öffnungszeiten prüfen. Dienstag: Tom anrufen. Erstelle daraus drei Aufgaben. Ergänze keine Uhrzeiten und kennzeichne offene Angaben.
Du kannst jetzt unmittelbar prüfen, ob alle drei Tätigkeiten enthalten sind und ob das Modell eine Uhrzeit erfunden hat. Ein flüssiger Satz ist kein Qualitätsbeleg. Mit /bye verlässt du den Dialog. ollama list zeigt die lokal vorhandenen Modelle, ollama ps die gerade geladenen. Dessen Prozessoranzeige hilft zu erkennen, ob CPU, GPU oder eine Mischung verwendet wird.
Kontrollieren, ob du wirklich lokal arbeitest
Ein lokal klingender Modellname ist allein kein Nachweis. Prüfe in deiner Oberfläche beziehungsweise Modellwahl, ob ein Cloudmodell oder externer Anbieter aktiviert ist. Für die Übung verwendest du den lokal heruntergeladenen Tag. Eine zusätzliche Kontrolle ist ein neuer Dialog nach getrenntem Internetzugang, nachdem Installation und Download abgeschlossen sind. Beende und starte dazu den Dialog neu, damit du keine alte Antwort mit einem neuen Ergebnis verwechselst. Eine erfolgreiche lokale Anfrage ist ein Funktionsbeleg für diesen Weg, kein Beweis, dass jede installierte Erweiterung offline bleibt.
Der lokale Ollama-HTTP-Dienst ist standardmäßig auf Loopback ausgerichtet. Ändere den Listen-Host für diese Übung nicht auf alle Netzwerkschnittstellen und leite den Port nicht im Router weiter. Lokale Verarbeitung schützt außerdem nicht vor anderen lokalen Programmen, Bildschirmfreigaben oder unverschlüsselten Backups.
Wenn die Antwort langsam, falsch oder gar nicht kommt
- Download stockt: Prüfe Internetverbindung, freien Speicher und den exakten Modelltag. Lade nicht wahllos mehrere große Modelle nach.
- Verbindung zum Server scheitert: Prüfe den vorhandenen Dienst beziehungsweise die laufende App. Die Versionsausgabe allein beweist keinen gestarteten Server.
- Speicher reicht nicht: Schließe unnötige Programme und reduziere Modellgröße oder Kontext. Eine kleinere Datei löst nicht jedes Hardwareproblem.
- Inhalt ist schwach: Vereinfache die Aufgabe und prüfe die Ausgabe. Gerade kleine Modelle können Anweisungen übersehen; sie ersetzen keine Faktenquelle.
Dein erster Erfolg ist ein reproduzierbarer lokaler Dialog mit überprüfbarer Aufgabe. Notiere Betriebssystem, Ollama-Version, Modelltag und beobachtete Laufzeit, bevor du anspruchsvollere Anwendungen vergleichst. Für die Einbindung in einen bestehenden Arbeitsablauf kannst du Unterstützung bei VollmerIT anfragen; Umfang und Kosten werden individuell vereinbart.
Unterstützung bei VollmerIT anfragen
Redaktions- und Quellenstand: 1. November 2026. Dokumentationsgestützter Ratgeber; Beispiele sind Lernmaterial, keine behaupteten eigenen Anbieter- oder Hardwaretests.
Eigenes Angebot von VollmerIT. Umfang und Kosten werden vorab individuell vereinbart.
