VTECH HUBTECHNIK WEITERDENKENTECHNIK.
EINFACH. MACHEN.
KI

Ollama installieren: Dein erstes lokales Sprachmodell

Ollama herunterladen, ein kleines lokales Modell starten und prüfen, wo deine Daten verarbeitet werden – mit verständlichen Befehlen und Fehlerhilfe.

Redaktion: VTech Hub · Kevin Vollmer · 5 Min. Lesezeit

Redaktionelles Symbolbild: local model chip and terminal
KI-generiertes Symbolbild zum Beitrag.

Du möchtest eine KI ausprobieren, ohne jede Frage an einen Cloud-Chat zu schicken. Ollama kann Sprachmodelle auf deinem eigenen Rechner ausführen. Der entscheidende Unterschied liegt nicht im Aussehen einer Chatoberfläche: Die Berechnung des gewählten lokalen Modells findet auf deinem Gerät statt. Modell-Downloads benötigen trotzdem Internet. Dieser Leitfaden folgt der Herstellerdokumentation; er ist kein Leistungstest deiner Hardware.

Ablauf einer lokalen Testanfrage: Software und Modell sind getrennte Schritte; die Ergebnisprüfung bleibt beim Menschen.
Ablauf einer lokalen Testanfrage: Software und Modell sind getrennte Schritte; die Ergebnisprüfung bleibt beim Menschen. Redaktionelle Erklärgrafik, kein Screenshot. Zum Vergrößern öffnen.

Was Ollama macht – und was du zusätzlich brauchst

Ollama stellt Modelle bereit und führt sie aus. Ein Modell ist das heruntergeladene Paket mit den gelernten Gewichten, nicht Ollama selbst. Eine Chatoberfläche ist eine weitere mögliche Schicht. Für den ersten Versuch reicht das Terminal, also das Fenster, in dem du Befehle eingibst. Du brauchst einen unterstützten Rechner, freien Speicherplatz für das Modell und genügend Arbeitsspeicher für Modell und Kontext. Kontext bezeichnet die Texte, die das Modell während einer Anfrage berücksichtigt.

Starte mit einem kleinen Modell statt mit der größten verfügbaren Variante. Die Downloadgröße allein ist keine verlässliche Angabe des benötigten Arbeitsspeichers: Auch Betriebssystem, Kontext und Laufzeit brauchen Platz. Lokale Nutzung verursacht keine Gebühr pro Anfrage an einen Modellanbieter, aber Strom- und gegebenenfalls Hardwarekosten. Für Cloudmodelle über Ollama gelten andere Verarbeitungswege und Bedingungen. Wähle für diese Übung ausdrücklich ein lokales Modell.

Ollama aus der Originalquelle installieren

Öffne die offizielle Downloadseite von Ollama und wähle dein Betriebssystem. Unter Windows und macOS verwendest du das angebotene Installationspaket. Prüfe die dort genannten Systemvoraussetzungen. Unter Linux dokumentiert Ollama einen Installer. Lade ihn zunächst als Datei herunter, statt den Inhalt direkt aus dem Netz in eine Shell weiterzureichen:

curl -fsSL https://ollama.com/install.sh -o ollama-install.sh
less ollama-install.sh
sh ollama-install.sh

Die erste Zeile speichert das Herstellerskript, die zweite öffnet es zum Lesen; mit q schließt du die Ansicht. Erst die dritte Zeile führt es aus. Das Lesen ist keine automatische Sicherheitsprüfung. Wenn du die Systemänderungen nicht beurteilen kannst, bleibe beim passenden Herstellerpaket oder hole Unterstützung. Der Installer kann für die Einrichtung Administratorrechte verlangen. Ein vorhandenes Produktivsystem ist nicht die richtige Übungsumgebung.

Öffne nach der Installation ein neues Terminal und gib ollama --version ein. Erwartet wird eine Versionsausgabe, nicht zwingend dieselbe Nummer wie in einer fremden Anleitung. Meldet das Terminal „command not found“, prüfe zuerst die Installation und starte das Terminal neu. Unter Linux mit eingerichtetem Systemdienst zeigt systemctl status ollama dessen Zustand. Starte nicht zusätzlich einen zweiten Server, wenn der Dienst bereits läuft.

Ein kleines Modell laden und eine konkrete Aufgabe stellen

Offizielles Ollama-Repository mit Installations- und Einstiegsinformationen. Die Aufnahme zeigt Herstellerdokumentation, keinen eigenen Hardwaretest.
Offizielles Ollama-Repository mit Installations- und Einstiegsinformationen. Die Aufnahme zeigt Herstellerdokumentation, keinen eigenen Hardwaretest. Aufnahme vom 01.11.2026. Quelle / Original öffnen. Zum Vergrößern das Bild öffnen.

Als überschaubares Lernbeispiel verwenden wir die in der offiziellen Bibliothek dokumentierte Variante qwen2.5:0.5b. Das ist eine bewusst kleine Modellvariante, keine Empfehlung für anspruchsvolle Aufgaben und kein aktueller Testsieger. Die genaue Schreibweise hinter dem Doppelpunkt bezeichnet die Variante.

ollama run qwen2.5:0.5b

Beim ersten Aufruf wird das Modell heruntergeladen. Danach sollte eine Eingabeaufforderung erscheinen. Verwende ausschließlich diese erfundenen Notizen:

Montag: Fahrrad zur Werkstatt bringen. Vorher Öffnungszeiten prüfen. Dienstag: Tom anrufen. Erstelle daraus drei Aufgaben. Ergänze keine Uhrzeiten und kennzeichne offene Angaben.

Du kannst jetzt unmittelbar prüfen, ob alle drei Tätigkeiten enthalten sind und ob das Modell eine Uhrzeit erfunden hat. Ein flüssiger Satz ist kein Qualitätsbeleg. Mit /bye verlässt du den Dialog. ollama list zeigt die lokal vorhandenen Modelle, ollama ps die gerade geladenen. Dessen Prozessoranzeige hilft zu erkennen, ob CPU, GPU oder eine Mischung verwendet wird.

Kontrollieren, ob du wirklich lokal arbeitest

Ein lokal klingender Modellname ist allein kein Nachweis. Prüfe in deiner Oberfläche beziehungsweise Modellwahl, ob ein Cloudmodell oder externer Anbieter aktiviert ist. Für die Übung verwendest du den lokal heruntergeladenen Tag. Eine zusätzliche Kontrolle ist ein neuer Dialog nach getrenntem Internetzugang, nachdem Installation und Download abgeschlossen sind. Beende und starte dazu den Dialog neu, damit du keine alte Antwort mit einem neuen Ergebnis verwechselst. Eine erfolgreiche lokale Anfrage ist ein Funktionsbeleg für diesen Weg, kein Beweis, dass jede installierte Erweiterung offline bleibt.

Der lokale Ollama-HTTP-Dienst ist standardmäßig auf Loopback ausgerichtet. Ändere den Listen-Host für diese Übung nicht auf alle Netzwerkschnittstellen und leite den Port nicht im Router weiter. Lokale Verarbeitung schützt außerdem nicht vor anderen lokalen Programmen, Bildschirmfreigaben oder unverschlüsselten Backups.

Wenn die Antwort langsam, falsch oder gar nicht kommt

  • Download stockt: Prüfe Internetverbindung, freien Speicher und den exakten Modelltag. Lade nicht wahllos mehrere große Modelle nach.
  • Verbindung zum Server scheitert: Prüfe den vorhandenen Dienst beziehungsweise die laufende App. Die Versionsausgabe allein beweist keinen gestarteten Server.
  • Speicher reicht nicht: Schließe unnötige Programme und reduziere Modellgröße oder Kontext. Eine kleinere Datei löst nicht jedes Hardwareproblem.
  • Inhalt ist schwach: Vereinfache die Aufgabe und prüfe die Ausgabe. Gerade kleine Modelle können Anweisungen übersehen; sie ersetzen keine Faktenquelle.

Dein erster Erfolg ist ein reproduzierbarer lokaler Dialog mit überprüfbarer Aufgabe. Notiere Betriebssystem, Ollama-Version, Modelltag und beobachtete Laufzeit, bevor du anspruchsvollere Anwendungen vergleichst. Für die Einbindung in einen bestehenden Arbeitsablauf kannst du Unterstützung bei VollmerIT anfragen; Umfang und Kosten werden individuell vereinbart.

Unterstützung bei VollmerIT anfragen

Redaktions- und Quellenstand: 1. November 2026. Dokumentationsgestützter Ratgeber; Beispiele sind Lernmaterial, keine behaupteten eigenen Anbieter- oder Hardwaretests.

Eigenes Angebot von VollmerIT. Umfang und Kosten werden vorab individuell vereinbart.

Quellen & Einordnung

Mehr aus KI ↗