Ein Raspberry Pi kann ein spannender Lernrechner für lokale KI sein. Daraus folgt nicht, dass ein kleines Board einen leistungsfähigen Cloudassistenten ersetzt. Entscheidend sind Prozessortyp, tatsächlich nutzbarer Arbeitsspeicher, Kühlung und die gewählte Modellgröße. Dieser Beitrag ist ein dokumentationsgestützter Versuchsplan. Wir veröffentlichen hier keine angeblich selbst gemessenen Pi-Benchmarks.

Vor der Installation die wirkliche Ausgangslage klären
Schreibe zuerst Modell und Speicherausstattung deines Pi auf. Prüfe in der Herstellerdokumentation, welche Betriebssystemvariante dein Board unterstützt. Ein 64-Bit-fähiger Prozessor allein bedeutet nicht, dass ein 64-Bit-Betriebssystem installiert ist. Für die von Ollama angebotene ARM64-Linux-Variante brauchst du eine passende ARM64-Umgebung. Prüfe im Terminal:
uname -m
getconf LONG_BIT
free -h
df -huname -m meldet die Architektur; auf einem passenden 64-Bit-ARM-System ist typischerweise aarch64 zu erwarten. getconf LONG_BIT hilft bei der Einordnung der Benutzerumgebung. free -h zeigt Arbeitsspeicher und Auslagerung, df -h den belegten Speicher der Dateisysteme. Wenn du die Ausgaben nicht einordnen kannst, installiere nicht einfach ein größeres Modell. Sichere vorhandene Daten, bevor du das Betriebssystem wechselst.
Plane eine verlässliche Stromversorgung und geeignete Kühlung ein. Unter anhaltender CPU-Last kann ein zu warmer Rechner seine Leistung reduzieren. Eine Speicherkarte mit viel freiem Platz ersetzt fehlenden RAM nicht. Ein Auslagerungsbereich kann einen Absturz unter Speicherdruck verhindern, aber die Reaktionszeit stark verschlechtern; er ist kein kostenloses RAM-Upgrade.
Warum ein Modellpaket nicht der gesamte Speicherbedarf ist
Die Angabe „0,5 Milliarden Parameter“ beschreibt die Modellgröße in einer anderen Einheit als der Arbeitsspeicher. Parameter sind gelernte Zahlenwerte. Quantisierung speichert solche Werte mit weniger Bits und kann den Speicherbedarf senken; sie garantiert weder eine bestimmte Qualität noch eine bestimmte Geschwindigkeit. Zusätzlich belegen Kontext, Zwischenspeicher und Laufzeit Ressourcen. Auch Browser und Desktop konkurrieren um denselben RAM.
Für den ersten Versuch ist das kleine qwen2.5:0.5b aus der offiziellen Ollama-Bibliothek ein nachvollziehbares Beispiel. Es ist ausdrücklich kein universeller Assistent. Verzichte zunächst auf Dokumentstapel und lange Gesprächsverläufe. Beginne mit einer kurzen deutschen Sortieraufgabe mit bekanntem Ergebnis. Kosten entstehen gegebenenfalls durch Board, Netzteil, Kühlung, Datenträger und Strom; ein vorhandener Rechner kann zum Lernen die günstigere Ausgangslage sein.
Ollama passend zur Architektur installieren

Verwende die aktuelle offizielle Linux-Anleitung und die dort angebotene ARM64-Variante. Prüfe deren aktuelle Anforderungen, statt ein AMD64-Archiv auf den Pi zu übertragen. Wenn du den Herstellerinstaller nutzt, lade ihn zuerst als Datei herunter und prüfe die vorgesehenen Änderungen. Dieser Artikel setzt keine vorhandene Pi-Installation zurück und beschreibt kein Überschreiben einer Speicherkarte.
Nach der Installation muss ollama --version eine Versionsangabe liefern. Prüfe, ob der eingerichtete Dienst läuft. Lade dann im Terminal:
ollama run qwen2.5:0.5bDas erste Laden umfasst den Download und ist deshalb kein fairer Geschwindigkeitsvergleich für spätere Antworten. Warte auf die Eingabeaufforderung. Bitte das Modell, fünf erfundene Notizen alphabetisch zu sortieren. Prüfe danach, ob jedes Element genau einmal vorkommt. Ein Modell, das schnell falsche Ergebnisse produziert, hat die Aufgabe nicht bestanden.
Leistung so messen, dass die Zahlen etwas bedeuten
Verwende auf allen Vergleichsrechnern dieselbe Ollama-Version, denselben Modelltag, denselben Prompt und vergleichbare Einstellungen. Notiere, ob das Modell bereits geladen war. Trenne Ladezeit, Zeit bis zur ersten Ausgabe und vollständige Antwortzeit. Ein Kurzprompt mit einer Fünf-Wort-Antwort ist nicht mit einem langen Dokumentdialog vergleichbar.
Die Ollama-API liefert bei geeigneten Anfragen unter anderem eval_count und eval_duration. Die Dauer wird in Nanosekunden angegeben. Ausgabetokens pro Sekunde berechnest du als Anzahl geteilt durch Dauer in Sekunden. Eine solche Zahl beschreibt nur die gemessene Generierung, nicht automatisch die gefühlte Reaktionszeit inklusive Modellladen. Wiederhole denselben Versuch einige Male und dokumentiere Streuung und Rahmenbedingungen. Erfasse die Temperatur beziehungsweise Drosselungsanzeigen mit den für dein Pi-Modell dokumentierten Werkzeugen.
Was ein sinnvoller erster Pi-Anwendungsfall ist
Kurze Textumformung, einfache lokale Klassifikation und das Erlernen von APIs sind brauchbare Experimente. Für große Codeprojekte, lange Dokumente oder mehrere gleichzeitige Nutzer kann die kleine Plattform schnell an Grenzen geraten. Ob sie für deinen konkreten Zweck reicht, zeigt der vollständige Aufgabenversuch, nicht der Download-Erfolg.
- Start scheitert: Architektur und Speicher prüfen, bevor du erneut installierst.
- Modell lädt, System reagiert kaum: Speicherbelegung, Auslagerung und konkurrierende Programme kontrollieren.
- Leistung bricht nach einigen Minuten ein: Kühlung und Versorgung prüfen; nicht sofort andere Software verantwortlich machen.
- Antwortqualität reicht nicht: Aufgabenumfang begrenzen oder einen anderen Rechner verwenden. Größere Modelle sind auf derselben Hardware nicht automatisch sinnvoll.
Halte den Dienst zunächst nur lokal erreichbar. Für den Pi im Heimnetz ist eine offene Weiterleitung ins Internet kein notwendiger Lernschritt. Am Ende deines Versuchs steht ein kleines Protokoll mit Hardware, Modell, Einstellungen, Qualität und Laufzeiten. Das ist eine belastbare Grundlage für eine Kaufentscheidung – eine pauschale „läuft problemlos“-Aussage wäre es nicht.
Redaktions- und Quellenstand: 1. November 2026. Dokumentationsgestützter Ratgeber; Beispiele sind Lernmaterial, keine behaupteten eigenen Anbieter- oder Hardwaretests.
Arbeitsmittel für deinen nächsten Schritt
Hardwareanforderungen vor dem Versuch festhalten. Ausfüllbar im Browser, als CSV bearbeitbar und druckbar. Eingaben werden nicht an uns übertragen oder dauerhaft gespeichert.
