AI Agent auf Raspberry Pi (2026): ehrlicher Leitfaden

Die Frage ist nicht, ob er läuft, sondern ob er oben bleibt

Wenn Sie hier sind, haben Sie mit hoher Wahrscheinlichkeit einen Raspberry Pi im Regal und den Plan, ihn auf einen persönlichen AI Agent zu richten. Die gute Nachricht: Ein Pi 5 mit 4 GB oder mehr RAM lässt ein API-gestütztes Runtime wie Hermes Agent, OpenClaw oder eine kleine Ollama-Schleife klaglos laufen. Die schlechte: Die meisten Pi-basierten Agenten sterben nicht an der CPU, sondern an anderen Dingen. SD-Karten-Korruption um 3 Uhr nachts, ein OOM-Kill unter Speicherdruck mitten in einer Sprachtranskription oder ein Docker-Image, das nie einen ARM64-Build hatte.

Dieser Leitfaden geht die drei Entscheidungen durch, die für einen 24/7-Agent auf einem Pi wirklich zählen: welches Board und welche RAM-Stufe, wie man den Speicher am Leben hält und was mit der Modell-Inferenz passiert. Er nennt auch die ehrliche Schlussfolgerung, die Ihnen niemand sagen wird, der Pi-Zubehör verkauft: Für viele Leser wird ein VPS für 5 € im Monat am Ende günstiger und ruhiger als der Pi, den Sie schon haben.

Pi 4 vs. Pi 5: der CPU-Sprung ist real, aber es entscheidet der RAM

Der Pi 5 ist vom Cortex-A72 des Pi 4 auf den Cortex-A76 gewechselt, mit 2,4 GHz gegenüber 1,5 GHz, größeren Caches und deutlich besserer Befehlspipeline. Für einen Agent, der überwiegend auf Netzwerk-I/O zu einem entfernten Modell wartet, zeigt sich der CPU-Unterschied an einer Stelle: wie schnell das Messaging-Gateway, die Tool-Schleife und lokale Audio-Arbeit nach einem Aktivitätsschub antworten. Der Kaltstart auf dem Pi 5 ist bei allem, was Docker- oder Node-basiert ist, spürbar flotter als auf dem Pi 4.

RAM, nicht Takt, erzwingt die Kaufentscheidung. Realistische Stufen für einen 2026er Agent-Stack, der mit einem gehosteten LLM spricht:

Pi 4, 2 GB: zu knapp. Runtime plus Messaging-Gateway plus ein Chromium-Tool-Aufruf stürzen unter Speicherdruck ab.
Pi 4, 4 GB: reicht für einen einzelnen Agent, der mit einem entfernten Modell spricht, ohne lokales Whisper und ohne Browser-Tool. Rechnen Sie damit, Swap zu deaktivieren und mit gleichzeitigen Prozessen vorsichtig zu sein.
Pi 5, 4 GB: der vernünftige Boden. Bequem für ein Runtime im Stil von Hermes Agent mit 1 bis 2 Messaging-Kanälen und persistentem Speicher. Lokales STT via faster-whisper ist möglich, aber schmerzhaft.
Pi 5, 8 GB: der praktische Sweetspot für alle, die Luft nach oben, ein gelegentliches Headless-Browser-Tool oder ein kleines lokales Modell wollen. Community-Benchmarks für lokale Inferenz bestätigen das: Der Pi 5 8 GB schafft TinyLlama 1.1B bei rund 18 Tokens/s und Llama 3.2 3B bei rund 9 Tokens/s, allein auf der CPU.
Pi 5, 16 GB: nur, wenn Sie lokale Modelle der 7-B-Klasse betreiben wollen. Ein Q4_K_M-quantisiertes 7 B belegt etwa 5 GB RAM, also ist Puffer sinnvoll.

Egal welche Stufe: Verzichten Sie beim Pi 5 nicht auf einen aktiven Kühler. Anhaltendes thermisches Throttling macht aus einem flinken 2,4-GHz-A76 innerhalb weniger Minuten unter echter Last etwas Schlechteres als einen Pi 4.

Verfügbarkeit von ARM64-Images: vor der Festlegung prüfen

Praktisch jedes ernstzunehmende Agent-Runtime bringt 2026 ein ARM64-Image mit, aber es gibt weiterhin Fallen. Bevor Sie sich festlegen, prüfen Sie drei Dinge am geplanten Runtime:

Das Manifest des Container-Images führt linux/arm64/v8. Führen Sie docker manifest inspect <image> aus und suchen Sie den ARM-Eintrag, oder verwenden Sie einen Multi-Arch-Pull.
Das Image wurde tatsächlich in letzter Zeit gebaut. Einige Projekte veröffentlichen einmal ein ARM-Tag und vergessen es, sodass es dann monatelang still vom AMD64-Build abweicht.
Optionale Abhängigkeiten, auf die Sie sich verlassen (ffmpeg, sox, Chromium, Playwright), laufen auf ARM. Insbesondere der gebündelte Browser-Download von Playwright löst sich auf ARM Linux nicht immer sauber auf, und Sie installieren Chromium am Ende über apt.

Wenn Sie Hermes Agent einsetzen, ist das offizielle Docker-Image Multi-Arch und läuft auf ARM. Für einen vollständigen Durchlauf des Docker-Wegs mit ARM64-Build beschreibt unser Docker-Deployment-Leitfaden das Image-Layout, und der Troubleshooting-Beitrag, wenn der Container ständig neu startet lohnt sich vor dem ersten 24-Stunden-Test, weil die meisten Pi-Fehler in denselben OOM-Kill- und Volume-Permission-Kübeln landen.

Die SD-Karte ist das Teil, das Ihre Uptime killt

Der Pi läuft mit einem Betriebssystem, das alles loggt, und ein AI Agent fügt ein Speicherverzeichnis hinzu, das ständig schreibt: Konversationszustand, benutzerbezogene Speicherdateien, Transkripte, Historie geplanter Aufgaben. Genau dieses Muster kleiner, konstanter Schreibvorgänge nutzt eine Consumer-microSD ab. Im 24/7-Betrieb ist die Frage nicht, ob die Karte ausfällt, sondern wann.

Drei Gegenmaßnahmen, nach Wirkung geordnet:

Booten Sie von NVMe oder USB-SSD, nicht von der SD. Der Pi 5 unterstützt NVMe via HAT, und der Pi 4 bootet mit aktueller Firmware ab Werk von USB-SSD. Die Performance bei zufälligen Schreibvorgängen ist eine Größenordnung besser und das Verschleißverhalten drastisch freundlicher. Das ist das größte einzelne Zuverlässigkeits-Upgrade, das Sie machen können.
Wenn es SD sein muss, kaufen Sie eine High-Endurance-Karte. SanDisk MAX Endurance, Samsung PRO Endurance und Transcend High Endurance sind ausdrücklich für Dauerschreibvorgänge ausgelegt. Eine gewöhnliche Consumer-Karte in einem schreibintensiven Setup kann in Monaten degradieren.
Verschieben Sie das Speicherverzeichnis und jede SQLite-Datenbank vom Boot-Medium. Hängen Sie eine kleine externe USB-SSD an und mounten Sie sie auf den Datenpfad des Runtimes. Aktivieren Sie Log2Ram, damit systemd-Journals im RAM leben und nur periodisch auf Platte geschrieben werden. Konfigurieren Sie tmpfs für /tmp und /var/tmp.

Ganz gleich, welchen Speicher Sie wählen: Halten Sie ein automatisiertes Backup des Speicherverzeichnisses auf etwas außerhalb des Pi. Eine tote SD in einer Schublade ist eine Sache; eine tote SD, auf der ein halbes Jahr Kontext Ihres Agenten lag, eine andere.

Lokales oder entferntes Modell: entscheiden Sie vor dem Kauf

Die größte Weggabelung ist die Frage, ob das Modell auf dem Pi läuft oder woanders.

Entferntes Modell (empfohlen für den privaten Einsatz): Der Pi betreibt das Runtime, das Messaging-Gateway, die Speicherdateien und die Tool-Schleife. Modellaufrufe gehen per HTTPS an OpenAI, Anthropic oder OpenRouter. Der gesamte RAM-Fußabdruck bleibt bequem unter 1 GB. Das macht ein 5-€-VPS ebenfalls, also besteht der einzige Vorteil des Pi gegenüber einem VPS auf diesem Weg darin, dass er bei Ihnen zu Hause steht.

Lokales Modell auf dem Pi: Alles läuft offline. Sie sind auf kleine Modelle beschränkt (grob 1 B bis 3 B Parameter mit konversationeller Geschwindigkeit auf einem Pi 5 8 GB), deren Qualität deutlich hinter einem modernen gehosteten Modell zurückbleibt. Ein Pi 5 mit 16 GB und NVMe-Boot kann ein quantisiertes 7 B in den Dienst schieben, aber Sie werden jede Sekunde der höheren Latenz spüren. Für einen Hobbyisten oder ein Privacy-first-Setup mit bescheidenen Erwartungen reicht das. Für einen Arbeitsassistenten, der wirklich Zeit spart, meist nicht.

Bei Sprache gilt dieselbe Gabelung: Cloud-STT-Latenz (Deepgram, Whisper API) schlägt lokales faster-whisper auf einem Pi 5 pro Runde um Sekunden. Wenn niedrige Sprachlatenz zählt, ist der Pi die falsche Hardwareform, unabhängig vom RAM.

Der ehrliche Kostenvergleich

Wenn Sie den Pi bereits besitzen, kostet der Strom für einen 24/7-Pi-5 rund 3 W im Leerlauf, was bei 0,30 €/kWh etwa 7 bis 8 € pro Jahr sind. Wenig. Aber die Gesamtkostenrechnung für einen Agent-Host ist Pi + High-Endurance-SD (oder NVMe-HAT + NVMe-SSD) + Netzteil + Gehäuse + aktiver Kühler, und wenn Sie das zusammenzählen, liegen Sie oft nur wenige Euro von einem Jahr Low-End-VPS entfernt.

Konkret:

Weg	Einmalig	Monatlich
Pi 5 8 GB + NVMe-HAT + 256 GB NVMe + Kühler + Netzteil + Gehäuse	~180 €	~0,60 € Strom
Netcup VPS 500 (2 vCore ARM, 4 GB RAM, 128 GB NVMe)	0 €	~5,00 €
Hetzner CX22 (2 vCPU x86, 4 GB RAM, 40 GB NVMe)	0 €	~3,79 €

Der Pi erreicht gegenüber einem 5-€-VPS die Break-even-Linie ungefähr im dritten Jahr, und nur, wenn nichts am Pi ausfällt. Ein einziger SD-Kartentausch oder ein Netzteiltausch setzt die Uhr zurück. Der Vergleich günstiger VPS geht die genauen Specs der 5-€-Optionen durch, und die Hermes-Kostenübersicht ordnet die Modellrechnung ein.

Der Pi gewinnt in drei Achsen, die ein VPS nicht bieten kann: er steht physisch bei Ihnen, er zieht kaum Strom und er ist wirklich privat in dem Sinne, dass kein Cloud-Anbieter die Platte hält. Das sind echte Gründe. „Günstiger" ist meist keiner.

Wann der Pi die richtige Wahl ist

Sie besitzen ihn bereits und er wäre sonst untätig.
Sie wollen den Agent physisch in Ihrem Heimnetz für Tools, die nur im LAN funktionieren (Home Assistant, lokaler Dateizugriff, Zigbee-Koordinatoren).
Sie optimieren auf Datenschutz statt Leistung und akzeptieren die Qualitätslücke des lokalen Modells.
Sie freuen sich über das Setup als Projekt. Das ist ein gültiger Grund, und dieser Leitfaden versucht nicht, ihn zu entkräften.

Wann Sie den Pi ganz auslassen sollten

Sie besitzen ihn noch nicht und kalkulieren von null.
Sie wollen Sprache mit niedriger Latenz.
Sie wollen ein ernstzunehmendes Modell in Hosted-Qualität betreiben (alles ab 7 B in echter Geschwindigkeit).
Sie wollen sich mit SD-Verschleiß, thermischem Throttling und ARM-Image-Verfügbarkeit gar nicht befassen.

Für den letzten Fall gibt es Managed Hosting genau deshalb, weil der Sonntagnachmittag mit Dimensionieren, Härten und Beaufsichtigen für viele kein Vergnügen ist. Legen Sie mit Hermify los und überspringen Sie die Hardwareentscheidung komplett. Es betreibt einen verwalteten Hermes Agent auf Telegram mit persistentem Speicher, der Ihnen gehört, und es gibt kein Board zu kühlen und keine SD zu tauschen.

Empfehlung

Wenn Sie schon einen Pi 5 mit 4 GB oder mehr und einen NVMe-HAT haben, setzen Sie einen API-gestützten Agenten darauf und freuen Sie sich über die niedrige Stromrechnung. Wenn Sie von null kalkulieren, kaufen Sie stattdessen einen 5-€-ARM-VPS. Wenn der Agent einfach laufen soll, ohne Hardwaregespräch, nehmen Sie einen Managed Host.

Der Pi ist ein reizender Computer. Für die meisten ist er nicht die günstigste und nicht die ruhigste Art, einen AI Agent online zu halten.