Der Reddit-Nutzer /u/alberto_zurini hat eine vollständig lokale Sprachassistenten-Pipeline auf einem Amazon Echo Dot 2 aufgebaut und den Quellcode samt Build-Anleitung auf GitHub unter albertoZurini/echo-dot-2-playground veröffentlicht. Das Gerät verfügt über einen ARMv7-Prozessor und nur 512 MB RAM – eine Hardwareklasse, die typischerweise nicht für lokale LLM-Inferenz in Betracht gezogen wird. llama.cpp wurde für armeabi-v7a cross-kompiliert und läuft als dauerhafter llama-server-Prozess im Hintergrund, da jeder Kaltstart des llama-cli-Prozesses allein schon rund 17 Sekunden Latenz verursacht. Das eingesetzte 28M-Parameter-Modell stammt aus der gleichen Modellfamilie, die auch in ESP32-Sprachprojekten Verwendung findet, und erreicht auf dem Echo Dot 2 etwa 7 Tokens/s beim Prompt-Processing und 4 Tokens/s bei der Generierung. Als Vergleich testete der Entwickler auch MobileLLM-143M-Q4_K_M.gguf, das jedoch rund 20 Sekunden für einen einfachen Befehl benötigte und damit für interaktive Nutzung zu langsam war. Die Spracherkennung übernimmt Sherpa-ONNX im Offline-Streaming-Modus; nach Wake-Word-Erkennung wird Audio aufgenommen, per STT transkribiert und der Text an den lokalen llama-server übergeben. Das Modell ist darauf beschränkt, einfache JSON-Aktionen auszugeben, was die Generierungslänge minimiert und trotz geringer Token-Rate praxistaugliche Ergebnisse für strukturierte Gerätebefehle liefert.