Hermes LLM-Client auf Android GrapheneOS mit lokalem GPU-Setup
Der Reddit-Nutzer u/Dismal-Effect-1914 zeigt in einem YouTube-Video, wie der Hermes-LLM-Client im nativen Debian-Terminal unter GrapheneOS auf einem Android-Gerät betrieben wird. Als Backend dient ein lokales Gateway auf einem Windows-11-Laptop, das Llama.cpp mit dem Modell Qwen 3.6 35b ausführt. Die GPU-Konfiguration kombiniert eine mobile NVIDIA RTX 5070 Ti mit einer externen RTX 3090 über ein Razer Core X V2 eGPU-Gehäuse, angebunden per Thunderbolt 5 – das ergibt zusammen rund 34 GB nutzbaren VRAM. Bemerkenswert ist, dass diese Kombination nach Angaben des Nutzers sogar schneller arbeitet als sein früheres Desktop-Setup mit zwei RTX 3090 im SLI-Betrieb. Der Einsatz von GrapheneOS als Betriebssystem stellt sicher, dass keinerlei Telemetriedaten oder Cloud-Dienste in den Inferenz-Prozess eingebunden sind. Die Sprachdiktat-Funktion von Hermes funktioniert laut Bericht einwandfrei auf dem Android-Gerät. Einschränkend erwähnt der Nutzer, dass die eGPU-Einbindung unter Linux nicht zum Laufen gebracht werden konnte und deshalb Windows 11 als Host-System genutzt wird.
- Externe GPU wird über das Gehäuse Razer Core X V2 per Thunderbolt 5 (TB5) angebunden – unter Linux nicht funktionsfähig, nur unter Windows 11.
- Das frühere Setup mit zwei RTX 3090 im Desktop-Tower war langsamer als die aktuelle 5070 Ti + RTX 3090-eGPU-Kombination.
- Generierungsgeschwindigkeit von 80–150 tps wird durch MTP (Multi-Token Prediction) erreicht.
- Hermes läuft clientseitig im nativen Debian-Terminal unter GrapheneOS, nicht in einer emulierten Umgebung.
- Das gesamte Setup – von der Inferenz bis zur Spracherkennung – arbeitet laut Poster vollständig ohne Cloud-Anbindung.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Hermes LLM-Client auf Android GrapheneOS mit lokalem GPU-Setup
Der Reddit-Nutzer u/Dismal-Effect-1914 zeigt in einem YouTube-Video, wie der Hermes-LLM-Client im nativen Debian-Terminal unter GrapheneOS auf einem Android-Gerät betrieben wird. Als Backend dient ein lokales Gateway auf einem Windows-11-Laptop, das Llama.cpp mit dem Modell Qwen 3.6 35b ausführt. Die GPU-Konfiguration kombiniert eine mobile NVIDIA RTX 5070 Ti mit einer externen RTX 3090 über ein Razer Core X V2 eGPU-Gehäuse, angebunden per Thunderbolt 5 – das ergibt zusammen rund 34 GB nutzbaren VRAM. Bemerkenswert ist, dass diese Kombination nach Angaben des Nutzers sogar schneller arbeitet als sein früheres Desktop-Setup mit zwei RTX 3090 im SLI-Betrieb. Der Einsatz von GrapheneOS als Betriebssystem stellt sicher, dass keinerlei Telemetriedaten oder Cloud-Dienste in den Inferenz-Prozess eingebunden sind. Die Sprachdiktat-Funktion von Hermes funktioniert laut Bericht einwandfrei auf dem Android-Gerät. Einschränkend erwähnt der Nutzer, dass die eGPU-Einbindung unter Linux nicht zum Laufen gebracht werden konnte und deshalb Windows 11 als Host-System genutzt wird.
- Externe GPU wird über das Gehäuse Razer Core X V2 per Thunderbolt 5 (TB5) angebunden – unter Linux nicht funktionsfähig, nur unter Windows 11.
- Das frühere Setup mit zwei RTX 3090 im Desktop-Tower war langsamer als die aktuelle 5070 Ti + RTX 3090-eGPU-Kombination.
- Generierungsgeschwindigkeit von 80–150 tps wird durch MTP (Multi-Token Prediction) erreicht.
- Hermes läuft clientseitig im nativen Debian-Terminal unter GrapheneOS, nicht in einer emulierten Umgebung.
- Das gesamte Setup – von der Inferenz bis zur Spracherkennung – arbeitet laut Poster vollständig ohne Cloud-Anbindung.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.