Zwei alte Android-Phones als 27B-LLM-Cluster per USB und Ternary-Math
ToolsLlama
CompaniesPerplexity
Warum es zählt
Zeigt, dass RAM-Limits mobiler Geräte durch C++-RPC-Layer-Splitting umgangen werden können, ohne thermische Probleme. Die Kombination aus Ternary-Weights im Hadamard-Raum und Runtime-Transform könnte Edge-Inferenz auf Consumer-Hardware deutlich verbessern.
— Lumeric Redaktion
2.8 tok/s @ 30°C
27B-Cluster-Inferenz auf zwei Phones
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Zwei alte Android-Phones als 27B-LLM-Cluster per USB und Ternary-Math
ToolsLlama
CompaniesPerplexity
Warum es zählt
Zeigt, dass RAM-Limits mobiler Geräte durch C++-RPC-Layer-Splitting umgangen werden können, ohne thermische Probleme. Die Kombination aus Ternary-Weights im Hadamard-Raum und Runtime-Transform könnte Edge-Inferenz auf Consumer-Hardware deutlich verbessern.
— Lumeric Redaktion
2.8 tok/s @ 30°C
27B-Cluster-Inferenz auf zwei Phones
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.