Snapdragon Mini-PC für 300 £: 35B-Modell mit 30 tok/s, 80B trotz RAM-Limit lauffähig
Warum es zählt
Durch ARM-Portierung von Janas (NVMe-Streaming für MoE-Experten) können 80B-Modelle auf 32 GB RAM laufen; selbst 16-GB-Snapdragon-Geräte sollen 35B-A3B noch nutzbar ausführen. Das senkt die Hardware-Hürde für lokale Großmodelle drastisch.
— Lumeric Redaktion
Inference Throughput (tok/s, CPU-only, Snapdragon X1) · Spitzenwert
30%
Qwen3.6 35B A3B (llama.cpp, MTP)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Snapdragon Mini-PC für 300 £: 35B-Modell mit 30 tok/s, 80B trotz RAM-Limit lauffähig
Warum es zählt
Durch ARM-Portierung von Janas (NVMe-Streaming für MoE-Experten) können 80B-Modelle auf 32 GB RAM laufen; selbst 16-GB-Snapdragon-Geräte sollen 35B-A3B noch nutzbar ausführen. Das senkt die Hardware-Hürde für lokale Großmodelle drastisch.
— Lumeric Redaktion
Inference Throughput (tok/s, CPU-only, Snapdragon X1) · Spitzenwert
30%
Qwen3.6 35B A3B (llama.cpp, MTP)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.