Slipstream streamt MoE-Expertengewichte von SSD für 36-GB-MacBook
Warum es zählt
Mac-Nutzer können damit LLMs weit jenseits des RAM-Limits lokal betreiben – Qwen3.6-35B erreicht ~19 tok/s bei 14 GiB Cache. Besonders relevant: Die Ablage der gestreamten Experten auf dem schnelleren Laufwerk brachte 2,7× Speedup – Speicherplatzierung schlägt Kernel-Optimierungen.
— Lumeric Redaktion
2.7×
Speedup durch Ablage auf schnellerem NVMe
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Slipstream streamt MoE-Expertengewichte von SSD für 36-GB-MacBook
Warum es zählt
Mac-Nutzer können damit LLMs weit jenseits des RAM-Limits lokal betreiben – Qwen3.6-35B erreicht ~19 tok/s bei 14 GiB Cache. Besonders relevant: Die Ablage der gestreamten Experten auf dem schnelleren Laufwerk brachte 2,7× Speedup – Speicherplatzierung schlägt Kernel-Optimierungen.
— Lumeric Redaktion
2.7×
Speedup durch Ablage auf schnellerem NVMe
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.