QuarkStar: Vulkan/Metal-Inference-Engine für Qwen3.6-35B auf 16-GB-Maschinen
Warum es zählt
Entwickler mit günstiger Hardware (ab ~150 $ AMD BC-250 oder M2 Pro 16 GB) können ein 35B-MoE-Modell lokal mit brauchbaren Geschwindigkeiten betreiben (bis zu 81 tok/s Dekodierung). Das SSD-Streaming-Pfad öffnet die Nutzung sogar für 8-GB-Systeme.
— Lumeric Redaktion
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
QuarkStar: Vulkan/Metal-Inference-Engine für Qwen3.6-35B auf 16-GB-Maschinen
Warum es zählt
Entwickler mit günstiger Hardware (ab ~150 $ AMD BC-250 oder M2 Pro 16 GB) können ein 35B-MoE-Modell lokal mit brauchbaren Geschwindigkeiten betreiben (bis zu 81 tok/s Dekodierung). Das SSD-Streaming-Pfad öffnet die Nutzung sogar für 8-GB-Systeme.
— Lumeric Redaktion
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.