PyTorch 2.15 bringt FP8-Support und 6,5× schnelleres MoE-Decoding auf Apple Silicon
CompaniesHugging Face
Warum es zählt
Qwen3.6-35B-A3B steigert auf M3 Ultra mit torch.compile von 9,4 auf 61,3 Token/s; LFM2.5-8B-A1B sogar von 23,6 auf 123,6 Token/s. FP8-Gewichte und 8× schnelleres Softmax machen lokale LLM-Inferenz auf dem Mac deutlich praxistauglicher.
— Lumeric Redaktion
MoE Decoding Speed (tokens/s, M3 Ultra) · Spitzenwert
9.4%
Qwen3.6-35B-A3B (PyTorch 2.14)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
PyTorch 2.15 bringt FP8-Support und 6,5× schnelleres MoE-Decoding auf Apple Silicon
CompaniesHugging Face
Warum es zählt
Qwen3.6-35B-A3B steigert auf M3 Ultra mit torch.compile von 9,4 auf 61,3 Token/s; LFM2.5-8B-A1B sogar von 23,6 auf 123,6 Token/s. FP8-Gewichte und 8× schnelleres Softmax machen lokale LLM-Inferenz auf dem Mac deutlich praxistauglicher.
— Lumeric Redaktion
MoE Decoding Speed (tokens/s, M3 Ultra) · Spitzenwert
9.4%
Qwen3.6-35B-A3B (PyTorch 2.14)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.