Qwen3.5-0.8B in reinem Assembly: 6,51 Tokens/s vs. 4,34 bei Transformers
Warum es zählt
Die Assembly-Implementierung liest BF16-Gewichte nativ und erzielt ~50 % mehr Durchsatz als PyTorchs FP32-Fallback-Kernel auf einem einzelnen CPU-Thread. Zeigt konkretes Optimierungspotenzial für ressourcenknappe oder eingebettete Deployment-Szenarien ohne Framework-Overhead.
— Lumeric Redaktion
Single-Thread CPU Inference (Tokens/s) · Spitzenwert
6.51%
Assembly (BF16)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Qwen3.5-0.8B in reinem Assembly: 6,51 Tokens/s vs. 4,34 bei Transformers
Warum es zählt
Die Assembly-Implementierung liest BF16-Gewichte nativ und erzielt ~50 % mehr Durchsatz als PyTorchs FP32-Fallback-Kernel auf einem einzelnen CPU-Thread. Zeigt konkretes Optimierungspotenzial für ressourcenknappe oder eingebettete Deployment-Szenarien ohne Framework-Overhead.
— Lumeric Redaktion
Single-Thread CPU Inference (Tokens/s) · Spitzenwert
6.51%
Assembly (BF16)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.