Der Benchmark entstand aus einem fünftägigen, über 100 GPU-Stunden umfassenden Testprojekt eines Reddit-Nutzers, der systematisch 7 Inference-Engines für Qwen 3.8 27B auf einem Apple Mac Studio mit M2 Max und 96 GB Unified Memory verglich. Als Testmodell diente jeweils ein 8-Bit-Quant (GGUF oder MLX) mit unkomprimiertem KV-Cache, vollem 262k-Kontextfenster und dem offiziellen Qwen-Coding-Sampler. Der eigentliche Qualitätstest war kein synthetischer Benchmark, sondern ein vierphasiger agentic Coding-Auftrag – das Schreiben eines lauffähigen Bubble-Bobble-Klons –, der je Engine zweimal unter mittlerem und sehr hohem Reasoning-Aufwand (medium/xhigh) durchgeführt wurde. MTPLX erzielte mit Score 93 (xhigh) das beste Ergebnis und lieferte dabei 20–22 tok/s Decode-Geschwindigkeit sowie 109 t/s Prefill-Throughput. llama.cpp mit MTP-Erweiterung landete auf Platz zwei (Score 86, xhigh), brauchte dafür aber fast drei Stunden Wandzeit gegenüber gut zwei Stunden bei MTPLX. vllm-mlx fiel wegen unkontrollierter Thinking-Leakage – das rohe Chain-of-Thought landet ungetrennt im Ausgabefeld – trotz akzeptabler Geschwindigkeit auf den letzten Platz (Score 50–51). mlx-dspark DFlash2 im xhigh-Modus zeigte eine kritische Anomalie: Das Modell erzeugte 226.000 Thinking-Tokens, ohne ein verwertbares Ergebnis zu liefern. Der Autor empfiehlt xhigh-Reasoning grundsätzlich nur dann, wenn die Engine schnell genug ist – bei langsamen Engines lohne sich der Zeitaufwand nicht.