Der Reddit-Nutzer OsmanthusBloom betreibt Qwen3.6-35B-A3B mit CPU-Offload auf einem Asus ROG Zephyrus G14 (2021) mit AMD Ryzen 7 5800HS, 24 GB DDR4-3200-RAM und einer NVIDIA RTX 3060 Laptop GPU mit 6 GB VRAM. Grundlage des Vergleichs ist llama.cpp Build 9203, kompiliert unter Linux Mint 22.2 mit CUDA 12.0. Beide Quants wurden mit identischer Konfiguration getestet: Kontextgröße 65.536 Token, mmap deaktiviert, mlock aktiviert, ubatch-Größe 2048 sowie KV-Cache in q8_0. Das Testprompt umfasste rund 10.000 Token gefolgt von 1.500–2.000 Token Generierung; jeder Lauf wurde zweimal wiederholt und lieferte nahezu identische Werte. Ein möglicher Erklärungsansatz für den TG-Vorsprung des ByteShape-Quants: IQ-Quants (imatrix) wie der Unsloth UD-IQ4_XS sind auf der CPU rechenintensiver als reguläre Q-Quants wie ByteShape CPU-5 (Q4_K_S). Der Autor weist selbst darauf hin, dass ein fairerer Vergleich der ByteShape GPU-5-Variante (ebenfalls imatrix) mit Unsloth wäre, da so der imatrix-Faktor kontrolliert würde. Zur Ausgabequalität wurden keine systematischen Messungen vorgenommen; subjektiv erscheinen die Antworten ähnlich, möglicherweise mit etwas kürzeren Thinking-Abschnitten beim ByteShape-Modell. Der Nutzer äußert zudem Skepsis gegenüber den Herstellerversprechen von ByteShape und wünscht sich eine unabhängige Qualitätsevaluation.