Der Reddit-Nutzer WonderRico betreibt Qwen3.8-Flash-Next lokal auf Consumer-GPUs der Architekturen sm89 und sm120 und dokumentiert systematisch seine Benchmark-Versuche. In der Vorgängerkonfiguration nutzte er NVFP4-Gewichte von RadixArk (Hugging Face) zusammen mit einem gepatchten SGLang-Server, der speziell für Blackwell-Performance optimiert worden war – und erzielte damit 91/100. Der entscheidende Wechsel bestand aus zwei Komponenten: Erstens tauschte er die Gewichte gegen AWQ-W4A16-Quants von wtdcode aus, zweitens lud er ein INT4-quantisiertes PLE (Prefix Language Embedding) von primitive-ai, das zusammen mit einem zugehörigen vLLM-Patch eingespielt werden muss. Ziel war es, sowohl die Modellgewichte als auch das n-Gram-PLE vollständig in 4-Bit-Quantisierung in den VRAM zu laden. Das Ergebnis: 98/100 – sowohl im „medium"- als auch im „xhigh"-Reasoning-Modus, wobei letzterer sich für diesen spezifischen Benchmark weiterhin als nicht hilfreich erwies. Der Autor räumt ein, dass die neue Konfiguration bei geringer Parallelnutzung deutlich langsamer ist, wertet aber die Qualitätsverbesserung als überraschend groß. Offen bleibt für ihn, ob der Score-Sprung primär auf den Engine-Wechsel von SGLang zu vLLM oder auf die unterschiedlichen Quants zurückzuführen ist – das will er in weiteren Tests klären.