Qwen3.6-27B in NVFP4-Quantisierung auf RTX 5090: 37 t/s mit reduzierter Bildqualität
Der Reddit-Nutzer /u/Usual-Carrot6352 zeigt einen vollständigen Setup-Report für das Qwen3.6-27B-Modell in NVFP4-Quantisierung, betrieben auf einem Lenovo Legion 7i Gen10 mit NVIDIA RTX 5090 (Blackwell-Architektur) und einem Intel Core Ultra 9 275HX. Für den Build von llama.cpp (Version b8999) wurden explizit Blackwell-spezifische Flags gesetzt: CUDA-Architektur 120a, NVFP4- und MXFP4-Tensor-Core-Support sowie AVX-512/VNNI für die CPU. Die erzielte Inferenzgeschwindigkeit beträgt 37 t/s bei einem Kontextfenster von 131.072 Tokens. Im direkten Vergleich mit der Q6_K-Variante desselben Modells schneidet NVFP4 bei kreativen SVG-Generierungsaufgaben sichtbar schlechter ab: Die erzeugten Bilder wirken cartoonhaft und weniger detailliert. Die NVFP4-Quantisierung profitiert direkt von den FP4-Tensor-Cores der Blackwell-GPU und stellt eine der aggressivsten Quantisierungsstufen dar, die derzeit mit llama.cpp produktiv nutzbar ist.
- llama.cpp Build b8999 mit GGML_CUDA_NVFP4=ON und CUDA-Architektur 120a (Blackwell PTX)
- Kontextfenster: 131.072 Tokens; KV-Cache in q8_0 quantisiert; Flash Attention aktiv
- Hardware: RTX 5090 Laptop-GPU, 32 GiB RAM, Intel Core Ultra 9 275HX (24 Kerne)
- NVFP4 und MXFP4 beide kompiliert; GCC 14.3.0 + CUDA Toolkit 13.2.78 genutzt
- Qualitätsvergleich: NVFP4-Outputs bei SVG-Tasks subjektiv schwächer als Q6_K-Variante
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Qwen3.6-27B in NVFP4-Quantisierung auf RTX 5090: 37 t/s mit reduzierter Bildqualität
Der Reddit-Nutzer /u/Usual-Carrot6352 zeigt einen vollständigen Setup-Report für das Qwen3.6-27B-Modell in NVFP4-Quantisierung, betrieben auf einem Lenovo Legion 7i Gen10 mit NVIDIA RTX 5090 (Blackwell-Architektur) und einem Intel Core Ultra 9 275HX. Für den Build von llama.cpp (Version b8999) wurden explizit Blackwell-spezifische Flags gesetzt: CUDA-Architektur 120a, NVFP4- und MXFP4-Tensor-Core-Support sowie AVX-512/VNNI für die CPU. Die erzielte Inferenzgeschwindigkeit beträgt 37 t/s bei einem Kontextfenster von 131.072 Tokens. Im direkten Vergleich mit der Q6_K-Variante desselben Modells schneidet NVFP4 bei kreativen SVG-Generierungsaufgaben sichtbar schlechter ab: Die erzeugten Bilder wirken cartoonhaft und weniger detailliert. Die NVFP4-Quantisierung profitiert direkt von den FP4-Tensor-Cores der Blackwell-GPU und stellt eine der aggressivsten Quantisierungsstufen dar, die derzeit mit llama.cpp produktiv nutzbar ist.
- llama.cpp Build b8999 mit GGML_CUDA_NVFP4=ON und CUDA-Architektur 120a (Blackwell PTX)
- Kontextfenster: 131.072 Tokens; KV-Cache in q8_0 quantisiert; Flash Attention aktiv
- Hardware: RTX 5090 Laptop-GPU, 32 GiB RAM, Intel Core Ultra 9 275HX (24 Kerne)
- NVFP4 und MXFP4 beide kompiliert; GCC 14.3.0 + CUDA Toolkit 13.2.78 genutzt
- Qualitätsvergleich: NVFP4-Outputs bei SVG-Tasks subjektiv schwächer als Q6_K-Variante
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.