Der Reddit-Nutzer KriptacMessage hat seine AMD Radeon AI Pro R9700 (32 GB VRAM) mit vLLM für zwei Qwen3.6-Modelle optimiert und die Ergebnisse als Referenz für die Community veröffentlicht. Als Laufzeitumgebung kommt das Docker-Image stilldeadcode/vllm-radiance:0.5.8 via Podman zum Einsatz, das ursprünglich für FP8-Gewichte auf zwei R9700-Karten (Tensor Parallelism = 2) ausgelegt ist. Für den Einzelkarten-Betrieb weicht die Konfiguration in drei Punkten ab: --tensor-parallel-size 1, --gpu-memory-utilization 0.98 sowie num_speculative_tokens=4 für das 27B-Modell. Die Gewichte stammen aus dem Hugging-Face-Repository Avesed/Qwen3.6-{27B,35B}-INT4-W4A16 im compressed-tensors-Format mit group_size 32; das FP8-Format des 35B passt bei keiner praxistauglichen Kontextlänge in 32 GB. Ein bekannter Tokenizer-Bug in den Avesed-Repos setzt truncation.max_length und padding auf Fixed(512) – ein Überbleibsel aus der Kalibrierung –, was Vision-Eingaben über ~672 Pixel bricht; die Abhilfe besteht darin, beide Werte auf null zu setzen. Für speculative Decoding beim 27B-Modell testete der Nutzer systematisch die Tiefen 2, 3, 4 und 8 und ermittelte, dass num_speculative_tokens=4 bei jeder Kontexttiefe gewinnt – zwischen 17 % und 48 % schneller als der Wert 8. Das 35B-MoE-Modell (Aktivierungsparameter A3B) läuft ohne MTP mit einem Kontextfenster von bis zu 262.144 Token, das 27B-Dense-Modell mit MTP und bis zu 131.072 Token.