Der Reddit-Nutzer joorklee demonstriert, wie sich das Modell Qwen3.6-27B-FP8 mit einer Kontextlänge von 262.144 Tokens auf vier RTX-5060-Ti-Karten à 16 GB betreiben lässt – einem Consumer-GPU-Setup, das er für 425 bis 475 USD pro Karte gebraucht auf Plattformen wie Facebook Marketplace oder Slickdeals zusammengestellt hat. Entscheidend für die Machbarkeit ist die Peer-to-Peer-Verbindung (P2P) zwischen den Karten sowie Tensor-Parallelismus mit dem Faktor 4 unter vLLM. Als KV-Cache-Datenformat wird BF16 gewählt, die GPU-Speicherauslastung auf 0,92 gesetzt und die maximale Sequenzzahl auf 4 konfiguriert – obwohl der Benchmark selbst mit Concurrency 1 lief, was der Autor nachträglich als Inkonsistenz einräumt. Spekulatives Dekodieren erfolgt via der Methode „qwen3_next_mtp" mit 3 spekulativen Tokens; die Akzeptanzrate lag im Benchmark bei 65,25 %, wobei Position 0 mit 78,29 % am zuverlässigsten akzeptiert wurde. Als Attention-Backend kommt FlashInfer zum Einsatz, Prefix-Caching ist aktiviert, und die Kompilierung läuft im VLLM_COMPILE-Modus mit einem maximalen CUDAGraph-Capture-Size von 16. Der Autor betont ausdrücklich, dass das Setup ausschließlich für Single-User-Inferenz konzipiert ist und für Multi-User-Betrieb nicht geeignet wäre.