Der Reddit-Nutzer val_in_tech veröffentlichte eine detaillierte Konfigurationsübersicht für den Betrieb von Qwen 27B auf zwei RTX 5070 Ti mit je 16 GB VRAM. Der Beitrag ist ein Follow-up auf einen Vortag-Post, der noch auf dem mittlerweile nicht mehr gepflegten Cu130-VLLM-Image basierte – die neuen Messungen wurden mit dem cu129-nightly-Build von vLLM durchgeführt, das wichtige Fixes für den KV-Cache-Connector sowie allgemeine Performance-Verbesserungen mitbringt. Die Decode-Geschwindigkeit liegt je nach Kontextlänge zwischen 87 und 94 t/s (0–120k Kontext), während der Prefill-Durchsatz von 4.600 auf 2.400 Token/s abfällt. Die GPU-seitige KV-Cache-Kapazität beträgt 170k Token; durch Auslagerung in 8 GB RAM lässt sich der nutzbare KV-Kontext auf insgesamt 416k Token ausweiten. Zwei parallele Inferenz-Threads laufen dabei ohne messbare Geschwindigkeitseinbußen. val_in_tech verweist auf ein vollständiges Docker-Compose-File mit weiteren Details zu Speichernutzung und Konfiguration. Am Ende des Posts äußert der Autor die Hoffnung, dass das angekündigte kleinere Modell Qwen 3.8 künftig ebenfalls in dieses Dual-GPU-Setup passen wird.