DiffusionGemma 26B (A4B-it) ist ein Mixture-of-Experts-Diffusions-Sprachmodell von Google, das im Gegensatz zu autogressiven LLMs Token iterativ durch einen Diffusionsprozess erzeugt. Der Reddit-Nutzer djdeniro betreibt das Modell auf vier AMD Radeon RX 7900 XTX (Consumer-Grafikkarten mit je 24 GB VRAM) unter ROCm via eines eigens gepatchten vllm-Branches namens „dgemma". Die Konfiguration nutzt Tensor-Parallelism über alle vier GPUs, was eine effektive Kontextlänge von bis zu 131.072 Tokens ermöglicht – bei maximal 1,16 gleichzeitigen Anfragen dieser Länge. Der KV-Cache fasst dabei 152.671 Tokens. Bemerkenswert ist die explizite Deaktivierung der ROCm-spezifischen AITER-Kernel (VLLM_ROCM_USE_AITER=0) zugunsten des TRITON_ATTN-Backends sowie der Einsatz des Entropy-Bound-Samplers mit einem Schwellenwert von 0,1 – eine Diffusions-spezifische Sampling-Strategie, die die Ausgabequalität steuert. Der GPU-Speicher wird nur zu 65 % (gpu-memory-utilization 0.65) ausgelastet, obwohl bereits ~23,6–23,7 GB pro Karte belegt sind. Die Leistungsaufnahme liegt während der Inferenz bei 154–183 W pro GPU, die Temperaturen bei 78–88 °C. Für den Aufbau des Docker-Images war laut Autor ein erheblicher Aufwand nötig: 2–3 Millionen Tokens eines externen Modells (DeepSeek V4 Pro) wurden für die Vorbereitung der Containerumgebung aufgewendet – ein Hinweis auf die noch nicht triviale Einrichtung dieses Setups.