Der Reddit-Nutzer opoot_ betreibt ein selbst zusammengestelltes lokales Inference-System aus zwei AMD Radeon Instinct MI50 mit je 32 GB HBM2 – zusammen 64 GB VRAM – sowie 64 GB DDR4-RAM. Das Setup wurde eigenen Angaben zufolge noch vor dem sogenannten „Rampocolypse"-Preisanstieg für rund 630 USD beschafft. Derzeit nutzt er Gemma 4 31B in Q4-Quantisierung, ist aber mit der Inferenzgeschwindigkeit unzufrieden – sowohl beim Prompt-Processing als auch bei den Tokens per Sekunde. Sein primärer Anwendungsfall ist kreatives Schreiben. Er sucht nun MoE-Modelle (Mixture-of-Experts) mit etwa 60 Milliarden Gesamtparametern, die die vorhandenen 64 GB VRAM besser ausnutzen, da dichte Modelle in dieser Größenklasse nicht vollständig in den Speicher passen. Der Post spiegelt eine verbreitete Community-Frage wider: Welche MoE-Modelle bieten bei begrenztem VRAM ein gutes Verhältnis aus Qualität und Geschwindigkeit?