IBMs Granite 30B ist ein leistungsstarkes Open-Source-Sprachmodell aus der Granite-Modellfamilie, das vor allem für Code- und Reasoning-Aufgaben entwickelt wurde. Bei einem Modell dieser Größenordnung beträgt der Speicherbedarf in voller Präzision (FP16) typischerweise rund 60 GB – weit mehr als die verfügbaren 12 GB VRAM. Um solche Modelle auf Consumer-Hardware lauffähig zu machen, werden Quantisierungsformate wie GGUF (via llama.cpp) oder GPTQ eingesetzt, die Gewichte auf 4-Bit oder weniger reduzieren. Bei einer aggressiven 4-Bit-Quantisierung (Q4_K_M o. ä.) würde Granite 30B ungefähr 16–18 GB benötigen – immer noch knapp über den 12 GB VRAM, ließe sich aber potenziell im sogenannten CPU-Offloading-Modus betreiben, wobei Teile des Modells in den System-RAM ausgelagert werden. Mit 32 GB RAM und 12 GB VRAM wäre ein solches hybrides Setup theoretisch möglich, allerdings auf Kosten der Inferenzgeschwindigkeit. Der Post von /u/MrMrsPotts in r/LocalLLaMA fragt konkret nach verfügbaren Quants und hat bislang keine dokumentierten Antworten im Auszug – die Community-Diskussion ist damit der eigentliche Informationsträger.