Der Nutzer /u/ruffus_or erwarb zwei RTX 3090 für zusammen 1.000 US-Dollar und betreibt damit einen selbst gebauten Remote-GPU-Server im Heimnetzwerk – primär für ComfyUI, nun aber auch für LLM-Inference. Mit 48 GB VRAM gesamt liegt das Setup in einem Bereich, der theoretisch Modelle mit 30–70 Milliarden Parametern bei moderater Quantisierung ermöglicht, je nach Quantisierungsstufe aber erhebliche Qualitätsunterschiede mit sich bringt. Der Fragesteller nutzt aktuell vLLM als Inference-Server, erwägt aber einen Wechsel zu Ollama oder llama.cpp, die in der LocalLLaMA-Community verbreiteter sind und teils bessere Kompatibilität mit GGUF-Formaten bieten. Für Coding-Workflows interessiert er sich speziell für die Integration in eine IDE über Tools wie Continue, Cline, Roo Code oder Aider, die als Erweiterungen lokale Modelle über eine OpenAI-kompatible API ansprechen können. Da er bereits Claude und Codex für professionelle Programmierarbeiten abonniert hat, sucht er keine vollständige Cloud-Ersetzung, sondern ein leistungsfähiges Generalmodell sowie ein spezialisiertes Coding-Modell. Die Frage nach dem richtigen Quantisierungsformat – GGUF vs. AWQ vs. GPTQ vs. FP8 – ist zentral, da sie sowohl Speicherbedarf als auch Inferenzgeschwindigkeit und Ausgabequalität beeinflusst. Der Post spiegelt eine typische Abwägungssituation wider, mit der viele Hobbyisten und Home-Lab-Betreiber konfrontiert sind, die mit Consumer-GPUs der aktuellen und vorherigen Generation arbeiten.