Ein Reddit-Nutzer (/u/Porespellar) sucht im r/LocalLLaMA-Forum Community-Rat für die Beschaffung eines Failover-Produktionsservers unter 150.000 US-Dollar. Das bestehende System basiert auf vier NVIDIA H100s und betreibt 122B-AWQ-Modelle mit 256k Kontext und einem Tensor-Parallelismus von 2 unter vLLM für rund 300 Nutzer – zusätzlich läuft ein kleines Embedding-Modell auf demselben Server. Da H100s laut dem Nutzer das Ende ihres Produktzyklus erreichen, wird nach leistungsähnlichen Alternativen gesucht. Die DGX Station wäre eine Option, ist jedoch derzeit kaum am Markt verfügbar. Als zweite Option wird ein SuperMicro-Rack-Server mit vier RTX Pro 6000-GPUs genannt. Der Beitrag illustriert die aktuelle Marktsituation: Neue High-End-GPU-Hardware ist knapp und teuer, während ältere H100-Systeme auslaufen. Die Community-Diskussion dreht sich um das beste Preis-Leistungs-Verhältnis für lokale Inferenz-Workloads in einem professionellen Umfeld – ein Thema, das viele Unternehmen betrifft, die souveräne KI-Infrastruktur aufbauen wollen.