Self-Hosting vs. Cloud: Die Kosten-Rechnung geht nicht auf – aber darum geht es nicht
Der Reddit-Nutzer Napster3301 hat die tatsächlichen Betriebskosten seines lokalen Inference-Setups durchgerechnet und kommt zu einem ernüchternden Ergebnis. Sein Rig – zwei gebrauchte RTX 3090 (1.400 USD), Ryzen 7900X, 64 GB DDR5, Gesamtkosten ca. 2.800 USD – zieht unter Last rund 700 Watt. Bei einem Strompreis von 0,21 USD/Stunde und GPU-Abschreibung über drei Jahre ergibt sich ein effektiver Stundensatz von 0,50 bis 0,80 USD. Zum Vergleich: Ein H100 80GB auf RunPod kostet 1,49 USD/Stunde im Commit-Modell und liefert bei Modellen wie Qwen3.6-35B-A3B die zwei- bis dreifache Token-Durchsatzrate – macht den H100 pro Token günstiger. Bei realistischer Nutzung von zwei bis drei Stunden schwerer Inferenz täglich zahlt der Nutzer nach eigener Einschätzung deutlich mehr als beim bedarfsweisen Cloud-Renting. Als tatsächliche Gründe für das eigene Rig nennt er Privacy, Datensouveränität, Lerneffekte, null Cold-Start-Latenz sowie Unabhängigkeit von Provider-Rate-Limits. Der Post löste in r/LocalLLaMA eine breite Diskussion aus, da er einen weit verbreiteten Mythos der Community direkt angreift.
- Setup-Kosten: 2x RTX 3090 (gebraucht, 1.400 USD) + Ryzen 7900X + 64 GB DDR5 = ca. 2.800 USD Gesamt
- Stromverbrauch unter Last: ~700 W, Stromkosten ~0,21 USD/Stunde
- Effektiver Stundensatz inkl. Abschreibung (3 Jahre): 0,50–0,80 USD/Stunde
- RunPod H100 80GB: 1,99 USD/Std. on-demand, 1,49 USD/Std. im Commit – bei 2–3× höherem Throughput
- Genannte Nicht-Kosten-Gründe für Self-Hosting: Privacy, Würde/Kontrolle, Tinkering, Cold-Start, Infrastruktur-Souveränität
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com2w
SLM selbst hosten vs. Frontier-API: Lohnt sich der Wechsel bei 20 $ pro Nutzer?
- MEINUNGreddit.com3w
Lokale KI-Hardware zahlt sich aus: 200M Tokens in 5 Tagen sparen 1.250 USD/Monat
- MEINUNGreddit.com1w
Reddit-Diskussion: AI-Server-Setup unter 5.000 USD für lokale LLMs
- MEINUNGreddit.com2w
Hobbyisten fragen: Welcher GPU-Cloud-Anbieter lohnt sich für Open-Source-Modelle?
Self-Hosting vs. Cloud: Die Kosten-Rechnung geht nicht auf – aber darum geht es nicht
Der Reddit-Nutzer Napster3301 hat die tatsächlichen Betriebskosten seines lokalen Inference-Setups durchgerechnet und kommt zu einem ernüchternden Ergebnis. Sein Rig – zwei gebrauchte RTX 3090 (1.400 USD), Ryzen 7900X, 64 GB DDR5, Gesamtkosten ca. 2.800 USD – zieht unter Last rund 700 Watt. Bei einem Strompreis von 0,21 USD/Stunde und GPU-Abschreibung über drei Jahre ergibt sich ein effektiver Stundensatz von 0,50 bis 0,80 USD. Zum Vergleich: Ein H100 80GB auf RunPod kostet 1,49 USD/Stunde im Commit-Modell und liefert bei Modellen wie Qwen3.6-35B-A3B die zwei- bis dreifache Token-Durchsatzrate – macht den H100 pro Token günstiger. Bei realistischer Nutzung von zwei bis drei Stunden schwerer Inferenz täglich zahlt der Nutzer nach eigener Einschätzung deutlich mehr als beim bedarfsweisen Cloud-Renting. Als tatsächliche Gründe für das eigene Rig nennt er Privacy, Datensouveränität, Lerneffekte, null Cold-Start-Latenz sowie Unabhängigkeit von Provider-Rate-Limits. Der Post löste in r/LocalLLaMA eine breite Diskussion aus, da er einen weit verbreiteten Mythos der Community direkt angreift.
- Setup-Kosten: 2x RTX 3090 (gebraucht, 1.400 USD) + Ryzen 7900X + 64 GB DDR5 = ca. 2.800 USD Gesamt
- Stromverbrauch unter Last: ~700 W, Stromkosten ~0,21 USD/Stunde
- Effektiver Stundensatz inkl. Abschreibung (3 Jahre): 0,50–0,80 USD/Stunde
- RunPod H100 80GB: 1,99 USD/Std. on-demand, 1,49 USD/Std. im Commit – bei 2–3× höherem Throughput
- Genannte Nicht-Kosten-Gründe für Self-Hosting: Privacy, Würde/Kontrolle, Tinkering, Cold-Start, Infrastruktur-Souveränität
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com2w
SLM selbst hosten vs. Frontier-API: Lohnt sich der Wechsel bei 20 $ pro Nutzer?
- MEINUNGreddit.com3w
Lokale KI-Hardware zahlt sich aus: 200M Tokens in 5 Tagen sparen 1.250 USD/Monat
- MEINUNGreddit.com1w
Reddit-Diskussion: AI-Server-Setup unter 5.000 USD für lokale LLMs
- MEINUNGreddit.com2w
Hobbyisten fragen: Welcher GPU-Cloud-Anbieter lohnt sich für Open-Source-Modelle?