Home-Datacenter mit 4 Systemen: 3090 Ti, 5090 und Qwen 27B für lokales ML
Reddit-Nutzer alecKarfonta beschreibt sein aus vier Systemen bestehendes Heim-Rechenzentrum für Machine-Learning-Experimente. System 1 (Threadripper 3960X, 4× RTX 3090 Ti, 128 GB DDR4) läuft mit zwei Netzteilen unter nahezu 2000 W Volllast stabil seit etwa einem Monat und trainiert aktuell einen TTS-LoRA auf Daten, die aus einem größeren Modell destilliert wurden. System 2 (Xeon 8352, 4× RTX 5070 Ti, 128 GB DDR4) betreibt Qwen 27B für Coding sowie Nemotron Streaming-STT und Moss TTS als Teil eines interaktiven Agenten. System 3 (Intel Core i7-14700K Engineering-Sample für 100 USD, RTX 5090, 64 GB DDR5) dient hauptsächlich für Embedding-Modelle. System 4 (Ryzen 5950X, 2× RTX 5070 Ti, 64 GB DDR4) rundet das Setup ab. Der Nutzer hebt hervor, dass aktuelle Qwen-Modelle für autonomes Coding über Nacht gut genug sind und echte Arbeit – vor allem Boilerplate-Verbesserungen – ohne Token-Kosten erledigen.
- 4× RTX 3090 Ti in System 1 erzeugen ~2000 W Volllast, stabilisiert durch zwei Netzteile seit ca. einem Monat
- System 2 läuft Qwen 27B für Coding, Nemotron Streaming-STT und Moss TTS als Stack für einen interaktiven Agenten
- Intel 14700K Engineering-Sample für 100 USD als Embedding-Server in System 3
- TTS-LoRA-Training mit Daten aus Modell-Destillation läuft auf den 3090s
- Gesamte Hardware-Kosten nicht beziffert, aber Nutzer verweist explizit auf 'obvious costs of this hardware'
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Home-Datacenter mit 4 Systemen: 3090 Ti, 5090 und Qwen 27B für lokales ML
Reddit-Nutzer alecKarfonta beschreibt sein aus vier Systemen bestehendes Heim-Rechenzentrum für Machine-Learning-Experimente. System 1 (Threadripper 3960X, 4× RTX 3090 Ti, 128 GB DDR4) läuft mit zwei Netzteilen unter nahezu 2000 W Volllast stabil seit etwa einem Monat und trainiert aktuell einen TTS-LoRA auf Daten, die aus einem größeren Modell destilliert wurden. System 2 (Xeon 8352, 4× RTX 5070 Ti, 128 GB DDR4) betreibt Qwen 27B für Coding sowie Nemotron Streaming-STT und Moss TTS als Teil eines interaktiven Agenten. System 3 (Intel Core i7-14700K Engineering-Sample für 100 USD, RTX 5090, 64 GB DDR5) dient hauptsächlich für Embedding-Modelle. System 4 (Ryzen 5950X, 2× RTX 5070 Ti, 64 GB DDR4) rundet das Setup ab. Der Nutzer hebt hervor, dass aktuelle Qwen-Modelle für autonomes Coding über Nacht gut genug sind und echte Arbeit – vor allem Boilerplate-Verbesserungen – ohne Token-Kosten erledigen.
- 4× RTX 3090 Ti in System 1 erzeugen ~2000 W Volllast, stabilisiert durch zwei Netzteile seit ca. einem Monat
- System 2 läuft Qwen 27B für Coding, Nemotron Streaming-STT und Moss TTS als Stack für einen interaktiven Agenten
- Intel 14700K Engineering-Sample für 100 USD als Embedding-Server in System 3
- TTS-LoRA-Training mit Daten aus Modell-Destillation läuft auf den 3090s
- Gesamte Hardware-Kosten nicht beziffert, aber Nutzer verweist explizit auf 'obvious costs of this hardware'
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.