Zwei Mining-APUs BC-250 laufen Qwen3-35B mit 60 tok/s für ~300 USD
Warum es zählt
Für rund 300 USD Gesamtkosten ist 60 tok/s auf einem 35B-MoE-Modell mit 64k Kontext erreichbar – interessant für kostengünstige lokale Inferenz-Setups mit geclusterten Consumer-/Mining-Hardware-Nodes über llama.cpp RPC.
— Lumeric Redaktion
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Zwei Mining-APUs BC-250 laufen Qwen3-35B mit 60 tok/s für ~300 USD
Warum es zählt
Für rund 300 USD Gesamtkosten ist 60 tok/s auf einem 35B-MoE-Modell mit 64k Kontext erreichbar – interessant für kostengünstige lokale Inferenz-Setups mit geclusterten Consumer-/Mining-Hardware-Nodes über llama.cpp RPC.
— Lumeric Redaktion
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.