Pantheon: 35B-MoE-Inferenz auf Tesla K80 (2014) mit ~21 tok/s in reinem C
Warum es zählt
Entwickler können 35B-MoE-Modelle auf gebrauchter K80-Hardware für wenig Geld produktiv betreiben. Prefix-Caching reduziert Wiederholungs-Prefills drastisch (170 s → 9 s); OpenAI-kompatible API ermöglicht direkten Drop-in-Einsatz z.B. mit opencode.
— Lumeric Redaktion
~21 tok/s
Decode-Speed auf Tesla K80, Qwen3.6-35B Q3_K_M
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com3w
MoEspresso 3: Qwen3.8-Flash-Next (125B) mit 12–15 tok/s auf M1 Max
- BENCHMARKreddit.com2w
Qwen3.6-35B-A3B-Q6 erreicht 3095 tok/s Prefill auf Strix Halo
- LAUNCHreddit.com2w
Kyojin-Engine: Zwei 300B-MoE-Modelle je auf einem 128-GB-Mini-PC via ROCm
- BENCHMARKreddit.com6d
176 t/s Decode mit Q4 Qwen-3.8 auf 2×RX 9700 + 64 GB DDR5
Pantheon: 35B-MoE-Inferenz auf Tesla K80 (2014) mit ~21 tok/s in reinem C
Warum es zählt
Entwickler können 35B-MoE-Modelle auf gebrauchter K80-Hardware für wenig Geld produktiv betreiben. Prefix-Caching reduziert Wiederholungs-Prefills drastisch (170 s → 9 s); OpenAI-kompatible API ermöglicht direkten Drop-in-Einsatz z.B. mit opencode.
— Lumeric Redaktion
~21 tok/s
Decode-Speed auf Tesla K80, Qwen3.6-35B Q3_K_M
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com3w
MoEspresso 3: Qwen3.8-Flash-Next (125B) mit 12–15 tok/s auf M1 Max
- BENCHMARKreddit.com2w
Qwen3.6-35B-A3B-Q6 erreicht 3095 tok/s Prefill auf Strix Halo
- LAUNCHreddit.com2w
Kyojin-Engine: Zwei 300B-MoE-Modelle je auf einem 128-GB-Mini-PC via ROCm
- BENCHMARKreddit.com6d
176 t/s Decode mit Q4 Qwen-3.8 auf 2×RX 9700 + 64 GB DDR5