Kyojin-Engine: Zwei 300B-MoE-Modelle je auf einem 128-GB-Mini-PC via ROCm
Warum es zählt
300B-MoE-Modelle laufen damit auf Consumer-Mini-PCs mit AMD Strix Halo ohne Cloud-Abhängigkeit. Wer eine solche Maschine besitzt, kann via OpenAI-kompatibler API sofort lokal inferieren — inklusive 128K Kontext und Uncensored-Varianten per Engine-Flag.
— Lumeric Redaktion
Decode-Geschwindigkeit (tok/s) auf Ryzen AI Max+ 395 · Spitzenwert
44%
MiMo-V2.6-Flash (Code, spekulativ)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Kyojin-Engine: Zwei 300B-MoE-Modelle je auf einem 128-GB-Mini-PC via ROCm
Warum es zählt
300B-MoE-Modelle laufen damit auf Consumer-Mini-PCs mit AMD Strix Halo ohne Cloud-Abhängigkeit. Wer eine solche Maschine besitzt, kann via OpenAI-kompatibler API sofort lokal inferieren — inklusive 128K Kontext und Uncensored-Varianten per Engine-Flag.
— Lumeric Redaktion
Decode-Geschwindigkeit (tok/s) auf Ryzen AI Max+ 395 · Spitzenwert
44%
MiMo-V2.6-Flash (Code, spekulativ)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.