Qwen3.6 27B auf RTX 5090: 140 tok/s im Schnitt mit llama.cpp-Tuning
Warum es zählt
Zeigt realistische Token-Geschwindigkeitsverteilung statt Einzelmessung für Qwen3.6 27B auf Consumer-Hardware. MTP-Spekulativdekodierung und q8-KV-Cache sind entscheidende Stellschrauben; SWA-Cache-Handling in llama.cpp hat noch Lücken bei Prompt-Reprocessing.
— Lumeric Redaktion
140,7 tok/s
Mittlere Inferenzgeschwindigkeit (6.454 Samples)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Qwen3.6 27B auf RTX 5090: 140 tok/s im Schnitt mit llama.cpp-Tuning
Warum es zählt
Zeigt realistische Token-Geschwindigkeitsverteilung statt Einzelmessung für Qwen3.6 27B auf Consumer-Hardware. MTP-Spekulativdekodierung und q8-KV-Cache sind entscheidende Stellschrauben; SWA-Cache-Handling in llama.cpp hat noch Lücken bei Prompt-Reprocessing.
— Lumeric Redaktion
140,7 tok/s
Mittlere Inferenzgeschwindigkeit (6.454 Samples)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.