Strata-Config-Tuning: 2076 PP und 95–105 tok/s auf RTX 4090 mit Qwen3.8-Flash-Next
CompaniesNVIDIA
Warum es zählt
Die drei wirksamsten Flags (--adapt-async 1, --kv-resident 20480, STRATA_ADAPT_LAG=2) liefern auf Consumer-Hardware bis zu +45% Decode-Speed. Windows-spezifische Memory-Pinning-Einschränkungen mit CUDA begrenzen das Potenzial – Linux-Nutzer könnten noch höhere Werte erzielen.
— Lumeric Redaktion
2076 PP / 142 tok/s
Peak Prefill & Decode nach Flag-Tuning
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Strata-Config-Tuning: 2076 PP und 95–105 tok/s auf RTX 4090 mit Qwen3.8-Flash-Next
CompaniesNVIDIA
Warum es zählt
Die drei wirksamsten Flags (--adapt-async 1, --kv-resident 20480, STRATA_ADAPT_LAG=2) liefern auf Consumer-Hardware bis zu +45% Decode-Speed. Windows-spezifische Memory-Pinning-Einschränkungen mit CUDA begrenzen das Potenzial – Linux-Nutzer könnten noch höhere Werte erzielen.
— Lumeric Redaktion
2076 PP / 142 tok/s
Peak Prefill & Decode nach Flag-Tuning
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.