MoE-Expert-Offloading auf RDNA4 9070XT: Benchmark-Vergleich ExLlamaV3 vs. llama.cpp

Warum es zählt

Mit Hot-Expert-Caching (Strata, ExLlamaV3, llama.cpp) werden 35B-MoE-Modelle bei 128K Kontext auf Consumer-GPUs mit 16 GB VRAM nutzbar — relevant für agentic Workloads ohne ständiges Kontext-Compaction. Prefill bricht bei 128K jedoch stark ein (1900 → 700 t/s).

— Lumeric Redaktion

Quelle lesenreddit.com

MoE Offload Decode @128K Kontext (tok/s) · Spitzenwert

71.6%

Qwen3.6-35B-A3B (ExLlamaV3, DFlash2)

Inferenz Infra Open Source Long Context

Frag die KI zum Artikel

Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.

MoE-Expert-Offloading auf RDNA4 9070XT: Benchmark-Vergleich ExLlamaV3 vs. llama.cpp

ToolsQwen Llama

Warum es zählt

— Lumeric Redaktion

MoE Offload Decode @128K Kontext (tok/s) · Spitzenwert

71.6%

Qwen3.6-35B-A3B (ExLlamaV3, DFlash2)

Frag die KI zum Artikel

Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.

MoE-Expert-Offloading auf RDNA4 9070XT: Benchmark-Vergleich ExLlamaV3 vs. llama.cpp

Frag die KI zum Artikel

Verwandte Beiträge

MoE-Expert-Offloading auf RDNA4 9070XT: Benchmark-Vergleich ExLlamaV3 vs. llama.cpp

Frag die KI zum Artikel

Verwandte Beiträge