Nutzer NetTechMan betreibt Qwen2 7B in Q4-Quantisierung auf einer AMD Radeon Sapphire Nitro+ 7900XTX mit 24 GB VRAM. Mit llama.cpp und Vulkan als Backend erreicht er 40 Token/s bei 80k Kontext-Window. Sein Ziel: mindestens 60 t/s bei 120–140k Kontext, ohne in neue Hardware zu investieren. Der Rest des Systems besteht aus einem Ryzen 5 7600X (6-Core, 4,7 GHz) und nur 16 GB DDR5-RAM, was für große Kontextfenster ein möglicher Flaschenhals sein kann. Die Frage richtet sich explizit an Software-seitige Optimierungen – etwa alternative Backends (ROCm statt Vulkan), Batching-Strategien, KV-Cache-Kompression oder andere Quantisierungsformate. Der Post spiegelt eine wachsende Nutzergruppe wider, die AMD-GPUs für lokale LLM-Inferenz einsetzt und dabei auf weniger ausgereifte Tooling-Unterstützung trifft als im NVIDIA-Ökosystem.