Der Reddit-Nutzer Rollingsound514 teilt seine Konfiguration für Ninfer, einen auf NVIDIA-Hardware optimierten Inferenz-Server, der als Alternative zu llama.cpp positioniert ist. Eingesetzt wird das Modell Qwen3.8-27B im NVFP4-Format – einem NVIDIA-proprietären 4-Bit-Quantisierungsformat, das speziell auf die Tensor-Cores der Ada/Blackwell-Generation zugeschnitten ist. Die RTX 5090 (Blackwell-Architektur) bietet mit 32 GB GDDR7-Speicher ausreichend Kapazität, um ein 27B-Modell vollständig im VRAM zu halten. Der entscheidende Geschwindigkeitsvorteil entsteht durch das Zusammenspiel mehrerer Techniken: Spekulative Dekodierung via Multi-Token-Prediction (MTP) mit 3 Draft-Tokens, ein FP8-KV-Cache sowie ein separater Host-seitiger KV-Cache-Speicher von 16 GB (--host-kv-mib 16384). Der maximale Kontext ist mit 240.000 Tokens außergewöhnlich groß konfiguriert, was auf Vision-Anwendungsfälle hindeutet – der Flag --vision ist gesetzt, ebenso ein Media-Puffer von 2 GB. Mit bis zu 2 gleichzeitigen Anfragen (--max-concurrency 2) erreicht das Setup Spitzenwerte von 220 Tokens/s bei einem Durchschnitt von rund 170 T/s – nach Aussage des Nutzers mehr als doppelt so schnell wie ein vergleichbares llama.cpp-Setup auf derselben Hardware.