PrismaQuant: Neue Quantisierungsmethode für Blackwell-GPUs mit vLLM
Der Reddit-Nutzer betreibt ein ungewöhnliches Setup: Eine RTX Pro 4500 mit 32 GB VRAM ist per OcuLink an einen Beelink SER 8 (8745HS) sowie einen AooStar EG01 angebunden. Anlass für den Wechsel zu PrismaQuant war ein konkret aufgetretenes Problem: Das zuvor genutzte Sakamakismile-Modell erzeugte wiederholt fehlerhafte Tool-Calls und geriet unter vLLM 0.22–0.24 in Thinking-Loops, sowohl in Opencode als auch in Cline – selbst der Wechsel auf das Froggeric Chat Template brachte keine nachhaltige Verbesserung. Auf der Suche nach NVFP4-quantisierten Alternativen stieß der Nutzer auf PrismaQuant, das auf dem offiziellen Nvidia-DGX-Spark-Forum bereits diskutiert wird. Die Methode basiert auf INT4 Autoround und NVFP4 W4A4 und wählt pro linearem Layer individuell das geeignetste Quantisierungsformat. Im Test kamen drei Modellvarianten von Nutzer „rdtand" auf HuggingFace zum Einsatz: PrismaSCOUT (~5,31 Bit, ~20 GB), PrismaAURA (~5,5 Bit, ~23 GB) und PrismaQuant-Heretic (~5,249 Bit, ~22 GB, basiert auf einem Uncensored-Fork). Die Docker-Befehle nutzen vllm/vllm-openai:v0.24.0-cu129-ubuntu2404 mit FlashInfer als Attention-Backend, FP8-KV-Cache, MTP Speculative Decoding mit 3 spekulativen Tokens sowie einem Kontext-Limit von bis zu 200.000 Tokens für PrismaSCOUT.
- Setup: Beelink SER 8 (AMD 8745HS) + AooStar EG01 + RTX Pro 4500 32 GB, verbunden per OcuLink.
- Docker-Konfiguration nutzt VLLM_NVFP4_GEMM_BACKEND=flashinfer-cutlass, KV-Cache-Dtype fp8 und MTP Speculative Decoding mit num_speculative_tokens=3.
- PrismaSCOUT erlaubt max-model-len 200.000 Tokens bei 0.96 GPU-Memory-Utilization; PrismaAURA ist auf 150.000 Tokens begrenzt.
- Alle getesteten Modelle stammen vom HuggingFace-Nutzer rdtand und basieren auf Qwen3.6-27B (bzw. einem Uncensored-Fork für Heretic).
- PrismaQuant-Heretic (~5,25 Bit, Basis: llmfan46/Qwen3.6-27B-uncensored-heretic-v2) wurde im Beitrag aufgeführt, aber nicht tatsächlich getestet.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
PrismaQuant: Neue Quantisierungsmethode für Blackwell-GPUs mit vLLM
Der Reddit-Nutzer betreibt ein ungewöhnliches Setup: Eine RTX Pro 4500 mit 32 GB VRAM ist per OcuLink an einen Beelink SER 8 (8745HS) sowie einen AooStar EG01 angebunden. Anlass für den Wechsel zu PrismaQuant war ein konkret aufgetretenes Problem: Das zuvor genutzte Sakamakismile-Modell erzeugte wiederholt fehlerhafte Tool-Calls und geriet unter vLLM 0.22–0.24 in Thinking-Loops, sowohl in Opencode als auch in Cline – selbst der Wechsel auf das Froggeric Chat Template brachte keine nachhaltige Verbesserung. Auf der Suche nach NVFP4-quantisierten Alternativen stieß der Nutzer auf PrismaQuant, das auf dem offiziellen Nvidia-DGX-Spark-Forum bereits diskutiert wird. Die Methode basiert auf INT4 Autoround und NVFP4 W4A4 und wählt pro linearem Layer individuell das geeignetste Quantisierungsformat. Im Test kamen drei Modellvarianten von Nutzer „rdtand" auf HuggingFace zum Einsatz: PrismaSCOUT (~5,31 Bit, ~20 GB), PrismaAURA (~5,5 Bit, ~23 GB) und PrismaQuant-Heretic (~5,249 Bit, ~22 GB, basiert auf einem Uncensored-Fork). Die Docker-Befehle nutzen vllm/vllm-openai:v0.24.0-cu129-ubuntu2404 mit FlashInfer als Attention-Backend, FP8-KV-Cache, MTP Speculative Decoding mit 3 spekulativen Tokens sowie einem Kontext-Limit von bis zu 200.000 Tokens für PrismaSCOUT.
- Setup: Beelink SER 8 (AMD 8745HS) + AooStar EG01 + RTX Pro 4500 32 GB, verbunden per OcuLink.
- Docker-Konfiguration nutzt VLLM_NVFP4_GEMM_BACKEND=flashinfer-cutlass, KV-Cache-Dtype fp8 und MTP Speculative Decoding mit num_speculative_tokens=3.
- PrismaSCOUT erlaubt max-model-len 200.000 Tokens bei 0.96 GPU-Memory-Utilization; PrismaAURA ist auf 150.000 Tokens begrenzt.
- Alle getesteten Modelle stammen vom HuggingFace-Nutzer rdtand und basieren auf Qwen3.6-27B (bzw. einem Uncensored-Fork für Heretic).
- PrismaQuant-Heretic (~5,25 Bit, Basis: llmfan46/Qwen3.6-27B-uncensored-heretic-v2) wurde im Beitrag aufgeführt, aber nicht tatsächlich getestet.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.