★ Begriff· Training & Inferenz
Quantization
Reduziert die Bit-Breite der Modell-Gewichte (FP16 → INT8/INT4 → FP4) — verkleinert das Modell ~2-4× bei minimalem Quality-Verlust. Macht 70B-Modelle auf Consumer-GPUs lauffähig.
Verwandte Tools
Auch bekannt als
quantisierung · int8 · int4 · fp4
Aktivität
35
Mentions in den letzten 7 Tagen
4 Wochen
⚡neu · 35×
Zuletzt erwähnt in
- club-3090 QEngine-Preset: Qwen3.8-27B-INT4 deutlich schneller als FP8 auf Dual-30902026-10-29
- OpenBonsai: Open-Source-Pipeline komprimiert BF16-Modelle auf ~2 GB Ternär-GGUF2026-10-29
- Nutzer berichtet von schwacher Creative-Writing-Qualität bei Qwen 3.8 Flash Next2026-10-29
- Qwen3.8-27B EXL3-Quant mit KLD 0.0002 bei nur 18,8 GiB VRAM2026-10-29
- Tesla P40 mit 35B MoE: 262k Kontext und 60 t/s ohne Sub-Q4-Quants2026-10-28