Neue Qwen3.6-27B GGUF Quants für ik_llama.cpp mit 16GB VRAM optimiert
Warum es zählt
Nutzer mit 16-GB-VRAM-GPUs erhalten damit zwei neue Quant-Optionen für Qwen3.6-27B, die laut PPL-Tests auf pg19 sehr ähnliche Perplexity (~7.41) erreichen. Die selektive Trellis-Quantisierung (iq4_kt) könnte ein Ansatz sein, Effizienz ohne Logik-Einbußen zu kombinieren.
— Lumeric Redaktion
Perplexity (pg19, n_ctx=65536) · Spitzenwert
7.4131%
IQ4_KS (attn_qkv)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Neue Qwen3.6-27B GGUF Quants für ik_llama.cpp mit 16GB VRAM optimiert
Warum es zählt
Nutzer mit 16-GB-VRAM-GPUs erhalten damit zwei neue Quant-Optionen für Qwen3.6-27B, die laut PPL-Tests auf pg19 sehr ähnliche Perplexity (~7.41) erreichen. Die selektive Trellis-Quantisierung (iq4_kt) könnte ein Ansatz sein, Effizienz ohne Logik-Einbußen zu kombinieren.
— Lumeric Redaktion
Perplexity (pg19, n_ctx=65536) · Spitzenwert
7.4131%
IQ4_KS (attn_qkv)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.