Bonsai-Ternary-27B mit KVarN-Cache: 120k Kontext unter 10 GB VRAM
CompaniesDeepSeek
Warum es zählt
Wer große Kontextfenster mit kleinen Modellen (Q1-Quantisierung) auf Consumer-GPUs betreiben will, kann mit kvarn4-Cache die KV-Cache-Kosten drastisch senken, ohne Qualitätseinbußen wie bei flachem q4_0. Die Implementierung (~1300 Zeilen, 23 Dateien) lässt sich laut Autor per LLM-Coding-Session reproduzieren.
— Lumeric Redaktion
Inference Speed @ 120k Context (RX 9070 XT) · Spitzenwert
43.4%
Bonsai-27B Q1_0 + q8_0 Cache
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Bonsai-Ternary-27B mit KVarN-Cache: 120k Kontext unter 10 GB VRAM
CompaniesDeepSeek
Warum es zählt
Wer große Kontextfenster mit kleinen Modellen (Q1-Quantisierung) auf Consumer-GPUs betreiben will, kann mit kvarn4-Cache die KV-Cache-Kosten drastisch senken, ohne Qualitätseinbußen wie bei flachem q4_0. Die Implementierung (~1300 Zeilen, 23 Dateien) lässt sich laut Autor per LLM-Coding-Session reproduzieren.
— Lumeric Redaktion
Inference Speed @ 120k Context (RX 9070 XT) · Spitzenwert
43.4%
Bonsai-27B Q1_0 + q8_0 Cache
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.