Gemma 4 12B Heretic Q8 generiert Retro-Spiel in einem Prompt auf Consumer-Hardware
Der Reddit-Nutzer dsmason321 testete H-gemma-4-12B-heretic-Q8 – eine Community-Fine-Tune des frisch erschienenen Gemma 4 12B – auf seinem Consumer-PC mit Ryzen 9 9950X, AMD RX 6800 (16 GB VRAM) und 32 GB DDR5-6000-RAM. Anlass war, dass das offizielle Q8-Modell bei kreativen Coding-Aufgaben mit Weigerungen reagierte; die „Heretic"-Variante zeigte dieses Verhalten nicht. Der Nutzer formulierte einen detaillierten Single-Shot-Prompt, der ein vollständiges Retro-Cyberpunk-Brick-Breaker-Spiel als selbstständige HTML-Datei (HTML5 Canvas, Vanilla JavaScript, kein externes Asset) forderte. Das Modell absolvierte die Aufgabe in vier Konversations-Turns mit einem Gesamtvolumen von 45.000 Tokens. Besonders auffällig war Turn 2: Das Modell generierte 4.372 Tokens – darunter 467 Zeilen spielbereiten Code – in einem ununterbrochenen Strom über rund vier Minuten. Die Verarbeitungsgeschwindigkeit beim Prompt-Processing sank erwartungsgemäß von 228,79 t/s (leerer Kontext) auf 157,72 t/s (tiefer Kontext), während die Generationsrate durch den gesamten Lauf konstant zwischen 18,44 und 18,93 t/s blieb. Entscheidend dafür war die effiziente Cache-Nutzung via Longest Common Prefix (LCP): llama-server erzielte in den Folge-Turns 91,7 % bzw. 96,4 % Cache-Wiederverwendung und vermied damit aufwändige Neu-Evaluierungen des wachsenden Kontexts.
- Vulkan-Backend: Das Modell lief vollständig über den Vulkan-Pfad von llama.cpp – kein ROCm, kein CUDA –, was die RX 6800 ohne proprietäre Treiber nutzbar macht.
- 8-Bit-KV-Cache: Die Flags --cache-type-k q8_0 und --cache-type-v q8_0 reduzieren den VRAM-Bedarf des KV-Caches und ermöglichten den 256k-Kontext-Slot bei 16 GB VRAM.
- Spielspezifikation im Prompt: Gefordert waren u. a. 4×8-Brick-Grid, Partikelexplosionen (5–8 Partikel), localStorage-Highscore, drei Leben, Start-/GameOver-/Victory-Screens sowie ctx.shadowBlur-Gloweffekte.
- Aktiver Kontext zum letzten Turn: 23.125 Tokens – trotzdem keine messbare Geschwindigkeitsdegradation bei der Token-Generierung.
- Heretic-Variante als Workaround: Der Wechsel vom offiziellen Gemma-4-12B-Q8 zur Heretic-Fine-Tune war nötig, weil das Originalmodell den kreativen Coding-Prompt ablehnte.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Gemma 4 12B Heretic Q8 generiert Retro-Spiel in einem Prompt auf Consumer-Hardware
Der Reddit-Nutzer dsmason321 testete H-gemma-4-12B-heretic-Q8 – eine Community-Fine-Tune des frisch erschienenen Gemma 4 12B – auf seinem Consumer-PC mit Ryzen 9 9950X, AMD RX 6800 (16 GB VRAM) und 32 GB DDR5-6000-RAM. Anlass war, dass das offizielle Q8-Modell bei kreativen Coding-Aufgaben mit Weigerungen reagierte; die „Heretic"-Variante zeigte dieses Verhalten nicht. Der Nutzer formulierte einen detaillierten Single-Shot-Prompt, der ein vollständiges Retro-Cyberpunk-Brick-Breaker-Spiel als selbstständige HTML-Datei (HTML5 Canvas, Vanilla JavaScript, kein externes Asset) forderte. Das Modell absolvierte die Aufgabe in vier Konversations-Turns mit einem Gesamtvolumen von 45.000 Tokens. Besonders auffällig war Turn 2: Das Modell generierte 4.372 Tokens – darunter 467 Zeilen spielbereiten Code – in einem ununterbrochenen Strom über rund vier Minuten. Die Verarbeitungsgeschwindigkeit beim Prompt-Processing sank erwartungsgemäß von 228,79 t/s (leerer Kontext) auf 157,72 t/s (tiefer Kontext), während die Generationsrate durch den gesamten Lauf konstant zwischen 18,44 und 18,93 t/s blieb. Entscheidend dafür war die effiziente Cache-Nutzung via Longest Common Prefix (LCP): llama-server erzielte in den Folge-Turns 91,7 % bzw. 96,4 % Cache-Wiederverwendung und vermied damit aufwändige Neu-Evaluierungen des wachsenden Kontexts.
- Vulkan-Backend: Das Modell lief vollständig über den Vulkan-Pfad von llama.cpp – kein ROCm, kein CUDA –, was die RX 6800 ohne proprietäre Treiber nutzbar macht.
- 8-Bit-KV-Cache: Die Flags --cache-type-k q8_0 und --cache-type-v q8_0 reduzieren den VRAM-Bedarf des KV-Caches und ermöglichten den 256k-Kontext-Slot bei 16 GB VRAM.
- Spielspezifikation im Prompt: Gefordert waren u. a. 4×8-Brick-Grid, Partikelexplosionen (5–8 Partikel), localStorage-Highscore, drei Leben, Start-/GameOver-/Victory-Screens sowie ctx.shadowBlur-Gloweffekte.
- Aktiver Kontext zum letzten Turn: 23.125 Tokens – trotzdem keine messbare Geschwindigkeitsdegradation bei der Token-Generierung.
- Heretic-Variante als Workaround: Der Wechsel vom offiziellen Gemma-4-12B-Q8 zur Heretic-Fine-Tune war nötig, weil das Originalmodell den kreativen Coding-Prompt ablehnte.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.