OpenBonsai: Open-Source-Pipeline komprimiert BF16-Modelle auf ~2 GB Ternär-GGUF
CompaniesHugging Face
Warum es zählt
Erstmals steht eine vollständige, reproduzierbare BF16-zu-Ternär-Pipeline offen zur Verfügung, sodass eigene Fine-Tunes in das Prism-Bonsai-Format gebracht werden können. Qualitätslücke zu Prisms offiziellen Modellen besteht noch; Inferenz erfordert aktuell Prisms llama.cpp-Fork, kein Upstream-Support.
— Lumeric Redaktion
GSM8K (thinking off) · Spitzenwert
77%
Original BF16
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com1w
Ternary Bonsai 2 Familie: Ternäre Modelle mit 2B, 4B und 9B auf Qwen-3.5-Basis
- LAUNCHreddit.com2w
27B-Reasoning-Modell in 5,9 GB: Ternäres GGUF für llama.cpp
- LAUNCHreddit.com2w
Boole-1.7B: 1-Bit-Quantisierung von Qwen3-1.7B mit 247 MB Gewichten
- MEINUNGreddit.com1w
ASCII-Pruning reduziert Qwen3.8 27B GGUF um 0,6 GB
OpenBonsai: Open-Source-Pipeline komprimiert BF16-Modelle auf ~2 GB Ternär-GGUF
CompaniesHugging Face
Warum es zählt
Erstmals steht eine vollständige, reproduzierbare BF16-zu-Ternär-Pipeline offen zur Verfügung, sodass eigene Fine-Tunes in das Prism-Bonsai-Format gebracht werden können. Qualitätslücke zu Prisms offiziellen Modellen besteht noch; Inferenz erfordert aktuell Prisms llama.cpp-Fork, kein Upstream-Support.
— Lumeric Redaktion
GSM8K (thinking off) · Spitzenwert
77%
Original BF16
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com1w
Ternary Bonsai 2 Familie: Ternäre Modelle mit 2B, 4B und 9B auf Qwen-3.5-Basis
- LAUNCHreddit.com2w
27B-Reasoning-Modell in 5,9 GB: Ternäres GGUF für llama.cpp
- LAUNCHreddit.com2w
Boole-1.7B: 1-Bit-Quantisierung von Qwen3-1.7B mit 247 MB Gewichten
- MEINUNGreddit.com1w
ASCII-Pruning reduziert Qwen3.8 27B GGUF um 0,6 GB