Der gemergete Pull Request erweitert llama.cpp um native CUDA-Unterstützung für das Ternary-Bonsai-8B-Q2_0-Format und schließt damit eine wichtige Lücke im Ökosystem für ternär quantisierte Modelle. Ternäre Quantisierung beschränkt Modellgewichte auf drei mögliche Werte (typischerweise −1, 0 und +1), was zu drastisch reduziertem Speicherbedarf führt – das Q2_0-Format liegt im Bereich von etwa 2 Bit pro Parameter. Bonsai-8B ist ein auf 8 Milliarden Parameter ausgelegtes Modell, das speziell auf ternäre Gewichte hin trainiert oder destilliert wurde, um Qualität bei maximal kompakter Repräsentation zu erhalten. Bisher konnte llama.cpp solche Modelle zwar verarbeiten, GPU-Beschleunigung via CUDA blieb aber auf dieses spezifische Format beschränkt oder fehlte ganz. Mit dem Merge ist der Weg frei, Ternary-Bonsai-8B auf NVIDIA-GPUs auszuführen und dabei von der deutlich höheren Inferenzgeschwindigkeit gegenüber reiner CPU-Ausführung zu profitieren. Der Post stammt von Nutzer /u/413205 auf r/LocalLLaMA und kommentiert den Merge knapp mit „Time to see what it's capable of" – die Community-Reaktion auf die tatsächliche Leistung des Modells im CUDA-Betrieb steht damit noch aus. Für Nutzer mit wenig VRAM ist das Format besonders attraktiv, da ein 8B-Modell in Q2_0 deutlich unterhalb der 4–5 GB-Marke liegen kann.