Die ternären Bonsai-Modelle von Prism-ML nutzen eine 1,58-Bit-Quantisierung, bei der Gewichte nur die Werte {-1, 0, +1} annehmen können – ein Ansatz, der den Speicherbedarf drastisch reduziert und Inferenz auf schwacher Hardware ermöglicht. Bisher war das Fine-Tuning solcher Modelle eine besondere Herausforderung, da klassisches Post-Training-Fine-Tuning die ternäre Gewichtsstruktur zerstören würde. Das GitHub-Repository „ternary_QAT" von Nutzer electroglyph löst dieses Problem durch Quantization-Aware Training (QAT), bei dem das Modell während des Trainings kontinuierlich in den ternären Wertebereich zurückgezwungen wird. Der Autor empfiehlt ausdrücklich, eine deutlich höhere Lernrate als üblich zu verwenden – ein Hinweis, der typisch für QAT-Verfahren ist, da der ternäre Constraint das effektive Gradientensignal abschwächt. Im Repository sind Beispiele enthalten, die den Einstieg erleichtern sollen. Der Post stammt von Reddit-Nutzer /u/terminoid_ und wurde in r/LocalLLaMA veröffentlicht, einer Community mit starkem Fokus auf effiziente, lokal ausführbare Modelle. Da der Quelltext nur wenige Details zum Repository selbst preisgibt, bleibt unklar, welche konkreten Modellgrößen unterstützt werden und ob Multi-GPU-Training vorgesehen ist.