Der Reddit-Post von Nutzer /u/nomorebuttsplz verweist auf einen Pull Request im oMLX-Projekt des Entwicklers „jundot", der spezifische Optimierungen für GLM 5.2 auf Apple-Silicon-Hardware einführt. GLM 5.2 ist ein Large Language Model, das sich laut dem Beitrag durch eine ungewöhnlich stabile Prefill-Geschwindigkeit auch bei sehr hohem Kontext auszeichnet – ein Punkt, bei dem viele andere Modelle deutlich einbrechen. Kernaussage ist, dass 4-Bit-Quantisierungen (4-Bit-Quants) auf Mac-Studio-Systemen mit 512 GB Unified Memory bei Kontextlängen von über 100.000 Tokens noch über 100 Token pro Sekunde im Prefill erreichen. Besonders bemerkenswert ist der geringere Speicherbedarf von GLM 5.2 im Vergleich zu ähnlichen Modellen, was erst den Betrieb von 4-Bit-Quants bei solch hohen Kontextlängen auf Consumer-Hardware ermöglicht. oMLX ist ein Framework, das MLX – Apples eigenes Machine-Learning-Framework für Apple Silicon – erweitert und für lokale LLM-Inferenz optimiert. Der PR selbst wurde vom oMLX-Ersteller eingebracht, was auf eine enge Integration in das offizielle Projekt hindeutet. Der Post richtet sich explizit an die kleine Gruppe von Nutzern mit 512-GB-Mac-Studio-Systemen, für die diese Kombination aus Modell und Framework-Optimierung eine praktische Long-Context-Nutzung ermöglicht.