Der Reddit-Nutzer jacek2023 verweist auf eine laufende Arbeit von am17an, der Multi-Token Prediction (MTP) für Googles Gemma-4-Modell implementiert. MTP ist eine Technik, bei der ein Sprachmodell in einem einzigen Vorwärtsdurchlauf mehrere Token gleichzeitig vorhersagt, was die Inferenz beschleunigen kann – ähnlich wie Speculative Decoding, aber tiefer im Modell verankert. Das Projekt befindet sich explizit im WIP-Stadium: Nutzer müssen den Code selbst kompilieren, und eine zuverlässige Funktionsweise wird ausdrücklich nicht garantiert. Die Ankündigung kam auf r/LocalLLaMA, der zentralen Community für lokale LLM-Experimente. Eine offizielle Unterstützung durch Google oder eine Integration in gängige Inferenz-Frameworks wie llama.cpp oder Ollama ist bislang nicht angekündigt.