Multi-Token-Prediction (MTP) ist eine Technik, bei der ein Sprachmodell mehrere Token gleichzeitig vorhersagt, anstatt sequenziell einen nach dem anderen zu generieren — was theoretisch den Durchsatz deutlich steigern kann. Der Reddit-Nutzer Bulky-Priority6824 berichtet, dass er trotz MTP-Aktivierung in llama.cpp nur Werte im niedrigen 30er-Bereich (TPS) erzielte und über längere Zeit verschiedene Konfigurationen, CMake-Rebuilds und andere Maßnahmen erfolglos testete. Die Lösung lag schließlich im Entfernen der Umgebungsvariable GGML_CUDA_ALLREDUCE, woraufhin ein spürbarer TPS-Anstieg eintrat. GGML_CUDA_ALLREDUCE ist eine CUDA-spezifische Optimierung in llama.cpp, die bei Multi-GPU-Setups die kollektive Reduktionsoperation über CUDA-Streams abwickelt und in vielen Szenarien die Inferenzgeschwindigkeit verbessert. Offenbar interferiert diese Optimierung jedoch mit dem MTP-Scheduling oder der Synchronisationslogik und bremst den MTP-Durchsatz aus, anstatt ihn zu fördern. Der Post enthält einen Screenshot-Link (imgur), der den TPS-Unterschied visuell belegt. Da GGML_CUDA_ALLREDUCE gemeinhin als nützlich gilt, liegt dieser Konflikt für viele Nutzer nicht nahe — der Beitrag hat daher praktischen Hinweischarakter für alle, die MTP auf CUDA-Hardware betreiben.