Der Reddit-Nutzer /u/jdchmiel berichtet, dass llama-bench – das Benchmarking-Werkzeug aus dem llama.cpp-Ökosystem – sich offenbar nicht mit MTP (Multi-Token Prediction) für Speculative Decoding konfigurieren lässt. Bemerkenswert ist, dass dieselben Parameter, die der Nutzer ausprobiert hat, in llama-server korrekt funktionieren – die Diskrepanz liegt also nicht an der Konfiguration selbst, sondern vermutlich an einer fehlenden oder unvollständigen Implementierung der MTP-Unterstützung in llama-bench. Multi-Token Prediction ist eine Inferenz-Technik, bei der das Modell mehrere Token gleichzeitig vorhersagt, um den Durchsatz zu erhöhen – ähnlich wie klassisches Speculative Decoding mit einem Draft-Modell, aber ohne separates zweites Modell. Die Frage, ob llama-bench grundsätzlich nicht für Speculative Decoding ausgelegt ist, bleibt im Post offen. Da llama-bench primär für reproduzierbare Durchsatz- und Latenzmessungen eingesetzt wird, wäre eine fehlende MTP-Unterstützung eine relevante Lücke für alle, die diese Technik in ihrer Produktionsumgebung evaluieren wollen. Der Post hat bis dato keine offiziellen Antworten aus dem llama.cpp-Entwicklerteam hervorgebracht, die den Sachverhalt klären würden.