Ein Nutzer auf r/LocalLLaMA wollte eine Liste von 1000 Items per lokalem LLM kategorisieren – als Alternative zu einer klassischen Vector-DB- und Embedding-Clustering-Pipeline. Dabei fiel ihm auf: Das Modell schrieb im Thinking-Block scheinbar alle Input-Tokens plus umfangreiche Reasoning-Ketten nieder, lieferte in der finalen Antwort aber stets nur rund 100 Items zurück. Die Diskussion beleuchtet einen grundlegenden Unterschied zwischen Thinking-Tokens und Response-Tokens: Thinking-Output unterliegt oft einem separaten, großzügigeren Token-Budget, das vom Modell intern genutzt wird, während die eigentliche Antwort durch max_new_tokens oder ähnliche Parameter begrenzt ist. Zusätzlich neigen viele Modelle dazu, lange Aufgaben in der Ausgabe zu kürzen, selbst wenn sie den vollständigen Kontext intern verarbeitet haben. Die Beobachtung des Nutzers, dass „die Funktion eigentlich schon in den meisten Modellen steckt", bezieht sich auf implizites Chain-of-Thought-Verhalten, das kein spezialisiertes Modell erfordert – die saubere Nutzung für strukturierte Massenausgaben bleibt aber eine Konfigurationsfrage.