Der Reddit-Nutzer mouseofcatofschrodi wirft in r/LocalLLaMA drei konzeptuelle Architektur-Fragen auf. Erstens: Warum muss man sich zwischen MoE und Dense entscheiden – wäre ein Modell denkbar, bei dem der Nutzer oder die Aufgabe selbst die Anzahl aktiver Parameter dynamisch bestimmt? Schwierige Aufgaben würden mehr Parameter aktivieren, einfache weniger, ohne mehrere Modelle gleichzeitig in den RAM laden zu müssen. Zweitens: Könnten MTP-Komponenten (Multi-Token Prediction), die normalerweise zur Vorhersage für das Hauptmodell dienen, bei einfachen Tasks direkt als eigenständige Inferenzeinheit antworten, um Latenz und Compute zu sparen. Drittens adressiert der Post das Problem persistenten Lernens: Wenn ein Modell in einer Sitzung lernt, wie ein bestimmter Command-Flag korrekt genutzt wird, geht dieses Wissen mit dem Session-Ende verloren. Als Workaround experimentierte der Autor mit Qwen3.6 35B via Pi, das ein Tool-Calling-Fehler-Capture-System selbst erstellt hat – aber das Auslesen einer docs.md kostet bei jedem Agenten-Turn zusätzliche Token. Der Autor vermutet selbst, dass Training und Stabilität gegen On-the-fly-Gewichtsänderungen sprechen, sucht aber nach fundierten Erklärungen.