Ein Nutzer auf r/LocalLLaMA beobachtet, dass neuere Mixture-of-Experts-Modelle mit 1 Billion bzw. 1,6 Billionen Gesamtparametern nur rund 40 Milliarden Parameter aktiv nutzen – ein Verhältnis von etwa 25:1 bis 40:1, deutlich schlechter als die bislang erwartete Faustregel von 10:1. Der Post fragt, ob dahinter eine neue Architektur steckt oder ob es schlicht keinen Qualitätsvorteil bringt, die aktive Parameterzahl weiter zu erhöhen. Diskutiert wird auch, ob ein hypothetisches 2T/A200B-Modell je sinnvoll wäre oder ob MoE-Designs ein inhärentes „Cap" bei aktiven Parametern besitzen. Die Frage berührt grundlegende Design-Entscheidungen beim Routing in MoE-Schichten und die Frage, ab wann zusätzliche Experten keinen Mehrwert mehr liefern. Eine gesicherte Antwort liefert der Post nicht – er spiegelt aktuelle Unsicherheit in der Community wider.