Inferenz-Infra · MoE-Pruning, KV-Cache-Virtualisierung und Edge-Scheduling unter Druck

Aktueller Stand

Das Feld der Inferenz-Infrastruktur wird derzeit von zwei parallelen Spannungslinien bestimmt: dem Druck zur Kostensenkung bei grossen Modellen – insbesondere MoE-Architekturen – und der wachsenden Komplexität beim Deployment auf ressourcenbeschränkter Hardware. Auf der MoE-Seite drängen mehrere Forschungsgruppen mit training-freien Pruning- und Skipping-Verfahren in den Markt, die Checkpoints unverändert lassen und direkt produktiv einsetzbar sind. Auf der Edge-Seite zeigt sich, dass passive Kühlung und begrenzte DRAM-Kapazität zunehmend als harte Deployment-Schranken sichtbar werden. Dazu kommt ein bisher unterschätztes Reproduzierbarkeits-Risiko: Prefix-Caching, mittlerweile Standard in vielen Serving-Stacks, untergräbt die Ergebnisstabilität – besonders in Kombination mit Quantisierung. Keiner der grossen Hyperscaler ist in den Quell-Posts dominant präsent; die Bewegung kommt aus der akademischen Forschung, die sehr nah an produktive Deployment-Fragen heranrückt.

Wichtigste Updates

MoE-Inferenzkosten geraten unter Optimierungsdruck gleich von mehreren Seiten. ACE ermöglicht training-freies Expert-Skipping bei MoE-Modellen ohne Retraining, Kalibrierungsdaten oder Checkpoint-Änderungen – bei aggressivem 50%-Skipping soll die Downstream-Genauigkeit um 4,15 Prozentpunkte über bisherigen Baselines liegen. Ergänzend zeigt eine separate Arbeit, dass sich aktive Experten in MoE-Modellen halbieren lassen, ohne Qualitätsverlust, sofern die Renormalisierung des Wahrscheinlichkeitsmasse-Referenzsets korrekt erfolgt – ein Implementierungsdetail, das über Erfolg oder Misserfolg entscheidet. MESA wiederum adressiert das blinde Fleck beim Pruning: Perplexität als Indikator versagt bei over-dispersed MoE-Modellen, und unkontrollierte Capability-Verluste entstehen genau dort, wo Load-Balancing stark ist.

Auf der Serving-Seite liefert KVMem einen Mechanismus zur Virtualisierung von 1-Million-Token-Kontextfenstern auf Consumer-GPUs, ohne wiederholtes Prefilling. Die Task-Success-Rate im DeepSWE-Long-Context-Benchmark steigt dabei von 43,8 % auf 48,4 % gegenüber reiner Kompression – ein vorläufiges, aber messbares Signal für lokale Agent-Deployments.

Ein bisher wenig diskutiertes Infrastrukturrisiko wird mit der Prefix-Caching-Studie sichtbar: Caching senkt die Reproduzierbarkeit von LLM-Outputs, bei quantisierten Modellen steigt die Divergenzrate auf 75 %. Wer Agentic- oder Evaluation-Pipelines betreibt, muss den Cache-Zustand explizit kontrollieren – oder Caching deaktivieren.

Im Edge-Segment zeigt ein DVFS-Scheduler für den Raspberry Pi 5, dass passiv gekühlte DNN-Inferenz dauerhaft möglich ist – mit der harten Grenze von 27 °C Umgebungstemperatur, ab der nichtlineares Leakage den Ansatz zum Scheitern bringt. Das Ergebnis ist für industrielle Embedded-Deployments direkt relevant, aber die thermische Schranke schränkt den Einsatzbereich klar ein.

Was zu erwarten

Die Quell-Posts enthalten keine expliziten Ankündigungen bevorstehender Releases oder Produkteinführungen. Was sich abzeichnet: Die MoE-Optimierungsverfahren – ACE, MESA, das training-freie Expert-Halving – sind allesamt als Open-Source publiziert oder angekündigt und dürften kurzfristig in Serving-Frameworks wie vLLM oder SGLang einfliessen. KVMem ist auf Consumer-Hardware validiert; eine breitere Adoption für lokale Agent-Runtimes wäre der logische nächste Schritt, ist aber nicht explizit signalisiert. Das Prefix-Caching-Reproduzierbarkeitsproblem dürfte Druck auf Serving-Stack-Maintainer erzeugen, Cache-State-Kontrolle als First-Class-Feature anzubieten – konkrete Roadmap-Hinweise fehlen in den vorliegenden Posts jedoch.