★ Begriff· Modell-Architektur
Mixture of Experts (MoE)
Architektur, bei der pro Token nur ein Subset der Modell-Parameter aktiv ist (z.B. 2 von 64 „Experten"). Halbiert Inferenz-Compute bei gleicher Total-Parameter-Zahl. Mistral Mixtral, DeepSeek-V3, Qwen3 nutzen MoE.
Verwandte Tools
Auch bekannt als
mixture of experts · mixture-of-experts · moe model · sparse moe
Aktivität
19
Mentions in den letzten 7 Tagen
4 Wochen
⚡neu · 19×
Zuletzt erwähnt in
- HQMQ: Kalibrierungsfreie KV-Cache-Kompression via Hurwitz-Quaternionen2026-05-28
- FPMoE: MoE-Modell mit 3B Parametern für funktionale Programmiersprachen2026-05-28
- Übersetzungs-Spezialisten aus MoE-LLMs durch aggressives Expert-Pruning extrahieren2026-05-28
- RA-MoE: Routing-aligniertes Fine-Tuning für mehrsprachige MoE-Modelle2026-05-28
- VidPrism: Heterogenes Mixture-of-Experts-Framework für Video-Verstehen2026-05-28