★ Begriff· Modell-Architektur
Mixture of Experts (MoE)
Architektur, bei der pro Token nur ein Subset der Modell-Parameter aktiv ist (z.B. 2 von 64 „Experten"). Halbiert Inferenz-Compute bei gleicher Total-Parameter-Zahl. Mistral Mixtral, DeepSeek-V3, Qwen3 nutzen MoE.
Verwandte Tools
Auch bekannt als
mixture of experts · mixture-of-experts · moe model · sparse moe
Aktivität
24
Mentions in den letzten 7 Tagen
4 Wochen
⚡neu · 24×
Zuletzt erwähnt in
- Mistral Large 4: 1-Billion-Parameter MoE-Modell mit 1M-Kontext und Multimodal2026-10-29
- Community-Wunschliste für Gemma 5: Looped Transformer, MoE und besserer KV-Cache2026-10-28
- NVIDIA veröffentlicht Nemotron-3.5-Transcribe-30B-A4B auf Hugging Face2026-10-28
- DiffuSpace veröffentlicht Clover-35B-A3B-Preview: Open-Source Diffusions-LLM2026-10-28
- KI-Pipeline erkennt Parkinson anhand von Augen-Trackingdaten mit AUC 0.862026-10-28