21B MoE von Grund auf trainiert: Emergente Fähigkeiten bei 1,3B Token beobachtet
ToolsHugging Face
CompaniesHugging Face
Warum es zählt
Der Beitrag liefert detaillierte Trainings-Logs zu emergenten Fähigkeiten: ICL-Fähigkeit entstand abrupt (~0,1% des geplanten Schedules), Arithmetik-Fortschritt hingegen war kontinuierlich – nur die Metrik machte ihn abrupt. Nützlich für alle, die eigene MoE-Vortrainings planen oder Emergenz-Hypothesen empirisch bewerten wollen. Checkpoint ist öffentlich zum Weitertrainieren verfügbar.
— Lumeric Redaktion
19.5% HumanEval+
Basis-Modell-Benchmark (greedy pass@1)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGreddit.com3w
Apex-2: 3,87B-MoE-Modell von Grund auf mit nur 86,5B Token trainiert
- FORSCHUNGreddit.com2w
MFU von 21% auf 50% gesteigert: 21B MoE-Pretraining auf einem GH200
- MEINUNGreddit.com0mo
MoE-Modelle ab 50B für agentische Legal-KI: Community-Diskussion zu Tradeoffs
- LAUNCHreddit.com2w
inclusionAI Ling-3.1-flash: 560B Parameter, 25B aktiv, 1M-Token-Kontext
21B MoE von Grund auf trainiert: Emergente Fähigkeiten bei 1,3B Token beobachtet
ToolsHugging Face
CompaniesHugging Face
Warum es zählt
Der Beitrag liefert detaillierte Trainings-Logs zu emergenten Fähigkeiten: ICL-Fähigkeit entstand abrupt (~0,1% des geplanten Schedules), Arithmetik-Fortschritt hingegen war kontinuierlich – nur die Metrik machte ihn abrupt. Nützlich für alle, die eigene MoE-Vortrainings planen oder Emergenz-Hypothesen empirisch bewerten wollen. Checkpoint ist öffentlich zum Weitertrainieren verfügbar.
— Lumeric Redaktion
19.5% HumanEval+
Basis-Modell-Benchmark (greedy pass@1)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGreddit.com3w
Apex-2: 3,87B-MoE-Modell von Grund auf mit nur 86,5B Token trainiert
- FORSCHUNGreddit.com2w
MFU von 21% auf 50% gesteigert: 21B MoE-Pretraining auf einem GH200
- MEINUNGreddit.com0mo
MoE-Modelle ab 50B für agentische Legal-KI: Community-Diskussion zu Tradeoffs
- LAUNCHreddit.com2w
inclusionAI Ling-3.1-flash: 560B Parameter, 25B aktiv, 1M-Token-Kontext