Hobby-Experiment: DeepSeek-Destillation in Gemma 4 26B-A4B und 12B für unter 4 Dollar
Warum es zählt
Der Versuch zeigt konkret: MoE-Modelle absorbieren Destillation besser (Train-Loss 0,18 vs. 0,71), overfitting beim kleineren Dense-Modell trat ab Schritt 125 auf. Für Einsteiger dokumentiert der Post den kompletten Workflow mit Unsloth Studio, Hardware-Kosten und Pitfalls.
— Lumeric Redaktion
QLoRA Distillation Train Loss (Gemma 4, DeepSeek-Destillation) · Spitzenwert
0.18%
Gemma 4 26B-A4B (MoE)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Hobby-Experiment: DeepSeek-Destillation in Gemma 4 26B-A4B und 12B für unter 4 Dollar
Warum es zählt
Der Versuch zeigt konkret: MoE-Modelle absorbieren Destillation besser (Train-Loss 0,18 vs. 0,71), overfitting beim kleineren Dense-Modell trat ab Schritt 125 auf. Für Einsteiger dokumentiert der Post den kompletten Workflow mit Unsloth Studio, Hardware-Kosten und Pitfalls.
— Lumeric Redaktion
QLoRA Distillation Train Loss (Gemma 4, DeepSeek-Destillation) · Spitzenwert
0.18%
Gemma 4 26B-A4B (MoE)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.