★ Begriff· Training & Inferenz
Distillation
Trainiert ein kleineres „Student"-Modell, um die Outputs eines grösseren „Teacher"-Modells zu imitieren. Resultat: 80% der Qualität bei 10% der Inferenz-Kosten. DeepSeek-R1 distilliert in viele Open-Source-Varianten.
Verwandte Tools
Auch bekannt als
model distillation · knowledge distillation
Aktivität
34
Mentions in den letzten 7 Tagen
4 Wochen
⚡neu · 34×
Zuletzt erwähnt in
- Community-Debatte: Fine-tuning auf destillierte CoT-Traces schadet mehr als es nützt2026-07-12
- Lambert: Open-Source-KI droht regulatorische Zweitklassigkeit binnen 6 Monaten2026-07-12
- GPT-5.6, Grok 4.5 und Muse Spark 1.1: Frontier-KI wird zur Ausführungsinfrastruktur2026-07-12
- Community-Projekt: Logit-Distillation statt Text-Traces für lokale Coding-Modelle2026-07-11
- FedOPAL: One-Shot Federated Learning mit analytischem Visual Prompt Tuning2026-07-10