★ Begriff· Training & Inferenz
Distillation
Trainiert ein kleineres „Student"-Modell, um die Outputs eines grösseren „Teacher"-Modells zu imitieren. Resultat: 80% der Qualität bei 10% der Inferenz-Kosten. DeepSeek-R1 distilliert in viele Open-Source-Varianten.
Verwandte Tools
Auch bekannt als
model distillation · knowledge distillation
Aktivität
41
Mentions in den letzten 7 Tagen
4 Wochen
⚡neu · 41×
Zuletzt erwähnt in
- Fine-Tuning von Jina-v5 auf slowakischem Rechtskorpus scheitert an Ambiguität2026-05-28
- MT-BKD: Bayesianische Multi-Teacher Knowledge Distillation mit Unsicherheitsquantifizierung2026-05-28
- ADWIN: Adaptives Fenster-Framework reduziert OPD-Trainingskosten um Faktor 4,12026-05-28
- LinkedIn vereinheitlicht Query-Understanding mit Single Small Language Model2026-05-28
- Zwölf Token-Optimierungsstrategien für LLM-gestützte Oracle-zu-PostgreSQL-Migration verglichen2026-05-28