Stacking-Guide: Ensembles aus Ensembles für bessere ML-Modelle
Der Artikel von Cole Sussmeier auf Towards Data Science beschreibt eine generalisierte Multi-Layer-Stacking-Architektur für tabellarische und zeitreihenbasierte ML-Probleme. Im Mittelpunkt steht die Beobachtung, dass Gradient-Boosting-Modelle (z. B. CatBoost) und vortrainierte Modelle wie TabPFN (tabellarisch) oder Chronos (Zeitreihen) zunehmend auf Augenhöhe konkurrieren – da sie auf fundamentell unterschiedliche Arten lernen, lassen sie sich gewinnbringend kombinieren. Layer 1 umfasst Basismodelle mit Bootstrap-Aggregation und optionaler Hyperparameter-Optimierung via Optuna. Für Zeitreihen wird statt klassischem Bagging ein Rolling-Window-Cross-Validation-Ansatz beschrieben, da die Zeitdimension gewahrt bleiben muss. In Layer 2 werden die Vorhersagen der Basismodelle als zusätzliche Features in einem zweiten Modelltraining verwendet; schwache Modelle können dabei herausgefiltert werden. Der Autor betont explizit, dass eine zentrale Voraussetzung – alle relevanten Daten sind zur Inferenzzeit bekannt – in der Praxis oft nicht trivial zu erfüllen ist und bei Verletzung die gesamten Stacking-Gewinne zunichtemacht. Hybride aus vortrainierten Sprach- und Numerik-Modellen werden als offenes Forschungsfeld erwähnt.
- CatBoost, MLPs und TabPFN werden als typische Layer-1-Basismodelle genannt
- Optuna-Scheduler kürzt schlecht laufende Hyperparameter-Runs ab, um Trainingszeit zu reduzieren
- Für Zeitreihen: Rolling-Window-CV statt Bagging, nur das letzte Fenster-Modell wird für Inferenz genutzt
- Out-of-Fold-Predictions aus früheren Zeitfenstern fließen als Features in Layer 2 ein
- Vortrainierte Hybride aus Sprach- und Numerik-Modellen gelten laut Autor noch als frühe Entwicklungsphase
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Stacking-Guide: Ensembles aus Ensembles für bessere ML-Modelle
Der Artikel von Cole Sussmeier auf Towards Data Science beschreibt eine generalisierte Multi-Layer-Stacking-Architektur für tabellarische und zeitreihenbasierte ML-Probleme. Im Mittelpunkt steht die Beobachtung, dass Gradient-Boosting-Modelle (z. B. CatBoost) und vortrainierte Modelle wie TabPFN (tabellarisch) oder Chronos (Zeitreihen) zunehmend auf Augenhöhe konkurrieren – da sie auf fundamentell unterschiedliche Arten lernen, lassen sie sich gewinnbringend kombinieren. Layer 1 umfasst Basismodelle mit Bootstrap-Aggregation und optionaler Hyperparameter-Optimierung via Optuna. Für Zeitreihen wird statt klassischem Bagging ein Rolling-Window-Cross-Validation-Ansatz beschrieben, da die Zeitdimension gewahrt bleiben muss. In Layer 2 werden die Vorhersagen der Basismodelle als zusätzliche Features in einem zweiten Modelltraining verwendet; schwache Modelle können dabei herausgefiltert werden. Der Autor betont explizit, dass eine zentrale Voraussetzung – alle relevanten Daten sind zur Inferenzzeit bekannt – in der Praxis oft nicht trivial zu erfüllen ist und bei Verletzung die gesamten Stacking-Gewinne zunichtemacht. Hybride aus vortrainierten Sprach- und Numerik-Modellen werden als offenes Forschungsfeld erwähnt.
- CatBoost, MLPs und TabPFN werden als typische Layer-1-Basismodelle genannt
- Optuna-Scheduler kürzt schlecht laufende Hyperparameter-Runs ab, um Trainingszeit zu reduzieren
- Für Zeitreihen: Rolling-Window-CV statt Bagging, nur das letzte Fenster-Modell wird für Inferenz genutzt
- Out-of-Fold-Predictions aus früheren Zeitfenstern fließen als Features in Layer 2 ein
- Vortrainierte Hybride aus Sprach- und Numerik-Modellen gelten laut Autor noch als frühe Entwicklungsphase
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.