NVIDIA X-Token: Cross-Tokenizer Knowledge Distillation übertrifft GOLD um +3,82 Punkte
NVIDIA präsentiert X-Token, eine neue Methode zur wissensbasierten Destillation (Knowledge Distillation, KD) über unterschiedliche Tokenizer-Architekturen hinweg – ein zentrales Problem beim Transfer von Wissen aus großen Lehrermodellen in kleinere Schülermodelle, wenn beide verschiedene Vokabulare verwenden. Das bisherige Verfahren GOLD gilt als Referenz in diesem Bereich, weist laut NVIDIA jedoch zwei strukturelle Fehler auf, die X-Token gezielt adressiert. Durch einen projektionsbasierten Ansatz gelingt es X-Token, die Repräsentationen beider Tokenizer besser aufeinander abzubilden. In der Praxis zeigt sich der Fortschritt besonders deutlich auf dem mathematischen Reasoning-Benchmark GSM8k: Die Genauigkeit steigt von 2,56 % (GOLD) auf 15,54 % beim Schülermodell Llama-3.2-1B. Im Durchschnitt über mehrere Evaluierungen übertrifft X-Token GOLD um 3,82 Punkte. Die Ergebnisse unterstreichen, wie kritisch die Tokenizer-Kompatibilität für effektive KD-Pipelines ist, und bieten einen praktischen Hebel für ressourceneffizientes LLM-Training.
- GSM8k-Genauigkeit steigt von 2,56 % auf 15,54 % – mehr als sechsfache Verbesserung gegenüber GOLD.
- X-Token behebt explizit zwei strukturelle Fehler in der GOLD-Methodik für Cross-Tokenizer-KD.
- Evaluation erfolgt auf Llama-3.2-1B als Schülermodell.
- Ansatz basiert auf projektionsgestützter Ausrichtung der Tokenizer-Repräsentationen.
- Durchschnittlicher Vorsprung von +3,82 Punkten über alle gemessenen Benchmarks.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGarxiv.org1w
Low-Rank Clone: SLM-Training mit 1.000-facher Token-Effizienz
- FORSCHUNGarxiv.org1d
Byte-Modelle übertreffen Token-Modelle bei hohem Compute durch Distillation
- FORSCHUNGarxiv.org3w
WhiteMatter: All-to-All Cross-Layer-Verbindungen reduzieren KV-Cache um 50%
- FORSCHUNGarxiv.org4d
LOCUS reduziert LLM-Ausgabelänge um bis zu 39,84 % via Low-Rank Post-Training
NVIDIA X-Token: Cross-Tokenizer Knowledge Distillation übertrifft GOLD um +3,82 Punkte
NVIDIA präsentiert X-Token, eine neue Methode zur wissensbasierten Destillation (Knowledge Distillation, KD) über unterschiedliche Tokenizer-Architekturen hinweg – ein zentrales Problem beim Transfer von Wissen aus großen Lehrermodellen in kleinere Schülermodelle, wenn beide verschiedene Vokabulare verwenden. Das bisherige Verfahren GOLD gilt als Referenz in diesem Bereich, weist laut NVIDIA jedoch zwei strukturelle Fehler auf, die X-Token gezielt adressiert. Durch einen projektionsbasierten Ansatz gelingt es X-Token, die Repräsentationen beider Tokenizer besser aufeinander abzubilden. In der Praxis zeigt sich der Fortschritt besonders deutlich auf dem mathematischen Reasoning-Benchmark GSM8k: Die Genauigkeit steigt von 2,56 % (GOLD) auf 15,54 % beim Schülermodell Llama-3.2-1B. Im Durchschnitt über mehrere Evaluierungen übertrifft X-Token GOLD um 3,82 Punkte. Die Ergebnisse unterstreichen, wie kritisch die Tokenizer-Kompatibilität für effektive KD-Pipelines ist, und bieten einen praktischen Hebel für ressourceneffizientes LLM-Training.
- GSM8k-Genauigkeit steigt von 2,56 % auf 15,54 % – mehr als sechsfache Verbesserung gegenüber GOLD.
- X-Token behebt explizit zwei strukturelle Fehler in der GOLD-Methodik für Cross-Tokenizer-KD.
- Evaluation erfolgt auf Llama-3.2-1B als Schülermodell.
- Ansatz basiert auf projektionsgestützter Ausrichtung der Tokenizer-Repräsentationen.
- Durchschnittlicher Vorsprung von +3,82 Punkten über alle gemessenen Benchmarks.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGarxiv.org1w
Low-Rank Clone: SLM-Training mit 1.000-facher Token-Effizienz
- FORSCHUNGarxiv.org1d
Byte-Modelle übertreffen Token-Modelle bei hohem Compute durch Distillation
- FORSCHUNGarxiv.org3w
WhiteMatter: All-to-All Cross-Layer-Verbindungen reduzieren KV-Cache um 50%
- FORSCHUNGarxiv.org4d
LOCUS reduziert LLM-Ausgabelänge um bis zu 39,84 % via Low-Rank Post-Training