NVIDIA X-Token: Cross-Tokenizer Knowledge Distillation übertrifft GOLD um +3,82 Punkte
NVIDIA präsentiert X-Token, eine neue Methode zur wissensbasierten Destillation (Knowledge Distillation, KD) über unterschiedliche Tokenizer-Architekturen hinweg – ein zentrales Problem beim Transfer von Wissen aus großen Lehrermodellen in kleinere Schülermodelle, wenn beide verschiedene Vokabulare verwenden. Das bisherige Verfahren GOLD gilt als Referenz in diesem Bereich, weist laut NVIDIA jedoch zwei strukturelle Fehler auf, die X-Token gezielt adressiert. Durch einen projektionsbasierten Ansatz gelingt es X-Token, die Repräsentationen beider Tokenizer besser aufeinander abzubilden. In der Praxis zeigt sich der Fortschritt besonders deutlich auf dem mathematischen Reasoning-Benchmark GSM8k: Die Genauigkeit steigt von 2,56 % (GOLD) auf 15,54 % beim Schülermodell Llama-3.2-1B. Im Durchschnitt über mehrere Evaluierungen übertrifft X-Token GOLD um 3,82 Punkte. Die Ergebnisse unterstreichen, wie kritisch die Tokenizer-Kompatibilität für effektive KD-Pipelines ist, und bieten einen praktischen Hebel für ressourceneffizientes LLM-Training.
- GSM8k-Genauigkeit steigt von 2,56 % auf 15,54 % – mehr als sechsfache Verbesserung gegenüber GOLD.
- X-Token behebt explizit zwei strukturelle Fehler in der GOLD-Methodik für Cross-Tokenizer-KD.
- Evaluation erfolgt auf Llama-3.2-1B als Schülermodell.
- Ansatz basiert auf projektionsgestützter Ausrichtung der Tokenizer-Repräsentationen.
- Durchschnittlicher Vorsprung von +3,82 Punkten über alle gemessenen Benchmarks.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGarxiv.org3w
Variable-Length Tokenizer via Learnable Global Merging für Diffusion Transformer
- FORSCHUNGarxiv.org1w
DEX: Parallele Tiefenexploration beschleunigt LLM-Decoding verlustfrei
- FORSCHUNGarxiv.org3w
X-OPD: Cross-Modal On-Policy Distillation schließt Lücke bei Speech LLMs
- FORSCHUNGhuggingface.co4d
NVIDIA Nemotron-Labs-Diffusion vereint AR, Diffusion und Self-Speculation in einem Modell
NVIDIA X-Token: Cross-Tokenizer Knowledge Distillation übertrifft GOLD um +3,82 Punkte
NVIDIA präsentiert X-Token, eine neue Methode zur wissensbasierten Destillation (Knowledge Distillation, KD) über unterschiedliche Tokenizer-Architekturen hinweg – ein zentrales Problem beim Transfer von Wissen aus großen Lehrermodellen in kleinere Schülermodelle, wenn beide verschiedene Vokabulare verwenden. Das bisherige Verfahren GOLD gilt als Referenz in diesem Bereich, weist laut NVIDIA jedoch zwei strukturelle Fehler auf, die X-Token gezielt adressiert. Durch einen projektionsbasierten Ansatz gelingt es X-Token, die Repräsentationen beider Tokenizer besser aufeinander abzubilden. In der Praxis zeigt sich der Fortschritt besonders deutlich auf dem mathematischen Reasoning-Benchmark GSM8k: Die Genauigkeit steigt von 2,56 % (GOLD) auf 15,54 % beim Schülermodell Llama-3.2-1B. Im Durchschnitt über mehrere Evaluierungen übertrifft X-Token GOLD um 3,82 Punkte. Die Ergebnisse unterstreichen, wie kritisch die Tokenizer-Kompatibilität für effektive KD-Pipelines ist, und bieten einen praktischen Hebel für ressourceneffizientes LLM-Training.
- GSM8k-Genauigkeit steigt von 2,56 % auf 15,54 % – mehr als sechsfache Verbesserung gegenüber GOLD.
- X-Token behebt explizit zwei strukturelle Fehler in der GOLD-Methodik für Cross-Tokenizer-KD.
- Evaluation erfolgt auf Llama-3.2-1B als Schülermodell.
- Ansatz basiert auf projektionsgestützter Ausrichtung der Tokenizer-Repräsentationen.
- Durchschnittlicher Vorsprung von +3,82 Punkten über alle gemessenen Benchmarks.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGarxiv.org3w
Variable-Length Tokenizer via Learnable Global Merging für Diffusion Transformer
- FORSCHUNGarxiv.org1w
DEX: Parallele Tiefenexploration beschleunigt LLM-Decoding verlustfrei
- FORSCHUNGarxiv.org3w
X-OPD: Cross-Modal On-Policy Distillation schließt Lücke bei Speech LLMs
- FORSCHUNGhuggingface.co4d
NVIDIA Nemotron-Labs-Diffusion vereint AR, Diffusion und Self-Speculation in einem Modell