MiCA-Fine-Tuning-Methode in Hugging Face PEFT integriert
MiCA (Minor Component Adaptation) ist eine alternative PEFT-Methode, die mathematisch auf der Singulärwertzerlegung von Gewichtsmatrizen basiert. Anders als LoRA, das entlang der dominanten Singulärrichtungen adaptiert, nutzt MiCA gezielt den minoren Singulärraum – also jene Richtungen, die vom vortrainierten Modell weniger stark belegt sind und damit plastischer für neues Wissen sind. Technisch wird die Adapter-Matrix B mit den letzten r Spalten von U initialisiert, während A auf null gesetzt wird, sodass der Adapter zu Beginn des Trainings keinen Effekt hat. Während des Trainings bleibt B eingefroren; nur A wird optimiert. Die Methode richtet sich primär an Continued Pretraining und Domain-Adaptive Pretraining – empfohlen wird, vom Basismodell (nicht vom Instruct/Chat-Modell) auszugehen, den MiCA-Adapter auf Domänentext zu trainieren, ihn anschließend ins Modell zu mergen und erst dann ein Instruction-Tuning durchzuführen. Der Preprint ist unter arxiv.org/abs/2604.01694 verfügbar. An der Arbeit beteiligt waren u. a. Sebastian Raschka sowie das Hugging-Face-Team mit Lewis Tunstall und Benjamin Bossan.
- MiCA ist noch nicht im aktuellen PyPI-Release von PEFT enthalten – Installation aktuell nur über den GitHub-Main-Branch möglich (`pip install --upgrade git+https://github.com/huggingface/peft.git@main`).
- Die Initialisierung erfolgt über `init_lora_weights="mica"` im bestehenden `LoraConfig`-Objekt; kein neues API-Paradigma nötig.
- Während des Trainings wird nur Matrix A optimiert, B bleibt eingefroren – das reduziert die tatsächlich trainierbaren Parameter im Vergleich zu LoRA um ca. 80 % in den getesteten Setups.
- Frühe RL-Experimente (Reinforcement Learning) zeigen laut Post vielversprechende Ergebnisse; Instruction Fine-Tuning allein erwies sich als weniger geeigneter Anwendungsfall.
- Als praktische Faustregel gilt: r_mica ≈ r_lora / 2 und eine etwa doppelt so hohe Lernrate wie bei LoRA.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
MiCA-Fine-Tuning-Methode in Hugging Face PEFT integriert
MiCA (Minor Component Adaptation) ist eine alternative PEFT-Methode, die mathematisch auf der Singulärwertzerlegung von Gewichtsmatrizen basiert. Anders als LoRA, das entlang der dominanten Singulärrichtungen adaptiert, nutzt MiCA gezielt den minoren Singulärraum – also jene Richtungen, die vom vortrainierten Modell weniger stark belegt sind und damit plastischer für neues Wissen sind. Technisch wird die Adapter-Matrix B mit den letzten r Spalten von U initialisiert, während A auf null gesetzt wird, sodass der Adapter zu Beginn des Trainings keinen Effekt hat. Während des Trainings bleibt B eingefroren; nur A wird optimiert. Die Methode richtet sich primär an Continued Pretraining und Domain-Adaptive Pretraining – empfohlen wird, vom Basismodell (nicht vom Instruct/Chat-Modell) auszugehen, den MiCA-Adapter auf Domänentext zu trainieren, ihn anschließend ins Modell zu mergen und erst dann ein Instruction-Tuning durchzuführen. Der Preprint ist unter arxiv.org/abs/2604.01694 verfügbar. An der Arbeit beteiligt waren u. a. Sebastian Raschka sowie das Hugging-Face-Team mit Lewis Tunstall und Benjamin Bossan.
- MiCA ist noch nicht im aktuellen PyPI-Release von PEFT enthalten – Installation aktuell nur über den GitHub-Main-Branch möglich (`pip install --upgrade git+https://github.com/huggingface/peft.git@main`).
- Die Initialisierung erfolgt über `init_lora_weights="mica"` im bestehenden `LoraConfig`-Objekt; kein neues API-Paradigma nötig.
- Während des Trainings wird nur Matrix A optimiert, B bleibt eingefroren – das reduziert die tatsächlich trainierbaren Parameter im Vergleich zu LoRA um ca. 80 % in den getesteten Setups.
- Frühe RL-Experimente (Reinforcement Learning) zeigen laut Post vielversprechende Ergebnisse; Instruction Fine-Tuning allein erwies sich als weniger geeigneter Anwendungsfall.
- Als praktische Faustregel gilt: r_mica ≈ r_lora / 2 und eine etwa doppelt so hohe Lernrate wie bei LoRA.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.