Activation Steering vs. Llama 3.2: Warum neuronales Gating Over-Refusal löst
ToolsLlama
Warum es zählt
Zeigt konkret, dass Activation Steering bei eng verwobenen Safety-Direktionen (cos-sim ≈ 0,75) Kollateralschäden verursacht – selbst mit Orthogonalprojektion und Kausal-Lokalisierung. Für lokale Modell-Finetuning-Projekte ist gezieltes Weight-Surgery mit nichtlinearen Gates der robustere Ansatz.
— Lumeric Redaktion
0,75 Cosine-Similarity
Overlap Refusal- vs. Harm-Vektor
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Activation Steering vs. Llama 3.2: Warum neuronales Gating Over-Refusal löst
ToolsLlama
Warum es zählt
Zeigt konkret, dass Activation Steering bei eng verwobenen Safety-Direktionen (cos-sim ≈ 0,75) Kollateralschäden verursacht – selbst mit Orthogonalprojektion und Kausal-Lokalisierung. Für lokale Modell-Finetuning-Projekte ist gezieltes Weight-Surgery mit nichtlinearen Gates der robustere Ansatz.
— Lumeric Redaktion
0,75 Cosine-Similarity
Overlap Refusal- vs. Harm-Vektor
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.