Qwen hat auf Hugging Face ein Sparse-Autoencoder-Modell (SAE) unter dem Namen SAE-Res-Qwen3.5-27B-W80K-L0_100 veröffentlicht. SAEs sind ein zentrales Werkzeug der mechanistischen Interpretierbarkeitsforschung: Sie dekomprimieren interne Modellaktivierungen in eine große Menge monosemantischer, interpretierbarer Merkmale – in diesem Fall 80.000 latente Dimensionen (W80K). Der Parameter L0_100 deutet auf eine durchschnittliche Aktivierungsdichte von 100 aktiven Features pro Token hin, was eine Balance zwischen Sparsität und Ausdrucksstärke anstrebt. Solche Modelle lassen sich für vektorbasiertes Model Steering nutzen: Durch gezielte Manipulation einzelner latenter Features können Modellausgaben ohne klassisches Finetuning beeinflusst werden. Die Veröffentlichung durch Qwen – einem der meistgenutzten Open-Source-LLM-Anbieter – bringt SAE-Forschung erstmals in großem Maßstab für ein 27B-Parameter-Modell in die Community.