Anthropic hat neue Forschungsergebnisse zu sogenannten Natural Language Autoencoders (NLA) veröffentlicht, die es ermöglichen, die internen Zustände eines Large Language Models beim Generieren einzelner Token in lesbaren Text zu übersetzen. Ein NLA besteht aus zwei komplementären Komponenten: dem Auto Verbalizer (AV), der LLM-Aktivierungen in natürliche Sprache übersetzt, und dem Activation Reconstructor (AR), der überprüft, ob dieser Text zurück in die ursprünglichen Aktivierungen rekonstruiert werden kann. Als erstes Zielmodell wurden NLA-Gewichte für Gemma 3 27B Instruct (Layer 41) auf Hugging Face veröffentlicht. Die Plattform Neuronpedia hostet eine interaktive Demo, bei der Nutzer Gemma 3 eine Frage stellen, dann auf beliebige Token klicken und sich anzeigen lassen können, was das Modell beim Generieren dieses Tokens intern repräsentiert hat. Der Ansatz richtet sich direkt an Interpretierbarkeits- und Alignment-Forscher, die bisher auf Sparse Autoencoders oder Probing-Methoden angewiesen waren, und bietet erstmals eine sprachlich verständliche Sicht auf modellspezifische Aktivierungen auf Token-Ebene.