MEMO: Modulares Framework für Wissensspeicherung ohne LLM-Parameteranpassung
MEMO (Modular External Memory Operator) ist ein von Forschenden der National University of Singapore (NUS), des MIT und des Singaporer Forschungsinstituts A*STAR entwickeltes Framework. Kernidee ist die strikte Trennung zwischen dem frozen Basis-LLM und einem dedizierten, separat trainierbaren Memory-Modell, das neues Korpuswissen aufnimmt. Statt das gesamte Sprachmodell bei neuen Wissensinhalten feinzutunen – was teuer ist und bestehendes Wissen gefährden kann –, wird ausschließlich das Memory-Modell aktualisiert. Die modulare Architektur erlaubt es, verschiedene Wissensquellen unabhängig voneinander einzubinden und das Memory-Modell auszutauschen, ohne den LLM-Kern zu berühren. Dieser Ansatz adressiert zentrale Herausforderungen wie Catastrophic Forgetting und den hohen Rechenaufwand traditioneller Retrieval-Augmented-Generation- (RAG) oder Fine-Tuning-Ansätze.
- Beteiligt sind Institutionen NUS, MIT und A*STAR – ein internationales Forschungskonsortium.
- Das Memory-Modell wird separat trainiert; LLM-Parameter bleiben vollständig unverändert (frozen).
- Ziel ist die effiziente Eingliederung neuen Korpuswissens ohne Catastrophic Forgetting.
- Modularer Ansatz erlaubt den Austausch oder die Ergänzung des Memory-Modells unabhängig vom Basis-LLM.
- Positioniert sich als Alternative zu klassischem Fine-Tuning und RAG-Pipelines.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGarxiv.org1w
MeMo: Modulares Memory-Framework für LLMs ohne Gewichtsänderung
- FORSCHUNGarxiv.org3w
Markov-Matrix-Framework für kontinuierliche Wissenserweiterung ohne Katastrophales Vergessen
- FORSCHUNGarxiv.org1w
MoRe: Modulares Framework für kontinuierliches Lernen mit Identifizierbarkeitgarantien
MEMO: Modulares Framework für Wissensspeicherung ohne LLM-Parameteranpassung
MEMO (Modular External Memory Operator) ist ein von Forschenden der National University of Singapore (NUS), des MIT und des Singaporer Forschungsinstituts A*STAR entwickeltes Framework. Kernidee ist die strikte Trennung zwischen dem frozen Basis-LLM und einem dedizierten, separat trainierbaren Memory-Modell, das neues Korpuswissen aufnimmt. Statt das gesamte Sprachmodell bei neuen Wissensinhalten feinzutunen – was teuer ist und bestehendes Wissen gefährden kann –, wird ausschließlich das Memory-Modell aktualisiert. Die modulare Architektur erlaubt es, verschiedene Wissensquellen unabhängig voneinander einzubinden und das Memory-Modell auszutauschen, ohne den LLM-Kern zu berühren. Dieser Ansatz adressiert zentrale Herausforderungen wie Catastrophic Forgetting und den hohen Rechenaufwand traditioneller Retrieval-Augmented-Generation- (RAG) oder Fine-Tuning-Ansätze.
- Beteiligt sind Institutionen NUS, MIT und A*STAR – ein internationales Forschungskonsortium.
- Das Memory-Modell wird separat trainiert; LLM-Parameter bleiben vollständig unverändert (frozen).
- Ziel ist die effiziente Eingliederung neuen Korpuswissens ohne Catastrophic Forgetting.
- Modularer Ansatz erlaubt den Austausch oder die Ergänzung des Memory-Modells unabhängig vom Basis-LLM.
- Positioniert sich als Alternative zu klassischem Fine-Tuning und RAG-Pipelines.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGarxiv.org1w
MeMo: Modulares Memory-Framework für LLMs ohne Gewichtsänderung
- FORSCHUNGarxiv.org3w
Markov-Matrix-Framework für kontinuierliche Wissenserweiterung ohne Katastrophales Vergessen
- FORSCHUNGarxiv.org1w
MoRe: Modulares Framework für kontinuierliches Lernen mit Identifizierbarkeitgarantien