Muse Glimmer 30B auf 512k Kontext erweitert – ohne YaRN oder LoRA
ToolsQwen
CompaniesMeta AI
Warum es zählt
Die ungewöhnliche Architektur (RoPE nur in SWA-Schichten, keine Positionskodierung in GQA-Schichten) ermöglicht triviale Kontexterweiterung ohne Training. Needle-in-a-Haystack, Multi-Hop-Retrieval und LongBench v2 zeigen 100% Leistung bis 512k – nur Zähl-Aufgaben brechen bei >385k ein.
— Lumeric Redaktion
Needle in a Haystack (512k) · Spitzenwert
100%
NiaH / Multi-Hop / Semantic (512k)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Muse Glimmer 30B auf 512k Kontext erweitert – ohne YaRN oder LoRA
ToolsQwen
CompaniesMeta AI
Warum es zählt
Die ungewöhnliche Architektur (RoPE nur in SWA-Schichten, keine Positionskodierung in GQA-Schichten) ermöglicht triviale Kontexterweiterung ohne Training. Needle-in-a-Haystack, Multi-Hop-Retrieval und LongBench v2 zeigen 100% Leistung bis 512k – nur Zähl-Aufgaben brechen bei >385k ein.
— Lumeric Redaktion
Needle in a Haystack (512k) · Spitzenwert
100%
NiaH / Multi-Hop / Semantic (512k)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.