SupraBrain-50M-v0.1: Hybrides Sprachmodell mit Linear-Recurrence und Sliding-Window-Attention
SupraBrain-50M-v0.1 ist das erste öffentlich veröffentlichte Modell von SupraLabs und wurde am 3. August 2026 auf Reddit (r/LocalLLaMA) und Hugging Face angekündigt. Die Architektur kombiniert drei Kernkomponenten: Gated DeltaNet für lineare Rekurrenz, Sliding-Window Attention für lokale Kontextverarbeitung und Surprise-Gated Update-Mechanismen, die das Modell selektiv auf unerwartete Eingaben reagieren lassen. Besonders hervorzuheben ist die Trainingseffizienz: Mit nur 5 Milliarden Trainingstokens erreicht das Modell laut den veröffentlichten Benchmarks annähernd die Leistung von Supra-Base-50M, das auf 20 Milliarden Tokens trainiert wurde – also dem Vierfachen der Datenmenge. Die Hybridarchitektur zielt darauf ab, die Vorteile reiner Transformer-Modelle (Expressivität durch Attention) mit denen linearer Rekurrenzmodelle (Effizienz bei langen Sequenzen) zu vereinen. Die im Post gezeigten Textgenerierungs-Beispiele offenbaren allerdings deutliche faktische Fehler – etwa falsche biochemische Bezeichnungen beim Mitochondrien-Beispiel –, was den praktischen Einsatz des Modells in seiner aktuellen Version einschränkt. SupraLabs kündigte im selben Post bereits den Nachfolger Supra2-100M an, der noch am selben Tag erscheinen sollte. Das Modell ist über das Hugging Face-Profil von SupraLabs frei zugänglich.
- Gated DeltaNet bildet den linearen Rekurrenz-Kern des Modells und ersetzt klassische Self-Attention für lange Kontexte.
- Die Benchmark-Grafik zeigt den direkten Vergleich mit Supra-Base-50M, das auf 20B statt 5B Tokens trainiert wurde.
- Im Mitochondrien-Beispiel erfindet das Modell Begriffe wie 'Adenosyltransferase (AATP)' – ein klarer Halluzinationsfall.
- Ankündigung von Supra2-100M durch /u/LH-Tech_AI im selben Post, Veröffentlichung für wenige Stunden später angekündigt.
- Das Modell ist unter https://huggingface.co/SupraLabs/SupraBrain-50M öffentlich verfügbar.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
SupraBrain-50M-v0.1: Hybrides Sprachmodell mit Linear-Recurrence und Sliding-Window-Attention
SupraBrain-50M-v0.1 ist das erste öffentlich veröffentlichte Modell von SupraLabs und wurde am 3. August 2026 auf Reddit (r/LocalLLaMA) und Hugging Face angekündigt. Die Architektur kombiniert drei Kernkomponenten: Gated DeltaNet für lineare Rekurrenz, Sliding-Window Attention für lokale Kontextverarbeitung und Surprise-Gated Update-Mechanismen, die das Modell selektiv auf unerwartete Eingaben reagieren lassen. Besonders hervorzuheben ist die Trainingseffizienz: Mit nur 5 Milliarden Trainingstokens erreicht das Modell laut den veröffentlichten Benchmarks annähernd die Leistung von Supra-Base-50M, das auf 20 Milliarden Tokens trainiert wurde – also dem Vierfachen der Datenmenge. Die Hybridarchitektur zielt darauf ab, die Vorteile reiner Transformer-Modelle (Expressivität durch Attention) mit denen linearer Rekurrenzmodelle (Effizienz bei langen Sequenzen) zu vereinen. Die im Post gezeigten Textgenerierungs-Beispiele offenbaren allerdings deutliche faktische Fehler – etwa falsche biochemische Bezeichnungen beim Mitochondrien-Beispiel –, was den praktischen Einsatz des Modells in seiner aktuellen Version einschränkt. SupraLabs kündigte im selben Post bereits den Nachfolger Supra2-100M an, der noch am selben Tag erscheinen sollte. Das Modell ist über das Hugging Face-Profil von SupraLabs frei zugänglich.
- Gated DeltaNet bildet den linearen Rekurrenz-Kern des Modells und ersetzt klassische Self-Attention für lange Kontexte.
- Die Benchmark-Grafik zeigt den direkten Vergleich mit Supra-Base-50M, das auf 20B statt 5B Tokens trainiert wurde.
- Im Mitochondrien-Beispiel erfindet das Modell Begriffe wie 'Adenosyltransferase (AATP)' – ein klarer Halluzinationsfall.
- Ankündigung von Supra2-100M durch /u/LH-Tech_AI im selben Post, Veröffentlichung für wenige Stunden später angekündigt.
- Das Modell ist unter https://huggingface.co/SupraLabs/SupraBrain-50M öffentlich verfügbar.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.