Unbounded Labs veröffentlicht Bart: 2,82B-LLM trainiert auf vormoderner Literatur
CompaniesGoogle DeepMind
Warum es zählt
Bart zeigt, dass qualitativ hochwertiges Domain-Pretraining mit kleinem Budget möglich ist: Bereinigter Vintage-Datensatz (242B→23B Tokens), 20 neue Benchmarks und vollständig offengelegte Trainings-Pipeline geben Forschern konkrete Werkzeuge für Nischen-Pretraining an die Hand.
— Lumeric Redaktion
2,82B Parameter / $807
Trainingskosten auf einer H100, 5 Tage
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- BENCHMARKhugovergnes.github.io4d
3,8B-Parameter-LLM für 998 $ trainiert – 0,384 CORE von einer Person
- FORSCHUNGarxiv.org1w
Low-Rank Clone: SLM-Training mit 1.000-facher Token-Effizienz
- FORSCHUNGarxiv.org2w
Puro-2B: LLM-Pretraining für unter 5.090 Dollar auf Consumer-Hardware
- LAUNCHreddit.com1d
Aurora 1.0-150M: Kleines Open-Source-Sprachmodell auf GPT-2-Small-Niveau
Unbounded Labs veröffentlicht Bart: 2,82B-LLM trainiert auf vormoderner Literatur
CompaniesGoogle DeepMind
Warum es zählt
Bart zeigt, dass qualitativ hochwertiges Domain-Pretraining mit kleinem Budget möglich ist: Bereinigter Vintage-Datensatz (242B→23B Tokens), 20 neue Benchmarks und vollständig offengelegte Trainings-Pipeline geben Forschern konkrete Werkzeuge für Nischen-Pretraining an die Hand.
— Lumeric Redaktion
2,82B Parameter / $807
Trainingskosten auf einer H100, 5 Tage
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- BENCHMARKhugovergnes.github.io4d
3,8B-Parameter-LLM für 998 $ trainiert – 0,384 CORE von einer Person
- FORSCHUNGarxiv.org1w
Low-Rank Clone: SLM-Training mit 1.000-facher Token-Effizienz
- FORSCHUNGarxiv.org2w
Puro-2B: LLM-Pretraining für unter 5.090 Dollar auf Consumer-Hardware
- LAUNCHreddit.com1d
Aurora 1.0-150M: Kleines Open-Source-Sprachmodell auf GPT-2-Small-Niveau