Unbounded Labs veröffentlicht Bart: 2,82B-LLM trainiert auf vormoderner Literatur
CompaniesGoogle DeepMind
Warum es zählt
Bart zeigt, dass qualitativ hochwertiges Domain-Pretraining mit kleinem Budget möglich ist: Bereinigter Vintage-Datensatz (242B→23B Tokens), 20 neue Benchmarks und vollständig offengelegte Trainings-Pipeline geben Forschern konkrete Werkzeuge für Nischen-Pretraining an die Hand.
— Lumeric Redaktion
2,82B Parameter / $807
Trainingskosten auf einer H100, 5 Tage
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Unbounded Labs veröffentlicht Bart: 2,82B-LLM trainiert auf vormoderner Literatur
CompaniesGoogle DeepMind
Warum es zählt
Bart zeigt, dass qualitativ hochwertiges Domain-Pretraining mit kleinem Budget möglich ist: Bereinigter Vintage-Datensatz (242B→23B Tokens), 20 neue Benchmarks und vollständig offengelegte Trainings-Pipeline geben Forschern konkrete Werkzeuge für Nischen-Pretraining an die Hand.
— Lumeric Redaktion
2,82B Parameter / $807
Trainingskosten auf einer H100, 5 Tage
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.