wird geladen

Hobby-Projekt: LLM from Scratch auf 160 GB Texten aus dem 19. Jahrhundert · Lumeric

Feed
Digest
Lounge
Stash
Profil

Beitrag

LAUNCH

reddit.com· r/LocalLLaMA1h

Hobby-Projekt: LLM from Scratch auf 160 GB Texten aus dem 19. Jahrhundert

ToolsHugging Face

CompaniesHugging Face

Warum es zählt

Zeigt, dass domänenspezifisches Pretraining auf historischen Korpora mit überschaubaren Ressourcen möglich ist. Das angestrebte 2B-Modell könnte ein nützlicher Ausgangspunkt für Historiker oder NLP-Projekte mit Fokus auf frühneuzeitlichem Englisch sein.

— Lumeric Redaktion

Quelle lesenreddit.com

40B Tokens / 160 GB

Datensatzgröße (1800–1875 englische Texte)

Foundation Modelle Open Source Post Training

Frag die KI zum Artikel

Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.

Verwandte Beiträge

MEINUNGcrlf.link0mo
Hobbyist trainiert eigenes Vintage-LLM mit 340M Parametern auf Texten vor 1900
FORSCHUNGhuggingface.co2w
Narrative Strukturen in LLM-Pretraining-Daten systematisch analysiert
FORSCHUNGarxiv.org3w
Daten-Augmentierung gegen Overfitting beim LLM-Pretraining auf fixen Korpora
FORSCHUNGarxiv.org1w
LLM-Training für Analogschaltkreis-Wissen: 32B-Modell erreicht 84,59% auf AMSBench

LAUNCH

reddit.com· r/LocalLLaMA1h

Hobby-Projekt: LLM from Scratch auf 160 GB Texten aus dem 19. Jahrhundert

ToolsHugging Face

CompaniesHugging Face

Warum es zählt

Zeigt, dass domänenspezifisches Pretraining auf historischen Korpora mit überschaubaren Ressourcen möglich ist. Das angestrebte 2B-Modell könnte ein nützlicher Ausgangspunkt für Historiker oder NLP-Projekte mit Fokus auf frühneuzeitlichem Englisch sein.

— Lumeric Redaktion

40B Tokens / 160 GB

Datensatzgröße (1800–1875 englische Texte)

Frag die KI zum Artikel

Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.

Quelle lesenreddit.com

Themen

Foundation Modelle Open Source Post Training

Reaktion

Speichern

Verwandte Beiträge

MEINUNGcrlf.link0mo
Hobbyist trainiert eigenes Vintage-LLM mit 340M Parametern auf Texten vor 1900
FORSCHUNGhuggingface.co2w
Narrative Strukturen in LLM-Pretraining-Daten systematisch analysiert
FORSCHUNGarxiv.org3w
Daten-Augmentierung gegen Overfitting beim LLM-Pretraining auf fixen Korpora
FORSCHUNGarxiv.org1w
LLM-Training für Analogschaltkreis-Wissen: 32B-Modell erreicht 84,59% auf AMSBench