Community entwickelt 43M-Parameter-Agent für autonome Wissenschaftsrecherche
Das Community-Projekt stammt von Reddit-Nutzer /u/Helpful-Series132 aus dem Subreddit r/LocalLLaMA und befindet sich noch in einem sehr frühen Experimentierstadium. Das Basismodell mit 43 Millionen Parametern wurde ausschließlich auf 3 Millionen arXiv-Abstracts trainiert – einem Korpus, der fast ausschließlich wissenschaftliche Kurzfassungen aus Physik, Informatik und verwandten Disziplinen enthält. Die Architektur und der genaue Trainingsstack werden im vorliegenden Auszug nicht spezifiziert. Geplant sind weiteres Pre-Training sowie eine Post-Training-Phase, in der das Modell durch gezielte Fine-Tuning-Datensätze auf autonomes wissenschaftliches Schlussfolgern ausgerichtet werden soll. Der Agent selbst ist als einfache Schleife konzipiert: Er sucht im Web, dokumentiert Befunde und iteriert, bis er über Frage-Antwort-Ketten zu Schlussfolgerungen aus Grundprinzipien gelangt. Die zentrale Forschungsfrage lautet, ob ein Sprachmodell, das ausschließlich auf naturwissenschaftlichen Inhalten trainiert wurde, eigenständig neue Erkenntnisse generieren kann – ein Ansatz, der in der akademischen Forschung bislang kaum systematisch untersucht wurde. Das Projekt sucht aktiv nach Mitwirkenden, insbesondere nach bereits bestehenden Fine-Tuning-Datensätzen für wissenschaftliches Reasoning.
- Trainingskorpus besteht ausschließlich aus 3 Mio. arXiv-Abstracts – kein allgemeines Web-Text-Pretraining erwähnt.
- Agent-Loop: Websuche → Dokumentation der Befunde → iteratives Fragen-Antworten bis zur Schlussfolgerung aus Grundprinzipien.
- Fine-Tuning-Beispiele folgen explizit einem Muster: Frage stellen → beantworten → nächste Frage ableiten → Konklusion.
- Projekt ist offen für externe Datensatz-Beiträge; /u/Helpful-Series132 ruft Community zur Kommentierung auf.
- Weiteres Pre-Training und Post-Training sind geplant, ein konkreter Zeitplan wird nicht genannt.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Community entwickelt 43M-Parameter-Agent für autonome Wissenschaftsrecherche
Das Community-Projekt stammt von Reddit-Nutzer /u/Helpful-Series132 aus dem Subreddit r/LocalLLaMA und befindet sich noch in einem sehr frühen Experimentierstadium. Das Basismodell mit 43 Millionen Parametern wurde ausschließlich auf 3 Millionen arXiv-Abstracts trainiert – einem Korpus, der fast ausschließlich wissenschaftliche Kurzfassungen aus Physik, Informatik und verwandten Disziplinen enthält. Die Architektur und der genaue Trainingsstack werden im vorliegenden Auszug nicht spezifiziert. Geplant sind weiteres Pre-Training sowie eine Post-Training-Phase, in der das Modell durch gezielte Fine-Tuning-Datensätze auf autonomes wissenschaftliches Schlussfolgern ausgerichtet werden soll. Der Agent selbst ist als einfache Schleife konzipiert: Er sucht im Web, dokumentiert Befunde und iteriert, bis er über Frage-Antwort-Ketten zu Schlussfolgerungen aus Grundprinzipien gelangt. Die zentrale Forschungsfrage lautet, ob ein Sprachmodell, das ausschließlich auf naturwissenschaftlichen Inhalten trainiert wurde, eigenständig neue Erkenntnisse generieren kann – ein Ansatz, der in der akademischen Forschung bislang kaum systematisch untersucht wurde. Das Projekt sucht aktiv nach Mitwirkenden, insbesondere nach bereits bestehenden Fine-Tuning-Datensätzen für wissenschaftliches Reasoning.
- Trainingskorpus besteht ausschließlich aus 3 Mio. arXiv-Abstracts – kein allgemeines Web-Text-Pretraining erwähnt.
- Agent-Loop: Websuche → Dokumentation der Befunde → iteratives Fragen-Antworten bis zur Schlussfolgerung aus Grundprinzipien.
- Fine-Tuning-Beispiele folgen explizit einem Muster: Frage stellen → beantworten → nächste Frage ableiten → Konklusion.
- Projekt ist offen für externe Datensatz-Beiträge; /u/Helpful-Series132 ruft Community zur Kommentierung auf.
- Weiteres Pre-Training und Post-Training sind geplant, ein konkreter Zeitplan wird nicht genannt.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.