mii-llm veröffentlicht Zagreus-0.4B-por: Open-Source-Sprachmodell für Portugiesisch
Zagreus-0.4B-por ist Teil der Zagreus-Modellfamilie von mii-llm, einem Open-Source-KI-Labor, das sich auf kleine Modelle für europäische Sprachen spezialisiert. Das Modell wurde vollständig from scratch vortrainiert – also nicht durch Fine-Tuning eines bestehenden Modells, sondern mit einem eigens zusammengestellten Korpus aus mehreren offenen Datensätzen: FineWeb, Portuguese FineWeb2, Portuguese FinePDFs und StarCoderData, alle über Hugging Face verfügbar. Das Recheninfrastruktur stellten die Sponsoren Seeweb (Cloud-Anbieter) und Regolo.ai bereit. Bei der Evaluation mittels Eduardo Garcias portugiesischem Evaluation-Harness erzielte der 483k-Checkpoint einen Score von 0,3230 – gegenüber 0,2569 für Qwen3-0.6B-Base, obwohl Qwen3 mehr Parameter besitzt. Auf den portugiesischen Varianten von ARC, HellaSwag und MMLU lag der Durchschnittswert bei 0,3113. Das Modell ist ausdrücklich kein fertiger Assistent, sondern ein offenes Foundation-Modell, das als Ausgangspunkt für Instruction-Tuning, domänenspezifische Anwendungen, Bildungstools und Edge-Deployments dienen soll. Trainingsrezept und Modellgewichte sind öffentlich auf GitHub bzw. Hugging Face zugänglich.
- Pretraining-Korpus kombiniert vier Quellen: FineWeb, Portuguese FineWeb2, Portuguese FinePDFs und StarCoderData – alle über Hugging Face bezogen.
- Evaluation mit Eduardo Garcias portugiesischem Harness: Zagreus-0.4B-por (0,3230) schlägt Qwen3-0.6B-Base (0,2569) trotz ~200 Mio. weniger Parametern.
- Auf portugiesischen ARC-, HellaSwag- und MMLU-Varianten: Durchschnitts-Score 0,3113 am finalen Checkpoint.
- Infrastruktur-Sponsoring durch Seeweb (Cloud-Provider) und Regolo.ai; Trainingsrezept öffentlich auf GitHub unter mii-llm/zagreus-nesso-slm.
- Modell und Gewichte sind auf Hugging Face unter mii-llm/zagreus-0.4B-por frei verfügbar; mii-llm bittet die portugiesische NLP-Community um unabhängige Evaluierungen.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
mii-llm veröffentlicht Zagreus-0.4B-por: Open-Source-Sprachmodell für Portugiesisch
Zagreus-0.4B-por ist Teil der Zagreus-Modellfamilie von mii-llm, einem Open-Source-KI-Labor, das sich auf kleine Modelle für europäische Sprachen spezialisiert. Das Modell wurde vollständig from scratch vortrainiert – also nicht durch Fine-Tuning eines bestehenden Modells, sondern mit einem eigens zusammengestellten Korpus aus mehreren offenen Datensätzen: FineWeb, Portuguese FineWeb2, Portuguese FinePDFs und StarCoderData, alle über Hugging Face verfügbar. Das Recheninfrastruktur stellten die Sponsoren Seeweb (Cloud-Anbieter) und Regolo.ai bereit. Bei der Evaluation mittels Eduardo Garcias portugiesischem Evaluation-Harness erzielte der 483k-Checkpoint einen Score von 0,3230 – gegenüber 0,2569 für Qwen3-0.6B-Base, obwohl Qwen3 mehr Parameter besitzt. Auf den portugiesischen Varianten von ARC, HellaSwag und MMLU lag der Durchschnittswert bei 0,3113. Das Modell ist ausdrücklich kein fertiger Assistent, sondern ein offenes Foundation-Modell, das als Ausgangspunkt für Instruction-Tuning, domänenspezifische Anwendungen, Bildungstools und Edge-Deployments dienen soll. Trainingsrezept und Modellgewichte sind öffentlich auf GitHub bzw. Hugging Face zugänglich.
- Pretraining-Korpus kombiniert vier Quellen: FineWeb, Portuguese FineWeb2, Portuguese FinePDFs und StarCoderData – alle über Hugging Face bezogen.
- Evaluation mit Eduardo Garcias portugiesischem Harness: Zagreus-0.4B-por (0,3230) schlägt Qwen3-0.6B-Base (0,2569) trotz ~200 Mio. weniger Parametern.
- Auf portugiesischen ARC-, HellaSwag- und MMLU-Varianten: Durchschnitts-Score 0,3113 am finalen Checkpoint.
- Infrastruktur-Sponsoring durch Seeweb (Cloud-Provider) und Regolo.ai; Trainingsrezept öffentlich auf GitHub unter mii-llm/zagreus-nesso-slm.
- Modell und Gewichte sind auf Hugging Face unter mii-llm/zagreus-0.4B-por frei verfügbar; mii-llm bittet die portugiesische NLP-Community um unabhängige Evaluierungen.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.