dots3-note: Erstes Open-Weight MoE-Modell mit 280B Parametern und 512K Kontext
dots3-note preview ist das erste veröffentlichte Modell der dots3-Modellfamilie und wurde über einen Pull Request (#27060) in das llama.cpp-Projekt von ggml-org integriert – beigetragen von Entwickler ngxson. Mit 280 Milliarden Gesamtparametern und einer Mixture-of-Experts-Architektur aktiviert das Modell beim Inferenz-Schritt jeweils nur 16 Milliarden Parameter, was den Rechenaufwand gegenüber dichten Modellen vergleichbarer Gesamtgröße erheblich reduziert. Das Kontextfenster von bis zu 512.000 Token ist ungewöhnlich groß und erlaubt die Verarbeitung sehr langer Dokumente oder umfangreicher Gesprächshistorien in einem einzigen Durchlauf. Besonders bemerkenswert ist die native Multimodalität: dots3-note versteht Text, Bilder, Video und Audio und gibt Textantworten aus – eine Kombination, die bei Open-Weight-Modellen dieser Klasse selten ist. Die Aufnahme in llama.cpp macht das Modell für den lokalen Betrieb auf Consumer- oder Prosumer-Hardware zugänglich, sofern ausreichend VRAM oder RAM vorhanden ist. Der „preview"-Status deutet darauf hin, dass es sich um eine frühe Veröffentlichung handelt, der weitere Modelle der dots3-Familie folgen sollen. Die Einreichung stammt von Reddit-Nutzer jacek2023 und bezieht sich direkt auf den offenen Pull Request auf GitHub.
- 280B Gesamtparameter, davon nur 16B pro Inferenz-Schritt aktiv – typisch für Sparse-MoE-Architekturen zur Recheneffizienz.
- Kontextlänge von bis zu 512.000 Token – deutlich über dem, was die meisten lokalen Open-Weight-Modelle bisher unterstützen.
- Multimodale Eingabe: das Modell verarbeitet Text, Bilder, Video und Audio; Ausgabe ist ausschließlich Text.
- Integration via Pull Request #27060 in llama.cpp (ggml-org), eingereicht von Contributor ngxson.
- dots3-note preview ist als erstes Mitglied der dots3-Familie positioniert – weitere Modelle der Familie sind implizit angekündigt.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com1w
llama.cpp erhält Support für NVIDIA Nemotron-3-Puzzle-75B-A9B
- LAUNCHreddit.com1w
inclusionAI veröffentlicht Ling-3.0-flash-VL: 124B MoE-Modell mit 1M-Token-Kontext
- LAUNCHreddit.com0mo
Ling 3.0 Modelle in llama.cpp integriert
- FORSCHUNGarxiv.org1w
Instella-MoE: Vollständig offenes MoE-Modell mit 16B Parametern auf AMD-GPUs trainiert
dots3-note: Erstes Open-Weight MoE-Modell mit 280B Parametern und 512K Kontext
dots3-note preview ist das erste veröffentlichte Modell der dots3-Modellfamilie und wurde über einen Pull Request (#27060) in das llama.cpp-Projekt von ggml-org integriert – beigetragen von Entwickler ngxson. Mit 280 Milliarden Gesamtparametern und einer Mixture-of-Experts-Architektur aktiviert das Modell beim Inferenz-Schritt jeweils nur 16 Milliarden Parameter, was den Rechenaufwand gegenüber dichten Modellen vergleichbarer Gesamtgröße erheblich reduziert. Das Kontextfenster von bis zu 512.000 Token ist ungewöhnlich groß und erlaubt die Verarbeitung sehr langer Dokumente oder umfangreicher Gesprächshistorien in einem einzigen Durchlauf. Besonders bemerkenswert ist die native Multimodalität: dots3-note versteht Text, Bilder, Video und Audio und gibt Textantworten aus – eine Kombination, die bei Open-Weight-Modellen dieser Klasse selten ist. Die Aufnahme in llama.cpp macht das Modell für den lokalen Betrieb auf Consumer- oder Prosumer-Hardware zugänglich, sofern ausreichend VRAM oder RAM vorhanden ist. Der „preview"-Status deutet darauf hin, dass es sich um eine frühe Veröffentlichung handelt, der weitere Modelle der dots3-Familie folgen sollen. Die Einreichung stammt von Reddit-Nutzer jacek2023 und bezieht sich direkt auf den offenen Pull Request auf GitHub.
- 280B Gesamtparameter, davon nur 16B pro Inferenz-Schritt aktiv – typisch für Sparse-MoE-Architekturen zur Recheneffizienz.
- Kontextlänge von bis zu 512.000 Token – deutlich über dem, was die meisten lokalen Open-Weight-Modelle bisher unterstützen.
- Multimodale Eingabe: das Modell verarbeitet Text, Bilder, Video und Audio; Ausgabe ist ausschließlich Text.
- Integration via Pull Request #27060 in llama.cpp (ggml-org), eingereicht von Contributor ngxson.
- dots3-note preview ist als erstes Mitglied der dots3-Familie positioniert – weitere Modelle der Familie sind implizit angekündigt.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com1w
llama.cpp erhält Support für NVIDIA Nemotron-3-Puzzle-75B-A9B
- LAUNCHreddit.com1w
inclusionAI veröffentlicht Ling-3.0-flash-VL: 124B MoE-Modell mit 1M-Token-Kontext
- LAUNCHreddit.com0mo
Ling 3.0 Modelle in llama.cpp integriert
- FORSCHUNGarxiv.org1w
Instella-MoE: Vollständig offenes MoE-Modell mit 16B Parametern auf AMD-GPUs trainiert