FlashLM v9.7: Kostenlose CPU-LLM-Experimente zeigen PPL-Kohärenz-Paradox
Der Entwickler hinter dem FlashLM-Projekt dokumentiert in einem Reddit-Post die Ergebnisse von über 20 Experimenten seit der vorherigen v10-FSP-Version. Zentrales Paradox: CPUFlow v8 erreicht mit val PPL 9,30 die bisher niedrigste Perplexität aller Modelle, erzeugt aber vollständig inkohärenten Text. CPUFlow v5-LN mit deutlich schlechterer PPL von 11,94 produziert hingegen teilweise kohärente Kindergeschichten mit benannten Charakteren und Erzählstruktur. CPUFlow v9.7 (2,47M Parameter) versucht, beide Welten zu verbinden: PPL 10,23 bei partieller Kohärenz. Erreicht wird dies durch eine kumsum-Backbone-Architektur kombiniert mit einem RAM-Net-Sparse-Memory-Sidepath (512 Slots, Product Softmax Addressing, Top-8 sparse read/write) — ohne Routing-Loss oder Gates. Sechs verschiedene Ansätze zum Entity-Tracking (u.a. Hard Argmax Routing, Supervised Slot Routing, Contrastive Entity Routing) scheiterten alle am selben Grundproblem: Laut Feng & Steinhardt (2024) sind mindestens ~160M Parameter nötig, damit entitätsspezifisches Addressing überhaupt möglich wird. Alle Modelle verlieren die Textkohärenz nach etwa 100 Tokens. Das gesamte Projekt läuft auf kostenlosen CPU-Tiers ohne GPU-Ressourcen.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGarxiv.org1w
PRISM: Prototype Language Models ermöglichen ~500× schnellere Trainingsdaten-Attribution
- FORSCHUNGreddit.com5d
Community-Forscher trainiert 117M-Parameter Silia-Modell in 5 Stunden auf H100
- LAUNCHreddit.com3w
Glint Research veröffentlicht Glimmer 1: Sprachmodell mit 10.000 Parametern
FlashLM v9.7: Kostenlose CPU-LLM-Experimente zeigen PPL-Kohärenz-Paradox
Der Entwickler hinter dem FlashLM-Projekt dokumentiert in einem Reddit-Post die Ergebnisse von über 20 Experimenten seit der vorherigen v10-FSP-Version. Zentrales Paradox: CPUFlow v8 erreicht mit val PPL 9,30 die bisher niedrigste Perplexität aller Modelle, erzeugt aber vollständig inkohärenten Text. CPUFlow v5-LN mit deutlich schlechterer PPL von 11,94 produziert hingegen teilweise kohärente Kindergeschichten mit benannten Charakteren und Erzählstruktur. CPUFlow v9.7 (2,47M Parameter) versucht, beide Welten zu verbinden: PPL 10,23 bei partieller Kohärenz. Erreicht wird dies durch eine kumsum-Backbone-Architektur kombiniert mit einem RAM-Net-Sparse-Memory-Sidepath (512 Slots, Product Softmax Addressing, Top-8 sparse read/write) — ohne Routing-Loss oder Gates. Sechs verschiedene Ansätze zum Entity-Tracking (u.a. Hard Argmax Routing, Supervised Slot Routing, Contrastive Entity Routing) scheiterten alle am selben Grundproblem: Laut Feng & Steinhardt (2024) sind mindestens ~160M Parameter nötig, damit entitätsspezifisches Addressing überhaupt möglich wird. Alle Modelle verlieren die Textkohärenz nach etwa 100 Tokens. Das gesamte Projekt läuft auf kostenlosen CPU-Tiers ohne GPU-Ressourcen.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGarxiv.org1w
PRISM: Prototype Language Models ermöglichen ~500× schnellere Trainingsdaten-Attribution
- FORSCHUNGreddit.com5d
Community-Forscher trainiert 117M-Parameter Silia-Modell in 5 Stunden auf H100
- LAUNCHreddit.com3w
Glint Research veröffentlicht Glimmer 1: Sprachmodell mit 10.000 Parametern