FlashLM v9.7: Kostenlose CPU-LLM-Experimente zeigen PPL-Kohärenz-Paradox
Der Entwickler hinter dem FlashLM-Projekt dokumentiert in einem Reddit-Post die Ergebnisse von über 20 Experimenten seit der vorherigen v10-FSP-Version. Zentrales Paradox: CPUFlow v8 erreicht mit val PPL 9,30 die bisher niedrigste Perplexität aller Modelle, erzeugt aber vollständig inkohärenten Text. CPUFlow v5-LN mit deutlich schlechterer PPL von 11,94 produziert hingegen teilweise kohärente Kindergeschichten mit benannten Charakteren und Erzählstruktur. CPUFlow v9.7 (2,47M Parameter) versucht, beide Welten zu verbinden: PPL 10,23 bei partieller Kohärenz. Erreicht wird dies durch eine kumsum-Backbone-Architektur kombiniert mit einem RAM-Net-Sparse-Memory-Sidepath (512 Slots, Product Softmax Addressing, Top-8 sparse read/write) — ohne Routing-Loss oder Gates. Sechs verschiedene Ansätze zum Entity-Tracking (u.a. Hard Argmax Routing, Supervised Slot Routing, Contrastive Entity Routing) scheiterten alle am selben Grundproblem: Laut Feng & Steinhardt (2024) sind mindestens ~160M Parameter nötig, damit entitätsspezifisches Addressing überhaupt möglich wird. Alle Modelle verlieren die Textkohärenz nach etwa 100 Tokens. Das gesamte Projekt läuft auf kostenlosen CPU-Tiers ohne GPU-Ressourcen.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
FlashLM v9.7: Kostenlose CPU-LLM-Experimente zeigen PPL-Kohärenz-Paradox
Der Entwickler hinter dem FlashLM-Projekt dokumentiert in einem Reddit-Post die Ergebnisse von über 20 Experimenten seit der vorherigen v10-FSP-Version. Zentrales Paradox: CPUFlow v8 erreicht mit val PPL 9,30 die bisher niedrigste Perplexität aller Modelle, erzeugt aber vollständig inkohärenten Text. CPUFlow v5-LN mit deutlich schlechterer PPL von 11,94 produziert hingegen teilweise kohärente Kindergeschichten mit benannten Charakteren und Erzählstruktur. CPUFlow v9.7 (2,47M Parameter) versucht, beide Welten zu verbinden: PPL 10,23 bei partieller Kohärenz. Erreicht wird dies durch eine kumsum-Backbone-Architektur kombiniert mit einem RAM-Net-Sparse-Memory-Sidepath (512 Slots, Product Softmax Addressing, Top-8 sparse read/write) — ohne Routing-Loss oder Gates. Sechs verschiedene Ansätze zum Entity-Tracking (u.a. Hard Argmax Routing, Supervised Slot Routing, Contrastive Entity Routing) scheiterten alle am selben Grundproblem: Laut Feng & Steinhardt (2024) sind mindestens ~160M Parameter nötig, damit entitätsspezifisches Addressing überhaupt möglich wird. Alle Modelle verlieren die Textkohärenz nach etwa 100 Tokens. Das gesamte Projekt läuft auf kostenlosen CPU-Tiers ohne GPU-Ressourcen.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.