FlashLM v9.7: Kostenlose CPU-LLM-Experimente zeigen PPL-Kohärenz-Paradox
Der Entwickler hinter dem FlashLM-Projekt dokumentiert in einem Reddit-Post die Ergebnisse von über 20 Experimenten seit der vorherigen v10-FSP-Version. Zentrales Paradox: CPUFlow v8 erreicht mit val PPL 9,30 die bisher niedrigste Perplexität aller Modelle, erzeugt aber vollständig inkohärenten Text. CPUFlow v5-LN mit deutlich schlechterer PPL von 11,94 produziert hingegen teilweise kohärente Kindergeschichten mit benannten Charakteren und Erzählstruktur. CPUFlow v9.7 (2,47M Parameter) versucht, beide Welten zu verbinden: PPL 10,23 bei partieller Kohärenz. Erreicht wird dies durch eine kumsum-Backbone-Architektur kombiniert mit einem RAM-Net-Sparse-Memory-Sidepath (512 Slots, Product Softmax Addressing, Top-8 sparse read/write) — ohne Routing-Loss oder Gates. Sechs verschiedene Ansätze zum Entity-Tracking (u.a. Hard Argmax Routing, Supervised Slot Routing, Contrastive Entity Routing) scheiterten alle am selben Grundproblem: Laut Feng & Steinhardt (2024) sind mindestens ~160M Parameter nötig, damit entitätsspezifisches Addressing überhaupt möglich wird. Alle Modelle verlieren die Textkohärenz nach etwa 100 Tokens. Das gesamte Projekt läuft auf kostenlosen CPU-Tiers ohne GPU-Ressourcen.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com3w
Aurora-80K: Tiny Language Model mit nur 80.000 Parametern veröffentlicht
- FORSCHUNGarxiv.org4d
Looped GPT-BERT: 12,18M-Parameter-Modell durch Schicht-Wiederholung
- FORSCHUNGarxiv.org3w
PTXBench: Neuer Benchmark für LLM-basierte GPU-Kernel-Optimierung via PTX
- BENCHMARKreddit.com1w
Ling 3.0 Tiny führt Small-Model-Ranking trotz nur 1,3B aktiver Parameter
FlashLM v9.7: Kostenlose CPU-LLM-Experimente zeigen PPL-Kohärenz-Paradox
Der Entwickler hinter dem FlashLM-Projekt dokumentiert in einem Reddit-Post die Ergebnisse von über 20 Experimenten seit der vorherigen v10-FSP-Version. Zentrales Paradox: CPUFlow v8 erreicht mit val PPL 9,30 die bisher niedrigste Perplexität aller Modelle, erzeugt aber vollständig inkohärenten Text. CPUFlow v5-LN mit deutlich schlechterer PPL von 11,94 produziert hingegen teilweise kohärente Kindergeschichten mit benannten Charakteren und Erzählstruktur. CPUFlow v9.7 (2,47M Parameter) versucht, beide Welten zu verbinden: PPL 10,23 bei partieller Kohärenz. Erreicht wird dies durch eine kumsum-Backbone-Architektur kombiniert mit einem RAM-Net-Sparse-Memory-Sidepath (512 Slots, Product Softmax Addressing, Top-8 sparse read/write) — ohne Routing-Loss oder Gates. Sechs verschiedene Ansätze zum Entity-Tracking (u.a. Hard Argmax Routing, Supervised Slot Routing, Contrastive Entity Routing) scheiterten alle am selben Grundproblem: Laut Feng & Steinhardt (2024) sind mindestens ~160M Parameter nötig, damit entitätsspezifisches Addressing überhaupt möglich wird. Alle Modelle verlieren die Textkohärenz nach etwa 100 Tokens. Das gesamte Projekt läuft auf kostenlosen CPU-Tiers ohne GPU-Ressourcen.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com3w
Aurora-80K: Tiny Language Model mit nur 80.000 Parametern veröffentlicht
- FORSCHUNGarxiv.org4d
Looped GPT-BERT: 12,18M-Parameter-Modell durch Schicht-Wiederholung
- FORSCHUNGarxiv.org3w
PTXBench: Neuer Benchmark für LLM-basierte GPU-Kernel-Optimierung via PTX
- BENCHMARKreddit.com1w
Ling 3.0 Tiny führt Small-Model-Ranking trotz nur 1,3B aktiver Parameter