260K-Parameter-LLM läuft auf emuliertem 90er-Jahre-CPU im 18 Jahre alten RTOS
Reddit-Nutzer MironV hat das 260K-Parameter-Modell stories260K aus Andrej Karpathys llama2.c-Projekt auf einem selbst geschriebenen JavaScript-Emulator für den Freescale ColdFire MCF5307 – einem Motorola-68K-Derivat – zum Laufen gebracht. Das zugrundeliegende RTOS wurde 2008 im Rahmen eines Universitätskurses für eingebettete Systeme entwickelt und galt als verloren, da Original-Hardware und ROM nicht mehr existierten. MironV nutzte Claude und Qwen, um den CPU-Emulator neu zu schreiben und das ROM durch Reverse Engineering wiederherzustellen. Das Modell umfasst rund ein halbes Megabyte Gewichte und passt nach Verkleinerung des Kernel-Stacks in die 16 MB emulierten RAM. Da der ColdFire keine FPU besitzt, wurde das Modell per INT8 mit zeilenweisem Skalierungsfaktor quantisiert, um teure Software-Float-Emulation in den Matrix-Multiplikationen zu vermeiden. Zusätzlich kamen Carmacks Fast Inverse Square Root aus Quake sowie Lookup-Tabellen für RoPE zum Einsatz. Softmax und RMSNorm laufen weiterhin als emulierte Gleitkommaoperationen. Das Ergebnis ist im Browser abrufbar und generiert kohärente TinyStories-Texte mit 2–4 Sekunden pro Token. Als nächster Schritt ist eine FPGA-Implementierung der Originalhardware geplant.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
260K-Parameter-LLM läuft auf emuliertem 90er-Jahre-CPU im 18 Jahre alten RTOS
Reddit-Nutzer MironV hat das 260K-Parameter-Modell stories260K aus Andrej Karpathys llama2.c-Projekt auf einem selbst geschriebenen JavaScript-Emulator für den Freescale ColdFire MCF5307 – einem Motorola-68K-Derivat – zum Laufen gebracht. Das zugrundeliegende RTOS wurde 2008 im Rahmen eines Universitätskurses für eingebettete Systeme entwickelt und galt als verloren, da Original-Hardware und ROM nicht mehr existierten. MironV nutzte Claude und Qwen, um den CPU-Emulator neu zu schreiben und das ROM durch Reverse Engineering wiederherzustellen. Das Modell umfasst rund ein halbes Megabyte Gewichte und passt nach Verkleinerung des Kernel-Stacks in die 16 MB emulierten RAM. Da der ColdFire keine FPU besitzt, wurde das Modell per INT8 mit zeilenweisem Skalierungsfaktor quantisiert, um teure Software-Float-Emulation in den Matrix-Multiplikationen zu vermeiden. Zusätzlich kamen Carmacks Fast Inverse Square Root aus Quake sowie Lookup-Tabellen für RoPE zum Einsatz. Softmax und RMSNorm laufen weiterhin als emulierte Gleitkommaoperationen. Das Ergebnis ist im Browser abrufbar und generiert kohärente TinyStories-Texte mit 2–4 Sekunden pro Token. Als nächster Schritt ist eine FPGA-Implementierung der Originalhardware geplant.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.