Transformer-Sprachmodell läuft nativ auf Game Boy Color
Nutzerin maddiedreese hat Andrej Karpathys TinyStories-260K-Modell auf einem handelsüblichen Game Boy Color (GBC) zum Laufen gebracht. Das Modell wurde in INT8-Gewichte konvertiert und nutzt ausschließlich Fixed-Point-Mathematik, da der GBC keine Fließkommaeinheit besitzt. Die ROM wurde mit GBDK-2020 als MBC5-Cartridge gebaut; die Modellgewichte liegen in bank-gescaltetem Cartridge-ROM. Der KV-Cache wird im Cartridge-SRAM abgelegt, weil das interne Arbeits-RAM des GBC zu klein ist. Prompt-Eingabe erfolgt direkt auf dem Gerät über D-Pad, Buttons und eine On-Screen-Tastatur. Tokenisierung, Transformer-Prefill und autoregressives Sampling laufen vollständig on-device. Hardware-Setup: Stock Game Boy Color, EZ Flash Junior und microSD-Karte. Die Ausgabe ist aufgrund der starken Quantisierung und Näherungsrechnung noch Kauderwelsch, aber die Grundfunktion – vollständige Transformer-Inferenz auf dem GBC – ist nachgewiesen. Für einen großen Teil der Implementierung wurde Codex verwendet. Quellcode ist auf GitHub unter maddiedreese/gbc-transformer verfügbar.
- Modell: TinyStories-260K von Andrej Karpathy, konvertiert zu INT8 mit Fixed-Point-Arithmetik
- Build-Toolchain: GBDK-2020, verpackt als MBC5 Game Boy ROM
- KV-Cache liegt in Cartridge-SRAM, da GBC-Work-RAM zu klein ist
- Hardware-Setup: Stock GBC + EZ Flash Junior + microSD, kein Zusatzchip
- Großer Teil des Codes wurde mit Codex generiert; Quellcode auf GitHub verfügbar
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com3w
Gemma4 26B läuft flüssig auf CPU-only-System mit 32 GB RAM
- LAUNCHreddit.com23h
260K-Parameter-LLM läuft auf emuliertem 90er-Jahre-CPU im 18 Jahre alten RTOS
- MEINUNGreddit.com5d
Community-Diskussion: Beste kleine Sprachmodelle ohne GPU
- FORSCHUNGarxiv.org1w
CATS: Verteilte Transformer-Inferenz auf Ultra-Low-Power-IoT-Geräten
Transformer-Sprachmodell läuft nativ auf Game Boy Color
Nutzerin maddiedreese hat Andrej Karpathys TinyStories-260K-Modell auf einem handelsüblichen Game Boy Color (GBC) zum Laufen gebracht. Das Modell wurde in INT8-Gewichte konvertiert und nutzt ausschließlich Fixed-Point-Mathematik, da der GBC keine Fließkommaeinheit besitzt. Die ROM wurde mit GBDK-2020 als MBC5-Cartridge gebaut; die Modellgewichte liegen in bank-gescaltetem Cartridge-ROM. Der KV-Cache wird im Cartridge-SRAM abgelegt, weil das interne Arbeits-RAM des GBC zu klein ist. Prompt-Eingabe erfolgt direkt auf dem Gerät über D-Pad, Buttons und eine On-Screen-Tastatur. Tokenisierung, Transformer-Prefill und autoregressives Sampling laufen vollständig on-device. Hardware-Setup: Stock Game Boy Color, EZ Flash Junior und microSD-Karte. Die Ausgabe ist aufgrund der starken Quantisierung und Näherungsrechnung noch Kauderwelsch, aber die Grundfunktion – vollständige Transformer-Inferenz auf dem GBC – ist nachgewiesen. Für einen großen Teil der Implementierung wurde Codex verwendet. Quellcode ist auf GitHub unter maddiedreese/gbc-transformer verfügbar.
- Modell: TinyStories-260K von Andrej Karpathy, konvertiert zu INT8 mit Fixed-Point-Arithmetik
- Build-Toolchain: GBDK-2020, verpackt als MBC5 Game Boy ROM
- KV-Cache liegt in Cartridge-SRAM, da GBC-Work-RAM zu klein ist
- Hardware-Setup: Stock GBC + EZ Flash Junior + microSD, kein Zusatzchip
- Großer Teil des Codes wurde mit Codex generiert; Quellcode auf GitHub verfügbar
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com3w
Gemma4 26B läuft flüssig auf CPU-only-System mit 32 GB RAM
- LAUNCHreddit.com23h
260K-Parameter-LLM läuft auf emuliertem 90er-Jahre-CPU im 18 Jahre alten RTOS
- MEINUNGreddit.com5d
Community-Diskussion: Beste kleine Sprachmodelle ohne GPU
- FORSCHUNGarxiv.org1w
CATS: Verteilte Transformer-Inferenz auf Ultra-Low-Power-IoT-Geräten