GPT-OSS-120B auf Android-Smartphone: 60-GB-Modell mit 11 GB RAM per CPU betrieben
Warum es zählt
Die Open-Source-Bibliothek BigMoeOnEdge ermöglicht es, sehr große MoE-Modelle auf RAM-limitierten Android-Geräten bit-für-bit verlustfrei auszuführen – ohne GPU/NPU, als llama.cpp-Erweiterung via Public API, mit APK-Prebuilt und Apache-2.0-Lizenz.
— Lumeric Redaktion
Inference Speed (tok/s) auf OnePlus 15R, CPU-only · Spitzenwert
1.3%
GPT-OSS-120B (Q4_K_M, default experts)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
GPT-OSS-120B auf Android-Smartphone: 60-GB-Modell mit 11 GB RAM per CPU betrieben
Warum es zählt
Die Open-Source-Bibliothek BigMoeOnEdge ermöglicht es, sehr große MoE-Modelle auf RAM-limitierten Android-Geräten bit-für-bit verlustfrei auszuführen – ohne GPU/NPU, als llama.cpp-Erweiterung via Public API, mit APK-Prebuilt und Apache-2.0-Lizenz.
— Lumeric Redaktion
Inference Speed (tok/s) auf OnePlus 15R, CPU-only · Spitzenwert
1.3%
GPT-OSS-120B (Q4_K_M, default experts)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.