Betelgeuse: Qwen 3.8 Flash Next mit 22 tok/s auf RTX 3060 + 16 GB RAM
Warum es zählt
Durch VRAM-Slot-Pooling, io_uring-Pager und CUDA-Graph-Replay sinken physische SSD-Lesezugriffe von ~312 MiB/Token auf ~12,43 MB/Token. Damit wird ein 68-GB-MoE ohne Qualitätsverlust auf einer 400-€-GPU praxistauglich – relevant für alle, die große MoE-Modelle lokal betreiben wollen.
— Lumeric Redaktion
Decode-Throughput (68GB MoE, RTX 3060 12GB + 16GB DDR4) · Spitzenwert
1.47%
Stock llama.cpp (mmap)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Betelgeuse: Qwen 3.8 Flash Next mit 22 tok/s auf RTX 3060 + 16 GB RAM
Warum es zählt
Durch VRAM-Slot-Pooling, io_uring-Pager und CUDA-Graph-Replay sinken physische SSD-Lesezugriffe von ~312 MiB/Token auf ~12,43 MB/Token. Damit wird ein 68-GB-MoE ohne Qualitätsverlust auf einer 400-€-GPU praxistauglich – relevant für alle, die große MoE-Modelle lokal betreiben wollen.
— Lumeric Redaktion
Decode-Throughput (68GB MoE, RTX 3060 12GB + 16GB DDR4) · Spitzenwert
1.47%
Stock llama.cpp (mmap)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.