Kapitsa erreicht 128 tok/s mit Flint 40B auf MacBook Pro M4 Pro
Warum es zählt
Entwickler auf Apple-Silicon-Macs können Flint 40B über eine einfache Brew-Installation mit OpenAI- und Anthropic-kompatibler API lokal betreiben. Bei langen Kontexten (128K) übertrifft Kapitsa llama.cpp um fast das Doppelte; ein KFlash-Tree-Drafter für 1,5× weiteren Speedup wird in Kürze veröffentlicht.
— Lumeric Redaktion
Decode Speed – Short Context (tok/s), M4 Pro 48GB · Spitzenwert
127.9%
Kapitsa 0.1.0
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com3d
Kapitsa: Apple-Silicon-optimierte Open-Source-Inference-Engine für Qwen und Nemotron
- LAUNCHreddit.com2w
Slipstream Engine läuft 95,5-GiB-Qwen3.8-Flash-Next 1,76× schneller als llama.cpp auf Mac
- LAUNCHreddit.com3w
Open-Source Inferenz-Engine optimiert Kernel automatisch für lokale Hardware
Kapitsa erreicht 128 tok/s mit Flint 40B auf MacBook Pro M4 Pro
Warum es zählt
Entwickler auf Apple-Silicon-Macs können Flint 40B über eine einfache Brew-Installation mit OpenAI- und Anthropic-kompatibler API lokal betreiben. Bei langen Kontexten (128K) übertrifft Kapitsa llama.cpp um fast das Doppelte; ein KFlash-Tree-Drafter für 1,5× weiteren Speedup wird in Kürze veröffentlicht.
— Lumeric Redaktion
Decode Speed – Short Context (tok/s), M4 Pro 48GB · Spitzenwert
127.9%
Kapitsa 0.1.0
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com3d
Kapitsa: Apple-Silicon-optimierte Open-Source-Inference-Engine für Qwen und Nemotron
- LAUNCHreddit.com2w
Slipstream Engine läuft 95,5-GiB-Qwen3.8-Flash-Next 1,76× schneller als llama.cpp auf Mac
- LAUNCHreddit.com3w
Open-Source Inferenz-Engine optimiert Kernel automatisch für lokale Hardware