llama.cpp WebGPU erhält Q2_0-Support mit massivem Speed-up
ToolsLlama
Warum es zählt
Durch nativen Q2_0-Support im WebGPU-Backend können quantisierte Modelle direkt im Browser oder per WebGPU deutlich schneller ausgeführt werden — pp512 steigt z.B. von 36 auf über 2000 t/s. Das senkt die Hürde für Browser-seitige Inferenz erheblich.
— Lumeric Redaktion
llama-bench pp512 (WebGPU, Q2_0) · Spitzenwert
36.4%
Bonsai 2 2B – master
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
llama.cpp WebGPU erhält Q2_0-Support mit massivem Speed-up
ToolsLlama
Warum es zählt
Durch nativen Q2_0-Support im WebGPU-Backend können quantisierte Modelle direkt im Browser oder per WebGPU deutlich schneller ausgeführt werden — pp512 steigt z.B. von 36 auf über 2000 t/s. Das senkt die Hürde für Browser-seitige Inferenz erheblich.
— Lumeric Redaktion
llama-bench pp512 (WebGPU, Q2_0) · Spitzenwert
36.4%
Bonsai 2 2B – master
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.