llama.cpp-Fork bringt Legacy-NVIDIA-GPUs (Kepler+) auf über 60 tps
CompaniesNVIDIA
Warum es zählt
Nutzer mit älterer NVIDIA-Hardware (Kepler, Maxwell, Pascal, Volta) können damit aktuelle Quantisierungsmodelle wie Qwen3-35B-A3B in Q8_0 lokal betreiben, ohne neue GPUs zu kaufen. CUDA-Graphs-Support und Windows-NCCL sind als Pull Request in mainline llama.cpp eingereicht.
— Lumeric Redaktion
Generation Speed – Qwen3-35B-A3B Q8_0 auf 4× Tesla K40c · Spitzenwert
0%
Baseline (kein Start möglich)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
llama.cpp-Fork bringt Legacy-NVIDIA-GPUs (Kepler+) auf über 60 tps
CompaniesNVIDIA
Warum es zählt
Nutzer mit älterer NVIDIA-Hardware (Kepler, Maxwell, Pascal, Volta) können damit aktuelle Quantisierungsmodelle wie Qwen3-35B-A3B in Q8_0 lokal betreiben, ohne neue GPUs zu kaufen. CUDA-Graphs-Support und Windows-NCCL sind als Pull Request in mainline llama.cpp eingereicht.
— Lumeric Redaktion
Generation Speed – Qwen3-35B-A3B Q8_0 auf 4× Tesla K40c · Spitzenwert
0%
Baseline (kein Start möglich)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.