Tensor Split über PCIe 3.0 x1: +77% Token/s mit llama.cpp und Dual-GPU
CompaniesNVIDIA
Warum es zählt
Wer lokal mit zwei GPUs inferiert, muss dafür nicht zwingend das Mainboard tauschen: Tensor Splitting benötigt während der Generierung kaum PCIe-Bandbreite (90–110 MB/s statt ~985 MB/s verfügbar). Lediglich das Laden des Modells ist über x1 langsamer.
— Lumeric Redaktion
llama.cpp Token-Generierung (L3.1 Nemotron Sunfall 71B IQ3_XS, 2k Context) · Spitzenwert
11.7%
Layer Split
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Tensor Split über PCIe 3.0 x1: +77% Token/s mit llama.cpp und Dual-GPU
CompaniesNVIDIA
Warum es zählt
Wer lokal mit zwei GPUs inferiert, muss dafür nicht zwingend das Mainboard tauschen: Tensor Splitting benötigt während der Generierung kaum PCIe-Bandbreite (90–110 MB/s statt ~985 MB/s verfügbar). Lediglich das Laden des Modells ist über x1 langsamer.
— Lumeric Redaktion
llama.cpp Token-Generierung (L3.1 Nemotron Sunfall 71B IQ3_XS, 2k Context) · Spitzenwert
11.7%
Layer Split
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.