Mismatched-GPU-Setup: RTX 5070 Ti + 3070 für lokale LLMs kombiniert
Warum es zählt
Zeigt, dass llama.cpp/Ollama mismatched GPU-Paare mit Layer-Splitting praktisch out-of-the-box unterstützt – auch über x1-PCIe-Riser. Wer eine alte GPU übrig hat, kann VRAM günstig erweitern, muss aber RAM-Spillover und Split-Ratio manuell optimieren.
— Lumeric Redaktion
82 tok/s
Qwen 3.6 35B-A3B bei 16k Kontext
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Mismatched-GPU-Setup: RTX 5070 Ti + 3070 für lokale LLMs kombiniert
Warum es zählt
Zeigt, dass llama.cpp/Ollama mismatched GPU-Paare mit Layer-Splitting praktisch out-of-the-box unterstützt – auch über x1-PCIe-Riser. Wer eine alte GPU übrig hat, kann VRAM günstig erweitern, muss aber RAM-Spillover und Split-Ratio manuell optimieren.
— Lumeric Redaktion
82 tok/s
Qwen 3.6 35B-A3B bei 16k Kontext
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.