Linux-Einsteiger fragt nach llama.cpp-Kompilierung mit CUDA-Support
Ein Reddit-Nutzer (/u/Spiderboyz1) wechselt von Windows auf CachyOS (Arch-basiert) und möchte llama.cpp erstmals selbst kompilieren, statt wie bisher vorgefertigte Binaries (z. B. Build „b9979") zu nutzen. Sein System verfügt über eine ungewöhnlich starke GPU-Konfiguration: eine GeForce RTX 4070 Super als Haupt-GPU sowie drei RTX 3090 als Zusatzkarten, ergänzt durch einen Ryzen 9700X und 96 GB RAM. Er fragt, ob die von ihm zusammengestellten cmake-Schritte – Clone des ggerganov/llama.cpp-Repos, Build-Konfiguration mit -DGGML_CUDA=ON und parallelem Build via -j$(nproc) – korrekt sind, und ob er das NVIDIA CUDA Toolkit vorab installieren muss. Der Post richtet sich an die Community für Feedback, ist aber selbst keine Anleitung. Für Nutzer mit ähnlichem Setup relevant: CUDA Toolkit muss vor dem cmake-Schritt installiert sein; ohne es erkennt das Build-System die CUDA-Option nicht. Das Kompilieren aus dem Quellcode bietet gegenüber Prebuilds Vorteile bei der Anpassung an spezifische GPU-Generationen (sm_89 für 4070S, sm_86 für 3090).
- Nutzer betreibt CachyOS (Arch-Derivat) mit 1× RTX 4070 Super + 3× RTX 3090 und Ryzen 9700X
- Unter Windows wurden vorgefertigte Binaries (Build-Tag b9979) verwendet — kein eigenes Kompilieren
- Geplante Build-Flags: cmake -B build -DGGML_CUDA=ON und cmake --build build --config Release -j$(nproc)
- Frage: Ob NVIDIA CUDA Toolkit vor dem Kompilieren installiert werden muss
- Alternativer Ansatz: Weiterhin Precompiled-Binaries wie unter Windows nutzen
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Linux-Einsteiger fragt nach llama.cpp-Kompilierung mit CUDA-Support
Ein Reddit-Nutzer (/u/Spiderboyz1) wechselt von Windows auf CachyOS (Arch-basiert) und möchte llama.cpp erstmals selbst kompilieren, statt wie bisher vorgefertigte Binaries (z. B. Build „b9979") zu nutzen. Sein System verfügt über eine ungewöhnlich starke GPU-Konfiguration: eine GeForce RTX 4070 Super als Haupt-GPU sowie drei RTX 3090 als Zusatzkarten, ergänzt durch einen Ryzen 9700X und 96 GB RAM. Er fragt, ob die von ihm zusammengestellten cmake-Schritte – Clone des ggerganov/llama.cpp-Repos, Build-Konfiguration mit -DGGML_CUDA=ON und parallelem Build via -j$(nproc) – korrekt sind, und ob er das NVIDIA CUDA Toolkit vorab installieren muss. Der Post richtet sich an die Community für Feedback, ist aber selbst keine Anleitung. Für Nutzer mit ähnlichem Setup relevant: CUDA Toolkit muss vor dem cmake-Schritt installiert sein; ohne es erkennt das Build-System die CUDA-Option nicht. Das Kompilieren aus dem Quellcode bietet gegenüber Prebuilds Vorteile bei der Anpassung an spezifische GPU-Generationen (sm_89 für 4070S, sm_86 für 3090).
- Nutzer betreibt CachyOS (Arch-Derivat) mit 1× RTX 4070 Super + 3× RTX 3090 und Ryzen 9700X
- Unter Windows wurden vorgefertigte Binaries (Build-Tag b9979) verwendet — kein eigenes Kompilieren
- Geplante Build-Flags: cmake -B build -DGGML_CUDA=ON und cmake --build build --config Release -j$(nproc)
- Frage: Ob NVIDIA CUDA Toolkit vor dem Kompilieren installiert werden muss
- Alternativer Ansatz: Weiterhin Precompiled-Binaries wie unter Windows nutzen
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.