Kein Speed-Unterschied zwischen Windows 11 und Linux bei llama.cpp mit MoE-Modellen
Ein Nutzer auf r/LocalLLaMA hat einen praxisnahen Vergleich zwischen Windows 11 und Ubuntu 26.04 (KDE, GNOME, Xfce) mit llama.cpp durchgeführt – und dabei den verbreiteten Glauben entkräftet, Linux sei bei lokalen LLMs spürbar schneller. Getestet wurden Qwen 3.5 122B Q8, Qwen 3.5 397B iq4_xs und MiniMax 2.7 Q5 auf einem System mit Core Ultra 7 265KF, 192 GB DDR5-RAM und drei Nvidia-GPUs (RTX 5080 + 2× RTX 5060 Ti, je 16 GB). Bei Qwen 3.5 397B ergaben sich PP 140 / TG 16 unter Windows gegenüber PP 150 / TG 15,2 unter Linux – praktisch gleichauf. Deutlich schlechter schnitt WSL ab: PP 110 / TG 13,5, also rund 15–20 % weniger Durchsatz. Die Tests umfassten Prompt-Verarbeitungen von 8k bis 85k Tokens (Zusammenfassungen, Buchübersetzung, Java-Code-Analyse). Das gesamte Setup inkl. llama.cpp-Startparameter ist im Beitrag dokumentiert und reproduzierbar. Der Leistungsaufnahme des 397B-Modells lag dabei laut Messgerät bei nur 550–600 Watt aus der Steckdose.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com3w
llama.cpp: RTX 5090 schneller als H100 bei 31B-Modell-Inferenz
- MEINUNGreddit.com1w
Reddit-Diskussion: Ubuntu als Linux-Distro für lokale AI-Tools
- BENCHMARKreddit.com15h
Llama.cpp auf CPU schlägt iGPU-Backends im Mini-PC-Homelab-Test
- MEINUNGreddit.com3w
Multi-Machine-Setup für lokale LLMs: Nutzer fragt nach verteilter Inferenz
Kein Speed-Unterschied zwischen Windows 11 und Linux bei llama.cpp mit MoE-Modellen
Ein Nutzer auf r/LocalLLaMA hat einen praxisnahen Vergleich zwischen Windows 11 und Ubuntu 26.04 (KDE, GNOME, Xfce) mit llama.cpp durchgeführt – und dabei den verbreiteten Glauben entkräftet, Linux sei bei lokalen LLMs spürbar schneller. Getestet wurden Qwen 3.5 122B Q8, Qwen 3.5 397B iq4_xs und MiniMax 2.7 Q5 auf einem System mit Core Ultra 7 265KF, 192 GB DDR5-RAM und drei Nvidia-GPUs (RTX 5080 + 2× RTX 5060 Ti, je 16 GB). Bei Qwen 3.5 397B ergaben sich PP 140 / TG 16 unter Windows gegenüber PP 150 / TG 15,2 unter Linux – praktisch gleichauf. Deutlich schlechter schnitt WSL ab: PP 110 / TG 13,5, also rund 15–20 % weniger Durchsatz. Die Tests umfassten Prompt-Verarbeitungen von 8k bis 85k Tokens (Zusammenfassungen, Buchübersetzung, Java-Code-Analyse). Das gesamte Setup inkl. llama.cpp-Startparameter ist im Beitrag dokumentiert und reproduzierbar. Der Leistungsaufnahme des 397B-Modells lag dabei laut Messgerät bei nur 550–600 Watt aus der Steckdose.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com3w
llama.cpp: RTX 5090 schneller als H100 bei 31B-Modell-Inferenz
- MEINUNGreddit.com1w
Reddit-Diskussion: Ubuntu als Linux-Distro für lokale AI-Tools
- BENCHMARKreddit.com15h
Llama.cpp auf CPU schlägt iGPU-Backends im Mini-PC-Homelab-Test
- MEINUNGreddit.com3w
Multi-Machine-Setup für lokale LLMs: Nutzer fragt nach verteilter Inferenz