Geezuz-Kernel: Qwen3-27B mit 190 tok/s auf zwei RTX 3090 ohne NVLink
CompaniesOpenAI
Warum es zählt
Für Entwickler mit Consumer-Hardware ermöglicht der Kernel 1,6–2× den Durchsatz von llama.cpp auf identischer Hardware (2× RTX 3090, plain PCIe). Mit OpenAI-kompatiblem Server, Prefix-Cache und vorgefertigten Binaries für RTX-30-Karten ist der Einstieg direkt möglich; vLLM liegt bei 8 parallelen Requests noch ~15 % vorne.
— Lumeric Redaktion
Inference Throughput (10K Context, 8 Requests, tok/s total) · Spitzenwert
550%
Geezuz Q4_K_M
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Geezuz-Kernel: Qwen3-27B mit 190 tok/s auf zwei RTX 3090 ohne NVLink
CompaniesOpenAI
Warum es zählt
Für Entwickler mit Consumer-Hardware ermöglicht der Kernel 1,6–2× den Durchsatz von llama.cpp auf identischer Hardware (2× RTX 3090, plain PCIe). Mit OpenAI-kompatiblem Server, Prefix-Cache und vorgefertigten Binaries für RTX-30-Karten ist der Einstieg direkt möglich; vLLM liegt bei 8 parallelen Requests noch ~15 % vorne.
— Lumeric Redaktion
Inference Throughput (10K Context, 8 Requests, tok/s total) · Spitzenwert
550%
Geezuz Q4_K_M
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.