GitLab-Review-Agent mit Qwen3.6-35B auf 2× RTX 4090 via sglang
CompaniesGroq
Warum es zählt
Decode-Throughput von ~985 tok/s bei 8 parallelen Requests und 9–10k tok/s Prefill zeigt, dass anspruchsvolle Code-Review-Workflows auf Consumer-Hardware (kein NVLink) produktionstauglich laufen. Bekannte Schwachstelle: Repetitions-Loops beenden noch 7 % der Runs vorzeitig.
— Lumeric Redaktion
985 tok/s
Gesamt-Throughput bei 8 parallelen Requests
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
GitLab-Review-Agent mit Qwen3.6-35B auf 2× RTX 4090 via sglang
CompaniesGroq
Warum es zählt
Decode-Throughput von ~985 tok/s bei 8 parallelen Requests und 9–10k tok/s Prefill zeigt, dass anspruchsvolle Code-Review-Workflows auf Consumer-Hardware (kein NVLink) produktionstauglich laufen. Bekannte Schwachstelle: Repetitions-Loops beenden noch 7 % der Runs vorzeitig.
— Lumeric Redaktion
985 tok/s
Gesamt-Throughput bei 8 parallelen Requests
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.