Neue Benchmark-Suite misst Quantisierungs-Qualität in 384 praktischen Tests
Das Projekt adressiert das Transparenz-Problem bei der Auswahl von LLM-Quantisierungen: Zu jeder neuen Modell-Veröffentlichung entstehen sofort über 200 verschiedene Quantisierungen, ohne dass klar ist, welche „good enough" für praktische Aufgaben sind. Der Autor testet deshalb systematisch gegen 6 Benchmark-Suites mit je 64 Tests (Tool-Calls, Instruction Following, Structured Output, Code Correctness, Logic & Reasoning, Vision Reasoning). Bislang wurden 268 Quantisierungen von Modellen wie Qwen 3.5/3.6 und Gemma 4 in verschiedenen Größen evaluiert. Ein Schlüsselergebnis: Qwen 3.6 35B nutzt deutlich mehr Token als Qwen 3.5 35B oder Gemma 4 26B, ohne bessere Ergebnisse zu liefern – was zeigt, dass Modelleffizienz und Token-Sparsamkeit für praktische Anwendungen kritisch sind. Die Tests laufen auf Consumer-Hardware (RTX 5090 über LM Studio), mit Plänen, künftig 50–100 neue Tests pro Woche hinzuzufügen.
- 268 Quantisierungen in Monat 1 getestet, Ziel 50–100 neue Tests pro Woche
- Hardware-Setup: RTX 5090 via LM Studio, Blackwell RTX 6000 für erweiterte Quantisierungen geplant
- Qwen 3.6 35B verbraucht deutlich mehr Token ohne bessere Performance als Qwen 3.5 35B und Gemma 4 26B
- Jede Quantisierung läuft gegen 384 Testfälle in 6 praktischen Bereichen (Tool Calls, Code Correctness, Vision Reasoning etc.)
- Fokus auf Consumer-GPU-Modelle (bis ~32 GB VRAM) zur realitätsnahen Vergleichbarkeit
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Neue Benchmark-Suite misst Quantisierungs-Qualität in 384 praktischen Tests
Das Projekt adressiert das Transparenz-Problem bei der Auswahl von LLM-Quantisierungen: Zu jeder neuen Modell-Veröffentlichung entstehen sofort über 200 verschiedene Quantisierungen, ohne dass klar ist, welche „good enough" für praktische Aufgaben sind. Der Autor testet deshalb systematisch gegen 6 Benchmark-Suites mit je 64 Tests (Tool-Calls, Instruction Following, Structured Output, Code Correctness, Logic & Reasoning, Vision Reasoning). Bislang wurden 268 Quantisierungen von Modellen wie Qwen 3.5/3.6 und Gemma 4 in verschiedenen Größen evaluiert. Ein Schlüsselergebnis: Qwen 3.6 35B nutzt deutlich mehr Token als Qwen 3.5 35B oder Gemma 4 26B, ohne bessere Ergebnisse zu liefern – was zeigt, dass Modelleffizienz und Token-Sparsamkeit für praktische Anwendungen kritisch sind. Die Tests laufen auf Consumer-Hardware (RTX 5090 über LM Studio), mit Plänen, künftig 50–100 neue Tests pro Woche hinzuzufügen.
- 268 Quantisierungen in Monat 1 getestet, Ziel 50–100 neue Tests pro Woche
- Hardware-Setup: RTX 5090 via LM Studio, Blackwell RTX 6000 für erweiterte Quantisierungen geplant
- Qwen 3.6 35B verbraucht deutlich mehr Token ohne bessere Performance als Qwen 3.5 35B und Gemma 4 26B
- Jede Quantisierung läuft gegen 384 Testfälle in 6 praktischen Bereichen (Tool Calls, Code Correctness, Vision Reasoning etc.)
- Fokus auf Consumer-GPU-Modelle (bis ~32 GB VRAM) zur realitätsnahen Vergleichbarkeit
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.