Laguna-S-2.1 vs Qwen3.5-122B: Schnellstes 100B+-Modell mit Tool-Calling-Vorsprung, aber Halluzinationsproblem
Laguna-S-2.1 ist ein 118-Milliarden-Parameter-Modell von Poolside, das laut eigenem Blog auf dem Pretraining-Korpus des kleineren 33B-Modells aufbaut – die 118B-Stufe bringt vor allem Coding-Spezialisierung, keine Wissensbreite. Der Tester betreibt ein eigenes Eval-Harness, das ursprünglich für Qwen-Modelle entwickelt wurde; Nicht-Qwen-Scores gelten darin als Untergrenze. Die Testumgebung ist eine einzelne RTX Pro 6000 Blackwell (96 GB) mit vLLM 0.25.1, das Laguna nativ ohne Patches unterstützt. Als Quantisierung kommt offizielles NVFP4 mit FP8-KV-Cache zum Einsatz; die Gewichte belegen rund 67 GB. Besonders auffällig im Eval: Laguna erreicht bei 6-stufigen Tool-Chains die größte Tiefe, die der Autor je lokal gemessen hat – Qwen3.5-122B kommt nur auf 4 Stufen. Die drei bestätigten Halluzinationen betreffen konkrete Domänen: ein erfundener P&L-Wert für ein Markt ohne Datenbasis sowie zwei Status-Updates mit nicht existenten Pferdenamen, darunter „Genuine Risk" (echter Derby-Sieger von 1980) mit 1000-fach überhöhter Positionsgröße. Für konkurrierende Nutzung (≥4 parallele Streams) empfiehlt der Autor, das dflash-Speculative-Decoding abzuschalten, da abgelehnte Entwürfe den Batch-Durchsatz von 268 auf 198 Token/s senken.
- Laguna-S-2.1 läuft nativ in vLLM 0.25.1 (NVFP4 + FP8-KV, 262.144 Token Kontext, ~67 GB Gewichte, 0.90 KV-Util).
- dflash-Speculative-Decoding steigert den Durchsatz bei Code von 109 auf 271 tok/s, bringt bei Prosa kaum Gewinn (~117 tok/s) und ist bei ≥4 parallelen Streams kontraproduktiv.
- JSON/Streaming/Envelope-Fehlerrate: 0 über alle Probes; Laguna erholt sich nach Tool-Validierungsfehlern beim ersten Retry.
- Bei max_tokens 2048 verbraucht das Modell das gesamte Budget im Thinking-Modus und gibt leere Antworten zurück; bei 8k steigt der Schema-Score von 0.40 auf 0.79.
- Kein Vision-Support – für den Tester war Laguna daher von Anfang an kein Kandidat als täglicher Treiber.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Laguna-S-2.1 vs Qwen3.5-122B: Schnellstes 100B+-Modell mit Tool-Calling-Vorsprung, aber Halluzinationsproblem
Laguna-S-2.1 ist ein 118-Milliarden-Parameter-Modell von Poolside, das laut eigenem Blog auf dem Pretraining-Korpus des kleineren 33B-Modells aufbaut – die 118B-Stufe bringt vor allem Coding-Spezialisierung, keine Wissensbreite. Der Tester betreibt ein eigenes Eval-Harness, das ursprünglich für Qwen-Modelle entwickelt wurde; Nicht-Qwen-Scores gelten darin als Untergrenze. Die Testumgebung ist eine einzelne RTX Pro 6000 Blackwell (96 GB) mit vLLM 0.25.1, das Laguna nativ ohne Patches unterstützt. Als Quantisierung kommt offizielles NVFP4 mit FP8-KV-Cache zum Einsatz; die Gewichte belegen rund 67 GB. Besonders auffällig im Eval: Laguna erreicht bei 6-stufigen Tool-Chains die größte Tiefe, die der Autor je lokal gemessen hat – Qwen3.5-122B kommt nur auf 4 Stufen. Die drei bestätigten Halluzinationen betreffen konkrete Domänen: ein erfundener P&L-Wert für ein Markt ohne Datenbasis sowie zwei Status-Updates mit nicht existenten Pferdenamen, darunter „Genuine Risk" (echter Derby-Sieger von 1980) mit 1000-fach überhöhter Positionsgröße. Für konkurrierende Nutzung (≥4 parallele Streams) empfiehlt der Autor, das dflash-Speculative-Decoding abzuschalten, da abgelehnte Entwürfe den Batch-Durchsatz von 268 auf 198 Token/s senken.
- Laguna-S-2.1 läuft nativ in vLLM 0.25.1 (NVFP4 + FP8-KV, 262.144 Token Kontext, ~67 GB Gewichte, 0.90 KV-Util).
- dflash-Speculative-Decoding steigert den Durchsatz bei Code von 109 auf 271 tok/s, bringt bei Prosa kaum Gewinn (~117 tok/s) und ist bei ≥4 parallelen Streams kontraproduktiv.
- JSON/Streaming/Envelope-Fehlerrate: 0 über alle Probes; Laguna erholt sich nach Tool-Validierungsfehlern beim ersten Retry.
- Bei max_tokens 2048 verbraucht das Modell das gesamte Budget im Thinking-Modus und gibt leere Antworten zurück; bei 8k steigt der Schema-Score von 0.40 auf 0.79.
- Kein Vision-Support – für den Tester war Laguna daher von Anfang an kein Kandidat als täglicher Treiber.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.