Qwen — September 2026

Victoria kombiniert MoE-Pruning (512→288 Experten/Layer) mit NVFP4-Nachtraining und einem Draft-Head für 2× höheren Durchsatz – ein praxisnaher Ansatz für effizientes lokales Inference. Maple zeigt, wie Domain-Fine-Tuning (länderspezifisch) die Korrektheit von Behördenantworten von 6,6% auf 21,8% treiben kann.

Für lokale Deployments auf Apple Silicon zeigt der Test, dass ein knapp geführtes Chat-Template mit „be brief"-Instruktion die Effizienz und Trefferquote spürbar steigern kann – relevant für Nutzer, die 27B-Modelle unter 32 GB RAM betreiben.

Die Frage zeigt, dass lokales Inference für Vielnutzer je nach Strompreis und Modellgröße durchaus mit API-Kosten konkurrieren kann – besonders wenn schnelle Modelle wie Flash-Varianten mehr Token pro Sekunde liefern und damit die Nutzungszeit sinkt.

Bei 200K Kontext prefilled Qwen in 47s vs. 455s für Laguna – ein 9,7-facher Vorteil durch MTP und lineares Attention-Verhalten. Decode-seitig liefert Qwen 59–74 tok/s stabil, Laguna bricht auf 34 tok/s ein. Qualität war gleichauf (4/4), weshalb Qwen für Long-Context-Inferenz auf Apple Silicon klar zu bevorzugen ist.

Konkreter Mehrwert ohne Volltext nicht beurteilbar. Das Modell adressiert offenbar steuerbare Reasoning-Tiefe für Coding-Agenten, was Effizienz bei agentic Workflows verbessern könnte.

AI-Builder können mit handelsüblicher Consumer-Hardware (Strix Halo + R9700) eine Inferenzleistung erreichen, die dedizierte Workstation-Systeme wie den DGX Spark übertrifft – bei deutlich geringeren Kosten. Der MIT-lizenzierte Code läuft mit Standard-Quants (Qwen, GLM) und erfordert keine proprietären Formate.

Die Pipeline zeigt, dass anspruchsvolle multimodale Videoproduktion (Bildgenerierung, Motion, Lip-Sync, KI-Regie) heute vollständig lokal auf Consumer-Hardware möglich ist. Der vollständige Open-Source-Code ist verfügbar.

Für GPU-arme Entwickler mit begrenztem VRAM ist die Qualität stark komprimierter IQ3-Quants entscheidend. Der Post zeigt reales Nutzerinteresse an Strata als Inferenz-Engine für lokale Coding-Agenten, liefert aber selbst keine Benchmark-Daten.

Zeigt den wachsenden Bedarf an praxisnahen Fine-Tuning-Guides für neuere Techniken. Wer selbst Fine-Tuning-Workflows aufbaut, findet in der r/LocalLLaMA-Diskussion möglicherweise Community-Empfehlungen zu Ressourcen und Hyperparameter-Entscheidungen (z.B. LoRA-Rank, CPT vs. SFT).

Das Backend läuft auf Consumer-Hardware (AMD RDNA 3 iGPU) und hält einen strengen Fehlergrenzwert von 2e-7 ein – mit besten AdamW-Parameterfehlern von 2,6e-8. Für AI-Builder bedeutet das: HF-kompatible LoRA-Adapter lassen sich ohne CUDA-Hardware trainieren und ins PEFT-Ökosystem exportieren.

Für AI-Builder bedeutet das: Ein Mac Mini M5 Pro kann als Inferenzserver für 27B-Modelle mit einer RTX 3090 Ti (50–70 tok/s) mithalten – bei deutlich geringerem Stromverbrauch und kompaktem Formfaktor. Einziger Nachteil bleibt die ca. 4× langsamere Prefill-Phase der Apple-Hardware.

Ein 26-minütiges Meeting wird auf M4 Max in 33 Sekunden zu fertigen Notizen verarbeitet (~85 tok/s). Die Speaker-Fehlerrate (DER) sank von 43,4 % auf 14,6 %, Autocomplete-Latenz von 1,83 s auf 0,49 s – relevant für Entwickler, die vollständig lokale Meeting-Pipelines aufbauen wollen.

Das Modell überträgt auf Coding- und ML-Aufgaben trainiertes Selbstverbesserungsverhalten auf Deep-Research-Tasks – ohne zusätzliche Suchtrajectories. Für Agent-Pipelines relevant, da Feedback-Loops (Logs, Fehler, Scores) direkt genutzt werden.

Für AI-Builder mit strengen Datenschutzanforderungen sind nicht nur das Modell-Runtime, sondern auch Ingestion-, Eval- und Tracing-Komponenten zu lokalisieren – empfohlen werden lokale Parser (z.B. LiteParse), Self-hosted Judge-Modelle und lokale Tracing-Lösungen statt SaaS.

Strata ermöglicht Frontier-Modelle lokal auf Consumer-Laptops mit 12 GB VRAM und 64 GB RAM mit deutlich höherem Durchsatz als llama.cpp-Forks. Derzeit nur für ISTA-DASLab-GGUFs und Nvidia-GPUs verfügbar; AMD-Support ist experimentell.

Wer eigene Modelle per SFT spezialisieren will, erhält ein schlüsselfertiges Pipeline-Tool ohne eigene Infrastruktur für Datengenerierung. Besonders nützlich für agentic Fine-Tuning (Tool Calls, Debugging etc.) mit frei wählbarem Teacher-Modell.

Wer Audio-Modelle entwickelt oder auswählt, kommt an Qwen kaum vorbei – die Architektur hat sich als De-facto-Standard über mehrere Audio-Aufgaben hinweg etabliert. Finetuning- und Integrationsaufwand lässt sich durch diesen gemeinsamen Backbone potenziell bündeln.

Post-Training führt zu homogeneren Outputs – beim gleichen Prompt liefern Modelle zunehmend Variationen desselben Witzes. Wer Kreativität oder Diversität im Output benötigt, sollte Personas oder gezielte Sampling-Strategien einsetzen, da Chain-of-Thought-Planung die Vielfalt sogar weiter senkt.

Für lokale Deployments auf APU-Hardware (Strix Halo) zeigt sich, dass kleinere spezialisierte Modelle wie GLM 4.7 Flash bei Tool-Calling kompetitiveren Modellen überlegen sein können. Wer ähnliche Setups betreibt, sollte GLM-Alternativen nicht vorschnell verwerfen.

Für AI-Builder relevant: Der Post zeigt die Praxisgrenze kommerzieller Modelle bei technischen aber harmlosen Security/RE-Tasks. Lokale, unzensierte Modelle (z.B. Qwen2.5-Coder, DeepSeek-Coder) auf Consumer-Hardware sind hier die gefragte Alternative.

Der Ansatz könnte Cloud-Kosten und Tokenlimits reduzieren, indem teure Modelle nur für Reasoning und Review genutzt werden. Ob Qualität erhalten bleibt und der Orchestrierungsaufwand den Nutzen rechtfertigt, ist noch offen – die Community-Diskussion liefert praktische Erfahrungswerte.

Das Setup belegt, dass 27B-Modelle mit 100K-Kontext auf Consumer-AMD-GPUs mit 16 GB VRAM praktisch nutzbar sind. Die kombinierten Flags (ctx-checkpoints, q8/q5 KV-Cache, kein unified KV) sind direkt für eigene llama.cpp-Deployments übertragbar.

Für AI-Builder agentischer Workflows ist die Frage relevant, ob MoE-Architekturen (wenige aktive Parameter, hohe Gesamtparameter) echte Latenz- und Qualitätsvorteile gegenüber dichten Modellen bieten – insbesondere bei LoRA-Fine-Tuning auf 4 GPUs und parallelen Inferenz-Loops im B2C-Betrieb.

Der Coder-Build reduziert den aktiven Arbeitsspeicher eines 176,9B-Modells auf 29,6 GB – Single-GPU-fähig auf 32 GB. Bei LiveCodeBench v6 werden dabei 98,7% der BF16-Leistung beibehalten, was Expert-Pruning als praktikable Deployment-Strategie für große MoE-Modelle etabliert.

Opus 5.5 übertrifft laut Community den $200-Claude-Code-Plan gegenüber Codex und erzeugt komplexe Motion-Design-Videos per Prompt – inkl. eigenem Klavierstück. Bei xhigh-Effort ist die Performance besser als bei max, da max ein Mindest-Reasoning-Budget erzwingt.

Zeigt, dass Ollama als einfachster Einstieg für große Modelle auf Consumer-GPUs unter Windows gilt, aber bei Tool-Integration noch Stabilitätsprobleme auftreten. Alternativen wie llama.cpp oder vllm erfordern mehr Setup-Aufwand und teils WSL-Kenntnisse.

Wer Qwen3.6-35B-A3B für Coding-Agenten einsetzt, fährt mit dem Base-Modell am besten. Occamy-1.0 ist die einzige sinnvolle Finetune-Alternative – vor allem bei Token-Budget-Beschränkungen. Tiel, Ornith, KAT und Nex sind bei Coding-Accuracy deutlich schlechter.

Für lokale Inferenz auf Consumer-Hardware zeigt das Setup, dass Token-Effizienz durch Finetuning (weniger Output-Tokens) den Geschwindigkeitsgewinn stärker treibt als rohe TPS. Qwen 27B mit 150k Kontext auf einer RTX 3090 24 GB wird damit praktisch nutzbar.

Laut dem Beitrag holen lokale Modelle wie Qwen-Next 3.8 bei komplexen Coding-Aufgaben zu führenden Cloud-Modellen auf – relevant für Teams, die auf lokale Inferenz ohne API-Kosten setzen wollen. Konkrete Benchmark-Zahlen fehlen jedoch; der Bericht basiert auf persönlicher Einschätzung.

Kleine 0.8B/2B-Modelle können als schnelle Entscheidungskomponente direkt in Anwendungen eingebettet werden – bis zu 50 Entscheidungen/Sekunde lokal, ohne Cloud-API. Apache-2.0-Lizenz und Jev-kompatibler API ermöglichen direkten Drop-in-Einsatz oder LoRA-Finetuning für nahezu 100% Genauigkeit in domänenspezifischen Tasks.

Durch MTP-Draft-Head, reduziertes Draft-Vokabular (248K→65K), W4A16-Quant und GB10-optimierte GEMMs sinkt die Decode-Schrittzeit von 68,3 ms auf 52,3 ms – direkt anwendbar auf andere MTP- und Speculative-Decoding-Setups. Vollständiger Code und Benchmarkdaten sind öffentlich verfügbar.

Qwen 3.8 27B eignet sich laut Praxisbericht gut als lokaler Subagent in Multi-Agent-Pipelines. Die Kombination mit DeepSeek v4.1 Flash als Orchestrator zeigt, wie quantisierte Modelle in llama.cpp produktiv eingesetzt werden können.

Wenn Dense-zu-MoE-Konvertierung verlustfrei möglich wird, könnten bestehende Modelle mit deutlich geringeren Inferenzkosten bei gleicher Qualität betrieben werden – ohne vollständiges Neutraining. Architektonische Hürden und Trainingsdaten bleiben laut Post offene Probleme.

ImaJev-4B zeigt, dass spezialisierte 4B-Modelle über LoRA + task-specific Head auf engen Domänen (Business-Entscheidungslogik, Text + Bilder) größere Generalisten schlagen können – bei deutlich niedrigeren Inferenzkosten und lokaler Ausführbarkeit auf Mac/Single-GPU. Trainingskosten: ~1.200 USD.

Wer eigene Klassifikations-Pipelines ohne teure Inferenz-Loops bauen will, kann damit einen kompakten Qwen-LLM direkt für Single-Pass-Klassifikation adaptieren – geringere Latenz und Ressourcenbedarf im Vergleich zu generativen Ansätzen.

Für lokale Coding-Workflows auf High-End-Consumer-Hardware zeigt die Diskussion, dass die Lücke zwischen schnellen 27B-Modellen und größeren Flash-Modellen praktisch spürbar ist. Ein Hybridansatz (großes Modell für Planung, kleines für Implementierung) wird als pragmatische Alternative diskutiert.

Model-Merging kann bei lokalen LLMs Inference-Kosten und Latenz senken, ohne aufwendiges Fine-tuning. Konkreter Mehrwert ohne Volltext nicht vollständig beurteilbar.

VeriLoop E2 übertraf im informellen Praxistest beide Qwen-3.8-27B-Quants trotz gleicher Quantisierungsstufe – relevant für Local-LLM-Nutzer, die 27B-Modelle für Code- und Web-Generierung einsetzen. Eine GGUF-Quant ist bereits auf HuggingFace verfügbar.

Zwei lokale Computer-Use-Modelle mit GGUF-Support ermöglichen PC-Automatisierung ohne Cloud-Anbindung. Die MoE-Variante (35B-A3B) bietet dabei bei großem Gesamtgewicht nur 3B aktive Parameter – potenziell effizient auf Consumer-Hardware.

Wer Qwen 3.8 Flash Next lokal auf Strix-Halo-Hardware betreibt, kann mit Gufo laut Nutzerbericht ~1239 tok/s beim Encoding erreichen – etwa doppelt so schnell wie mit llama.cpp-Forks, besonders bei hohem Kontext. Die Modellunterstützung ist aktuell noch begrenzt.

Lokale, unzensierte LLMs senken die Hürde für Malware-Entwicklung erheblich: Cloud-Guardrails greifen nicht, und das Modell liefert direkt einsetzbare Exploits für Credential-Harvesting. Red-Teams und Verteidiger müssen damit rechnen, dass ähnliche Techniken in realen Angriffen auftauchen.

Wer Inferenz-Performance für ein einzelnes Modell (z.B. Qwen3 oder DeepSeek) maximieren will, könnte durch architekturspezifische llama.cpp-Builds laut Schätzung mehr als 2× Speedup erzielen – relevant für lokale Deployments mit begrenzter Hardware.

Zeigt, dass gebrauchte Mining-Hardware als günstiger VRAM-Pool für große lokale Modelle nutzbar ist. 71 GB VRAM für unter 800 USD ermöglicht Quantisierungen großer Coder-Modelle mit praxistauglichen Geschwindigkeiten, trotz hohem Stromverbrauch und Netzwerk-Overhead.

Das Leaderboard auf HuggingFace Spaces bietet AI-Buildern einen schnellen Überblick über die besten Open-Source-Optionen für Zero-Shot-Klassifikation. Winnow-12 liefert als quantisiertes Modell (Q8) konkurrenzfähige Ergebnisse mit sehr niedriger Latenz und eignet sich für produktive Deployments.

Für lokale LLM-Agenten zählt vor allem VRAM-Gesamtmenge und System-RAM-Kapazität, nicht RAM-Geschwindigkeit oder CPU-Generation. Günstige Legacy-Workstations mit zwei GPUs können moderne Mid-Range-Gaming-PCs bei Inferenz-Tasks klar outperformen.

Entwickler können Open-Source-Modelle ohne Kalibrierungsdaten sofort nach Release quantisieren und via Docker/vLLM deployen. Die Methode soll kalibrierungsbasierte Verfahren in der Praxis nahezu einholen, was den Quantisierungs-Workflow erheblich vereinfacht.

Ohne öffentliche Gewichte oder offizielle Ankündigung ist der praktische Nutzen aktuell nicht beurteilbar. AI-Builder sollten die Docs-Seite im Blick behalten, da ein Open-Weights-Release noch aussteht.

Das Setup zeigt, wie weit Agentic Gaming ohne Bildverarbeitung reicht: MCP-gestützter Game-Control-Loop läuft lokal oder in der Cloud und benötigt >50 Token/Sek. für brauchbare Performance – relevant für Entwickler, die komplexe Langzeit-Agenten-Szenarien testen wollen.

Das Modell ermöglicht es, einen 27B-Multimodal-Agenten mit vollem 262k-Kontext auf 32 GB VRAM zu betreiben – bisher erforderten nvfp4-Varianten mehr VRAM oder mussten den Kontext auf 160k kürzen. Tradeoffs sind noch ungeklärt.

Ein lokal laufender 27B-Quant auf einer RTX 3090 (67 t/s) löste eine Aufgabe, die ein Frontier-Cloud-Modell nicht bewältigen konnte – relevant für Entwickler, die günstige Hardware für Coding-Tasks einsetzen und dabei auf Low-Thinking-Inferenz setzen.

Die Optimierungen sind in einem öffentlichen Fork gemergt und ermöglichen es, Qwen3-27B (Q6_K) auf Consumer-Hardware der P100-Ära für ~80 $ performant zu betreiben – relevant für Budget-Local-LLM-Setups mit bis zu 260k Kontext.

Für Local-LLM-Builder zeigt der Erfahrungsbericht, dass quantisierte Flash-Varianten auf Apple-Silicon nicht automatisch die bessere Wahl sind – die dense Variante kann bei ausreichend RAM überlegen sein.

Der Test zeigt qualitative Unterschiede zwischen aktuellen Frontier-Modellen bei kreativer HTML/CSS/JS-Codegenerierung. Konkrete Bewertungskriterien oder Scores fehlen – die Ergebnisse sind als Videos subjektiv einzuschätzen.

Höhere Token-Geschwindigkeit garantiert keine kürzere Gesamtlaufzeit: Flash Next generierte offenbar weit mehr Tokens (z.B. durch ausgedehnte Test-Schleifen), was bei Agent-Workflows zu drastisch längeren Laufzeiten führen kann. AI-Builder sollten bei Coding-Agenten auf Ausgabelänge und Abbruchbedingungen achten.

Viele lokale Modelle wurden auf Anthropic-Outputs destilliert, was ihren Kommunikationsstil prägt. Für Entwickler, die Ton und Persönlichkeit ihrer Modelle kontrollieren wollen, ist die Wahl des Basis- oder Fine-Tune-Modells ein realer Einflussfaktor.

Frontier-Modelle können bei Hardware-Empfehlungen für Budget-Setups stark danebenliegen. Für lokale Inference lohnt sich die P100 mit llama.cpp-Patches (shinbunbun) trotz fehlender moderner Features – besonders für Nutzer, die günstig GPU-VRAM maximieren wollen.

Ein 125B-MoE-Modell mit brauchbarer Geschwindigkeit lokal auf einem 32-GB-M1-Max zu betreiben, ist praktisch relevant für Entwickler ohne Cloud-Zugang. Das Custom-Benchmark-Ergebnis (84,3 %) liegt dabei über Claude Opus 4.8 xhigh (80,3 %) und Claude Sonnet-Modellen.

Zwei RTX 5090 übertreffen drei RTX 3090 bei lokaler LLM-Inferenz – NVFP4 und Speculative Decoding in llama.cpp (b11216) verstärken den Speedup zusätzlich. Relevant für Homelab-Betreiber, die GPU-Setups für 27B-Modelle optimieren.

Die Technik ist ohne Finetuning sofort anwendbar: Einfache llama.cpp-Flags reduzieren Overthinking in Reasoning-Modellen und steigern Genauigkeit sowie Effizienz – relevant für alle, die lokale Qwen-Modelle für Mathe/Reasoning einsetzen.

Das strikte Commit-Regel-Design verhindert, dass Agenten Teilfortschritte als Verbesserung akzeptieren, die früher erfüllte Bedingungen brechen. Das liefert zugleich ein reichhaltigeres Trainingssignal als binäres gut/schlecht — relevant für stabile Long-Horizon-Coding- und Research-Workflows.

Qwen 27B läuft auf Consumer-Hardware (RTX 4090) und liefert vergleichbare Motion-Graphics-Ergebnisse wie Cloud-Modelle à la Opus 5.5 – relevant für Entwickler, die Codegenerierung oder kreative Aufgaben ohne API-Kosten lokal ausführen wollen.

Nutzer mit 16-GB-VRAM-GPUs suchen den besten Trade-off zwischen Quant-Größe und Qualität für agentic/allgemeine Workloads. Die Diskussion liefert Praxiswerte zu Token-Speeds und KV-Cache-Konfigurationen, die für Entscheidungen beim Modell-Deployment relevant sind.

Die Wahl des Harness/Clients kann die effektive Leistung lokaler LLMs entscheidend beeinflussen. Codex CLI scheint gegenüber pi.dev und opencode einen deutlichen Qualitätsvorteil bei komplexen Coding-Projekten zu bieten.

Da viele kleinere Modelle auf Qwen-Basisgewichten aufbauen, verlangsamt das Ausbleiben neuer Kleinmodelle direkt die Entwicklung edge-kompatibler KI-Anwendungen. Entwickler ohne High-End-Hardware haben dadurch weniger aktuelle Grundlagen für Fine-Tuning und lokale Deployments.

Wer 4-Bit-Modelle auf einem 40-Core M5 Max betreibt, kann mit Splish Token-Raten von ~56–64 tok/s statt 45–51 tok/s erreichen – ohne Qualitätseinbußen. Besonders Coding-Agents profitieren durch einen kopierten Rewrite-Pfad (+24–42% bei ganzen Datei-Edits).

Für lokale Deployments und ressourcenschonende Anwendungen sind Mid-Tier-Modelle oft relevanter als Flaggschiff-Releases. Der Post spiegelt eine wahrgenommene Lücke im aktuellen Open-Source-Release-Zyklus wider.

Nutzer von Apple-Silicon-Chips unterhalb des M5 können lokale Inferenz für Qwen3.8 und kleine Modelle deutlich beschleunigen. Das Open-Source-Projekt auf GitHub lädt zur Community-Mitarbeit ein.

Entwickler können Qwen-Image 2.1 jetzt vollständig lokal via GGUF betreiben und verschiedene LoRA-Adapter (u. a. beschleunigte Varianten mit weniger Transformer-Passes) direkt per CLI kombinieren – ohne Cloud-Abhängigkeit.

Falls Qwen 4 27B ebenfalls N-Gram-Decoding mitbringt, könnten Local-LLM-Nutzer mit einer einzelnen RTX 3090 spürbar schnellere Inferenz ohne aufwändiges Tuning erzielen. Konkrete Benchmarks oder offizielle Bestätigungen fehlen bislang.

Entwickler mit Consumer-Hardware können damit MoE-Modelle weit über der VRAM-Kapazität ausführen. Overspill kombiniert Memory-Mapping, madvise(WILLNEED) und CPU-seitiges Expert-Routing – deutlich schneller als llama.cpp (0,4–0,5 tok/s) und Colibri (1,1–1,2 tok/s) auf gleicher Hardware.

Splash kombiniert optimierte Kernel, Speculative Decoding, Prefix-Cache und Mixed-Weight-Support in einem Tool — damit wird leistungsstarkes Agentic Inference mit großen Modellen auf Consumer-Apple-Silicon-Hardware praxistauglich.

Zeigt pragmatische Wege zu 48 GB VRAM via NVLink mit gebrauchter Consumer-Hardware. Die PCIe-Anbindung über WWAN- und SSD-Slot demonstriert, wie weit sich Notebook-Mainboards als kostengünstiger Inference-Host zweckentfremden lassen.

Keine eigenen Benchmark-Daten im Post – es handelt sich um eine Community-Anfrage ohne Messwerte. Wer zwischen diesen beiden Quant-Varianten abwägt, findet hier keinen direkten Vergleich, sondern muss selbst evaluieren.

Mac-Entwickler können damit ohne API-Keys oder Telemetrie lokal LLMs, Whisper, TTS- und Vision-Modelle über eine einheitliche Browser-Oberfläche betreiben – inklusive RAM-Filter für passgenaue Modellauswahl.

Die Kombination aus ExLlamaV3-Quantisierung und Qwen3.8 Flash ermöglicht hohe Inferenzgeschwindigkeit auf Consumer-GPUs. Hermes Agent lässt sich damit als persönlicher, mobil steuerbarer Coding-Agent betreiben – praxisrelevant für lokale Multi-GPU-Setups.

Für Entwickler, die Dokumente lokal und ressourcenschonend klassifizieren wollen, bietet BeeNara eine GPU-freie Alternative zu großen LLMs. Die Split-Conformal-Prediction-Kalibrierung reduziert Halluzinationen bei unbekannten Kategorien – ein häufiges Problem kleinerer Modelle.

Lokale LLM-Nutzer können Coding-Agenten ohne externe Abhängigkeiten direkt in KoboldCpp betreiben. Das System-Prompt ist mit 2k Tokens bewusst klein gehalten und kompatibel mit beliebigen OpenAI-Chat-Completions-Endpunkten.

Das Modell beantwortet mehrere Felder gleichzeitig per Logit-Scoring statt Sampling, was Inferenz für strukturierte Entscheidungsaufgaben deutlich schneller und deterministischer macht – relevant für Pipelines, die typisierte JSON-Antworten auf Basis von Zustandsdaten und Bildern benötigen.

Konkreter Mehrwert ohne Volltext nicht beurteilbar. Das Release scheint ein lokal ausführbares 27B-Modell auf Qwen-Basis zu sein, das schneller als die Vorgängerversion läuft – relevant für Local-LLM-Nutzer.

Mica läuft mit 47 ms Latenz auf einer RTX 3090 und passt als Q5_K_M mit 3,5 GB ins VRAM – damit ist ein spezialisierter Entscheidungs-Router lokal deploybar, ohne ein großes General-Purpose-LLM zu benötigen. Die Prompt-Injection-Resistenz (69 % korrekt bei manipuliertem State) ist ein konkreter Vorteil gegenüber Kev und Jev in produktiven Agent-Pipelines.