Inferenz-Infra — Juni 2026

Wer lokale Modelle einsetzt, braucht ein vollständiges System mit Search, Tools und Agent-Infrastruktur – nicht nur ein Modell. Osmantic baut genau diesen Open-Source-Stack und zeigt, dass lokale AI von Studenten bis zu Enterprise-Executives relevant wird.

Der neue Tokenizer erzeugt für denselben englischen Text ca. 1,42× mehr Tokens als Sonnet 4.6 – trotz nominal gleicher Preise ($3/$15 pro Million Tokens) steigen die realen Kosten erheblich. Zudem werden Sampling-Parameter (temperature, top_p, top_k) nicht mehr unterstützt, was API-Anpassungen erfordert.

MTP-Spekulation liefert auf einer RTX PRO 6000 Blackwell kostenlosen Durchsatzgewinn ohne Qualitätsverlust; IQ4_XS und Q5_K_M sind die empfohlenen Sweet Spots. NVFP4 setzt allerdings Blackwell-Hardware und einen aktuellen llama.cpp-Build voraus.

Für Entwickler mit High-End-Consumer-Setup (z. B. 2× 3090/4090) liefert der Thread praxisnahe Hinweise, welche quantisierten Großmodelle noch flüssig laufen. Qwen 3.5 122B-A10B scheint bei 64 GB VRAM ein gutes Preis-Leistungs-Verhältnis für Coding-Tasks zu bieten.

Für AI-Infrastruktur-Teams zeigt dieser Ansatz, dass CXL als Brückentechnologie Capex-Einsparungen durch Speicher-Wiederverwertung ermöglicht – relevant für alle, die große Serverflotten auf DDR5 migrieren, ohne DDR4-Bestände abschreiben zu wollen.

Für AI-Builder relevant als Preisreferenz: Dual RTX 6000 Pro Server für lokales Inference von DeepSeek V4 Flash kosten ~$50–60k. Die Diskussion beleuchtet, welche Workloads (z.B. Cybersecurity-Research, Video-Rendering) diese Investition rechtfertigen könnten.

Etcheds ASIC-Ansatz zielt direkt auf den größten Kostentreiber bei KI-Deployments – Inferenz. Mit 1 Mrd. Dollar Auftragsvolumen und prominenten Investoren wie Karpathy und Hinton wächst der Druck auf Nvidia und allgemein GPU-basierte Inferenz-Infrastruktur.

Drastisch gesunkene Inferenzkosten ermöglichen OpenAI, mehr kostenlose Nutzer zu bedienen und die Margen zu verbessern. Für AI-Builder ist dies ein Signal, dass Effizienzoptimierungen auf Infrastrukturebene erhebliche Kostensenkungen ermöglichen.

Nutzer älterer AMD Vega-GPUs (RX Vega 56/64, Instinct MI25 u.a.) profitieren ohne Hardware-Wechsel von drastisch verbesserter llama.cpp-Performance – Gemma4 12B +65%, Qwen3.5 4B +36%, Qwen3.6 27B +19%.

Lokal laufende Coding-Agents werden durch gehostete Cloud-Agent-Plattformen abgelöst – OpenAI (via Ona/Gitpod-Akquisition) und Anthropic bauen aktiv daran. Engineers sollten ihre Infra-Strategie auf persistente, cloud-orchestrierte Agents ausrichten.

Zeigt, dass lokale 3D-Generierung aus Bildern auf Consumer-Mobilhardware machbar ist. Für Entwickler relevant, die On-Device-Inferenz für multimodale 3D-Anwendungen evaluieren.

Backends in Go, Rails, Spring Boot, FastAPI etc. lassen sich ohne Registry, Cluster oder Daemon-Setup auf Vercel deployen – zwei Dateien genügen. Fluid Compute hält Instanzen warm und berechnet nur aktive CPU-Zeit, was Container als vollwertige Alternative zu klassischen Serverless-Funktionen positioniert.

Teams mit dynamischen Korpora (tägliche Datenänderungen) können auf kostspielige LLM-gestützte Graph-Neuindizierungen verzichten: embed-and-append reicht, ohne Genauigkeitsverlust gegenüber GraphRAG. Schwachstelle bleibt MuSiQue, wo GPU-gebundene Systeme mit Constrained Decoding noch knapp vorne liegen.

Für Teams mit hohem Dokumenten-Durchsatz bietet TurboOCR v3 eine vollständig lokale, datenschutzkonforme Pipeline mit fast doppelter Verarbeitungsgeschwindigkeit gegenüber v2. Strukturiertes Parsing (Tabellen, Formeln) ist opt-in und verursacht keine Kosten, wenn nicht benötigt.

Teams, die Agents in Unternehmen deployen, stoßen laut dem Beitrag vor allem auf Datenqualitätsprobleme, nicht auf Modell-Limitierungen. Die Empfehlung: Infrastruktur und Datenpipelines priorisieren statt auf größere Kontextfenster zu setzen.

Für Local-LLM-Builder zeigt der Bench konkret, welche Fork-/Quant-Kombination welchen Trade-off bietet: ik_llama mit MTP (ubergarm) maximiert Narrative-Speed (63,9 TPS), DFlash maximiert Code-Speed, aber mit hoher Kontextdegradation und schlechter Narrative-Performance. Mainline llama.cpp bleibt die stabilste Wahl ohne Kontextdegradation.

Nutzer mit begrenzter lokaler Hardware können Modelle schneller auf Tauglichkeit prüfen, ohne Specs manuell zu vergleichen. Das vereinfacht die Modellauswahl für Local-LLM-Setups erheblich.

Entwickler erhalten konkrete Muster für hybride Workflows, die Datenschutz (lokal) und Leistungsstärke (Cloud) vereinen – relevant für produktive Systeme mit Kostenoptimierung und Compliance-Anforderungen.

GGUF-Formate ermöglichen lokales Ausführen großer Modelle ohne Cloud-Abhängigkeit. Mit konkurrierenden Quantisierungen (Bartowski vs. Antirez imatrix) haben lokale LLM-Nutzer bald Vergleichsdaten zur Qualität unterschiedlicher Quantisierungsansätze für DeepSeek-V4-Flash.

Die Subsets ermöglichen es, Qwen3.5/3.6-basierte Fine-Tunes wie Ornith-1.0-35B mit MTP-Tensoren nachzurüsten und so die Token-Generierung via llama.cpp (--model-draft) zu beschleunigen – ohne das Basismodell neu zu konvertieren.

Die NVFP4-Quantisierung ermöglicht schnellere und speichereffizientere Inferenz des 27B-Modells auf NVIDIA-Hardware. AI-Builder können das Modell direkt von HuggingFace beziehen und von optimierter Performance auf modernen NVIDIA-GPUs profitieren.

Lokale Inferenz mit llama.cpp kann bei Loops ohne Längenlimit unbegrenzt laufen – dieser Sampler greift direkt in die Sampling-Pipeline ein und stoppt Zyklen automatisch, ohne externe Nachbearbeitung. Kombinierbar mit DRY für mehrschichtigen Schutz.

Das Modell bietet einen sehr langen Kontext (512k) bei niedrigen Aktivierungskosten (6B aktive Params) und wurde auf Huawei Ascend trainiert – relevant für Teams, die Alternativen zur NVIDIA-GPU-Infrastruktur evaluieren. Weights sind noch nicht auf Hugging Face verfügbar, nur über GitCode abrufbar.

Entwickler können über das Onchain OS-Toolkit KI-Agenten an Blockchain-Dienste anbinden – ohne OKX-Account, kompatibel mit Claude Code, Codex und anderen Tools. Das schafft eine fertige Infrastruktur für autonome Agent-zu-Agent-Transaktionen inklusive Micropayments und Dispute-Resolution.

DSpark ermöglicht höheren Durchsatz auf weniger High-End-Hardware, was besonders unter US-Exportbeschränkungen relevant ist. Für AI-Builder bedeutet das: Speculative-Decoding-Ansätze können Infrastrukturkosten senken, ohne Modellqualität zu opfern.

Günstig verfügbare V100-Module (16 GB HBM2, ~900 GB/s) eignen sich für Offline-Coding-Agents; TCC-Modus bringt bis zu +76 % Durchsatz gegenüber WSL2/MCDM. Dual-NVLink skaliert stabil auf 16 Agenten ohne Absturz, aber echte Agent-Workloads mit langen System-Prompts reduzieren den Durchsatz erheblich.

DSpark als neuer SoTA-Pfad für Single-GPU Speculative Decoding und Devin Fusions hybrides Modell-Routing zeigen konkret, wie Agent-Harness-Engineering die Inferenzkosten senkt – relevant für alle, die Multi-Modell-Setups in Produktion betreiben.

Für AI-Builder, die offline-fähige Sysadmin-Assistenten bauen wollen, zeigt die Diskussion relevante Modelloptionen und Hardwaregrenzen im Consumer-Bereich. Qwen3-Modelle gelten aktuell als Benchmark für lokale Coding-/Admin-Aufgaben.

Teams können Frontend und Backend unterschiedlicher Sprachen/Frameworks ohne Reverse Proxy, CORS-Konfiguration oder Cloud-übergreifende Deployments betreiben. Neu: isolierte Agent-Sandboxes, WebSocket-Support auf Fluid Compute und kurzlebige Credentials via Vercel Connect statt gespeicherter Secrets.

Vibe-Coding-Plattformen, die auf externen LLMs aufbauen, stehen unter Druck bei Kosten und Differenzierung. Base44 zeigt, dass vertikal integrierte Stacks – eigene Daten, Infrastruktur und Modell – ein Gegenmodell sind, das auch für andere Applied-AI-Startups ab ausreichender Datenmenge relevant wird.

Zeigt, dass ein Hybrid-Ansatz aus lokalem MoE-Modell und günstiger Cloud-Planung auf gewöhnlicher Laptop-Hardware produktiv nutzbar ist. Die Technik, Wissenslücken per Post-Mortem in README-Dateien zu dokumentieren, verbessert iterativ die Agenten-Qualität ohne Hardware-Upgrade.

Entwickler können eigene OS-Basis, Toolchain und Abhängigkeiten direkt in Sandboxes mitbringen, ohne manuell Compute zu provisionieren oder Snapshots zu erstellen. Die Snapshot-Technologie sorgt dabei für schnelle Bootzeitengleichwertig mit Standard-Sandboxes.

Entwickler können private Blob-Stores ohne statische Langzeit-Tokens betreiben – OIDC rotiert automatisch, Signed URLs gewähren zeitlich und operationell engen Zugriff (max. 7 Tage). Besonders relevant für Agent-Pipelines, die kurzlebige Schreib-/Lösch-Rechte auf einzelne Objekte benötigen.

AI-Builder auf Pro/Enterprise-Plänen können Produktionsprobleme direkt im Dashboard analysieren und beheben lassen – PRs öffnen, Rollbacks oder Config-Änderungen erfolgen erst nach expliziter Genehmigung. Abrechnung: Provider-Token ohne Aufschlag plus $0,25 pro Million Vercel-Token.

Entwickler können Docker-Images ohne externes Registry-Setup direkt auf Vercel pushen und hosten – inklusive automatischer Optimierung für Fluid Compute. OIDC-Authentifizierung und native Build-Integration reduzieren Konfigurationsaufwand spürbar.

Die Methode zeigt, wie große KI-Infrastrukturen schwer reproduzierbare Crashes systematisch debuggen können – relevant für Teams, die stabile, hochskalierte ML-Trainingssysteme betreiben.

Einfache Anfragen werden günstiger, komplexe Aufgaben (Logs, Deployments, Sandboxes) kosten mehr – Entwickler sollten ihre Agent-Nutzung analysieren, um Kostenveränderungen einzuschätzen. Bestehende Code-Review-Nutzer haben 30 Tage Übergangsfrist.

Mit 48B aktivierten Parametern bei 1,6T Gesamtparametern positioniert sich LongCat-2.0 als ernstzunehmender MoE-Konkurrent. Die vorherige Verfügbarkeit als „owl-alpha" auf OpenRouter erlaubt es der Community, frühe Erfahrungswerte bereits einzuordnen.

Durch einfaches Prompt-Rebalancing in SGLang lassen sich Sicherheitsfilter des Modells umgehen – für AI-Builder relevant sowohl hinsichtlich Einsatzmöglichkeiten als auch Compliance-Risiken. Das Modell ist als BF16 und GGUF (4-bit, ~8 GB) auf Hugging Face verfügbar.

Samsung und SK Hynix investieren 585 Mrd. Dollar in neue DRAM-Fabs, was die globale Speicherchip-Kapazität verdoppeln soll – Entlastung bei Preisen bleibt aber wegen langer Bauzeiten unsicher. Hyundai/Boston Dynamics plant 30.000 Atlas-Roboter jährlich bis 2028, was Automatisierungsdruck in der Fertigung massiv erhöht.

Die Konfiguration liefert spürbare Inferenzbeschleunigung für lokale 35B-Modelle ohne Modellwechsel – allerdings mit deutlichem Prompt-Processing-Overhead, was sie für lange Kontexte mit vielen Tokens geeignet, aber nicht universell ideal macht.

Konkreter Mehrwert ohne Volltext nicht beurteilbar. Petals war ein Ansatz, LLMs kollaborativ über viele Nodes hinweg zu betreiben – ob das Projekt eingestellt, inaktiv oder noch aktiv ist, lässt sich aus dem Auszug nicht ableiten.

Lokale TTS-Inferenz mit Qwen3 (0.6B & 1.7B) läuft damit ohne Python-Stack direkt per GGUF auf CPU und CUDA unter Windows und Linux, inklusive Voice Cloning, Speaker-Embedding-Mix und Streaming – sofort nutzbar via vorkompilierter Windows-Releases.

Der Schritt zeigt, dass selbst Großkunden wie Amazon bei LLM-Kosten aktiv gegensteuern – durch Model Distillation und Anbieterdiversifikation (OpenAI als Alternative). Für AI-Builder ein Signal, dass tokenbasierte Preismodelle Eigenentwicklungen und Destillation wirtschaftlich attraktiver machen.

Ein vortrainiertes, plug-in-fähiges Schätzmodell für Dichte und Score könnte Retraining-Aufwand in generativer Modellierung, Bayesianischer Inferenz und wissenschaftlichem Computing gleichzeitig eliminieren – besonders relevant für hochdimensionale Anwendungen.

Für AI-Builder relevant als strukturierte Checkliste zur Absicherung lokaler Setups: Neben LLM-Weights (Llama.cpp, vLLM, SGLang) werden auch Diffusions-, TTS- und STT-Modelle sowie Merge/Fine-Tuning-Tools als archivierenswert diskutiert.

Preisabsprachen bei DRAM könnten bedeuten, dass AI-Hardware-Kosten künstlich hochgehalten wurden. Ein Urteil oder Vergleich könnte Preisdruck auf Speicherkomponenten für AI-Workloads auslösen.

Für lokale AI-Builder zeigt die Praxiserfahrung: Bei Coding-Workflows lohnt sich mehr VRAM weniger für Q8-Qualität als für parallele Multi-Agent-Setups mit kleineren Modellen wie Qwen 27B + 35B-A3B. Divide-and-conquer übertrifft das Streben nach größeren Einzelmodellen.

Eine GPU mit wechselbarem Consumer-SODIMM-Speicher über 100 GB könnte lokale LLM-Inferenz erheblich günstiger machen. Die zwei PCIe-Gen5-x16-Anschlüsse und der 120W-TDP-Zielwert deuten auf breite Kompatibilität hin, doch bis zur Marktreife vergehen noch anderthalb Jahre.

Teams, die Out-of-Tree Backends oder Ecosystem-Projekte auf PyTorch aufbauen, können per vier Teilnahme-Levels (L1–L4) CI-Ergebnisse automatisch ans zentrale HUD reporten und so Regressionen frühzeitig signalisieren – bis hin zu merge-blockenden Checks für kritische Projekte.

Mellum2 bietet laut JetBrains signifikant höheren Durchsatz unter konkurrierender Last als vergleichbare SLMs — relevant für Teams, die lokale Coding-Assistenten mit mehreren gleichzeitigen Nutzern betreiben wollen.

Zeigt, dass lokale LLM-Deployments mit RAG auf Edge-Hardware für sicherheitskritische Entscheidungen (Medizin im Weltall) ernsthaft erprobt werden. RamaLama ermöglicht reproduzierbare, kryptografisch verifizierbare Modell-Deployments – relevant für alle Offline- oder Air-Gap-Szenarien.

Zeigt, dass sich Data-Center-GPUs wie die H200 NVL mit Consumer-nahem Workstation-Hardware unter Linux betreiben lassen – relevant für alle, die GPU-Cluster-Leistung ohne vollständige Server-Infrastruktur aufbauen wollen. Konkreter Mehrwert liegt im BIOS-Konfigurations-Guide.

Ungeplante Spülvorgänge bei bakteriell kontaminierter Kühlflüssigkeit können einen Rack bis zu fünf Stunden lahmlegen und Millionen kosten. Omen AIs Sensor-Lösung ermöglicht proaktives Eingreifen und könnte Downtime-Risiken in liquid-gekühlten GPU-Clustern deutlich reduzieren.

Zeigt, dass große quantisierte Modelle ohne GPU auf Server-CPUs mit ausreichend RAM lauffähig sind – relevant für Setups ohne teure Beschleuniger. Die Inferenzgeschwindigkeit ist mit 2,5 Stunden für ~15k Tokens für Echtzeit-Nutzung unpraktisch, aber für Batch-Workloads denkbar.

Praxisrelevanter Entscheidungsrahmen: 70 % der Enterprise-AI-Tasks sind laut NVIDIA-Schätzung auf Sub-10B-Modellen lösbar. Tiered Routing (70 % lokal / 20 % Mid-Tier / 10 % Frontier) reduziert Kosten und Datenschutzrisiken — relevant u.a. für EU AI Act (Enforcement ab 2. August 2026) und HIPAA-kritische Workloads.

Der Parameter --cache-reuse 256 ist bereits gesetzt, jedoch ist KV-Cache-Wiederverwendung über Sitzungsgrenzen hinweg in llama.cpp nur möglich, wenn der Cache persistent gespeichert wird. Wer große System-Prompts lokal betreibt, sollte die Prompt-Caching-Optionen von llama-server prüfen, um TTFT deutlich zu senken.

Entwickler können nun große Python-KI-Stacks (z. B. PyTorch, Pandas) und schwere Backend-Dependencies direkt auf Vercel deployen, ohne eigene Container-Infrastruktur. Opt-in über Umgebungsvariable VERCEL_SUPPORT_LARGE_FUNCTIONS=1, bestehende kleine Functions bleiben unverändert.

Runtime-Layer-Skipping kann Speicherbedarf und Inferenzzeit reduzieren, ohne das Modell dauerhaft zu verändern – relevant für lokale Deployments mit begrenztem VRAM. Die Methode ergänzt bestehende Pruning-Ansätze um eine flexible, nicht-destruktive Alternative.

Gemma 4 nutzt eine Multimodal-Architektur mit alternierenden Attention-Typen, die auf mancher Hardware deutlich schlechter skaliert als reine Dense-Modelle. Wer Gemma 4 lokal einsetzt, sollte Quantisierungsstufe und Flash-Attention-Kompatibilität gezielt benchmarken, bevor er ältere Modelle ersetzt.

Wer lokale Inferenz plant, kann über Cloud-GPU-Anbieter wie Vast.ai verschiedene Quant-Stufen kostengünstig vorab testen, um die optimale Hardware-Konfiguration für das jeweilige Modell zu ermitteln, ohne teure GPUs blind zu kaufen.

Nutzer von llama.cpp können DeepSeek V4 nach Merge des PRs direkt lokal ausführen, ohne Cloud-Dienste. Relevant für alle, die das Modell privat oder offline einsetzen wollen.

Die beiden Unternehmen kontrollieren ~80 % des globalen HBM-Markts – massiv steigende Speicherpreise erhöhen die Infrastrukturkosten für KI-Rechenzentren und treffen AI-Builder direkt bei GPU-Cluster-Budgets.

Für AI-Builder, die lokale LLM-Infrastruktur für weniger erfahrene Nutzer bereitstellen, liefert der Thread praktische Community-Erfahrungen zu LibreChat und OpenWebUI inklusive konkreter Gotchas und Alternativvorschlägen.

Die DCU K100 bietet 64 GB HBM2 und ROCm/HIP-Unterstützung zu sehr niedrigem Preis, ist aber kaum dokumentiert. Die MI210 hat mit 1,64 TB/s deutlich höhere Speicherbandbreite – ein wichtiger Faktor für LLM-Inferenz. Community-Erfahrungen mit der DCU K100 fehlen weitgehend.

Das Setup zeigt, dass Multi-LoRA-Serving mit großen 405B-Modellen auf einem einzigen A100-Node unter Produktionsbedingungen funktioniert – ohne teurere H100-Infrastruktur. Für Teams mit sensiblen Domänen (Health, Legal) ist Self-Hosted-Multi-Adapter-Inference damit zu A100-Kosten realisierbar.

Wer llama.cpp mit neueren NVIDIA-GPUs (z.B. RTX 5060 Ti) nutzt, sollte CUDA direkt von NVIDIA als Debian-Paket installieren und llama.cpp neu bauen – der apt-Standardweg kann die GPU-Compute-Leistung massiv drosseln.

Das Harness zeigt, dass 4B-Modelle mit gezieltem Engineering praktische Serveradministrations-Aufgaben übernehmen können. Für AI-Builder, die mit kleinen lokalen Modellen produktive Agents betreiben wollen, bietet das Open-Source-Repo konkrete Techniken gegen die häufigsten Failure-Modi.

Entwickler können Echtzeit-Sprachagenten mit einem einzigen Modell (Audio-in/Audio-out) über AI Gateway und AI SDK bauen, ohne API-Keys ans Frontend weiterzugeben. Der useRealtime-Hook übernimmt WebSocket, Mikrofon und Wiedergabe direkt im Browser.

Teams können Modellwechsel oder -sperren ohne Code-Deployment durchsetzen – ein einziger Rule-Push reicht, um alle laufenden Requests sofort umzuleiten. Das vereinfacht Migration von abgekündigten Modellen und Kostenkontrolle erheblich.

Zeigt, dass Qwen3-27B auch in stark quantisierter Form (Q3) mit ~9 TPS Textgenerierung auf Consumer-/Workstation-Hardware praxistauglich für einfache POCs ist – relevant für Entwickler mit begrenztem Hardware-Budget.

Wer lokale Inferenz mit mehreren eGPUs über schmalbandige Verbindungen betreibt, kann mit Layer-Split bei PP und Tensor-Split bei TG unterschiedliche Engpässe erwarten. Ein hybrider Split-Modus (PP auf einer, TG über beide GPUs) existiert aktuell nicht, könnte aber bei TB3-Setups deutliche Vorteile bringen.

Der MTP-Graft-Ansatz ermöglicht Self-Speculative-Decoding ohne zweites Modell auf einer einzigen GPU. Die detaillierte Fidelity-Leiter (KLD vs. Quant-Stufe) und TTFT-Zahlen (94 ms @512 Tokens bis 6,3 s @32k) sind direkt für lokale Deployment-Entscheidungen nutzbar.

Für AI-Builder, die lokale Modelle auf Apple Silicon ausführen, bieten refurbished M5 Max Geräte eine kostengünstigere Einstiegsmöglichkeit in leistungsstarke Unified-Memory-Hardware ohne den vollen Neupreis.

Wer Modelle wie Gemma 4 MoE oder Qwen 3 auf Consumer-Hardware mit begrenztem VRAM betreibt, bekommt damit endlich konkrete Zahlen zu RAM/VRAM-Aufteilung pro Quantisierungsstufe – hilfreich bei der Wahl zwischen Q4, Q6 und Q8.

Die Idee adressiert reale Engpässe: Datenbeschaffung und Rechenleistung. Koordinations- und Vertrauensprobleme einer zentralen Instanz bleiben jedoch ungelöst und sind der kritische Flaschenhals für solche Community-Projekte.

Für AI-Builder, die Agenten in produktive APIs integrieren, sind konsistente Antwortzeiten kritischer als mittlere Performance – gegenintuitiver Engineering-Ansatz mit direkter Relevanz für SLA-Design und Workflow-Architektur.

Wer lokale Inferenz beschleunigen will, bekommt mit DeepSpec fertige Draft-Modelle und Trainingspipelines für gängige Open-Source-Modelle (Qwen3-4B bis 14B, Gemma-4-12B). Fine-Tuning für domänenspezifische oder Thinking-Mode-Setups wird explizit empfohlen.

Nutzer von llama.cpp können künftig von DFlash profitieren, was potenziell schnellere Inferenz auf lokaler Hardware ermöglicht. Konkreter Mehrwert bez. Performance-Zahlen ohne Volltext nicht beurteilbar.

Für lokale MoE-Deployments gilt: VRAM-Residenz schlägt Quantisierungsqualität. Wer MTP-Spekulativdecodierung nutzt, muss zwischen Text-Speed und Vision-Fähigkeit wählen – beide gleichzeitig sind engine-seitig nicht möglich. KV-Cache auf q4_0 kann den nötigen VRAM-Puffer schaffen.