Llama — September 2026
80 Beiträge im September 2026.
- LAUNCH30. Sept.Victoria: Qwen3.8-Flash-Next mit 44% Expert-Kürzung erreicht 70% auf Terminal-Bench 2.1Victoria kombiniert MoE-Pruning (512→288 Experten/Layer) mit NVFP4-Nachtraining und einem Draft-Head für 2× höheren Durchsatz – ein praxisnaher Ansatz für effizientes lokales Inference. Maple zeigt, wie Domain-Fine-Tuning (länderspezifisch) die Korrektheit von Behördenantworten von 6,6% auf 21,8% treiben kann.
- LAUNCH30. Sept.Open-Source Inferenz-Engine optimiert Kernel automatisch für lokale HardwareWer lokale LLMs betreibt, könnte ohne Konfigurationsaufwand deutlich höhere Token-Durchsatzraten erzielen – potenziell ein direkter Ersatz für llama.cpp oder LM Studio auf heterogener Hardware.
- BENCHMARK30. Sept.Dirk-Qwen 3.8-27B schlägt Swift-1.5 in privatem Domain-Eval deutlichFür lokale Deployments auf Apple Silicon zeigt der Test, dass ein knapp geführtes Chat-Template mit „be brief"-Instruktion die Effizienz und Trefferquote spürbar steigern kann – relevant für Nutzer, die 27B-Modelle unter 32 GB RAM betreiben.
- BENCHMARK30. Sept.llama-halo-hybrid: Strix Halo + R9700 übertrifft DGX Spark bei InferenzAI-Builder können mit handelsüblicher Consumer-Hardware (Strix Halo + R9700) eine Inferenzleistung erreichen, die dedizierte Workstation-Systeme wie den DGX Spark übertrifft – bei deutlich geringeren Kosten. Der MIT-lizenzierte Code läuft mit Standard-Quants (Qwen, GLM) und erfordert keine proprietären Formate.
- BENCHMARK30. Sept.Tensorfold erreicht 40–60 tok/s mit Qwen3.8-27B auf Mac Mini M5 ProFür AI-Builder bedeutet das: Ein Mac Mini M5 Pro kann als Inferenzserver für 27B-Modelle mit einer RTX 3090 Ti (50–70 tok/s) mithalten – bei deutlich geringerem Stromverbrauch und kompaktem Formfaktor. Einziger Nachteil bleibt die ca. 4× langsamere Prefill-Phase der Apple-Hardware.
- LAUNCH30. Sept.LokalBot 0.9.2: Open-Source Mac-Meeting-Notizer mit 6,8 GB lokalem Modell-StackEin 26-minütiges Meeting wird auf M4 Max in 33 Sekunden zu fertigen Notizen verarbeitet (~85 tok/s). Die Speaker-Fehlerrate (DER) sank von 43,4 % auf 14,6 %, Autocomplete-Latenz von 1,83 s auf 0,49 s – relevant für Entwickler, die vollständig lokale Meeting-Pipelines aufbauen wollen.
- LAUNCH30. Sept.GLM-5.3-Flash (GLM5-Next) erhält Support in llama.cppMit dem Merge des PR #27773 können Nutzer GLM-5.3-Flash direkt über llama.cpp lokal betreiben – ohne Cloud-Abhängigkeit und mit den üblichen Quantisierungsoptionen von ggml.
- MEINUNG30. Sept.llama-server auf Raspberry Pi hängt sporadisch nach Tool-CallsWer llama-server auf ressourcenschwacher Hardware wie dem Raspberry Pi betreibt, sollte einen Watchdog oder automatischen Retry-Mechanismus nach Tool-Calls einplanen, um Hänger ohne manuelle Eingriffe zu beheben.
- MEINUNG30. Sept.On-Premise LLM-Stack: Versteckte Datenlecks durch Cloud-Integrationen vermeidenFür AI-Builder mit strengen Datenschutzanforderungen sind nicht nur das Modell-Runtime, sondern auch Ingestion-, Eval- und Tracing-Komponenten zu lokalisieren – empfohlen werden lokale Parser (z.B. LiteParse), Self-hosted Judge-Modelle und lokale Tracing-Lösungen statt SaaS.
- BENCHMARK30. Sept.Strata-Engine: Qwen3.8 Flash Next mit 50 t/s TG und 1500 t/s PP auf 12 GB VRAMStrata ermöglicht Frontier-Modelle lokal auf Consumer-Laptops mit 12 GB VRAM und 64 GB RAM mit deutlich höherem Durchsatz als llama.cpp-Forks. Derzeit nur für ISTA-DASLab-GGUFs und Nvidia-GPUs verfügbar; AMD-Support ist experimentell.
- FORSCHUNG29. Sept.Studie: Post-Training macht LLMs witziger, aber eintönigerPost-Training führt zu homogeneren Outputs – beim gleichen Prompt liefern Modelle zunehmend Variationen desselben Witzes. Wer Kreativität oder Diversität im Output benötigt, sollte Personas oder gezielte Sampling-Strategien einsetzen, da Chain-of-Thought-Planung die Vielfalt sogar weiter senkt.
- MEINUNG29. Sept.Inference-Engines: Spezialisierte One-Offs verdrängen llama.cpp und vLLMAI-gestütztes Coding senkt die Hürde für eigene Inference-Engines drastisch – vollständig spezifizierte Ziele wie „maximiere tok/s für Modell X auf Hardware Y" sind ideal für autonome Implementierungen. Entwickler sollten prüfen, ob spezialisierte Engines für ihr Setup relevante Geschwindigkeitsvorteile bieten.
- MEINUNG29. Sept.llama.cpp CUDA-Fehler: Reinstallation unter Linux Mint ohne Ollama-KonfliktWer llama.cpp per curl-Skript installiert hat und auf CUDA-Probleme stößt, findet hier einen praxisnahen Community-Thread zur sicheren Reinstallation mit CUDA 12 – relevant für lokale Inferenz auf Nvidia-GPUs unter Ubuntu/Mint.
- LAUNCH29. Sept.Observer AI v3.0.0: Open-Source Screen-Monitor mit lokalem LLM-AgentObserver AI kombiniert llama.cpp, MCP-basiertes Micro-Agent-Framework und transformers.js (Browserversion mit Gemma-4-e2b ONNX) für vollständig lokale Screen-Automatisierung – ohne Cloud-Abhängigkeit. Entwickler können eigene Monitoring-Workflows per Spracheingabe definieren und via v1/chat/completions-Endpunkt eigene Modelle einbinden.
- MEINUNG29. Sept.Zwei Jahre Reflection 70B: Erinnerung an einen der größten LLM-HypesDer Fall Reflection 70B gilt als Lehrbeispiel für unkritische Hype-Übernahme in der LLM-Community. Community-Benchmarks und unabhängige Tests deckten die Täuschung schnell auf – ein Argument für reproduzierbare Evals vor der Adoption neuer Modelle.
- LAUNCH29. Sept.Qwen 3.8 27B Q4 mit 100K-Kontext auf 16 GB AMD GPU – AnleitungDas Setup belegt, dass 27B-Modelle mit 100K-Kontext auf Consumer-AMD-GPUs mit 16 GB VRAM praktisch nutzbar sind. Die kombinierten Flags (ctx-checkpoints, q8/q5 KV-Cache, kein unified KV) sind direkt für eigene llama.cpp-Deployments übertragbar.
- MEINUNG29. Sept.Meta Muse löst ChatGPT als führenden Consumer-KI-Agenten abMeta Muse kombiniert 3,6 Mrd. tägliche Nutzer, massives Ad-Revenue und dedizierte VM-Swarm-Infrastruktur – ein Kostenvorteil, den kaum ein Wettbewerber replizieren kann. OpenAI gerät laut Analyse gleichzeitig unter Druck durch Open-Source-Modelle und Anthropic im Enterprise-Segment.
- MEINUNG28. Sept.Community-Frage: Qwen 3.8 27B auf RTX 3090 unter Windows betreibenZeigt, dass Ollama als einfachster Einstieg für große Modelle auf Consumer-GPUs unter Windows gilt, aber bei Tool-Integration noch Stabilitätsprobleme auftreten. Alternativen wie llama.cpp oder vllm erfordern mehr Setup-Aufwand und teils WSL-Kenntnisse.
- MEINUNG28. Sept.Qwen 3.8 27B als leistungsstarker Subagent in Multi-Agent-SetupsQwen 3.8 27B eignet sich laut Praxisbericht gut als lokaler Subagent in Multi-Agent-Pipelines. Die Kombination mit DeepSeek v4.1 Flash als Orchestrator zeigt, wie quantisierte Modelle in llama.cpp produktiv eingesetzt werden können.
- MEINUNG28. Sept.Community-Debatte: llama.cpp-Forks vs. Upstream-BeiträgeFragmentierung durch Hard-Forks erschwert Wartung und Qualitätssicherung im llama.cpp-Ökosystem. Wer auf optimierte Infer-Backends setzt, muss abwägen, ob Fork-Performance langfristig den Wartungsaufwand rechtfertigt.
- LAUNCH28. Sept.Gufo-Inferenz-Framework schlägt llama.cpp bei Qwen 3.8 Flash Next auf Strix HaloWer Qwen 3.8 Flash Next lokal auf Strix-Halo-Hardware betreibt, kann mit Gufo laut Nutzerbericht ~1239 tok/s beim Encoding erreichen – etwa doppelt so schnell wie mit llama.cpp-Forks, besonders bei hohem Kontext. Die Modellunterstützung ist aktuell noch begrenzt.
- MEINUNG28. Sept.Idee: llama.cpp per Modell optimieren für 2× Performance-BoostWer Inferenz-Performance für ein einzelnes Modell (z.B. Qwen3 oder DeepSeek) maximieren will, könnte durch architekturspezifische llama.cpp-Builds laut Schätzung mehr als 2× Speedup erzielen – relevant für lokale Deployments mit begrenzter Hardware.
- MEINUNG28. Sept.llama.cpp macOS Menu-Bar-App speichert Modelle als Blobs statt GGUFNutzer, die eigene GGUF-Dateien direkt einbinden wollen, stoßen auf Kompatibilitätsprobleme mit der App. Das proprietäre Blob-Format erschwert den direkten Austausch von Modellen und weicht vom erwarteten llama.cpp-Standardverhalten ab.
- BENCHMARK28. Sept.Ältere DDR2/DDR3-Systeme schlagen RTX-5070-Rig bei lokalen LLM-Agenten-TasksFür lokale LLM-Agenten zählt vor allem VRAM-Gesamtmenge und System-RAM-Kapazität, nicht RAM-Geschwindigkeit oder CPU-Generation. Günstige Legacy-Workstations mit zwei GPUs können moderne Mid-Range-Gaming-PCs bei Inferenz-Tasks klar outperformen.
- MEINUNG27. Sept.Swift-Qwen3.8-27B-Genesis-GGUF: Vision-Modell unter 17 GB VRAM mit 262k KontextDas Modell ermöglicht es, einen 27B-Multimodal-Agenten mit vollem 262k-Kontext auf 32 GB VRAM zu betreiben – bisher erforderten nvfp4-Varianten mehr VRAM oder mussten den Kontext auf 160k kürzen. Tradeoffs sind noch ungeklärt.
- LAUNCH27. Sept.Kernel-Optimierungen für Tesla P100 bringen Qwen3-27B auf 60 t/sDie Optimierungen sind in einem öffentlichen Fork gemergt und ermöglichen es, Qwen3-27B (Q6_K) auf Consumer-Hardware der P100-Ära für ~80 $ performant zu betreiben – relevant für Budget-Local-LLM-Setups mit bis zu 260k Kontext.
- MEINUNG27. Sept.Tesla P100 für unter 100 $ schlägt RX6600XT bei lokalem LLM-InferenceFrontier-Modelle können bei Hardware-Empfehlungen für Budget-Setups stark danebenliegen. Für lokale Inference lohnt sich die P100 mit llama.cpp-Patches (shinbunbun) trotz fehlender moderner Features – besonders für Nutzer, die günstig GPU-VRAM maximieren wollen.
- LAUNCH27. Sept.MoEspresso 3: Qwen3.8-Flash-Next (125B) mit 12–15 tok/s auf M1 MaxEin 125B-MoE-Modell mit brauchbarer Geschwindigkeit lokal auf einem 32-GB-M1-Max zu betreiben, ist praktisch relevant für Entwickler ohne Cloud-Zugang. Das Custom-Benchmark-Ergebnis (84,3 %) liegt dabei über Claude Opus 4.8 xhigh (80,3 %) und Claude Sonnet-Modellen.
- BENCHMARK27. Sept.Homelab-Upgrade: 2× RTX 5090 schlägt 3× RTX 3090 mit NVFP4 + Speculative DecodingZwei RTX 5090 übertreffen drei RTX 3090 bei lokaler LLM-Inferenz – NVFP4 und Speculative Decoding in llama.cpp (b11216) verstärken den Speedup zusätzlich. Relevant für Homelab-Betreiber, die GPU-Setups für 27B-Modelle optimieren.
- MEINUNG27. Sept.Community-Diskussion: llama.cpp vs. vLLM für lokale InferenzvLLM unterstützt neue Modelle oft am Erscheinungstag, während llama.cpp-Unterstützung laut Community mitunter Monate dauert. Für Builder, die schnell neue Modelle testen wollen, kann der Wechsel zu vLLM relevant sein – bei gemischten Consumer-GPU-Setups aber mit Kompatibilitätseinschränkungen.
- BENCHMARK27. Sept.Logit-Penalty für Hedging-Token verbessert Qwen3.5-4B-Genauigkeit auf MATH-500Die Technik ist ohne Finetuning sofort anwendbar: Einfache llama.cpp-Flags reduzieren Overthinking in Reasoning-Modellen und steigern Genauigkeit sowie Effizienz – relevant für alle, die lokale Qwen-Modelle für Mathe/Reasoning einsetzen.
- LAUNCH27. Sept.Verbessertes Jinja-Chat-Template für Poolside Laguna XS/S 2.1 veröffentlichtDas Template behebt inkonsistentes Reasoning bei Laguna XS/S 2.1 durch force_thinking und reasoning_effort-Parameter (none/auto/max) und reduziert Context-Window-Verbrauch durch abschaltbares preserve_thinking – direkt nutzbar in llama.cpp und Pi.
- MEINUNG27. Sept.Community-Diskussion: Freetoken vs. llama.cpp bei MoE-OffloadingMoE-Offloading ist ein relevantes Thema für das lokale Betreiben großer Mixture-of-Experts-Modelle. Konkrete Nutzererfahrungen fehlen im Post – der Thread kann aber Hinweise auf Alternativen zu llama.cpp liefern.
- MEINUNG27. Sept.Llama.cpp-Release-Tempo bedroht Relevanz im schnellen Modell-ZyklusDa Ollama, LM Studio und KoboldCPP auf llama.cpp aufbauen, trifft das langsame Integrationstempo eine breite Nutzerbasis. Alternativen wie Unsloth Desktop gewinnen dadurch Nutzer, was den De-facto-Standard für lokale Inferenz mittelfristig ablösen könnte.
- MEINUNG27. Sept.Community-Ratgeber: Open-Weight-Modelle für RAG-Projekte auf CPU/GPUZeigt typische Anforderungen an lokale RAG-Setups: getrennte Modellwahl für Ingestion (Embedding) und Inference, CPU-first-Betrieb, Open-Source-Stack. Nützlich als Orientierung für ähnliche Self-hosted-Projekte.
- MEINUNG27. Sept.Dual RTX 3090 unter AI-Last: PCIe Gen 3 vs. Gen 2 StabilitätsproblemFür lokale Multi-GPU-Setups mit llama.cpp relevant: PCIe Gen 2 vs. Gen 3 hat bei VRAM-gebundenen Inferenz-Workloads laut Community-Erfahrung meist minimalen Einfluss, da der Datentransfer über PCIe nicht der Flaschenhals ist. Signal-Integrity-Probleme auf älteren Plattformen (X299) können jedoch Multi-GPU-Stabilität ernsthaft gefährden.
- FORSCHUNG27. Sept.42× schnelleres Prompt-Lookup-Drafting in llama.cppEin 42× Speed-up beim Prompt Lookup Drafting kann Inferenz bei langen oder sich wiederholenden Kontexten massiv beschleunigen – relevant für alle, die llama.cpp lokal oder im Self-Hosted-Betrieb einsetzen.
- LAUNCH26. Sept.85-GB-DeepSeek-V4-Flash auf RTX 3060 mit 3 tok/s – Overspill-Disk-Tier für FreeTokenEntwickler mit Consumer-Hardware können damit MoE-Modelle weit über der VRAM-Kapazität ausführen. Overspill kombiniert Memory-Mapping, madvise(WILLNEED) und CPU-seitiges Expert-Routing – deutlich schneller als llama.cpp (0,4–0,5 tok/s) und Colibri (1,1–1,2 tok/s) auf gleicher Hardware.
- FORSCHUNG26. Sept.SenseNova-Vision-7B-MoT vereint Objekterkennung, OCR, Tiefe und SegmentierungEin einziges 7B-aktives Modell für vier Aufgaben (Detection, OCR, Depth, Segmentierung) reduziert Infrastrukturaufwand, ist aber praktisch schwer einsetzbar: nur auf 80GB-A800 getestet, kein GGUF, keine llama.cpp-Unterstützung, nicht-kommerzielle Lizenz trotz Apache-2.0-Basis.
- MEINUNG26. Sept.DIY Inference-Rig: Dual RTX 3090 mit NVLink und VW-Golf-KühlerZeigt pragmatische Wege zu 48 GB VRAM via NVLink mit gebrauchter Consumer-Hardware. Die PCIe-Anbindung über WWAN- und SSD-Slot demonstriert, wie weit sich Notebook-Mainboards als kostengünstiger Inference-Host zweckentfremden lassen.
- LAUNCH26. Sept.MLXUI: Browser-UI für lokale MLX-Modelle auf Apple SiliconMac-Entwickler können damit ohne API-Keys oder Telemetrie lokal LLMs, Whisper, TTS- und Vision-Modelle über eine einheitliche Browser-Oberfläche betreiben – inklusive RAM-Filter für passgenaue Modellauswahl.
- MEINUNG26. Sept.Gemma 4 31B UD-Q8_K_XL meldet bei 68k Kontext plötzlich Shared-Memory-FehlerNutzer, die Gemma 4 31B lokal mit langen Kontexten betreiben, sollten prüfen, ob ein Update von llama.cpp oder Treibern die Shared-Memory-Berechnung geändert hat. Konkreter Mehrwert ohne weitere Details im Beitrag begrenzt beurteilbar.
- LAUNCH26. Sept.llama.cpp: 3–7× schnellere CPU-Inferenz für K-Quants via VNNIDeutlich schnelleres CPU-basiertes Prompt-Processing bei K-Quant-Modellen ohne hohe Codekomplexität – relevant für alle, die llama.cpp ohne GPU-Beschleunigung betreiben.
- MEINUNG26. Sept.Ling Tiny 3.0: 8B-Modell läuft mit 10 t/s auf CPU-Laptop von 2017Sehr kleine Modelle mit wenigen aktiven Parametern ermöglichen agentenähnliche Coding-Tasks auf CPU-only-Hardware ohne Optimierungsaufwand. Das senkt die Einstiegshürde für lokale KI-Nutzung drastisch und macht Edge-Inference auf vorhandener Alltagshardware realistisch.
- LAUNCH26. Sept.Oh My Pi unterstützt Custom Models via vLLM, llama.cpp und SGLangWer lokale Inferenz-Setups mit Oh My Pi betreibt, kann damit flexibel eigene Modelle über mehrere Backends integrieren. Konkreter technischer Mehrwert ohne Volltext schwer beurteilbar.
- MEINUNG25. Sept.Stripe übernimmt OpenRouter für 7 Mrd. USD – Podcast erklärt den DealOpenRouter verarbeitet über 10 Billionen Tokens pro Tag und wird nun Teil von Stripes Zahlungsinfrastruktur – mit explizitem Fokus auf Betrugsabwehr im wachsenden Token-Economy-Umfeld, inklusive autonomer Agenten-Angriffe auf Token-Flows.
- LAUNCH25. Sept.Mica v0.1 4B: Minecraft-Agent ohne Token-Generierung zu EisenspitzhackeDer Ansatz, Aktionen über Token-Wahrscheinlichkeiten zu selektieren statt Text zu generieren, reduziert Latenz drastisch und zeigt, dass kleine Modelle (4B, Q5_K_M auf RTX 3090) für strukturierte Agenten-Tasks ausreichen können.
- LAUNCH25. Sept.Mica v0.1 4B: Open-Source Entscheidungsmodell für Agent-Loops auf 8-GB-GPUMica läuft mit 47 ms Latenz auf einer RTX 3090 und passt als Q5_K_M mit 3,5 GB ins VRAM – damit ist ein spezialisierter Entscheidungs-Router lokal deploybar, ohne ein großes General-Purpose-LLM zu benötigen. Die Prompt-Injection-Resistenz (69 % korrekt bei manipuliertem State) ist ein konkreter Vorteil gegenüber Kev und Jev in produktiven Agent-Pipelines.
- FORSCHUNG25. Sept.KV-Cache-Transplants zwischen Qwen3-27B-Quantisierungen verbessern InferenzqualitätWer auf einer 24-GiB-GPU arbeitet, kann mit dynamischen Multi-Quant-Strategien (z.B. Q6→Q4→Q3 mit KV-Cache-Weitergabe) die Qualitätslücke zu größeren GPUs laut NIAH-Benchmarks spürbar verringern. Die Methode ist ohne Modifikation der Gewichte umsetzbar und nutzt einen llama.cpp-Fork.
- MEINUNG25. Sept.Qwen3 27B lokal: Lektionen aus einer Nacht Long-Horizon-Coding auf eigenem RigFür lokale Inferenz-Setups zeigt der Bericht konkrete Fallstricke: Quant-Wechsel (Q6→Q4) invalidiert alle gecachten Messwerte, und ein Modell, das seinen eigenen Endpunkt monitort, kann sich selbst in die Queue sperren. Memory-als-Datei statt Kontext ermöglicht zustandsloses Fortsetzen nach Kontextkomprimierung.
- LAUNCH25. Sept.1Cat-vLLM: Optimierter vLLM-Fork für NVIDIA V100-GPUsWer noch V100-GPUs betreibt, bekommt mit 1Cat-vLLM eine dedizierte Serving-Lösung, die mehr Leistung aus der älteren Volta-Architektur herausholt – relevant für Labs und Hobbyisten mit älterer GPU-Infrastruktur.
- FORSCHUNG25. Sept.Qwengram-0.8B: N-Gramm-Speicher von Qwen3.8-Flash-Next senkt Perplexität um 5,05 %Die Methode friert Backbone und 51B-PLE-Speicher ein und trainiert nur einen kleinen R=1-Reader auf 15M Token – also mit sehr begrenzten Ressourcen (kostenlose Kaggle-GPUs). Modell-Artefakte, Training-Code und ein modifizierter llama.cpp-Inference-Pfad sind öffentlich verfügbar, was Reproduzierbarkeit und Weiterentwicklung erleichtert.
- MEINUNG25. Sept.Multi-GPU-Setup mit RTX 3060: PCIe-Bandbreite als Flaschenhals bei vLLMBei Multi-GPU-Inferenz mit vLLM ist die PCIe-Bandbreite für den Tensor-Parallelismus-Sync entscheidend. Schwächere GPUs wie die RTX 3060 erzeugen weniger Sync-Traffic, was den Bandbreitenverlust durch x8-Bifurkation teilweise kompensieren kann – konkrete Benchmarks fehlen jedoch.
- MEINUNG24. Sept.Hobbyist baut Quad RTX 5070 Ti + Quad RTX 5060 Ti Cluster mit PLX 88096 für lokale LLM-InferenzDer Build zeigt, dass Consumer-GPU-Cluster mit PLX-Switch-PCIe-Aggregation und vLLM realisierbar sind; P2P innerhalb eines Nodes funktioniert bereits, knotenübergreifendes P2P steht noch aus. Praktische Vorlage für lokale Tensor-Parallel-Setups mit RTX-50xx-Hardware.
- BENCHMARK24. Sept.ThinkingCap vs. Swift vs. Qwen3.8-27B: Aider-Benchmark-VergleichBeide Fine-Tunes halten ihre 40%-Token-Reduktions-Versprechen ein, was Inferenzkosten und Latenz deutlich senkt. Swift erzielt gleichmäßigere Token-Reduktion; ThinkingCap ist stärker bei JavaScript/Python, schwächer bei C++ – relevant für die Sprachenwahl im eigenen Stack.
- MEINUNG24. Sept.llama.cpp: -cram-Parameter für Agentic Workflows erhöhenWer llama.cpp mit großen Kontextlängen (z. B. 262K) für agentic Workflows betreibt, kann durch Anpassen von -cram erhebliche Latenzen einsparen – zu Lasten von RAM, ohne VRAM-Mehrverbrauch.
- LAUNCH24. Sept.llama.cpp: Vulkan INT8 coopmat1 MatMul-Optimierung für AMD RDNA3/RDNA4Der pp512-Durchsatz bei gemma4 26B Q4_0 steigt von 3410 auf 4331 t/s (+27 %), Token-Generierung verbessert sich moderat. AMD-Nutzer mit RDNA3/4-GPUs profitieren ohne Hardwarewechsel direkt nach Update.
- LAUNCH24. Sept.Ling-3.0-flash-VL: 124B-Parameter Multimodal-MoE mit 256K Kontext in llama.cppWenn der PR gemergt wird, können Nutzer das effiziente Ling-3.0-flash-VL lokal über llama.cpp mit Bild- und Video-Reasoning betreiben – bei nur 5,5B aktiven Parametern pro Token trotz 124B Gesamtkapazität.
- MEINUNG24. Sept.Meta löscht kritisches Video über Meta AI Glasses nach Drehdrehort-BesuchWenn Plattformbetreiber kritische Inhalte über eigene Produkte aktiv entfernen, gefährdet das unabhängige Produktkritik und Nutzervertrauen – relevant für alle, die KI-Hardware öffentlich evaluieren oder darüber berichten.
- MEINUNG24. Sept.Zwei Mining-APUs BC-250 laufen Qwen3-35B mit 60 tok/s für ~300 USDFür rund 300 USD Gesamtkosten ist 60 tok/s auf einem 35B-MoE-Modell mit 64k Kontext erreichbar – interessant für kostengünstige lokale Inferenz-Setups mit geclusterten Consumer-/Mining-Hardware-Nodes über llama.cpp RPC.
- LAUNCH23. Sept.DeepSeek-V4-Flash-0731 läuft mit 40–50 tok/s auf 2× Radeon AI PRO R9700Für Nutzer mit zwei RDNA4-GPUs ermöglicht die Kombination aus affinity-Engine, vorgefertigtem 2,875-bpw-Quant und Docker-Build (kein ROCm-Host-Install nötig) einen niedrigschwelligen Einstieg in lokale DeepSeek-V4-Flash-Inferenz – inklusive Stabilitäts-Fixes für den Hugepage-Bug bei 2×32-GB-Karten.
- LAUNCH23. Sept.GUI Harness: Lokales LLM-Framework mit eigenem Render-Engine als Single-BinaryDas Tool erlaubt vollständig lokale LLM-Agenten-UIs ohne Browser oder Installation – inklusive revertierbarer Aktionen und sprachgesteuerter GUI-Erzeugung. Interessant für Entwickler, die souveräne, cloud-freie Agent-Oberflächen bauen wollen.
- BENCHMARK23. Sept.Bonsai-Llama-Jev: Qwen3-27B als lokales Typed-Decision-System mit Vision unter 10 GB VRAMLokale Alternativen zu proprietären Jev-Systemen werden praktikabler: Ein einzelnes Modell auf einer RTX 3090 übernimmt strukturierte Entscheidungen und Vision-Aufgaben mit OpenAI-API-Kompatibilität, statt mehrere Spezialmodelle parallel betreiben zu müssen.
- LAUNCH22. Sept.GGUF-Quants für K2-Horizon-Modellfamilie (0.9B–36B) jetzt verfügbarLokales Ausführen der K2-Horizon-Modelle ist jetzt via GGUF möglich, erfordert aber noch einen llama.cpp-Fork statt des Mainline-Builds. MoVA-36B-A4B (36B mit 4B aktiven Parametern) ist als MoE-Variante besonders ressourcenschonend.
- MEINUNG22. Sept.Praxisbericht: Lokale LLMs Ornith 1.5 35b-a3b und Qwen 3 27b für echte Dev-ArbeitOrnith 1.5 35b-a3b (MoE, 8 GB VRAM) liefert laut Erfahrungsbericht brauchbare Agentic-Coding-Ergebnisse mit OpenCode auf Consumer-Hardware – relevant für Entwickler ohne Zugang zu High-End-GPUs, die Cloud-Abhängigkeit reduzieren wollen.
- LAUNCH22. Sept.Dynamic Quantiser: Open-Source-Tool für individuelle GGUF-QuantisierungenVRAM-limitierte Nutzer können damit exakt dimensionierte Quantisierungen erstellen, die Standard-Qx_K_M-Quants klar übertreffen. Auf reinem Text liegt die Qualität unter Unsloth Dynamic 3.0, bei gemischten Datensätzen und Code-Inputs ist sie vergleichbar.
- MEINUNG22. Sept.llama.cpp: Warum langer Kontext auch ohne Nutzung die Inferenz verlangsamtBei llama.cpp wird der KV-Cache für das gesamte konfigurierte Kontextfenster vorab allokiert. Wer auf Consumer-GPUs (z.B. 8 GB VRAM) große Kontextfenster setzt, zahlt den VRAM- und Latenz-Preis unabhängig von der tatsächlichen Nutzung – KV-Cache-Quantisierung (q8_0/q4_1) mildert dies, löst das Problem aber nicht vollständig.
- BENCHMARK22. Sept.Qwen3.8-27B mit 70+ tok/s auf 2× RTX 3090 via vLLM – optimierte KonfigurationDie Kombination aus RedHatAI-INT4-Quant, FP8-KV-Cache und MTP-Spekulativdekodierung liefert auf Consumer-Ampere-Hardware (2× 3090 / 48 GB) Throughput, den viele auf gleicher Hardware nicht erreichen. Die vLLM-Konfiguration ist direkt kopierbar und für Agent-Workloads mit Tool-Calling ausgelegt.
- BENCHMARK22. Sept.ROCm vs. Vulkan: Performance-Vergleich für DSv4 Flash 0731 und Qwen 3.8 Flash Next auf Strix HaloFür lokale LLM-Nutzer mit AMD-Hardware zeigt der Vergleich, dass die Wahl zwischen ROCm und Vulkan modellabhängig ist – pauschale Empfehlungen sind nicht mehr haltbar. Vulkan schließt die Lücke zu ROCm zunehmend und ist ohne Treiber-Overhead nutzbar.
- LAUNCH22. Sept.Transformers-Bibliothek unterstützt jetzt llama.cpp-QuantisierungenEntwickler können llama.cpp-Quants künftig direkt in Transformers-Pipelines nutzen, ohne zwischen Ökosystemen wechseln zu müssen. Das vereinfacht den Einsatz quantisierter Modelle erheblich.
- LAUNCH21. Sept.Yandex veröffentlicht AliceAI-Foundation-80B-A3B-Base mit eigener ArchitekturAlternatives Open-Weight-MoE-Modell außerhalb des chinesisch-amerikanischen Ökosystems, mit eigener Architektur als Basis-Modell. Llama.cpp-Unterstützung fehlt noch, was den lokalen Einsatz vorerst einschränkt.
- LAUNCH21. Sept.Sharp-Spark-X2.5-4B: Optimiertes GGUF-Quant für schwache HardwareDas Modell läuft auf Smartphones und älteren Laptops mit ≤16 GB RAM und soll agentisches Coding in der 4B-Klasse verbessern – relevant für Entwickler ohne Zugang zu leistungsstarker Hardware. Als Qualitätsmaßstab dient SWE-bench-Live.
- MEINUNG21. Sept.Chinesische Open-Weight-Modelle führen klar vor US-KonkurrenzUS-amerikanische Open-Weight-Modelle liegen laut AAII-Benchmark 6–9 Monate hinter OpenAI/Anthropic und 2–5 Monate hinter chinesischen Open-Weight-Modellen. Für AI-Builder bedeutet das: Wer auf leistungsstarke offene Gewichte setzt, greift derzeit eher zu chinesischen Modellen wie GLM-5.3 oder Kimi K3.
- LAUNCH21. Sept.hearim: Open-Source-Gateway macht lokale LLMs Jev-kompatibel ohne SpezialmodellEntwickler können Jev-Style-Entscheidungs-APIs mit bestehenden Modellen (llama.cpp, Ollama, vLLM etc.) betreiben: nur 1 Token wird dekodiert, was Latenz drastisch reduziert. Kein spezielles Modell oder Fine-Tuning nötig.
- BENCHMARK21. Sept.2× AMD Radeon RX 9700 via NVMe-Adapter in Strix-Halo-Mini-PC für LLM-InferenzTensor-Parallelism mit Consumer-GPUs über NVMe/USB4 ist möglich, erfordert aber ROCm mit RCCL-Flag (-DGGML_HIP_RCCL=ON). Prompt-Processing skaliert dabei nicht, Decoding-Throughput steigt um ~32 %.
- MEINUNG21. Sept.GGUF-Modelle als Klassifikatoren mit Konfidenzwerten via llama.cppEntwickler können lokale LLMs für Klassifikationsaufgaben (z.B. Spam-Erkennung) mit Konfidenzwerten nutzen, ohne spezialisierte Modelle oder Embeddings – einzige Voraussetzung ist ein laufender llama-server mit Logprobs-Unterstützung.
- FORSCHUNG20. Sept.DIY Jev: Jev-ähnliche Inferenz mit unmodifizierten Open-Weight-LLMsDer Ansatz zeigt, dass Jev-ähnliche Reasoning-Evaluation ohne spezialisierte Modelle oder NLI-Fine-Tuning funktioniert. Das Rust-basierte Tool mit Jev-kompatiblem API erlaubt lokalen Betrieb mit GGUFs von HF und senkt so die Einstiegshürde für Experimente erheblich.
- BENCHMARK20. Sept.Ling 3.0 Tiny vs. Gemma 26B-A4B: Praxisvergleich im Audiobook-Pipeline-EinsatzLing 3.0 Tiny passt vollständig auf eine 8-GB-GPU und liefert ~53 tok/s Decode gegenüber 21–24 tok/s bei Gemma, scheitert aber klar bei strukturierter Extraktionsgenauigkeit. Für latenzunkritische Qualitätsanforderungen bleibt das größere Hybrid-MoE-Modell überlegen.
- MEINUNG20. Sept.Qwen 3.8 27B steuert 21 Tage lang autonomen CUDA-Engineering-Loop auf RTX 3090Zeigt, dass ein quantisiertes 27B-Modell auf Consumer-Hardware über Wochen kohärente Engineering-Ziele verfolgen kann – relevant für alle, die Long-Running-Agenten lokal ohne Cloud betreiben wollen. Protokoll-Schwächen (z. B. unkontrollierter vLLM-Kill durch Subagenten) und Compaction-Overhead (~17 % der Laufzeit) sind konkrete Hürden bei Multi-Agenten-Harnesses.
- LAUNCH20. Sept.PromptDeck v1.1.0: Open-Source-Desktop-App zum Vergleich lokaler und Cloud-LLMsEntwickler können lokale Modelle und Cloud-APIs in einem einzigen Lauf direkt vergleichen – inklusive Scoreboard, Verlaufshistorie in SQLite und Export als PDF/Markdown/CSV. API-Keys werden derzeit noch im Local Storage gespeichert, Keychain-Migration ist geplant.