wird geladen

AMD — State of · Lumeric

Feed
Digest
Lounge
Stash
Profil

AMD

★ Company· Hardware· US· gegründet 1969

AMD

GPU/Accelerator-Hersteller. NVIDIA-Konkurrent für AI-Hardware.

Noch keine kuratierte Synthese für AMD. Posts der letzten Tage findest du unten.

Top-Tools rund um AMD

Llama58×Qwen55×NVIDIA Hardware51×GPT22×Claude19×Hugging Face17×

Auch erwähnt: weitere Unternehmen

NVIDIA51×Hugging Face17×DeepSeek12×OpenAI11×Anthropic9×Meta AI6×

Archiv

Letzte 7 Tage · 30 Beiträge

MEINUNGheute
GH200 NVL2 vs. 8× RTX 6000 Blackwell: Welches Setup für Kimi K2.6 / DeepSeek V4?
Wer 1-Billionen-Parameter-MoE-Modelle lokal hosten will, stößt an fundamentale VRAM-Grenzen: Auch 288 GB HBM3e des NVL2 reichen nicht, und 8× PCIe-Karten ohne NVLink riskieren Tensor-Parallel-Engpässe – ein reales Trade-off-Problem für Teams mit begrenztem Budget.
MEINUNG1d
Warum die meisten KI-Agenten in der Produktion scheitern
Wer Agenten von der Zieldefinition her baut statt von den Engineering-Anforderungen, schafft nicht debuggbare Systeme. Die klare Trennung in Decision Layer, Orchestration Layer und Tools Layer ist laut Nweke die entscheidende Stellschraube für produktionstaugliche Agenten.
FORSCHUNG

Feed Digest Lounge Stash Profil

1d

Triton-MoE-Dispatch-Kernel erreicht 131 % von Megablocks – läuft auf AMD ohne Codeänderungen

Wer MoE-Inferenz (z. B. Mixtral-8x7B) portabler und speichereffizienter gestalten will, bekommt hier einen praxisnahen Triton-Ansatz, der CUDA-spezifische Bibliotheken auf Augenhöhe herausfordert und gleichzeitig AMD-Hardware abdeckt – ohne doppelten Codepfad.

DGX Spark und Strix Halo: Preise offenbar verdoppelt

Wer lokale Inferenz-Hardware plant, muss mit deutlich höheren Budgets rechnen. Die Preisentwicklung deutet auf stark gestiegene Nachfrage nach Consumer-KI-Hardware hin, was Verfügbarkeit und Kalkulation für Entwickler beeinflussen kann.

Qwen3.6-27B auf Dual-RTX-3060 für 400 $: 43 t/s mit MTP

Das Setup zeigt, dass ein 27B-Modell mit stabiler CUDA-Performance auf Consumer-Hardware unter 400 $ lauffähig ist — relevant für Local-LLM-Nutzer, die AMD-ROCm-Instabilitäten umgehen wollen. Der Engpass liegt derzeit bei KV-Cache-Quantisierung, die unter SPLIT_MODE_TENSOR nicht verfügbar ist und den nutzbaren Kontextfenster auf 64–96k begrenzt.

llama.cpp Console: Windows-GUI für llama.cpp unter WSL/Ubuntu

Windows-Nutzer können llama.cpp ohne Terminal-Kenntnisse einrichten, GGUF-Modelle von Hugging Face suchen und laden sowie llama-server mit Live-Monitoring betreiben – inklusive CUDA- und Vulkan-Build-Unterstützung direkt aus der UI.

Qwen3.6 27B überzeugt mit vollständigem Breakout-Spiel im Einzelversuch

Qwen3.6 27B liefert bei komplexen Coding-Aufgaben mit kontextspezifischen APIs Ergebnisse, die bislang nur deutlich größeren Modellen wie Claude Opus zugetraut wurden – relevant für lokale Deployments mit begrenzter Hardware.

Abgelehnter llama.cpp-PR bringt Strix-Halo-Nutzern bis zu 31 % schnelleres MoE-Prefill

Strix-Halo-Nutzer können den Patch manuell auf aktuelle llama.cpp-Releases anwenden und so bei MoE-Inferenz (z. B. Qwen3-35B-A3B) erhebliche Geschwindigkeitsgewinne erzielen – ohne auf einen offiziellen Merge warten zu müssen.

Intel Arrow Lake NPU für Smart-Home-ASR: 6× schneller, 21× energieeffizienter als CPU

NPUs in Consumer-CPUs wie Arrow Lake sind für kurze ML-Inferenz-Workloads wie ASR deutlich effizienter als CPU oder eGPU – wer lokale Sprachsteuerung betreibt, kann damit 2–3 GB VRAM für LLM-Betrieb freischaufeln und gleichzeitig Latenz und Stromverbrauch drastisch senken.

Mac Pro „Trash Can" läuft mit Vulkan-Treibern als lokale LLM-Maschine

Southern-Islands-GPUs (AMD D700), bislang von ROCm ausgeschlossen, sind über Vulkan nun für llama.cpp nutzbar – das öffnet eine breite Klasse älterer AMD-Hardware für lokale LLM-Inferenz ohne Cloud-Abhängigkeit.

llama.cpp: KV-Cache-Trick beschleunigt Decode-Phase deutlich

Wer llama-server mit Tools oder Web-Scraping nutzt, kann durch die Option Prompt-Processing-Verzögerungen von 5–30 Sekunden nahezu eliminieren – ohne Code-Änderungen, nur via WebUI-Einstellung.

hipEngine: ROCm-native LLM-Inferenz für RDNA3 übertrifft llama.cpp bei Qwen 3.6

AMD-Nutzer mit RDNA3-Hardware (7900 XTX oder Strix Halo) erhalten eine dedizierte Inferenz-Engine mit nativem ROCm-Support, niedrigerem VRAM-Verbrauch und INT8-KVCache, der das vollständige 256K-Kontextfenster von Qwen 3.6 unter 24 GB VRAM ermöglicht – ohne PyTorch-Overhead.

HBM-Speicher macht 63 % der KI-Chip-Komponentenkosten aus

KI-Chip-Designer und Hyperscaler müssen mit weiter steigenden HBM-Kosten rechnen, da das Angebot knapp bleibt – Microsoft und Meta haben ihre Capex-Prognosen bereits wegen höherer Komponentenpreise angehoben.

Community vergleicht Qwen3.6-35B-A3B und Gemma4-26B-A4B auf Radeon 9070 XT

Für lokale Inferenz auf AMD-Hardware deutet die Community-Erfahrung darauf hin, dass Gemma4-26B-A4B unter llama.cpp einen Geschwindigkeitsvorteil gegenüber Qwen3.6-35B-A3B hat — relevant für die Modellwahl bei limitiertem VRAM.

Reddit-Diskussion: Was leisten 2× RTX 3060 12 GB für lokale LLMs?

Multi-GPU-Setups mit Consumer-Karten sind ein häufiger Einstiegspunkt für lokale Inferenz; die Community-Antworten geben praktische Orientierung, welche Modellgrößen und Workflows mit 24 GB geteiltem VRAM realistisch laufen.

Qwen3.6-35B-A3B-Uncensored mit MTP-Support und APEX-Quantisierung veröffentlicht

Das Modell läuft stabil mit 200k-Kontext auf Consumer-Hardware ohne Loops oder Tool-Call-Fehler – relevant für Local-LLM-Nutzer, die ein leistungsfähiges, zensurfreies MoE-Modell lokal betreiben wollen.

Community-TTS-Benchmark vergleicht alle bekannten TTS-Systeme bis Mai 2026

Wer lokale TTS-Lösungen in eigene Projekte integrieren will, bekommt mit tts-bench eine strukturierte Vergleichsgrundlage über mehrere Plattformen hinweg — bislang fehlte ein solches Community-Benchmark-Projekt.

llama-bench: 30 Läufe zur Optimierung von Gemma4 und Qwen3 auf AMD MI60

Die optimierten Einstellungen (u. a. HSA_ENABLE_SDMA deaktiviert, KV-Cache-Quantisierung, ubatch-Größe) brachten messbare Praxisgewinne: Sprachbefehle in unter 1,2 Sekunden, Kamera-Review-Zusammenfassungen in unter 18 Sekunden — konkrete Orientierung für MI60/MI50-Nutzer mit llama.cpp.

7900XTX Leerlaufverbrauch im Headless-Betrieb unter Linux

Für lokale LLM-Setups mit AMD-GPUs ist der Idle-Stromverbrauch im headless Serverbetrieb ein relevanter Kostenfaktor – konkrete aktuelle Erfahrungswerte aus der Community fehlen noch.

Gemma4 26B A4B: Apex-Quant liefert 38 t/s bei 90.000 Token Kontext

Das 15-GB-Apex-Quant ermöglicht stabilen Long-Context-Betrieb auf einer Consumer-GPU mit 16 GB VRAM, während das 21,2-GB-Unsloth-Quant bei 50k Kontext in Endlosschleifen fällt – relevant für lokale Deployments mit begrenztem VRAM.

club-rdna16: Praxis-Repo für lokale LLMs auf 16-GB-AMD-Radeon-GPUs

AMD-Nutzer mit 16-GB-Radeon-Karten erhalten konkrete llama.cpp-Startprofile, KV-Cache-Einstellungen und Kontextlängen-Checks statt fragmentierter Kommentare – inklusive Vorlagen für eigene Ergebniseinreichungen.

Strix Halo + Dual-3090-eGPU via NVLink: Praxistest mit 27B- und 122B-Modellen

Die Ergebnisse zeigen, dass NVLink den eGPU-Flaschenhals bei PP/s spürbar reduziert und Multi-Agent-Coding-Szenarien mit dichten 27B/31B-Modellen deutlich beschleunigt — aber bei 122B-Modellen ist der Strix Halo allein energieeffizienter als das Drei-GPU-Setup.

Dual-GPU-Setup mit 48 GB VRAM: llama.cpp-Server via Vulkan auf AMD R9700 AI PRO + 7800XT

Vulkan als Backend ermöglicht llama.cpp-Inferenz über gemischte AMD-GPU-Generationen hinweg, wo ROCm versagt – relevant für alle, die RDNA3- und RDNA4-Karten kombinieren wollen.

BeeLlama v0.2.0: DFlash-Update bringt bis zu 4,93× Speed-up auf RTX 3090

Lokale Ausführung großer 27B–31B-Modelle auf Consumer-GPUs wird mit DFlash um das bis zu 4,9-Fache schneller, ohne nennenswerten Prompt-Processing-Overhead – ein praktisch relevanter Sprung für Entwickler ohne Datacenter-Hardware.

ByteShape Qwen3.6-35B-A3B: 30 % schneller als Unsloth IQ auf 6-GB-VRAM-Laptop

Wer Qwen3.6-35B-A3B auf Consumer-Hardware mit CPU-Offload betreibt, kann durch den Wechsel auf ByteShape CPU-5 den TG-Durchsatz von 25,4 auf 33,1 tok/s steigern – bei nur leicht reduzierter Prompt-Processing-Geschwindigkeit (585 → 564 tok/s).

NCCL-Test hängt im Docker mit 2× RTX 6000 Pro an AM4-Plattform

Multi-GPU-Inferenz mit vLLM über TP=2 setzt funktionierende NCCL-Kommunikation voraus – hängt NCCL im Docker, ist der gesamte Tensor-Parallelism-Betrieb blockiert. Das Problem tritt offenbar plattformspezifisch auf AM4/X570 mit PHB-Topologie auf.

Qwen3.6-27B IQ4_KS-Quant für ik_llama.cpp: 14,1 GB, 105k Kontext auf 16-GB-VRAM

Die KS/KSS-Quants von ikawrakow sind im Upstream llama.cpp noch nicht verfügbar; wer sie nutzen will, ist auf ik_llama.cpp beschränkt – AMD und Apple Silicon werden derzeit nicht unterstützt. Die 1,5–1,75× höhere Inferenzgeschwindigkeit gegenüber dem IQ4_XS-Vorgänger ist für lokale Produktiv-Workflows relevant.

ztok: Multithreaded Zig-Tokenizer mit 2–5× Speedup über tiktoken und HF

Wer lokale Pipelines für RAG-Chunking oder Dataset-Tokenisierung betreibt, kann ztok als Drop-in-Ersatz einsetzen und dabei bis zu 5,5× Batch-Durchsatz gegenüber tiktoken erzielen — bei garantierter Bit-Identität.

lemon-mlx-engine integriert ROCm 7.13 für lokale LLM-Ausführung

AMD-Nutzer können damit die neueste ROCm-Version 7.13 lokal mit dem MLX-Engine-Stack nutzen – inklusive Stabilitätsfixes für aktuelle Qwen3-Modellvarianten, die bisher Probleme bereitet hatten.

AMD Gorgon Halo nur 6,7 % schneller als Strix Halo bei KI-Workloads

Wer lokale LLMs auf AMD-Unified-Memory-Systemen betreibt, profitiert vom Gorgon Halo kaum. Der Nachfolger Medusa Halo soll laut Diskussion rund 50 % mehr KI-Performance liefern – ein Upgrade dorthin dürfte sich eher lohnen.

Ältere Updates der letzten 90 Tage sind im Pro-Tier.

Pro freischalten →