wird geladen

AMD — State of · Lumeric

Feed
Digest
Lounge
Stash
Profil

AMD

★ Company· Hardware· US· gegründet 1969

AMD

GPU/Accelerator-Hersteller. NVIDIA-Konkurrent für AI-Hardware.

Noch keine kuratierte Synthese für AMD. Posts der letzten Tage findest du unten.

Top-Tools rund um AMD

Llama110×NVIDIA Hardware101×Qwen100×GPT38×Hugging Face37×Claude29×

Auch erwähnt: weitere Unternehmen

NVIDIA101×Hugging Face37×DeepSeek18×OpenAI18×Meta AI15×Anthropic14×

Archiv

Juni 2026 Mai 2026 April 2026

Letzte 7 Tage · 17 Beiträge

FORSCHUNGheute
Community-Experiment: Gemma4-31B auf 40,5B Parameter durch Layer-Insertion erweitert
Die Methode zeigt, dass Layer-Insertion in bereits feingetunte Modelle möglich ist, ohne das Modell zu ruinieren – relevant für alle, die Modellkapazität nachträglich erhöhen wollen. Zwei-Phasen-Training (erst neue Layer einfrieren, dann alles gemeinsam trainieren) ist der Schlüssel.
BENCHMARK1d
EPYC 9374f vs. 9135: CPU-Benchmarks für lokale LLM-Inferenz mit ik_llama.cpp
Mehr CCDs bedeuten bei CPU-Inferenz nicht automatisch mehr TG-Durchsatz; Thread-Zahl und NUMA-Topologie sind entscheidend. Für LLM-Builder: 9374f liefert bei 48 Threads ~12 t/s TG (vs. ~8,7 t/s beim 9135), bringt beim PP aber kaum Gewinn.
LAUNCH

Feed Digest Lounge Stash Profil

2d

Voice-Assistent auf CPU: Qwen3-ASR und Kokoro-TTS ONNX ohne GPU

ASR und TTS vollständig auf CPU auszulagern ermöglicht es, die GPU exklusiv für das LLM zu nutzen. Der öffentliche Code zeigt, dass brauchbare Latenzen auf Consumer-Hardware (M2, Ryzen 9) bereits erreichbar sind.

LM Studio ROCm ab v2.22 erkennt Radeon RX 6900 XT nicht mehr

AMD-GPU-Nutzer, die LM Studio für lokale Inferenz einsetzen, sollten vorerst bei ROCm v2.21 bleiben, bis ein Fix verfügbar ist. Der Fehler blockiert GPU-beschleunigtes Inferencing auf RDNA 2-Hardware vollständig.

6x AMD MI50 vs. 6x NVIDIA P40: MiniMax M2.7 139B lokal benchmarked

Für Local-LLM-Builder zeigt der Vergleich: Hohe HBM2-Bandbreite der MI50 (~1.024 GB/s) hilft beim Decode, aber ROCm-Reife und VRAM-Kapazität der P40s überwiegen beim Prefill massiv. Ältere GDDR5-Karten mit mehr VRAM können bei großen Modellen trotz schlechterer Specs konkurrenzfähig bleiben.

Meta startet Produktion eigener KI-Chips (MTIA) im September

Meta reduziert seine Nvidia-Abhängigkeit durch eigene MTIA-Chiplets im modularen Design – AI-Builder sollten beobachten, wie sich dadurch Verfügbarkeit und Preise für GPU-Kapazität am Markt verschieben. Das Capex-Budget von 125–145 Mrd. USD signalisiert den Maßstab des Infrastrukturwettbewerbs.

llama.cpp vs. vLLM auf AMD MI50: Community-Diskussion zu Tensor-Parallel-Support

llama.cpp hat Tensor-Parallel-Support nachgerüstet, was es für Multi-GPU-Setups mit Consumer- oder älterer AMD-Hardware als Alternative zu vLLM relevant macht – besonders wenn GGUF-Quants und schnelles Modell-Switching wichtig sind.

ZML lanciert kostenlosen LLM-Inferenzserver für diverse AI-Chips

Enterprises und Cloud-Anbieter können mit ZML/LLMD verschiedene Chip-Hersteller kombinieren und so Kosten sowie Energieverbrauch senken, ohne auf Vendor-Lock-in angewiesen zu sein. Das Tool ist aktuell kostenlos, ein Bezahlmodell ist für später geplant.

DFlash in llama.cpp: 4,44× schnellere Inferenz bei 36K Kontext auf RTX 6000 PRO

DFlash schlägt MTP-Speculative-Decoding bei jeder Draft-Länge und skaliert besser mit wachsendem Kontext – ein direkter Vorteil für lokale Long-Context-Workloads. Der Overhead beträgt ~5 GB VRAM für den Q8-Drafter; ab llama.cpp PR #22105 ist es produktionsbereit.

KV-Quantisierung bei Qwen3.6-27B: KLD-Vergleich Q8, Q6, Q5

Wer Qwen3.6-27B lokal betreibt, sollte (q8_0, q8_0) für den KV-Cache wählen – der VRAM-Overhead ist minimal. V-Cache auf q4_0 zu senken schadet deutlich mehr als K-Cache-Quantisierung; Q6 mit vollem KV ist Q8 mit q4_0-V nahezu gleichwertig.

AutomationBench-AA: Claude Fable 5 führt Agenten-Eval mit 48,6 %

Das offene Modell-Feld komprimiert sich rasant: Hy3 konkurriert mit deutlich größeren Systemen und läuft ab Launch nativ in vLLM mit bis zu 2,95× Decode-Speedup. Agenten-Evals zeigen, dass alle Top-Modelle noch Business-Rules brechen – Kosten pro Task werden zum entscheidenden Differenzierungsmerkmal.

PyTorch Monarch unterstützt jetzt AMD GPUs via ROCm

AI-Teams, die auf AMD-Hardware setzen, können künftig Monarch für fehlertolerantes verteiltes Training nutzen – relevant bei großen Clustern, wo Hardwareausfälle als Normalfall gelten, nicht als Ausnahme.

GMKtec EVO-X3: Neuer Strix-Halo-Mini-PC mit OCuLink für $3.600

OCuLink ermöglicht eine direkte, verlustarme Verbindung zu einer Desktop-GPU – relevant für Local-LLM-Nutzer, die Inferenz-Performance über eine externe GPU maximieren wollen. Der Preis liegt jedoch mehr als doppelt so hoch wie bisherige Strix-Halo-Geräte (~$1.600).

AMD Ryzen AI Halo: 4.000-Dollar-Dev-Kit für lokale KI-Entwicklung

Ein dediziertes 4k-Dev-Kit von AMD senkt die Einstiegshürde für lokale LLM-Entwicklung auf x86-Hardware und könnte als Alternative zu Apple Silicon für On-Device-AI-Workflows relevant werden.

Nvidia Kyber NVL144 auf 2028 verschoben, Rubin Ultra gestrichen

Die Verzögerung und Streichung von Rubin Ultra öffnen AMD und Google ein Zeitfenster, um im High-End-KI-Infrastrukturmarkt aufzuholen. Unternehmen, die auf Kyber-Hardware für 2027 geplant haben, müssen ihre Beschaffungsstrategie überarbeiten.

llama.cpp: -ffast-math für HIP-Builds bringt bis zu 7% Prompt-Speedup auf RDNA3.5

AMD-GPU-Nutzer von llama.cpp können mit diesem Compiler-Flag kostenlosen Prompt-Throughput gewinnen – ohne Modelländerung. Besonders relevant für Strix-Halo-APUs mit großem iGPU-Speicher.

Community-Frage: Coding-Modelle für AMD Ryzen 395 mit 125 GB DDR5

125 GB DDR5-Unified-Memory ermöglichen das Ausführen großer lokaler Modelle (70B+). Die Community-Antworten können als Orientierung dienen, welche Coding-Modelle auf vergleichbarer Consumer-Hardware praktisch nutzbar sind.

Ältere Updates der letzten 90 Tage sind im Pro-Tier.

Pro freischalten →