wird geladen

DeepSeek-V4-Flash-0731 läuft mit 40–50 tok/s auf 2× Radeon AI PRO R9700 · Lumeric

Feed
Digest
Lounge
Stash
Profil

Beitrag

LAUNCH

reddit.com· r/LocalLLaMA1h

DeepSeek-V4-Flash-0731 läuft mit 40–50 tok/s auf 2× Radeon AI PRO R9700

ToolsDeepSeek Llama Hugging Face

CompaniesDeepSeek Hugging Face

Warum es zählt

Für Nutzer mit zwei RDNA4-GPUs ermöglicht die Kombination aus affinity-Engine, vorgefertigtem 2,875-bpw-Quant und Docker-Build (kein ROCm-Host-Install nötig) einen niedrigschwelligen Einstieg in lokale DeepSeek-V4-Flash-Inferenz – inklusive Stabilitäts-Fixes für den Hugepage-Bug bei 2×32-GB-Karten.

— Lumeric Redaktion

Quelle lesenreddit.com

40–50 tok/s

Decode-Geschwindigkeit auf 2× R9700

Inferenz Infra Open Source Foundation Modelle

Frag die KI zum Artikel

Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.

Verwandte Beiträge

LAUNCHreddit.com2w
DeepSeek-V4-Flash-Vision-Exp (285B MoE) läuft auf 10–12× RTX 3090 mit 120+ tok/s
MEINUNGreddit.com2w
Community-Thread: Praxisleistung von 4× Radeon AI Pro R9700 für lokale LLMs
MEINUNGreddit.com1w
GPU-Auswahl für lokales LLM-Hosting: MI210 vs. A40 für DSV4 Flash
BENCHMARKreddit.com2w
DeepSeek-V4-Flash-Vision-EXP auf Dual RTX6000: 350k Kontext bei 7 parallelen Sessions

LAUNCH

reddit.com· r/LocalLLaMA1h

DeepSeek-V4-Flash-0731 läuft mit 40–50 tok/s auf 2× Radeon AI PRO R9700

ToolsDeepSeek Llama Hugging Face

CompaniesDeepSeek Hugging Face

Warum es zählt

Für Nutzer mit zwei RDNA4-GPUs ermöglicht die Kombination aus affinity-Engine, vorgefertigtem 2,875-bpw-Quant und Docker-Build (kein ROCm-Host-Install nötig) einen niedrigschwelligen Einstieg in lokale DeepSeek-V4-Flash-Inferenz – inklusive Stabilitäts-Fixes für den Hugepage-Bug bei 2×32-GB-Karten.

— Lumeric Redaktion

40–50 tok/s

Decode-Geschwindigkeit auf 2× R9700

Frag die KI zum Artikel

Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.

Quelle lesenreddit.com

Themen

Inferenz Infra Open Source Foundation Modelle

Reaktion

Speichern

Verwandte Beiträge

LAUNCHreddit.com2w
DeepSeek-V4-Flash-Vision-Exp (285B MoE) läuft auf 10–12× RTX 3090 mit 120+ tok/s
MEINUNGreddit.com2w
Community-Thread: Praxisleistung von 4× Radeon AI Pro R9700 für lokale LLMs
MEINUNGreddit.com1w
GPU-Auswahl für lokales LLM-Hosting: MI210 vs. A40 für DSV4 Flash
BENCHMARKreddit.com2w
DeepSeek-V4-Flash-Vision-EXP auf Dual RTX6000: 350k Kontext bei 7 parallelen Sessions