6x AMD MI50 vs. 6x NVIDIA P40: MiniMax M2.7 139B lokal benchmarked
Der Reddit-Nutzer u/Old_Grapefruit8774 betreibt beide Systeme auf ähnlicher Plattform-Basis: Das MI50-System läuft auf einem Asus X99-E-WS mit modifiziertem BIOS, einem Intel Xeon E5-2680 v4 und 128 GB DDR4 RAM – alle sechs MI50-Karten sind per PCIe Gen3 mit x8-Lanes angebunden, obwohl die MI50 PCIe 4.0 x16 unterstützt, was bereits Bandbreiteneinschränkungen bedeutet. Das verwendete Modell ist MiniMax M2.7 REAP 139B Q3_K_L, ein 139-Milliarden-Parameter-Modell im stark komprimierten GGUF-Format, das mradermacher als i1-Quantisierung bereitstellt. Der Nutzer startete llama-server mit explizitem Layer-Split (1:1:1:1:1:1 auf alle sechs GPUs), 65536 Tokens Kontextfenster, Flash Attention aktiviert und f16-KV-Cache. Auffällig ist der Prefill-Einbruch der MI50s bei wachsendem Kontext: Von pp512 (139 t/s) fällt die Leistung bei pp65536 auf nur noch 82 t/s, während die P40s bei pp16384 ihren Peak von 374 t/s erreichen und bei pp65536 noch 234 t/s liefern. Trotz dreifach höherer Speicherbandbreite (~1.024 vs. ~346 GB/s) und moderner 7-nm-Fertigung scheitern die MI50s am Prefill – ein Hinweis auf noch nicht vollständig ausgeschöpfte ROCm-Optimierungen. Der Nutzer selbst nennt das „untapped potential" und sieht in der Decode-Dominanz der MI50 (24,87 vs. 20,49 t/s bei tg128) einen Beleg dafür, dass die HBM2-Bandbreite für speicherbegrenzte Workloads wie das autoregressive Decoding messbar hilft.
- Start-Parameter: ctx-size 65536, batch-size 2048, ubatch-size 256, Flash Attention aktiv, KV-Cache auf f16 – ohne --fit und ohne --mmap.
- Die MI50-Karten laufen trotz PCIe-4.0-x16-Fähigkeit nur mit PCIe Gen3 x8 je Karte – ein möglicher Flaschenhals für Inter-GPU-Kommunikation.
- Architektur-Vergleich: MI50 (Vega 20, 7 nm) mit ~26 TFLOPS FP16 vs. P40 (Pascal GP102, 16 nm) mit schlechter FP16-Unterstützung – dennoch gewinnt P40 beim Prefill deutlich.
- Modellquelle: mradermacher/m51Lab-MiniMax-M2.7-REAP-139B-A10B-i1-GGUF auf HuggingFace, Split-Mode layer über alle 6 GPUs gleichmäßig.
- BIOS-Modifikation am Asus X99-E-WS war notwendig, um 6 GPUs gleichzeitig zu betreiben – Hinweis auf Mainboard-seitige Limitierungen bei Consumer-/Workstation-Boards.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
6x AMD MI50 vs. 6x NVIDIA P40: MiniMax M2.7 139B lokal benchmarked
Der Reddit-Nutzer u/Old_Grapefruit8774 betreibt beide Systeme auf ähnlicher Plattform-Basis: Das MI50-System läuft auf einem Asus X99-E-WS mit modifiziertem BIOS, einem Intel Xeon E5-2680 v4 und 128 GB DDR4 RAM – alle sechs MI50-Karten sind per PCIe Gen3 mit x8-Lanes angebunden, obwohl die MI50 PCIe 4.0 x16 unterstützt, was bereits Bandbreiteneinschränkungen bedeutet. Das verwendete Modell ist MiniMax M2.7 REAP 139B Q3_K_L, ein 139-Milliarden-Parameter-Modell im stark komprimierten GGUF-Format, das mradermacher als i1-Quantisierung bereitstellt. Der Nutzer startete llama-server mit explizitem Layer-Split (1:1:1:1:1:1 auf alle sechs GPUs), 65536 Tokens Kontextfenster, Flash Attention aktiviert und f16-KV-Cache. Auffällig ist der Prefill-Einbruch der MI50s bei wachsendem Kontext: Von pp512 (139 t/s) fällt die Leistung bei pp65536 auf nur noch 82 t/s, während die P40s bei pp16384 ihren Peak von 374 t/s erreichen und bei pp65536 noch 234 t/s liefern. Trotz dreifach höherer Speicherbandbreite (~1.024 vs. ~346 GB/s) und moderner 7-nm-Fertigung scheitern die MI50s am Prefill – ein Hinweis auf noch nicht vollständig ausgeschöpfte ROCm-Optimierungen. Der Nutzer selbst nennt das „untapped potential" und sieht in der Decode-Dominanz der MI50 (24,87 vs. 20,49 t/s bei tg128) einen Beleg dafür, dass die HBM2-Bandbreite für speicherbegrenzte Workloads wie das autoregressive Decoding messbar hilft.
- Start-Parameter: ctx-size 65536, batch-size 2048, ubatch-size 256, Flash Attention aktiv, KV-Cache auf f16 – ohne --fit und ohne --mmap.
- Die MI50-Karten laufen trotz PCIe-4.0-x16-Fähigkeit nur mit PCIe Gen3 x8 je Karte – ein möglicher Flaschenhals für Inter-GPU-Kommunikation.
- Architektur-Vergleich: MI50 (Vega 20, 7 nm) mit ~26 TFLOPS FP16 vs. P40 (Pascal GP102, 16 nm) mit schlechter FP16-Unterstützung – dennoch gewinnt P40 beim Prefill deutlich.
- Modellquelle: mradermacher/m51Lab-MiniMax-M2.7-REAP-139B-A10B-i1-GGUF auf HuggingFace, Split-Mode layer über alle 6 GPUs gleichmäßig.
- BIOS-Modifikation am Asus X99-E-WS war notwendig, um 6 GPUs gleichzeitig zu betreiben – Hinweis auf Mainboard-seitige Limitierungen bei Consumer-/Workstation-Boards.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.