MoE-Offloading: AVX-512 (AMD) vs. AVX2 (Intel) für lokale LLM-Inferenz
Der Reddit-Nutzer /u/Personability plant ein Upgrade seines Framework 13 mit AMD Ryzen 7840U auf das neue Framework 13 Pro und stellt dabei eine konkrete Architektur-Frage: Welchen praktischen Unterschied machen AVX-512 (AMD) versus AVX2 (Intel) beim CPU-seitigen MoE-Offloading? Hintergrund ist sein bestehendes Setup mit einer RTX 5080, die per Thunderbolt 4 über ein Razer Core X V2 eGPU-Gehäuse angebunden ist – eine Konfiguration, die für Gaming funktioniert, bei LLM-Inferenz mit Offloading aber durch die begrenzte TB4-Bandbreite ausgebremst wird. Konkret läuft er Qwen 3.6 35B-A3B und misst dabei rund 1000 Prefill-Tokens pro Sekunde sowie 50–70 Tokens pro Sekunde beim Decode. Die Kernfrage dreht sich um zwei gegenläufige Effekte: AMD-CPUs mit AVX-512 können breitere SIMD-Vektoren nutzen, was theoretisch beim CPU-seitigen Prefill von MoE-Experten-Schichten Vorteile bringt. Intel hingegen bietet beim Framework 13 Pro LPCAMM2-Speicher, dessen höhere Speicherbandbreite besonders beim speicherbandbreiten-limitierten Decode-Schritt relevant sein kann. Der Post liefert keine eigenen Benchmarks zum Vergleich beider Plattformen, sondern fragt explizit nach Praxiserfahrungen anderer Nutzer. Gerade für MoE-Modelle wie Qwen 3.6 35B-A3B, bei denen nur ein Bruchteil der Parameter pro Token aktiv ist, kann die CPU-Leistung beim Offloading einen überproportionalen Einfluss auf den Gesamtdurchsatz haben.
- Aktuelles System: Framework 13 mit AMD Ryzen 7840U + RTX 5080 via Thunderbolt 4 (Razer Core X V2 eGPU-Gehäuse)
- Gemessene Performance mit Qwen 3.6 35B-A3B: ~1000 PP/s Prefill, 50–70 t/s Decode – mit Offloading durch TB4-Flaschenhals limitiert
- Intel Framework 13 Pro bietet LPCAMM2-RAM mit höherer Speicherbandbreite, was beim Decode-Schritt relevant ist
- AMD-CPUs (inkl. Ryzen 7000-Serie) unterstützen AVX-512, Intel-Varianten des Framework 13 laut Nutzer nur AVX2
- Der Post fragt nach Community-Erfahrungen – es werden keine eigenen Vergleichsmessungen zwischen Intel und AMD präsentiert
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
MoE-Offloading: AVX-512 (AMD) vs. AVX2 (Intel) für lokale LLM-Inferenz
Der Reddit-Nutzer /u/Personability plant ein Upgrade seines Framework 13 mit AMD Ryzen 7840U auf das neue Framework 13 Pro und stellt dabei eine konkrete Architektur-Frage: Welchen praktischen Unterschied machen AVX-512 (AMD) versus AVX2 (Intel) beim CPU-seitigen MoE-Offloading? Hintergrund ist sein bestehendes Setup mit einer RTX 5080, die per Thunderbolt 4 über ein Razer Core X V2 eGPU-Gehäuse angebunden ist – eine Konfiguration, die für Gaming funktioniert, bei LLM-Inferenz mit Offloading aber durch die begrenzte TB4-Bandbreite ausgebremst wird. Konkret läuft er Qwen 3.6 35B-A3B und misst dabei rund 1000 Prefill-Tokens pro Sekunde sowie 50–70 Tokens pro Sekunde beim Decode. Die Kernfrage dreht sich um zwei gegenläufige Effekte: AMD-CPUs mit AVX-512 können breitere SIMD-Vektoren nutzen, was theoretisch beim CPU-seitigen Prefill von MoE-Experten-Schichten Vorteile bringt. Intel hingegen bietet beim Framework 13 Pro LPCAMM2-Speicher, dessen höhere Speicherbandbreite besonders beim speicherbandbreiten-limitierten Decode-Schritt relevant sein kann. Der Post liefert keine eigenen Benchmarks zum Vergleich beider Plattformen, sondern fragt explizit nach Praxiserfahrungen anderer Nutzer. Gerade für MoE-Modelle wie Qwen 3.6 35B-A3B, bei denen nur ein Bruchteil der Parameter pro Token aktiv ist, kann die CPU-Leistung beim Offloading einen überproportionalen Einfluss auf den Gesamtdurchsatz haben.
- Aktuelles System: Framework 13 mit AMD Ryzen 7840U + RTX 5080 via Thunderbolt 4 (Razer Core X V2 eGPU-Gehäuse)
- Gemessene Performance mit Qwen 3.6 35B-A3B: ~1000 PP/s Prefill, 50–70 t/s Decode – mit Offloading durch TB4-Flaschenhals limitiert
- Intel Framework 13 Pro bietet LPCAMM2-RAM mit höherer Speicherbandbreite, was beim Decode-Schritt relevant ist
- AMD-CPUs (inkl. Ryzen 7000-Serie) unterstützen AVX-512, Intel-Varianten des Framework 13 laut Nutzer nur AVX2
- Der Post fragt nach Community-Erfahrungen – es werden keine eigenen Vergleichsmessungen zwischen Intel und AMD präsentiert
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.