M3 Ultra + M5 Ultra per Thunderbolt 5 RDMA: Disaggregiertes Prefill/Decode mit GLM-5.3-Flash
Warum es zählt
Disaggregiertes Prefill/Decode ist auf Consumer-Hardware mit MLX und TB5 RDMA umsetzbar – Cache-Übergabe kostet nur 38 ms für 358 MB. Das Muster erlaubt parallele Prefill-Pipeline während der erste Node schon decode, setzt aber voraus, dass das Modell in 256 GB passt.
— Lumeric Redaktion
Prefill-Throughput GLM-5.3-Flash 4-bit, 17.5k-Token-Prompt (8k-Chunks) · Spitzenwert
454%
M3 Ultra 512 GB
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- BENCHMARKreddit.com1w
Apple M5 Ultra 256 GB erreicht 68,8 tok/s mit GLM 5.3 Flash
- BENCHMARKreddit.com2w
M5 Ultra: Prefill-Step auf 8192 verdoppelt LLM-Durchsatz
- BENCHMARKreddit.com2w
Apple M5 Ultra 96 GB: Qwen 3.8 FN mit 3.200 tok/s Prefill bei 4-facher Parallelität
- MEINUNGreddit.com2d
Community-Debatte: Apple M5 Ultra 256GB vs. dual NVIDIA DGX Spark für lokale LLMs
M3 Ultra + M5 Ultra per Thunderbolt 5 RDMA: Disaggregiertes Prefill/Decode mit GLM-5.3-Flash
Warum es zählt
Disaggregiertes Prefill/Decode ist auf Consumer-Hardware mit MLX und TB5 RDMA umsetzbar – Cache-Übergabe kostet nur 38 ms für 358 MB. Das Muster erlaubt parallele Prefill-Pipeline während der erste Node schon decode, setzt aber voraus, dass das Modell in 256 GB passt.
— Lumeric Redaktion
Prefill-Throughput GLM-5.3-Flash 4-bit, 17.5k-Token-Prompt (8k-Chunks) · Spitzenwert
454%
M3 Ultra 512 GB
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- BENCHMARKreddit.com1w
Apple M5 Ultra 256 GB erreicht 68,8 tok/s mit GLM 5.3 Flash
- BENCHMARKreddit.com2w
M5 Ultra: Prefill-Step auf 8192 verdoppelt LLM-Durchsatz
- BENCHMARKreddit.com2w
Apple M5 Ultra 96 GB: Qwen 3.8 FN mit 3.200 tok/s Prefill bei 4-facher Parallelität
- MEINUNGreddit.com2d
Community-Debatte: Apple M5 Ultra 256GB vs. dual NVIDIA DGX Spark für lokale LLMs