MLX-Runtime für Nvidia Nemotron Omni: Vision- und Audio-Tower auf Apple Silicon
Warum es zählt
Das MIT-lizenzierte Projekt ermöglicht es, Nemotron Omni (Sehen, Hören, Schlussfolgern) lokal auf einem 32 GB Mac zu betreiben – mit 67,7 tok/s (Bild), 147 tok/s (Audio) und 152 tok/s (Text) auf einem M5 Max, ohne Cloud-Abhängigkeit.
— Lumeric Redaktion
67,7 tok/s
Bildverarbeitung auf M5 Max (4-bit Quant)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com3w
NVIDIA Nemotron-Labs-3-Puzzle-75B-A9B läuft auf 2× RTX 3090 mit 262K Kontext
- LAUNCHsimonwillison.net1d
MiniMax-H3 läuft via MLX-Port auf Apple Silicon
- MEINUNGreddit.com3w
Erfahrungsbericht: 100B+ LLMs auf Laptop mit 4 GB VRAM via NVMe-Offloading
- LAUNCHdeveloper.nvidia.com2w
NVIDIA Nemotron 3 Nano per Prime Intellect Lab einfach anpassen
MLX-Runtime für Nvidia Nemotron Omni: Vision- und Audio-Tower auf Apple Silicon
Warum es zählt
Das MIT-lizenzierte Projekt ermöglicht es, Nemotron Omni (Sehen, Hören, Schlussfolgern) lokal auf einem 32 GB Mac zu betreiben – mit 67,7 tok/s (Bild), 147 tok/s (Audio) und 152 tok/s (Text) auf einem M5 Max, ohne Cloud-Abhängigkeit.
— Lumeric Redaktion
67,7 tok/s
Bildverarbeitung auf M5 Max (4-bit Quant)
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com3w
NVIDIA Nemotron-Labs-3-Puzzle-75B-A9B läuft auf 2× RTX 3090 mit 262K Kontext
- LAUNCHsimonwillison.net1d
MiniMax-H3 läuft via MLX-Port auf Apple Silicon
- MEINUNGreddit.com3w
Erfahrungsbericht: 100B+ LLMs auf Laptop mit 4 GB VRAM via NVMe-Offloading
- LAUNCHdeveloper.nvidia.com2w
NVIDIA Nemotron 3 Nano per Prime Intellect Lab einfach anpassen