NVIDIA Jetson AGX Orin 64GB als lokale LLM-Plattform: Use-Cases gesucht
Nutzer lithium_bromide stellt auf r/LocalLLaMA zwei NVIDIA Jetson AGX Orin 64GB-Module vor, die aus nicht mehr benötigtem Equipment stammen, und bittet die Community um Empfehlungen für sinnvolle Einsatzmöglichkeiten. Das Gerät verfügt über 64 GB Unified Memory mit einer Bandbreite von 205 GB/s; nach Systemreservierungen bleiben laut Nutzer etwa 55 GB für Modelle nutzbar. Die Jetson-AGX-Orin-Plattform ist Nvidias leistungsstärkstes Edge-AI-Modul und kombiniert ARM-CPU-Kerne mit einer Ampere-GPU sowie dedizierter NVDLA-Beschleunigung. Mit ~55 GB nutzbarem Speicher lassen sich quantisierte Modelle im Bereich 13B–34B Parameter (z. B. Q4-Quantisierungen) vollständig im Speicher halten. Typische Community-Empfehlungen für solche Setups umfassen lokale Inferenz mit llama.cpp oder Ollama, RAG-Pipelines sowie Robotik- und Automatisierungsanwendungen, für die die Jetson-Plattform ursprünglich konzipiert wurde.
- 64 GB Unified Memory, davon ~55 GB für Modelle nutzbar laut Post-Autor
- Speicherbandbreite: 205 GB/s – relevant für Token-Throughput bei großen Modellen
- Hardware stammt aus ausgemustertem (deprecated) Equipment – kein Neukauf
- Zwei Einheiten verfügbar – potenziell als verteiltes Inference-Cluster einsetzbar
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
NVIDIA Jetson AGX Orin 64GB als lokale LLM-Plattform: Use-Cases gesucht
Nutzer lithium_bromide stellt auf r/LocalLLaMA zwei NVIDIA Jetson AGX Orin 64GB-Module vor, die aus nicht mehr benötigtem Equipment stammen, und bittet die Community um Empfehlungen für sinnvolle Einsatzmöglichkeiten. Das Gerät verfügt über 64 GB Unified Memory mit einer Bandbreite von 205 GB/s; nach Systemreservierungen bleiben laut Nutzer etwa 55 GB für Modelle nutzbar. Die Jetson-AGX-Orin-Plattform ist Nvidias leistungsstärkstes Edge-AI-Modul und kombiniert ARM-CPU-Kerne mit einer Ampere-GPU sowie dedizierter NVDLA-Beschleunigung. Mit ~55 GB nutzbarem Speicher lassen sich quantisierte Modelle im Bereich 13B–34B Parameter (z. B. Q4-Quantisierungen) vollständig im Speicher halten. Typische Community-Empfehlungen für solche Setups umfassen lokale Inferenz mit llama.cpp oder Ollama, RAG-Pipelines sowie Robotik- und Automatisierungsanwendungen, für die die Jetson-Plattform ursprünglich konzipiert wurde.
- 64 GB Unified Memory, davon ~55 GB für Modelle nutzbar laut Post-Autor
- Speicherbandbreite: 205 GB/s – relevant für Token-Throughput bei großen Modellen
- Hardware stammt aus ausgemustertem (deprecated) Equipment – kein Neukauf
- Zwei Einheiten verfügbar – potenziell als verteiltes Inference-Cluster einsetzbar
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.