Jetson Orin Nano Super 8GB: Benchmark von 8 Tiny LLMs über 4 Power-Modi
Warum es zählt
Für Edge-Deployments auf Jetson-Hardware zeigt der Benchmark, dass der 25W-Modus 36–47 % mehr Tokens/s als 15W liefert und zugleich 8–35 % effizienter als MAXN ist – MAXN kostet ~17 % mehr Energie bei marginalem Throughput-Gewinn. SmolLM2-135M erreicht 22,6 tok/J und ist damit das effizienteste Modell der Suite.
— Lumeric Redaktion
tok/s bei 25W (ctx=2048, gen=256) · Spitzenwert
165%
SmolLM2-135M
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- BENCHMARKarxiv.org1d
LLM-Inferenz auf Edge-Hardware: Benchmark Qwen 2.5 1.5B auf NPU, GPU und Mobile
- BENCHMARKreddit.com1d
Jetson Orin NX mit Gemma 4 26B: 14,65 tok/s bei 66K Kontext
- MEINUNGreddit.com2w
NVIDIA Jetson AGX Orin 64GB als lokale LLM-Plattform: Use-Cases gesucht
- BENCHMARKreddit.com2w
Llama.cpp vs. LiteRT: DIY-24/7-LLM-Server auf Xiaomi 12 Pro im Vergleich
Jetson Orin Nano Super 8GB: Benchmark von 8 Tiny LLMs über 4 Power-Modi
Warum es zählt
Für Edge-Deployments auf Jetson-Hardware zeigt der Benchmark, dass der 25W-Modus 36–47 % mehr Tokens/s als 15W liefert und zugleich 8–35 % effizienter als MAXN ist – MAXN kostet ~17 % mehr Energie bei marginalem Throughput-Gewinn. SmolLM2-135M erreicht 22,6 tok/J und ist damit das effizienteste Modell der Suite.
— Lumeric Redaktion
tok/s bei 25W (ctx=2048, gen=256) · Spitzenwert
165%
SmolLM2-135M
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- BENCHMARKarxiv.org1d
LLM-Inferenz auf Edge-Hardware: Benchmark Qwen 2.5 1.5B auf NPU, GPU und Mobile
- BENCHMARKreddit.com1d
Jetson Orin NX mit Gemma 4 26B: 14,65 tok/s bei 66K Kontext
- MEINUNGreddit.com2w
NVIDIA Jetson AGX Orin 64GB als lokale LLM-Plattform: Use-Cases gesucht
- BENCHMARKreddit.com2w
Llama.cpp vs. LiteRT: DIY-24/7-LLM-Server auf Xiaomi 12 Pro im Vergleich