Jetson Orin NX mit Gemma 4 26B: 14,65 tok/s bei 66K Kontext
Warum es zählt
Zeigt, dass MoE-Modelle wie Gemma 4 26B auch auf Edge-Hardware mit 40W brauchbare Inferenzgeschwindigkeit und langen Kontext für Agenten-Workloads liefern können – relevant für lokale, stromsparende Agent-Deployments.
— Lumeric Redaktion
14,65 tok/s
Token-Generierung bei ~8K Kontext auf Jetson Orin NX
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com2w
NVIDIA Jetson AGX Orin 64GB als lokale LLM-Plattform: Use-Cases gesucht
- BENCHMARKreddit.com1w
Jetson Orin Nano Super 8GB: Benchmark von 8 Tiny LLMs über 4 Power-Modi
- BENCHMARKarxiv.org1d
LLM-Inferenz auf Edge-Hardware: Benchmark Qwen 2.5 1.5B auf NPU, GPU und Mobile
- LAUNCHreddit.com3w
Offline-Koffer-Roboter auf Jetson Orin NX: Gemma 4 E4B mit 200 ms TTFT
Jetson Orin NX mit Gemma 4 26B: 14,65 tok/s bei 66K Kontext
Warum es zählt
Zeigt, dass MoE-Modelle wie Gemma 4 26B auch auf Edge-Hardware mit 40W brauchbare Inferenzgeschwindigkeit und langen Kontext für Agenten-Workloads liefern können – relevant für lokale, stromsparende Agent-Deployments.
— Lumeric Redaktion
14,65 tok/s
Token-Generierung bei ~8K Kontext auf Jetson Orin NX
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com2w
NVIDIA Jetson AGX Orin 64GB als lokale LLM-Plattform: Use-Cases gesucht
- BENCHMARKreddit.com1w
Jetson Orin Nano Super 8GB: Benchmark von 8 Tiny LLMs über 4 Power-Modi
- BENCHMARKarxiv.org1d
LLM-Inferenz auf Edge-Hardware: Benchmark Qwen 2.5 1.5B auf NPU, GPU und Mobile
- LAUNCHreddit.com3w
Offline-Koffer-Roboter auf Jetson Orin NX: Gemma 4 E4B mit 200 ms TTFT