1-bit und 1.58-bit Bonsai LM Benchmarks auf Jetson Orin Nano Super

Warum es zählt

Bonsai Q1_0 1.7B erreicht 26 tok/s bei nur 4,51 W und 237 MB Speicherbedarf – damit sind 1-bit-LLMs praktisch auf USB-C-Powerbanks lauffähig. Der 25W-Modus liefert 47–48 % mehr Tokens/s als 15W ohne Energie-Effizienz-Einbußen, was Edge-Deployments auf günstiger Hardware konkret kalkulierbar macht.

— Lumeric Redaktion

Quelle lesenreddit.com

Output tok/J (ctx=256, gen=256) – Jetson Orin Nano Super 25W · Spitzenwert

5.84%

Bonsai-1.7B Q1_0

Inferenz Infra Evals Benchmarks Open Source

Frag die KI zum Artikel

Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.

1-bit und 1.58-bit Bonsai LM Benchmarks auf Jetson Orin Nano Super

ToolsLlama

Warum es zählt

— Lumeric Redaktion

Output tok/J (ctx=256, gen=256) – Jetson Orin Nano Super 25W · Spitzenwert

5.84%

Bonsai-1.7B Q1_0

Frag die KI zum Artikel

Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.

1-bit und 1.58-bit Bonsai LM Benchmarks auf Jetson Orin Nano Super

Frag die KI zum Artikel

Verwandte Beiträge

1-bit und 1.58-bit Bonsai LM Benchmarks auf Jetson Orin Nano Super

Frag die KI zum Artikel

Verwandte Beiträge