Strata-Fork für Jetson AGX Orin 64GB: Qwen3.6-35B mit 40 tok/s
Warum es zählt
Der Fork bringt INT8 KV-Caching, Prefix-Checkpoints und optionale KV-Präallokation auf Edge-Hardware. Für Entwickler mit Jetson AGX Orin kann das einen deutlichen Inferenz-Speedup bei großen MoE-Modellen bedeuten – ohne Cloud-Anbindung.
— Lumeric Redaktion
40–41 tok/s
Decode-Speed auf Jetson AGX Orin 64GB
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com1w
Strata Inference-Engine: Praxis-Tuning-Tipps für bis zu 70 tps
- MEINUNGreddit.com3h
Strata-Config-Tuning: 2076 PP und 95–105 tok/s auf RTX 4090 mit Qwen3.8-Flash-Next
- BENCHMARKreddit.com3w
Strata-Kalibrierung verdreifacht Decode-Speed auf Intel-Hybrid-CPUs
- BENCHMARKreddit.com3w
Strata-Fork für IBM AC922 erreicht 7.357 tk/s Prefill mit Qwen3.8B
Strata-Fork für Jetson AGX Orin 64GB: Qwen3.6-35B mit 40 tok/s
Warum es zählt
Der Fork bringt INT8 KV-Caching, Prefix-Checkpoints und optionale KV-Präallokation auf Edge-Hardware. Für Entwickler mit Jetson AGX Orin kann das einen deutlichen Inferenz-Speedup bei großen MoE-Modellen bedeuten – ohne Cloud-Anbindung.
— Lumeric Redaktion
40–41 tok/s
Decode-Speed auf Jetson AGX Orin 64GB
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com1w
Strata Inference-Engine: Praxis-Tuning-Tipps für bis zu 70 tps
- MEINUNGreddit.com3h
Strata-Config-Tuning: 2076 PP und 95–105 tok/s auf RTX 4090 mit Qwen3.8-Flash-Next
- BENCHMARKreddit.com3w
Strata-Kalibrierung verdreifacht Decode-Speed auf Intel-Hybrid-CPUs
- BENCHMARKreddit.com3w
Strata-Fork für IBM AC922 erreicht 7.357 tk/s Prefill mit Qwen3.8B