★ Begriff· Training & Inferenz
Throughput
Tokens-pro-Sekunde, die ein Inference-Endpoint unter Last produziert. Wichtig für Batch-Workloads (Embeddings, Document-Processing). Trade-off mit Latency: Batch-Mode = höherer Throughput, aber höhere TTFT pro Request.
Verwandte Tools
Auch bekannt als
tokens per second · tok/s
Aktivität
35
Mentions in den letzten 7 Tagen
4 Wochen
⚡neu · 35×
Zuletzt erwähnt in
- Surya OCR 2.5: Open-Source-Dokumentenmodell mit 689M Parametern und 4,5 Seiten/s2026-10-30
- LFM3-Omni-2B läuft vollständig im Browser via WebGPU2026-10-30
- LFM3-1.7B und LFM3-VL-2B laufen vollständig offline auf iPhone und Android2026-10-30
- CoSTA beschleunigt Sprachdialogmodelle mit BPE-Tokenkompression 1,7×2026-10-30
- NInfer v0.3.0: Qwen3-Inferenz auf RTX 2080 Ti 22 GB jetzt nativ unter Windows2026-10-30