★ Begriff· Training & Inferenz
Latency
Zeit zwischen Anfrage und erstem Output-Token (Time-to-First-Token, TTFT) sowie zwischen Tokens (Tokens-per-Second). Latenz-kritisch sind Voice-Agents, Coding-Assistenten. Groq + Cerebras spezialisiert auf <100ms TTFT.
Verwandte Tools
Auch bekannt als
latenz · time to first token · ttft
Aktivität
63
Mentions in den letzten 7 Tagen
4 Wochen
⚡neu · 63×
Zuletzt erwähnt in
- Glance vereint Reranking und Generierung in einem Backbone2026-10-30
- CoSTA beschleunigt Sprachdialogmodelle mit BPE-Tokenkompression 1,7×2026-10-30
- Hugging Face startet Open TTS Leaderboard für TTS-Modelle und Inference-Engines2026-10-30
- Baseten veröffentlicht joey-1: 2B Decision Model für $0,01 pro 1M Tokens2026-10-29
- ServiceNow veröffentlicht Apriel Voice 27B: Open-Source-Sprachmodell mit Tool-Use2026-10-29