★ Begriff· Training & Inferenz
Latency
Zeit zwischen Anfrage und erstem Output-Token (Time-to-First-Token, TTFT) sowie zwischen Tokens (Tokens-per-Second). Latenz-kritisch sind Voice-Agents, Coding-Assistenten. Groq + Cerebras spezialisiert auf <100ms TTFT.
Verwandte Tools
Auch bekannt als
latenz · time to first token · ttft
Aktivität
71
Mentions in den letzten 7 Tagen
4 Wochen
⚡neu · 71×
Zuletzt erwähnt in
- GPT-5.6, Grok 4.5 und Muse Spark 1.1: Frontier-KI wird zur Ausführungsinfrastruktur2026-07-12
- SGLang schlägt vLLM bei 4× RTX 5060 Ti Multi-GPU-Setup für Qwen3.6-27B2026-07-12
- Mesh LLM: Verteiltes KI-Computing über iroh-Netzwerk2026-07-11
- Praxistest: Vier RTX 5060 Ti für lokale Codegenerierung mit Qwen3.6-27B2026-07-11
- Deterministisches Prompt-Pruning reduziert Token-Kosten ohne Abhängigkeiten zu brechen2026-07-11