★ Begriff· Training & Inferenz
Latency
Zeit zwischen Anfrage und erstem Output-Token (Time-to-First-Token, TTFT) sowie zwischen Tokens (Tokens-per-Second). Latenz-kritisch sind Voice-Agents, Coding-Assistenten. Groq + Cerebras spezialisiert auf <100ms TTFT.
Verwandte Tools
Auch bekannt als
latenz · time to first token · ttft
Aktivität
65
Mentions in den letzten 7 Tagen
4 Wochen
⚡neu · 65×
Zuletzt erwähnt in
- TRACE: Training-freies Framework für effizientere GUI-Agenten2026-09-14
- LATE Toolkit: Open-Source ASR für Latvisch und Latgalisch mit Whisper Fine-Tuning2026-09-14
- Qwen3.8-Flash-Next: Inferenz-Geschwindigkeit auf Apple M3 Ultra gemessen2026-09-14
- Robion: VLA-Serving-System für Multi-Roboter-Betrieb auf Edge-GPUs2026-09-14
- ExCYDER: XAI-Framework zur selbstverifizierenden Anomalieerkennung in DER-Netzen2026-09-14