★ Begriff· Training & Inferenz
Latency
Zeit zwischen Anfrage und erstem Output-Token (Time-to-First-Token, TTFT) sowie zwischen Tokens (Tokens-per-Second). Latenz-kritisch sind Voice-Agents, Coding-Assistenten. Groq + Cerebras spezialisiert auf <100ms TTFT.
Verwandte Tools
Auch bekannt als
latenz · time to first token · ttft
Aktivität
63
Mentions in den letzten 7 Tagen
4 Wochen
⚡neu · 63×
Zuletzt erwähnt in
- Qwen3.8-Flash-Next: Inferenz-Geschwindigkeit auf Apple M3 Ultra gemessen2026-09-14
- Robion: VLA-Serving-System für Multi-Roboter-Betrieb auf Edge-GPUs2026-09-14
- ExCYDER: XAI-Framework zur selbstverifizierenden Anomalieerkennung in DER-Netzen2026-09-14
- TokenMapper: Direktübersetzung zwischen heterogenen Speech-Tokenizern2026-09-14
- Quantization Analysis Tool: Effiziente KI-Deployment auf Edge-Geräten via ONNX2026-09-14