★ Begriff· Infrastruktur
Cold Start
Verzögerung beim ersten Request nach Idle — Container muss hochgefahren, Modell-Gewichte ins GPU-Memory geladen werden. Bei 70B-Modellen 30-90s. Mitigated durch Warm-Pools.
Verwandte Tools
Auch bekannt als
cold-start · kaltstart