Inference-Engines wie vLLM können vom beworbenen Cache-Wert erheblich abweichen – nach eigenen Fixes des Autors wurden 146 % der nominalen 2M-Token-Kapazität gehalten. Das Tool gibt Betreibern lokaler LLM-Setups erstmals Ground-Truth über tatsächliche Cache-Retention und hilft beim Vergleich verschiedener Engines.