In Produktion fiel dem LightSeek-Team auf, dass in SGLang und vLLM Tokenisierung und Detokenisierung trotz Rust/C++-Bibliotheken unter der Haube durch Python-Aufrufe und damit den GIL limitiert werden. Bei großangelegtem Prefill-Decode-Disaggregation oder Expert-Parallelismus über GPU-Cluster wurden die CPUs zum Flaschenhals — teure GPUs warteten auf Token-Input. Die Antwort ist der Shepherd Model Gateway (SMG), eine vollständige Reimplementierung aller CPU-gebundenen Serving-Aufgaben in Rust: Tokenisierung mit zweistufigem Cache (L0 Exact-Match, L1 Prefix-Aware), Reasoning- und Tool-Call-Parsing für Cohere, DeepSeek, Llama, Kimi-K2, Qwen Coder u. a. in Echtzeit, sowie Multimodal-Preprocessing als komplette Rust-Neuimplementierung des HuggingFace-Transformers-Bildprozessors. Inference-Engines empfangen nur vorab tokenisierte Eingaben bzw. vorverarbeitete Tensoren via gRPC — kein Python, kein GIL. MCP-Tool-Orchestrierung, Chat-History-Management mit PostgreSQL/Redis/OracleDB, WASM-Middleware für Custom-Plugins sowie ein öffentliches gRPC-Protokoll (smg-grpc-proto auf PyPI) runden das System ab. SMG wurde von Simo Lin und Chang Su innerhalb von ca. sechs Monaten aufgebaut und positioniert sich als komplementäre Schicht zu NVIDIA Dynamo und llm-d.