Sebastian Raschka (PhD) beleuchtet in seiner „Ahead of AI"-Kolumne vier Architekturinnovationen, die in Open-Weight-Modellen der Monate April und Mai 2026 aufgetaucht sind. Im Mittelpunkt steht die Frage, wie LLM-Entwickler den KV-Cache und die Attention-Berechnung effizienter gestalten, da Reasoning-Modelle und Agenten-Workflows immer mehr Token über längere Zeiträume im Kontext halten müssen. Gemma 4 (Google) kombiniert Grouped Query Attention mit einem layerübergreifenden KV-Sharing, bei dem spätere Schichten die Key-Value-States früherer Schichten wiederverwenden – ein Konzept, das auf Brandon et al. (NeurIPS 2024) zurückgeht. Zusätzlich setzt Gemma 4 sogenannte Per-Layer-Embeddings ein. ZAYA1-8B nutzt komprimierte Faltungsattention (Compressed Convolutional Attention), Laguna XS.2 arbeitet mit layerweisem Attention-Budgeting, und DeepSeek V4 kombiniert Multi-Head Compression (mHC) mit komprimierter Attention. Raschka beschränkt sich bewusst auf Architekturdesign und klammert Datensätze, Trainingspläne, RL-Rezepte und Benchmark-Tabellen aus. Der Artikel ist Teil einer Serie, die einen größeren LLM Architecture Gallery umfasst.