Kog AI erreicht 3.000 Tokens/s auf Standard-GPUs mit neuem Inference Engine
Kog AI hat am 28. Mai 2026 eine Tech-Preview der Kog Inference Engine (KIE) veröffentlicht, die auf Memory Bandwidth Utilization (MBU) statt auf FLOP-Auslastung optimiert ist. Auf einem 8×-AMD-MI300X-Knoten erreicht KIE 3.000 Output-Tokens/s per Request, auf 8× NVIDIA H200 sind es 2.100 – jeweils in FP16 ohne Speculative Decoding bei Batch-Size 1. Grundlage ist ein eigens entwickeltes 2B-Parameter-Coding-Modell; Support für große MoE-Drittmodelle soll zeitnah folgen. Der Ansatz basiert auf Co-Design von Modellarchitektur, Runtime und Low-Level-GPU-Kerneln als einheitliche, latenzoptimierte Pipeline. Kog argumentiert, dass bei Batch-Size 1 die Autoregressive Decoding hauptsächlich durch Speicherbandbreite begrenzt wird: Ein 2B-Modell in FP16 belegt rund 4 GB aktive Gewichte, was theoretische Obergrenzen von ~7.700 Tokens/s (H200) bzw. ~8.400 Tokens/s (MI300X) ergibt. Bestehende Inference-Stacks schöpfen diese Bandbreite laut Kog durch Software-Bottlenecks nicht aus. Das Playground-Modell ist unter playground.kog.ai öffentlich testbar.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Kog AI erreicht 3.000 Tokens/s auf Standard-GPUs mit neuem Inference Engine
Kog AI hat am 28. Mai 2026 eine Tech-Preview der Kog Inference Engine (KIE) veröffentlicht, die auf Memory Bandwidth Utilization (MBU) statt auf FLOP-Auslastung optimiert ist. Auf einem 8×-AMD-MI300X-Knoten erreicht KIE 3.000 Output-Tokens/s per Request, auf 8× NVIDIA H200 sind es 2.100 – jeweils in FP16 ohne Speculative Decoding bei Batch-Size 1. Grundlage ist ein eigens entwickeltes 2B-Parameter-Coding-Modell; Support für große MoE-Drittmodelle soll zeitnah folgen. Der Ansatz basiert auf Co-Design von Modellarchitektur, Runtime und Low-Level-GPU-Kerneln als einheitliche, latenzoptimierte Pipeline. Kog argumentiert, dass bei Batch-Size 1 die Autoregressive Decoding hauptsächlich durch Speicherbandbreite begrenzt wird: Ein 2B-Modell in FP16 belegt rund 4 GB aktive Gewichte, was theoretische Obergrenzen von ~7.700 Tokens/s (H200) bzw. ~8.400 Tokens/s (MI300X) ergibt. Bestehende Inference-Stacks schöpfen diese Bandbreite laut Kog durch Software-Bottlenecks nicht aus. Das Playground-Modell ist unter playground.kog.ai öffentlich testbar.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.