Atlas: Open-Source-Inference-Engine mit über 100 Tokens/Sekunde für lokale LLMs
Atlas ist ein von Grund auf neu geschriebener Inference-Engine speziell für DGX Spark (GB10) mit Fokus auf minimale Latenz und maximalen Durchsatz. Das Team erkannte, dass nicht die Hardware, sondern 20+ GB Python-Overhead der Bottleneck war, und schrieb daher die gesamte Stack in Rust und CUDA ohne PyTorch oder Python-Runtime. Konkrete Messwerte auf einem Single DGX Spark: Qwen3.5-35B erreicht 130 tok/s Peak / 111 tok/s sustained (3,0–3,3x schneller als vLLM), Qwen3.5-122B läuft bei ~50 tok/s Decode. Die Besonderheiten sind Hand-tuned CUDA-Kernels für Blackwell-GPUs (SM120/121), native NVFP4- und FP8-Unterstützung auf Tensor Cores, Multi-Token-Prediction für Speculative Decoding (bis 3x Throughput-Boost) und OpenAI/Anthropic API-Kompatibilität out-of-the-box. Das Projekt plant Ports auf AMD Strix Halo und RTX 6000 Pro Blackwell; roadmap wird Community-getrieben nach Discord-Feedback entwickelt.
- Hand-tuned CUDA-Kernels speziell für Blackwell SM120/121 (Attention, MoE, GDN, Mamba-2) statt generischer Fallbacks
- Qwen3.5-35B: 130 tok/s peak, ~111 tok/s sustained, 3,0–3,3x schneller als vLLM beim Durchsatz
- Pure Rust + CUDA ohne PyTorch, ~2,5 GB Docker-Image, <2 Minuten Kalt-Start
- OpenAI + Anthropic API-Kompatibilität; läuft mit Claude Code, Cline, OpenCode, Open WebUI
- Roadmap für Spectral Compute Strix Halo (AMD-Hardware) und RTX 6000 Pro Blackwell
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGarxiv.org5d
6,978× Speedup bei Qwen3.5-4B durch Quantisierung und Speculative Decoding
- LAUNCHtogether.ai4d
Together AI startet Provisioned Throughput für Open-Source-Modelle
- LAUNCHpytorch.org2w
PyTorch TokenSpeed-Kernel: Portable API für Multi-Silicon LLM-Inferenz
- FORSCHUNGreddit.com4d
QLLM: Neue Transformer-freie Architektur mit O(1)-Inferenz als 100M-Modell veröffentlicht
Atlas: Open-Source-Inference-Engine mit über 100 Tokens/Sekunde für lokale LLMs
Atlas ist ein von Grund auf neu geschriebener Inference-Engine speziell für DGX Spark (GB10) mit Fokus auf minimale Latenz und maximalen Durchsatz. Das Team erkannte, dass nicht die Hardware, sondern 20+ GB Python-Overhead der Bottleneck war, und schrieb daher die gesamte Stack in Rust und CUDA ohne PyTorch oder Python-Runtime. Konkrete Messwerte auf einem Single DGX Spark: Qwen3.5-35B erreicht 130 tok/s Peak / 111 tok/s sustained (3,0–3,3x schneller als vLLM), Qwen3.5-122B läuft bei ~50 tok/s Decode. Die Besonderheiten sind Hand-tuned CUDA-Kernels für Blackwell-GPUs (SM120/121), native NVFP4- und FP8-Unterstützung auf Tensor Cores, Multi-Token-Prediction für Speculative Decoding (bis 3x Throughput-Boost) und OpenAI/Anthropic API-Kompatibilität out-of-the-box. Das Projekt plant Ports auf AMD Strix Halo und RTX 6000 Pro Blackwell; roadmap wird Community-getrieben nach Discord-Feedback entwickelt.
- Hand-tuned CUDA-Kernels speziell für Blackwell SM120/121 (Attention, MoE, GDN, Mamba-2) statt generischer Fallbacks
- Qwen3.5-35B: 130 tok/s peak, ~111 tok/s sustained, 3,0–3,3x schneller als vLLM beim Durchsatz
- Pure Rust + CUDA ohne PyTorch, ~2,5 GB Docker-Image, <2 Minuten Kalt-Start
- OpenAI + Anthropic API-Kompatibilität; läuft mit Claude Code, Cline, OpenCode, Open WebUI
- Roadmap für Spectral Compute Strix Halo (AMD-Hardware) und RTX 6000 Pro Blackwell
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGarxiv.org5d
6,978× Speedup bei Qwen3.5-4B durch Quantisierung und Speculative Decoding
- LAUNCHtogether.ai4d
Together AI startet Provisioned Throughput für Open-Source-Modelle
- LAUNCHpytorch.org2w
PyTorch TokenSpeed-Kernel: Portable API für Multi-Silicon LLM-Inferenz
- FORSCHUNGreddit.com4d
QLLM: Neue Transformer-freie Architektur mit O(1)-Inferenz als 100M-Modell veröffentlicht