Hetzner testet LLM-Inference-API mit Qwen3-Modell und 262K Kontext
Der Blogbeitrag von Jonas Scholz beschreibt einen ersten praktischen Test von Hetzners neuem Inference-Experiment, das über ein Experiments-Dashboard zugänglich ist – ohne Billing, SLA oder Produktionsgarantie. Das einzige verfügbare Modell ist Qwen/Qwen3.6-35B-A3B-FP8, ein Mixture-of-Experts-Modell mit 35 Milliarden Gesamtparametern, von denen nur 3 Milliarden aktiv sind; es unterstützt Text und Bilder bei einem Kontextfenster von 262.000 Tokens. Die gemessenen Latenzen vom 23. Juli 2026 zeigen 153 ms medianen Time-to-First-Token und 224 Output-Tokens pro Sekunde – Werte, die laut Scholz für einen experimentellen Dienst bemerkenswert sind. Das Modell selbst bewertet Scholz als brauchbar, aber nicht herausragend: Formatierungsanweisungen und Bildverarbeitung funktionierten, einfache Arithmetikfragen wurden hingegen falsch beantwortet. Geschäftlich interessanter als das Modell selbst ist Hetzners struktureller Vorteil: Das Unternehmen betreibt eigene Rechenzentren mit sehr effizienter Kostenstruktur, was einen wettbewerbsfähigen Inference-Dienst im Niedrigpreissegment zumindest plausibel macht. Scholz weist aber auf eine Hardware-Einschränkung hin: Hetzners öffentliches GPU-Portfolio umfasst derzeit nur Workstation-GPUs (RTX 4000 SFF Ada mit 20 GB und RTX PRO 6000 Blackwell Max-Q mit 96 GB VRAM), die für sehr große Modelle wie GLM-5 mit 754 Milliarden Parametern nicht ausreichen. Ob Hetzner plant, B200/B300-Klasse-Hardware mit schnellen Multi-GPU-Verbindungen einzusetzen, bleibt offen.
- Zugang erfolgt über das Hetzner Experiments-Dashboard: API-Token erstellen, OpenAI-Client auf https://inference.hetzner.com/api/v1 zeigen – keine spezielle SDK nötig.
- Der Parameter enable_thinking unterdrückt den internen Reasoning-Vorlauf des Qwen3-Modells; Scholz dokumentiert ihn als funktionierend, aber offiziell nicht von Hetzner dokumentiert.
- Die FP8-Gewichte des Qwen-Modells belegen rund 38 GB, der tatsächliche VRAM-Bedarf liegt je nach Kontextlänge und Cache-Einstellungen darüber.
- Als Extrembeispiel nennt Scholz GLM-5 mit 754 Mrd. Parametern: Das offizielle Serving-Rezept verteilt es auf acht GPUs – Hardware-Klasse, die Hetzner öffentlich bisher nicht anbietet.
- Hetzner hat ein Tutorial zum Verbinden von OpenCode mit der Inference-API veröffentlicht, als codefreien Einstieg für erste Tests.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Hetzner testet LLM-Inference-API mit Qwen3-Modell und 262K Kontext
Der Blogbeitrag von Jonas Scholz beschreibt einen ersten praktischen Test von Hetzners neuem Inference-Experiment, das über ein Experiments-Dashboard zugänglich ist – ohne Billing, SLA oder Produktionsgarantie. Das einzige verfügbare Modell ist Qwen/Qwen3.6-35B-A3B-FP8, ein Mixture-of-Experts-Modell mit 35 Milliarden Gesamtparametern, von denen nur 3 Milliarden aktiv sind; es unterstützt Text und Bilder bei einem Kontextfenster von 262.000 Tokens. Die gemessenen Latenzen vom 23. Juli 2026 zeigen 153 ms medianen Time-to-First-Token und 224 Output-Tokens pro Sekunde – Werte, die laut Scholz für einen experimentellen Dienst bemerkenswert sind. Das Modell selbst bewertet Scholz als brauchbar, aber nicht herausragend: Formatierungsanweisungen und Bildverarbeitung funktionierten, einfache Arithmetikfragen wurden hingegen falsch beantwortet. Geschäftlich interessanter als das Modell selbst ist Hetzners struktureller Vorteil: Das Unternehmen betreibt eigene Rechenzentren mit sehr effizienter Kostenstruktur, was einen wettbewerbsfähigen Inference-Dienst im Niedrigpreissegment zumindest plausibel macht. Scholz weist aber auf eine Hardware-Einschränkung hin: Hetzners öffentliches GPU-Portfolio umfasst derzeit nur Workstation-GPUs (RTX 4000 SFF Ada mit 20 GB und RTX PRO 6000 Blackwell Max-Q mit 96 GB VRAM), die für sehr große Modelle wie GLM-5 mit 754 Milliarden Parametern nicht ausreichen. Ob Hetzner plant, B200/B300-Klasse-Hardware mit schnellen Multi-GPU-Verbindungen einzusetzen, bleibt offen.
- Zugang erfolgt über das Hetzner Experiments-Dashboard: API-Token erstellen, OpenAI-Client auf https://inference.hetzner.com/api/v1 zeigen – keine spezielle SDK nötig.
- Der Parameter enable_thinking unterdrückt den internen Reasoning-Vorlauf des Qwen3-Modells; Scholz dokumentiert ihn als funktionierend, aber offiziell nicht von Hetzner dokumentiert.
- Die FP8-Gewichte des Qwen-Modells belegen rund 38 GB, der tatsächliche VRAM-Bedarf liegt je nach Kontextlänge und Cache-Einstellungen darüber.
- Als Extrembeispiel nennt Scholz GLM-5 mit 754 Mrd. Parametern: Das offizielle Serving-Rezept verteilt es auf acht GPUs – Hardware-Klasse, die Hetzner öffentlich bisher nicht anbietet.
- Hetzner hat ein Tutorial zum Verbinden von OpenCode mit der Inference-API veröffentlicht, als codefreien Einstieg für erste Tests.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.