
Vercel AI Gateway: Provider nach Kosten, Latenz oder Throughput sortieren
Vercel erweitert sein AI Gateway um eine explizite Sortierfunktion für Provider-Routing. Bisher wurden Provider nach einem internen Mix aus Zuverlässigkeit, Ausgabequalität, Kosten und Geschwindigkeit gereiht. Mit dem neuen `sort`-Parameter in `providerOptions.gateway` können Entwickler eines der drei Kriterien priorisieren: `cost` (niedrigster Input-Preis pro Million Tokens zuerst), `ttft` (niedrigste mediane Time to First Token) oder `tps` (höchster medianer Tokens-per-Second-Durchsatz). Das Ranking wird per Request zur Laufzeit berechnet – neu hinzugekommene Provider, Preisanpassungen und beobachtete Latenzschwankungen fließen automatisch ein. Als Beispiel nennt Vercel das Modell GPT OSS 120B, für das über fünf Provider mit unterschiedlichen Preisen verfügbar sind. `sort` ist kompatibel mit anderen Routing-Optionen wie Zero Data Retention (ZDR) und dem `order`-Parameter: Manuell priorisierte Provider werden vorangestellt, danach greift das gewählte Sortierkriterium. Jede Response enthält zudem einen `sort`-Block in den Routing-Metadaten, der transparent zeigt, welche Provider berücksichtigt wurden, welche Metrikwerte zur Rangbildung genutzt wurden und welche Provider wegen Degradation zurückgestellt wurden.
- Drei Sortierwerte: 'cost' (günstigster Input-Preis), 'ttft' (niedrigste Median-Latenz), 'tps' (höchster Median-Durchsatz)
- Ranking wird pro Request zur Laufzeit berechnet – keine Code-Änderung bei Preisänderungen nötig
- Kompatibel mit Zero Data Retention (ZDR): Gateway filtert erst ZDR-Provider, dann sortiert nach gewähltem Kriterium
- Kombination mit 'order' möglich: manuell gelistete Provider werden vorgezogen, Rest folgt Sortierkriterium
- Routing-Metadaten pro Response zeigen betrachtete Provider, Metrikwerte, Versuchreihenfolge und deprioritisierte Anbieter
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHvercel.com2w
Vercel AI Gateway: Fast Mode für Claude Opus 4.7 mit 2,5× Speed
- BENCHMARKreddit.com4d
OpenRouter-Daten zeigen Inference-Provider nach Cache-Hit-Raten verglichen
- LAUNCHvercel.com2d
Vercel Domains mit Preissortierung und Verfügbarkeitsfilter
- FORSCHUNGarxiv.org1w
PlexRL: Cluster-weite GPU-Auslastung für RLVR-Training um bis zu 37,58 % verbessert

Vercel AI Gateway: Provider nach Kosten, Latenz oder Throughput sortieren
Vercel erweitert sein AI Gateway um eine explizite Sortierfunktion für Provider-Routing. Bisher wurden Provider nach einem internen Mix aus Zuverlässigkeit, Ausgabequalität, Kosten und Geschwindigkeit gereiht. Mit dem neuen `sort`-Parameter in `providerOptions.gateway` können Entwickler eines der drei Kriterien priorisieren: `cost` (niedrigster Input-Preis pro Million Tokens zuerst), `ttft` (niedrigste mediane Time to First Token) oder `tps` (höchster medianer Tokens-per-Second-Durchsatz). Das Ranking wird per Request zur Laufzeit berechnet – neu hinzugekommene Provider, Preisanpassungen und beobachtete Latenzschwankungen fließen automatisch ein. Als Beispiel nennt Vercel das Modell GPT OSS 120B, für das über fünf Provider mit unterschiedlichen Preisen verfügbar sind. `sort` ist kompatibel mit anderen Routing-Optionen wie Zero Data Retention (ZDR) und dem `order`-Parameter: Manuell priorisierte Provider werden vorangestellt, danach greift das gewählte Sortierkriterium. Jede Response enthält zudem einen `sort`-Block in den Routing-Metadaten, der transparent zeigt, welche Provider berücksichtigt wurden, welche Metrikwerte zur Rangbildung genutzt wurden und welche Provider wegen Degradation zurückgestellt wurden.
- Drei Sortierwerte: 'cost' (günstigster Input-Preis), 'ttft' (niedrigste Median-Latenz), 'tps' (höchster Median-Durchsatz)
- Ranking wird pro Request zur Laufzeit berechnet – keine Code-Änderung bei Preisänderungen nötig
- Kompatibel mit Zero Data Retention (ZDR): Gateway filtert erst ZDR-Provider, dann sortiert nach gewähltem Kriterium
- Kombination mit 'order' möglich: manuell gelistete Provider werden vorgezogen, Rest folgt Sortierkriterium
- Routing-Metadaten pro Response zeigen betrachtete Provider, Metrikwerte, Versuchreihenfolge und deprioritisierte Anbieter
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHvercel.com2w
Vercel AI Gateway: Fast Mode für Claude Opus 4.7 mit 2,5× Speed
- BENCHMARKreddit.com4d
OpenRouter-Daten zeigen Inference-Provider nach Cache-Hit-Raten verglichen
- LAUNCHvercel.com2d
Vercel Domains mit Preissortierung und Verfügbarkeitsfilter
- FORSCHUNGarxiv.org1w
PlexRL: Cluster-weite GPU-Auslastung für RLVR-Training um bis zu 37,58 % verbessert