Vidai Community: Rust-Binary für LLM-Routing, Kostenattribution und Guardrails
Vidai Community adressiert ein verbreitetes Problem in LLM-Produktionsstacks: Kostenüberwachung, Provider-Routing und Eingabe-Guardrails werden typischerweise durch mehrere unabhängig gewachsene Komponenten abgedeckt – Bibliotheken, OpenTelemetry-Exporter, Python-Middleware und manuell gepflegte JSON-Preisdateien. Das neue Tool fasst diese sieben Aufgaben in einem einzigen, selbst gehosteten Rust-Binary zusammen. Die Integration erfolgt durch einfaches Umbiegen der base_url im bestehenden OpenAI-, Anthropic- oder Google-GenAI-SDK; bidirektionale native Übersetzung stellt sicher, dass Request- und Response-Formate erhalten bleiben. Die Kostenattribution erfolgt in-path beim Rückgabezeitpunkt und ist nach Nutzer, API-Key, Team, App und Modell aufgeschlüsselt. Harte Budget-Caps stoppen den nächsten Call, sobald ein Limit überschritten wird – nicht erst im Nachhinein per Alert. Zusätzlich bietet Vidai einen kostenlosen öffentlichen Rate-Card-Service mit regelmäßig aktualisierten Preisdaten aller großen Provider. Laut dem Post erreicht das Binary 21.803 RPS auf einem einzelnen Knoten bei einem medianen Overhead von 1,95 ms. Die Community-Version ist kostenlos und ohne Ablaufdatum unter vidai.uk/community verfügbar.
- 25 MB großes Rust-Binary, kein externer Dienst, läuft in eigener Infrastruktur
- Bidirektionale SDK-Übersetzung: z.B. Anthropic-SDK-Call wird zu OpenAI geroutet, Antwort kommt im Anthropic-Format zurück
- Harte Team-Budget-Caps: blockieren den nächsten Call bei Überschreitung, kein nachträgliches Alerting
- Kostenloser öffentlicher Rate-Card-Service ersetzt manuell gepflegte Preistabellen der einzelnen Teams
- Benchmark: 21.803 RPS auf einem Node, medianer Overhead 1,95 ms
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHvercel.com1w
Vercel AI Gateway erhält Routing Rules für Modell-Steuerung ohne Code-Änderungen
- LAUNCHgithub.com2w
Wayfinder Router: deterministisches LLM-Routing ohne Modell-Call
- FORSCHUNGhuggingface.co1w
Cascaded LLM-Routing: 97–99 % Genauigkeit bei 18 % weniger Latenz
- FORSCHUNGarxiv.org3w
SLARouter: Kostenoptimales LLM-Routing mit SLA-Garantien
Vidai Community: Rust-Binary für LLM-Routing, Kostenattribution und Guardrails
Vidai Community adressiert ein verbreitetes Problem in LLM-Produktionsstacks: Kostenüberwachung, Provider-Routing und Eingabe-Guardrails werden typischerweise durch mehrere unabhängig gewachsene Komponenten abgedeckt – Bibliotheken, OpenTelemetry-Exporter, Python-Middleware und manuell gepflegte JSON-Preisdateien. Das neue Tool fasst diese sieben Aufgaben in einem einzigen, selbst gehosteten Rust-Binary zusammen. Die Integration erfolgt durch einfaches Umbiegen der base_url im bestehenden OpenAI-, Anthropic- oder Google-GenAI-SDK; bidirektionale native Übersetzung stellt sicher, dass Request- und Response-Formate erhalten bleiben. Die Kostenattribution erfolgt in-path beim Rückgabezeitpunkt und ist nach Nutzer, API-Key, Team, App und Modell aufgeschlüsselt. Harte Budget-Caps stoppen den nächsten Call, sobald ein Limit überschritten wird – nicht erst im Nachhinein per Alert. Zusätzlich bietet Vidai einen kostenlosen öffentlichen Rate-Card-Service mit regelmäßig aktualisierten Preisdaten aller großen Provider. Laut dem Post erreicht das Binary 21.803 RPS auf einem einzelnen Knoten bei einem medianen Overhead von 1,95 ms. Die Community-Version ist kostenlos und ohne Ablaufdatum unter vidai.uk/community verfügbar.
- 25 MB großes Rust-Binary, kein externer Dienst, läuft in eigener Infrastruktur
- Bidirektionale SDK-Übersetzung: z.B. Anthropic-SDK-Call wird zu OpenAI geroutet, Antwort kommt im Anthropic-Format zurück
- Harte Team-Budget-Caps: blockieren den nächsten Call bei Überschreitung, kein nachträgliches Alerting
- Kostenloser öffentlicher Rate-Card-Service ersetzt manuell gepflegte Preistabellen der einzelnen Teams
- Benchmark: 21.803 RPS auf einem Node, medianer Overhead 1,95 ms
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHvercel.com1w
Vercel AI Gateway erhält Routing Rules für Modell-Steuerung ohne Code-Änderungen
- LAUNCHgithub.com2w
Wayfinder Router: deterministisches LLM-Routing ohne Modell-Call
- FORSCHUNGhuggingface.co1w
Cascaded LLM-Routing: 97–99 % Genauigkeit bei 18 % weniger Latenz
- FORSCHUNGarxiv.org3w
SLARouter: Kostenoptimales LLM-Routing mit SLA-Garantien