PolyRange: Kontaminationsresistenter Offensive-AI-Benchmark für Web-Targets
PolyRange, entwickelt vom CEO und Mitgründer von Aether AI (/u/theonejvo), reagiert auf eine von mehreren Laboren gemeinsam diagnostizierte Schwäche in der Cyber-AI-Evaluation: Bestehende Benchmarks sind entweder statisch und kontaminiert (CTF-Stil: DVWA, NYU CTF Bench, CyberGym, AutoPenBench) oder messen gegen undefinierte Verteidigungsinfrastruktur (Bug-Bounty-Stil: XBOW). Anthropics Claude-Mythos-Systemkarte, das UK-AISI-Papier von Folkerts et al. sowie OpenAIs Evaluierungsrichtlinien fordern übereinstimmend: dynamisch erzeugte, private Tasks mit aktiven Verteidigungskomponenten. PolyRange generiert jede Evaluierungsumgebung frisch per LLM der Wahl des Forschers — damit ist per Konstruktion sichergestellt, dass kein statisches Artefakt in zukünftige Trainingskorpora einfließt. Das Framework läuft vollständig auf echten Backends (PostgreSQL-Dialekte, PHP für LFI, Shell für Command-Injection, Jinja2 für SSTI) und bringt ein Single-Command-Eval-CLI mit. v1.0 ist MIT-lizenziert, selbst-hostbar auf Fly.io oder beliebigen Docker-Hosts. Ein empirisches Paper mit Vergleichsdaten hängt laut Autor von Partnerschaftsfinanzierung ab.
- 84 WSTG-abgeleitete Angriffsklassen über alle 12 OWASP-Testing-Guide-Kategorien
- Zwei Defense-Tiers sollen fehlende Active-Defender-Bedingungen aus UK-AISI- und Anthropic-Ranges annähern
- Echte Backends: PostgreSQL, PHP, Shell, Jinja2 — kein simuliertes Zielverhalten
- MIT-lizenziert, self-hostable auf Fly.io oder jedem Docker-Host; Single-Command-Eval-CLI
- Autor ist CEO/Co-Founder von Aether AI; PolyRange ist unabhängige Forschung außerhalb des kommerziellen Roadmaps
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- BENCHMARKarxiv.org3w
AgentCyberRange: Benchmark testet Frontier-KI auf realistische Cyberangriffe
- FORSCHUNGeugeneyan.com3w
Muster für Cybersecurity-Evals: Vom CTF bis zum Netzwerk-Angriff
- FORSCHUNGarxiv.org1w
Vera: Automatisiertes Safety-Testing für LLM-Agenten mit 93,9 % Attack Success Rate
- FORSCHUNGarxiv.org3w
Taxonomie und Bedrohungsmodell für AI-Sandboxes in cyber-physischen Systemen
PolyRange: Kontaminationsresistenter Offensive-AI-Benchmark für Web-Targets
PolyRange, entwickelt vom CEO und Mitgründer von Aether AI (/u/theonejvo), reagiert auf eine von mehreren Laboren gemeinsam diagnostizierte Schwäche in der Cyber-AI-Evaluation: Bestehende Benchmarks sind entweder statisch und kontaminiert (CTF-Stil: DVWA, NYU CTF Bench, CyberGym, AutoPenBench) oder messen gegen undefinierte Verteidigungsinfrastruktur (Bug-Bounty-Stil: XBOW). Anthropics Claude-Mythos-Systemkarte, das UK-AISI-Papier von Folkerts et al. sowie OpenAIs Evaluierungsrichtlinien fordern übereinstimmend: dynamisch erzeugte, private Tasks mit aktiven Verteidigungskomponenten. PolyRange generiert jede Evaluierungsumgebung frisch per LLM der Wahl des Forschers — damit ist per Konstruktion sichergestellt, dass kein statisches Artefakt in zukünftige Trainingskorpora einfließt. Das Framework läuft vollständig auf echten Backends (PostgreSQL-Dialekte, PHP für LFI, Shell für Command-Injection, Jinja2 für SSTI) und bringt ein Single-Command-Eval-CLI mit. v1.0 ist MIT-lizenziert, selbst-hostbar auf Fly.io oder beliebigen Docker-Hosts. Ein empirisches Paper mit Vergleichsdaten hängt laut Autor von Partnerschaftsfinanzierung ab.
- 84 WSTG-abgeleitete Angriffsklassen über alle 12 OWASP-Testing-Guide-Kategorien
- Zwei Defense-Tiers sollen fehlende Active-Defender-Bedingungen aus UK-AISI- und Anthropic-Ranges annähern
- Echte Backends: PostgreSQL, PHP, Shell, Jinja2 — kein simuliertes Zielverhalten
- MIT-lizenziert, self-hostable auf Fly.io oder jedem Docker-Host; Single-Command-Eval-CLI
- Autor ist CEO/Co-Founder von Aether AI; PolyRange ist unabhängige Forschung außerhalb des kommerziellen Roadmaps
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- BENCHMARKarxiv.org3w
AgentCyberRange: Benchmark testet Frontier-KI auf realistische Cyberangriffe
- FORSCHUNGeugeneyan.com3w
Muster für Cybersecurity-Evals: Vom CTF bis zum Netzwerk-Angriff
- FORSCHUNGarxiv.org1w
Vera: Automatisiertes Safety-Testing für LLM-Agenten mit 93,9 % Attack Success Rate
- FORSCHUNGarxiv.org3w
Taxonomie und Bedrohungsmodell für AI-Sandboxes in cyber-physischen Systemen