omlab veröffentlicht VLX-Seek-1.5-10B für embodied Visual Grounding
VLX-Seek-1.5-10B stammt vom omlab (om-ai-lab) und ist das größte Modell der VLX-Seek-1.5-Familie, die in drei Größen (0,6B, 3B und 10B Parameter) geplant ist. Der zentrale konzeptionelle Unterschied zu gängigen visuellen Sprachmodellen liegt im Ansatz: Statt Bounding-Box-Koordinaten direkt als Zeichenfolgen zu dekodieren, wandelt VLX-Seek Kandidatenregionen in adressierbare „Region Tokens" um – das Modell wählt und referenziert Regionen ähnlich wie ein Sprachmodell Textstellen vergleicht. Für diese Kandidatenregionen kommt ein eigener OPN-Proposals-Generator zum Einsatz, dessen Ausgabe durch Post-Processing zurück in Bildkoordinaten übersetzt wird. Der Fokus liegt auf embodied-AI-Szenarien: Drohnenaufnahmen mit kleinen, dicht gepackten Objekten, Überwachungskameras, Inspektionssysteme sowie roboterzentrische Raumwahrnehmung. Zwei Trainingsmaßnahmen adressieren explizit das Halluzinationsproblem: Hard-Negative-Rejection-Training und ein dediziertes „None"-Ausgabeformat, das das Modell dazu bringt, abwesende Zielobjekte aktiv abzulehnen statt fiktive Koordinaten zu liefern. Auf der Architekturseite setzt das Modell auf einen verstärkten auxiliären Vision Tower, verbessertes Vision-Language-Alignment und zusätzliche Linear-Attention-Schichten, die Speicherbedarf und Inferenzzeit reduzieren sollen. Der Code und lauffähige Beispiele sind über das GitHub-Repository om-ai-lab/VLX-Seek öffentlich zugänglich.
- Drei Modellgrößen geplant: VLX-Seek 1.5 erscheint in 0,6B, 3B und 10B – bislang ist nur der 10B-Checkpoint veröffentlicht.
- OPN-Proposals-Generator: Kandidatenregionen werden vor der Inferenz vorgeschlagen; mangelhafter Proposal-Recall kann korrekte Lokalisierung verhindern, selbst bei ausreichendem Sprachverständnis.
- Explizites None-Ausgabeformat: Modell gibt 'None' zurück, wenn das gesuchte Objekt im Bild nicht vorhanden ist – reduziert halluzinierte Bounding Boxes.
- Unterstützte Aufgaben: Open-Vocabulary-Objektdetektion, Referring Expression Comprehension, Multi-Objekt-Grounding, objektzählung mit Region-Level-Evidenz.
- Einschränkungen: Starke Verdeckungen, extreme Unschärfe, sehr niedrige Auflösung und ungewöhnliche Sensorartefakte können die Lokalisierungsqualität trotz Hard-Negative-Training deutlich verschlechtern.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGarxiv.org0mo
X²Localizer: Progressives Geo-Lokalisierungs-Framework für Kreuzansicht-Videos
- FORSCHUNGhuggingface.co2w
LightNav-0: Kompaktes Navigationsmodell nutzt räumliche VLM-Intelligenz
- FORSCHUNGarxiv.org2w
Open-Set-Detektion für UAV-Lufterkennung mit 10 % AUROC-Gewinn
- FORSCHUNGarxiv.org1w
KAN-Framework macht YOLO-Objekterkennung interpretierbar und vertrauenswürdig
omlab veröffentlicht VLX-Seek-1.5-10B für embodied Visual Grounding
VLX-Seek-1.5-10B stammt vom omlab (om-ai-lab) und ist das größte Modell der VLX-Seek-1.5-Familie, die in drei Größen (0,6B, 3B und 10B Parameter) geplant ist. Der zentrale konzeptionelle Unterschied zu gängigen visuellen Sprachmodellen liegt im Ansatz: Statt Bounding-Box-Koordinaten direkt als Zeichenfolgen zu dekodieren, wandelt VLX-Seek Kandidatenregionen in adressierbare „Region Tokens" um – das Modell wählt und referenziert Regionen ähnlich wie ein Sprachmodell Textstellen vergleicht. Für diese Kandidatenregionen kommt ein eigener OPN-Proposals-Generator zum Einsatz, dessen Ausgabe durch Post-Processing zurück in Bildkoordinaten übersetzt wird. Der Fokus liegt auf embodied-AI-Szenarien: Drohnenaufnahmen mit kleinen, dicht gepackten Objekten, Überwachungskameras, Inspektionssysteme sowie roboterzentrische Raumwahrnehmung. Zwei Trainingsmaßnahmen adressieren explizit das Halluzinationsproblem: Hard-Negative-Rejection-Training und ein dediziertes „None"-Ausgabeformat, das das Modell dazu bringt, abwesende Zielobjekte aktiv abzulehnen statt fiktive Koordinaten zu liefern. Auf der Architekturseite setzt das Modell auf einen verstärkten auxiliären Vision Tower, verbessertes Vision-Language-Alignment und zusätzliche Linear-Attention-Schichten, die Speicherbedarf und Inferenzzeit reduzieren sollen. Der Code und lauffähige Beispiele sind über das GitHub-Repository om-ai-lab/VLX-Seek öffentlich zugänglich.
- Drei Modellgrößen geplant: VLX-Seek 1.5 erscheint in 0,6B, 3B und 10B – bislang ist nur der 10B-Checkpoint veröffentlicht.
- OPN-Proposals-Generator: Kandidatenregionen werden vor der Inferenz vorgeschlagen; mangelhafter Proposal-Recall kann korrekte Lokalisierung verhindern, selbst bei ausreichendem Sprachverständnis.
- Explizites None-Ausgabeformat: Modell gibt 'None' zurück, wenn das gesuchte Objekt im Bild nicht vorhanden ist – reduziert halluzinierte Bounding Boxes.
- Unterstützte Aufgaben: Open-Vocabulary-Objektdetektion, Referring Expression Comprehension, Multi-Objekt-Grounding, objektzählung mit Region-Level-Evidenz.
- Einschränkungen: Starke Verdeckungen, extreme Unschärfe, sehr niedrige Auflösung und ungewöhnliche Sensorartefakte können die Lokalisierungsqualität trotz Hard-Negative-Training deutlich verschlechtern.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGarxiv.org0mo
X²Localizer: Progressives Geo-Lokalisierungs-Framework für Kreuzansicht-Videos
- FORSCHUNGhuggingface.co2w
LightNav-0: Kompaktes Navigationsmodell nutzt räumliche VLM-Intelligenz
- FORSCHUNGarxiv.org2w
Open-Set-Detektion für UAV-Lufterkennung mit 10 % AUROC-Gewinn
- FORSCHUNGarxiv.org1w
KAN-Framework macht YOLO-Objekterkennung interpretierbar und vertrauenswürdig