VecML demonstriert RAG mit 200.000 Dokumenten auf Snapdragon-X2-Laptop
VecML hat eine Demo veröffentlicht, die seinen AI-PC-Software-Stack auf einem ASUS Zenbook A16 mit dem neu vorgestellten Qualcomm Snapdragon X2 Elite Extreme zeigt. Das System indiziert rund 200.000 Dateien – im gezeigten Lauf wurden ~100.000 abgeschlossen – und nutzt dabei ausschließlich den NPU des Laptops. Die Embedding-/Indexierungsgeschwindigkeit soll laut Autor etwa 50 % einer RTX-5060-Laptop-GPU erreichen, bei deutlich geringerem Gewicht und Lärmpegel. Kernpunkt der Architektur ist eine hauseigene All-in-One-AI-Datenbank, die Vektordatenbank, Graphdatenbank, relationale Datenbank, Key-Value-Store, Suchindex und Dokumentenspeicher in einer einheitlichen Architektur vereint. Das ermöglicht gemeinsame Optimierung über Indexierung, Retrieval, Graph-Traversal und Speicherverwaltung hinweg. Im RAG-Betrieb werden nur ~1.200 Retrieval-Tokens genutzt, während der Großteil der Daten auf Disk ausgelagert bleibt und lediglich ein 128-Shard-Aktivpuffer im Speicher gehalten wird. Neben der Windows-Version auf Snapdragon befindet sich eine macOS-AI-PC-Software im kontrollierten Betatest.
- ASUS Zenbook A16 mit Snapdragon X2 Elite Extreme (2026) als Testgerät
- Indexierungsgeschwindigkeit: ~50 % einer RTX-5060-Laptop-GPU laut Autor
- Nur 128-Shard-Aktivpuffer im RAM, restliche Daten auf Disk ausgelagert
- ~1.200 Retrieval-Tokens für die gesamte RAG-Abfrage über 200K Dokumente
- macOS-Version der VecML AI-PC-Software aktuell im Controlled Testing
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGarxiv.org1w
Kleine Sprachmodelle in RAG-Systemen: On-Device ohne GPU
- FORSCHUNGarxiv.org3w
CONCORD: Asynchrones Sparse-Aggregations-Framework für Device-Cloud-RAG
- LAUNCHreddit.com2w
Ling & Ring 2.6: MoE-Modell im Billion-Parameter-Bereich mit Flash-Variante
- LAUNCHreddit.com2d
GLM-5.2 mit 744B MoE läuft auf Consumer-PC mit 25 GB RAM
VecML demonstriert RAG mit 200.000 Dokumenten auf Snapdragon-X2-Laptop
VecML hat eine Demo veröffentlicht, die seinen AI-PC-Software-Stack auf einem ASUS Zenbook A16 mit dem neu vorgestellten Qualcomm Snapdragon X2 Elite Extreme zeigt. Das System indiziert rund 200.000 Dateien – im gezeigten Lauf wurden ~100.000 abgeschlossen – und nutzt dabei ausschließlich den NPU des Laptops. Die Embedding-/Indexierungsgeschwindigkeit soll laut Autor etwa 50 % einer RTX-5060-Laptop-GPU erreichen, bei deutlich geringerem Gewicht und Lärmpegel. Kernpunkt der Architektur ist eine hauseigene All-in-One-AI-Datenbank, die Vektordatenbank, Graphdatenbank, relationale Datenbank, Key-Value-Store, Suchindex und Dokumentenspeicher in einer einheitlichen Architektur vereint. Das ermöglicht gemeinsame Optimierung über Indexierung, Retrieval, Graph-Traversal und Speicherverwaltung hinweg. Im RAG-Betrieb werden nur ~1.200 Retrieval-Tokens genutzt, während der Großteil der Daten auf Disk ausgelagert bleibt und lediglich ein 128-Shard-Aktivpuffer im Speicher gehalten wird. Neben der Windows-Version auf Snapdragon befindet sich eine macOS-AI-PC-Software im kontrollierten Betatest.
- ASUS Zenbook A16 mit Snapdragon X2 Elite Extreme (2026) als Testgerät
- Indexierungsgeschwindigkeit: ~50 % einer RTX-5060-Laptop-GPU laut Autor
- Nur 128-Shard-Aktivpuffer im RAM, restliche Daten auf Disk ausgelagert
- ~1.200 Retrieval-Tokens für die gesamte RAG-Abfrage über 200K Dokumente
- macOS-Version der VecML AI-PC-Software aktuell im Controlled Testing
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGarxiv.org1w
Kleine Sprachmodelle in RAG-Systemen: On-Device ohne GPU
- FORSCHUNGarxiv.org3w
CONCORD: Asynchrones Sparse-Aggregations-Framework für Device-Cloud-RAG
- LAUNCHreddit.com2w
Ling & Ring 2.6: MoE-Modell im Billion-Parameter-Bereich mit Flash-Variante
- LAUNCHreddit.com2d
GLM-5.2 mit 744B MoE läuft auf Consumer-PC mit 25 GB RAM