Der Reddit-Nutzer /u/PravalPattam12945RPG plant ein vollständig lokal betriebenes Dokumenten-RAG-System, das mehrere Dateiformate verarbeiten soll: PDF (auch gescannte), DOCX, XLSX, CSV sowie Bilddateien wie JPG und PNG. Ein zentrales Designziel ist die mandantensichere Abfrage – Queries sollen strikt auf die Dokumente eines einzelnen Clients beschränkt bleiben, um Cross-Client-Datenlecks zu verhindern. Für die automatische Ingestion wird Watchdog als File-Watcher-Bibliothek erwogen, der Änderungen in einem Ordner erkennt und neue oder geänderte Dateien automatisch einpflegt, inklusive Versionskontrolle bei Wiederuploads. Beim Parsing steht LlamaIndex LiteParse zur Debatte; eine offene Frage ist, ob Dokument-IDs und Chunk-IDs bereits beim Parsing persistiert werden müssen, um späteres PDF-Highlighting zu ermöglichen. Für die Vektordatenbank stehen Qdrant und pgvector (in PostgreSQL integriert) im Vergleich, wobei pgvector den Vorteil hätte, keine zusätzliche Infrastruktur zu erfordern. Bezüglich GraphRAG-Ansätzen fragt der Autor, ob Systeme wie Neo4j oder Microsoft GraphRAG offline tauglich und ressourcenschonend genug für lokalen Betrieb sind. Als Referenz für das gewünschte Highlighting-Erlebnis nennt er explizit Turnitin und iThenticate – exakte Satz-Markierungen mit Quellenangabe –, und stellt fest, dass Kotaemon und AnythingLLM zwar nah dran sind, aber kein echtes Dokument-Highlighting bieten.