Ein Reddit-Nutzer beschreibt die vollständige Evaluation eines produktiven Kundensupport-RAG-Bots auf Basis von ChromaDB. Ausgangsproblem: Qualitätsmessung erfolgte nur per Keyword-Matching, das keine aussagekräftigen Scores lieferte. Die wichtigste Erkenntnis: Ein zu strikter Similarity-Threshold (0,7 Cosine-Distance) in ChromaDB verhinderte, dass informelle Nutzereingaben überhaupt Dokumente zurücklieferten — das LLM konnte deshalb keine Antwort geben, was fälschlicherweise als Modellversagen interpretiert wurde. Als Evaluator wurde Claude Haiku 4.5 via OpenRouter eingesetzt, der Relevanz, Genauigkeit und Hilfsbereitschaft auf einer 0–10-Skala bewertet. Ein Modell-Sweep über fünf Systeme ergab, dass Gemma 4 26B mit einem Score von 7,88 gegenüber 7,33 beim bisherigen Gemini 3.1 Flash Lite Preview besser abschnitt und gleichzeitig 75 % günstiger war. Mistral Small 3.2 landete auf dem zweiten Platz. Zusätzlich wurden doppelte FAQ-Chunks (>80 % Token-Overlap) aus dem Kontext entfernt, was Halluzinationen bei Produktnamen reduzierte. Die gesamte Eval-Infrastruktur wurde mit dem Tool „Neo AI Engineer" aufgebaut.