Der Reddit-Nutzer u/Total_Listen_4289 betreibt zwei lokale Maschinen – eine mit einer RTX 3090 für den Alltag, eine zweite mit älteren Karten für Batch-Jobs. In seinem Post kritisiert er eine strukturelle Inkonsistenz in der LocalLLaMA-Community: Während Nutzer bereitwillig ein ganzes Wochenende damit verbringen, quantisierte 70B-Modelle zu optimieren und Inferenz-Engines auf 8 % mehr Durchsatz zu trimmen, greifen dieselben Personen für Prompt-Tracking, Tracing und Evaluierung routinemäßig auf gehostete SaaS-Dienste zurück – und schicken dabei genau die Daten ab, die sie eigentlich schützen wollten. Als Ursache identifiziert er Trägheit: Hosted Tooling ist per Klick verfügbar, die Dokumentation setzt Cloud-Nutzung voraus, und die Observability galt als Pflicht, die Inferenz als Kür. Als vollständig selbst-hostbare Alternativen nennt er konkret: vLLM und llama.cpp für Serving, Open WebUI für den Chat-Layer, Langfuse für Tracing und Evals sowie ragas für lokale Evaluierung gegen einen lokalen Judge-Model. Der Post schließt mit der offenen Frage, ob es in der Tooling-Schicht noch echte Lücken ohne gute Self-Hosted-Option gibt.