Praxisbericht: Vollständig lokaler AI-Stack nach 8 Monaten – Inferenz allein reicht nicht
Der Autor arbeitet als Freelancer unter NDAs auf einem M3 Max mit 64 GB RAM und betreibt Llama 3.3 70B Q4 als General-Purpose-Modell via Ollama sowie Qwen3 Coder 30B für Code. Den Wechsel weg von der Claude-API begründet er primär mit Datenschutzbedenken, nicht mit Kosten. Der zentrale Befund seines Berichts: Lokale LLM-Inferenz und lokale Datenhaltung sind zwei verschiedene Probleme. Wer nur auf lokale Inferenz umsteigt, schickt über Meeting-Transkriptions-Tools wie Granola oder Screen-Memory-Apps wie Rewind.ai weiterhin sensible Rohdaten an SaaS-Backends. Rewind.ai wurde laut Beitrag im Dezember von Meta übernommen, woraufhin die Mac-App eingestellt wurde. Als Screen-Memory-Ersatz nutzt er AirJelly – ein Kompromiss: Captures bleiben lokal auf der Festplatte, aber Vision-Inferenz wird an AirJellys Backend gesendet. Sein Threshold war „Raw-Daten verlassen das Gerät nicht", nicht „kein einziges Paket nach außen". Einen eigenen DIY-Ansatz mit screencapture-cli, Tesseract und SQLite brach er nach einem Wochenend-Prototyp ab, weil Cross-App-Korrelation und Akku-Impact nicht lösbar waren. Für Transkription setzt er auf lokales Whisper.cpp, für Notizen auf Obsidian mit verschlüsseltem Volume. Er räumt ein, dass Claude Opus 4.7 bei Long-Context-Reasoning seinem lokalen Stack noch überlegen ist.
- Stack: Ollama mit Llama 3.3 70B Q4 (General), Qwen3 Coder 30B (Code), nomic-embed-text-v2 (Vektoren)
- Llama 4 Scout passt nicht auf 64 GB RAM bei Q4 mit ausreichend Kontext-Headroom
- AirJelly: Captures lokal, Vision-Inferenz geht an deren Backend – kein eigenes Ollama-Routing möglich
- Selbstbau-Versuch mit screencapture-cli + Tesseract + SQLite scheiterte an Cross-App-Korrelation und Akku-Impact
- Granola und Rewind.ai wurden wegen Cloud-Upload vollständiger Transkripte und Screendaten deinstalliert
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com1w
Self-hosted LLM-Harness auf Raspberry Pi: vollständige Browser-UI für alle Geräte
- MEINUNGreddit.com3w
Argumente für lokale AI-Agenten – Community-Diskussion #645
- MEINUNGreddit.com2w
Entwickler baut nach 2,5 Jahren vollständig lokalen KI-Assistenten mit Memory-Layer
- MEINUNGsebastianraschka.com1w
Sebastian Raschka: Anleitung für lokale Coding Agents mit Open-Weight-Modellen
Praxisbericht: Vollständig lokaler AI-Stack nach 8 Monaten – Inferenz allein reicht nicht
Der Autor arbeitet als Freelancer unter NDAs auf einem M3 Max mit 64 GB RAM und betreibt Llama 3.3 70B Q4 als General-Purpose-Modell via Ollama sowie Qwen3 Coder 30B für Code. Den Wechsel weg von der Claude-API begründet er primär mit Datenschutzbedenken, nicht mit Kosten. Der zentrale Befund seines Berichts: Lokale LLM-Inferenz und lokale Datenhaltung sind zwei verschiedene Probleme. Wer nur auf lokale Inferenz umsteigt, schickt über Meeting-Transkriptions-Tools wie Granola oder Screen-Memory-Apps wie Rewind.ai weiterhin sensible Rohdaten an SaaS-Backends. Rewind.ai wurde laut Beitrag im Dezember von Meta übernommen, woraufhin die Mac-App eingestellt wurde. Als Screen-Memory-Ersatz nutzt er AirJelly – ein Kompromiss: Captures bleiben lokal auf der Festplatte, aber Vision-Inferenz wird an AirJellys Backend gesendet. Sein Threshold war „Raw-Daten verlassen das Gerät nicht", nicht „kein einziges Paket nach außen". Einen eigenen DIY-Ansatz mit screencapture-cli, Tesseract und SQLite brach er nach einem Wochenend-Prototyp ab, weil Cross-App-Korrelation und Akku-Impact nicht lösbar waren. Für Transkription setzt er auf lokales Whisper.cpp, für Notizen auf Obsidian mit verschlüsseltem Volume. Er räumt ein, dass Claude Opus 4.7 bei Long-Context-Reasoning seinem lokalen Stack noch überlegen ist.
- Stack: Ollama mit Llama 3.3 70B Q4 (General), Qwen3 Coder 30B (Code), nomic-embed-text-v2 (Vektoren)
- Llama 4 Scout passt nicht auf 64 GB RAM bei Q4 mit ausreichend Kontext-Headroom
- AirJelly: Captures lokal, Vision-Inferenz geht an deren Backend – kein eigenes Ollama-Routing möglich
- Selbstbau-Versuch mit screencapture-cli + Tesseract + SQLite scheiterte an Cross-App-Korrelation und Akku-Impact
- Granola und Rewind.ai wurden wegen Cloud-Upload vollständiger Transkripte und Screendaten deinstalliert
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- MEINUNGreddit.com1w
Self-hosted LLM-Harness auf Raspberry Pi: vollständige Browser-UI für alle Geräte
- MEINUNGreddit.com3w
Argumente für lokale AI-Agenten – Community-Diskussion #645
- MEINUNGreddit.com2w
Entwickler baut nach 2,5 Jahren vollständig lokalen KI-Assistenten mit Memory-Layer
- MEINUNGsebastianraschka.com1w
Sebastian Raschka: Anleitung für lokale Coding Agents mit Open-Weight-Modellen