LAUNCH26. Juni
Distill-on-Idle: On-Device Memory-Assistent mit 4B-Modell auf Apple Silicon
Die Kombination aus Idle-Scheduling, On-Device-OCR und hybridem FTS+Vektor-Retrieval zeigt, wie Small Models auf Laptops produktiv einsetzbar sind – ohne GPU-Konkurrenz zur Hauptanwendung. AGPL-Code verfügbar unter github.com/off-grid-ai/desktop.