Box ist ein Open-Source-Projekt von /u/Healthy_Bedroom5837, das auf Googles AI Edge Gallery aufbaut und zu einem vollständig offline-fähigen Android-KI-Assistenten weiterentwickelt wurde. Die App integriert vier Inferenz-Backends in einem Stack: llama.cpp für GGUF-LLM-Inferenz, whisper.cpp für lokale Spracherkennung, stable-diffusion.cpp für On-Device-Bildgenerierung sowie LiteRT als Googles On-Device-Runtime. Entscheidend ist ein automatisches Hardware-Routing, das je nach Modell und Gerät zwischen CPU, GPU, NPU und TPU wählt. Der Entwickler berichtet, dass die Kombination aus LiteRT und llama.cpp auf neueren Snapdragon- und Pixel-NPUs besser als erwartet funktioniert und dass Model-Routing einen größeren Einfluss hat als die rohe Modellgröße. Als praktischer Bottleneck wurde nicht die Rechenleistung, sondern Arbeitsspeicher und Persistenz identifiziert. Whisper.cpp gilt laut Erfahrungsbericht als stabilste STT-Schicht für vollständig offline Setups. Das Projekt unterstützt Voice-to-Voice-Konversation, Vision-plus-Voice mit Live-Kamera, Dokumentenverarbeitung sowie den Import eigener GGUF-Modelle.