Der Reddit-Thread auf r/LocalLLaMA stellt die praktische Frage, welches lokale Sprachmodell sich auf einem Smartphone mit 16 GB RAM am besten eignet. Als konkreter Ausgangspunkt nennt der Autor /u/ikkiyikki das Modell Qwen 3.5 9B in Q6-Quantisierung – eine Quantisierungsstufe, die einen guten Kompromiss zwischen Modellqualität und Speicherbedarf darstellt. Qwen 3.5 ist eine Modellfamilie von Alibaba, die in verschiedenen Parametergrößen verfügbar ist und sich durch kompetente Leistung bei vergleichsweise niedrigem Ressourcenbedarf auszeichnet. Q6-Quantisierung bedeutet, dass Modellgewichte mit 6 Bit pro Parameter gespeichert werden, was gegenüber voller Float16-Präzision erheblich Speicher spart, aber weniger Qualitätsverlust als aggressivere Stufen wie Q4 oder Q2 verursacht. Bei einem 9-Milliarden-Parameter-Modell in Q6 ist mit einem Speicherbedarf von grob 7–8 GB zu rechnen, was auf einem 16-GB-Gerät prinzipiell realisierbar ist. Die Community-Diskussion liefert typischerweise Alternativvorschläge, Erfahrungsberichte zu Inferenzgeschwindigkeit und Hinweise auf geeignete Laufzeitumgebungen wie llama.cpp oder MLC LLM für Android und iOS. Solche Threads sind für Entwickler und Enthusiasten, die On-Device-AI ohne Cloud-Anbindung betreiben wollen, eine wichtige Wissensquelle.