Der Reddit-Nutzer /u/mhogag wirft auf r/LocalLLaMA eine Frage auf, die in der Community zunehmend an Relevanz gewinnt: Gibt es noch aktuelle Sprachmodelle, die ausschließlich auf menschlich erzeugten Texten trainiert wurden – also ohne synthetische, KI-generierte Daten? Ausgangspunkt ist die verbreitete Annahme, dass moderne LLMs auf Billionen von Tokens trainiert werden, von denen ein erheblicher, jedoch selten genau bezifferter Anteil aus KI-generierten Quellen stammt. Der Nutzer fragt explizit nach Modellen aus der Zeit vor dem breiten Einsatz synthetischer Trainingsdaten. Hintergrund ist das Interesse, ob aktuelle Trainingstechniken – etwa verbesserte Datenkuration, bessere Tokenizer oder modernere Architekturen – in Kombination mit rein menschlichen Daten zu qualitativ besseren oder andersartigen Modellen führen würden. Die Frage berührt ein grundlegendes Problem der modernen KI-Entwicklung: Sogenannte „Model Collapse"-Szenarien, bei denen iterativ auf KI-Outputs trainierte Modelle in ihrer Vielfalt und Qualität degradieren können, werden in der Forschungsliteratur diskutiert. Transparenz über die Zusammensetzung von Trainingsdaten ist bei kommerziellen wie Open-Weight-Modellen gleichermaßen rar. Die Diskussion auf r/LocalLLaMA spiegelt ein breiteres Unbehagen der Practitioner-Community darüber wider, dass Trainingsdetails kaum öffentlich zugänglich sind.