Der Reddit-Nutzer /u/a_beautiful_rhind beschreibt eine Technik, mit der Vision-Fähigkeiten nachträglich in Text-only-Modelle „eingepfropft" werden können. Ausgangspunkt ist die Architektur von llama.cpp, die Vision-Encoder als separate mmproj-Dateien behandelt. Da Mistral sowohl Pixtral als auch Medium-Vision-Encoder mit passenden Tokenizer-Einträgen (z. B. [IMG]-Token) veröffentlicht hat, lassen sich diese Projektoren prinzipiell mit beliebigen Modellen kombinieren, deren Tokenizer die nötigen Sondertokens enthält. Im Experiment mit Behemoth-X und dem Pixtral-Large-Instruct-2411-Encoder scheiterte der erste Versuch, weil das Modell den [IMG_END]-Token nicht kennt und die Ausgabe abbricht. Die Lösung: In mtmd.cpp den img_end-String von „[IMG_END]" auf „\n" umstellen oder das Modell neu konvertieren, um die Token-ID zu korrigieren. Nach dem Patch erkennt das Modell Bilder erkennbar – wenn auch nicht perfekt. Als weiteres Beispiel nennt der Autor das 31B-Gemma-Modell, dessen Tokenizer vollständige ASR- und Audio-Token-Definitionen enthält, was auf latente Audio-Fähigkeiten hindeutet.