Microsofts OpenMementos ist ein Datensatz, der speziell für das Training von Sprachmodellen mit langen Reasoning-Traces entwickelt wurde. Kernidee ist das sogenannte Memento-Format: Reasoning-Prozesse werden nicht als vollständige, redundante Kontexte gespeichert, sondern in komprimierte Blöcke und Mementos aufgeteilt, die nur das Wesentliche festhalten. Das Tutorial führt Schritt für Schritt durch einen Google-Colab-kompatiblen Workflow, bei dem der Datensatz über Streaming geladen wird – ein Ansatz, der auch bei sehr großen Datasets ohne vollständiges Herunterladen funktioniert. Ein zentraler Teil der Analyse ist das Parsen des speziellen Token-Formats von OpenMementos, das eigene Sonderzeichen zur Strukturierung von Reasoning-Abschnitten und Zusammenfassungen verwendet. Die Implementierung misst zudem die Kompressionsrate des Memento-Repräsentationsformats im Vergleich zu unkomprimierten Traces – aufgeschlüsselt nach verschiedenen Domains wie etwa Mathematik oder Code. Am Ende des Workflows steht die Vorbereitung der Daten für das Fine-Tuning eigener Modelle, wobei das komprimierte Format direkt als Trainingsgrundlage dienen kann. Das Tutorial richtet sich an Entwickler und Forscher, die effizienteres LLM-Fine-Tuning mit langen Reasoning-Sequenzen anstreben, ohne den vollen Kontextoverhead tragen zu müssen.