Loubna Ben Allal von Hugging Face hat Carbon veröffentlicht, eine Familie offener DNA-Foundation-Modelle. Das Flaggschiff Carbon-3B erreicht die Leistung des bisherigen State-of-the-Art-Modells Evo2-7B – bei 2,3-fach weniger Parametern und 275-facher Inferenzgeschwindigkeit. Das Team adaptierte bewährte LLM-Trainingsstrategien aus dem SmolLM-Projekt für genomische Daten, musste jedoch zentrale Designentscheidungen anpassen: Statt nukleotidweiser Tokenisierung oder BPE kommen deterministische 6-mer-Tokens zum Einsatz, die Sequenzen um den Faktor 6 verkürzen und Attention-Kosten senken. Während des Trainings wird die Standard-Cross-Entropy-Loss durch eine faktorizierte Loss-Funktion (FNS) ersetzt, da klassische Cross-Entropy bei 6-mer-Tokens feinkörnige Fehler nicht unterscheidet und zu Instabilitäten führt. Auch das Training-Datenregime ist auf biologische Realitäten zugeschnitten: Aus rohen Genomdaten wird ein gestuftes Gemisch aus funktionaler DNA und mRNA kuratiert, wobei alle Mischungsverhältnisse per Ablation bestimmt wurden. Der technische Bericht und ein interaktives Demo mit Biologie-Einführung für ML-Interessierte sind öffentlich zugänglich.