Sakana AI schlägt mit DiffusionBlocks ein neues Trainingsparadigma für neuronale Netze vor. Kernidee ist die Reinterpretation von Layer-Updates in Residual Networks als Schritte eines umgekehrten Diffusionsprozesses (Reverse Diffusion Denoising). Dadurch lassen sich einzelne Blöcke eines tiefen Netzwerks isoliert und unabhängig voneinander trainieren, ohne dass ein Ende-zu-Ende-Gradientenfluss durch die gesamte Architektur notwendig ist. Dieser blockweise Ansatz unterscheidet sich fundamental vom klassischen Backpropagation-Training, das alle Schichten koppelt. DiffusionBlocks könnte besonders für sehr tiefe Modelle relevant sein, bei denen Gradienten-Vanishing oder Speicherengpässe beim Training auftreten. Das Forschungsprojekt stammt von Sakana AI, einem auf evolutionäre und naturinspirierte KI-Methoden spezialisierten Forschungslabor aus Japan. Details zu konkreten Benchmarks oder Vergleichszahlen gehen aus dem vorliegenden Auszug nicht hervor.