Ein Reddit-Nutzer aus der r/LocalLLaMA-Community kündigt Tests des Tinygrad-Treibers auf einem ungewöhnlichen Hybrid-Cluster an: Die Hardware kombiniert NVIDIA-Blackwell-GPUs mit Apple-M3-Ultra-Einheiten über RDMA und verfügt über knapp 2 TB Gesamtarbeitsspeicher. Ziel ist es, Mixture-of-Experts-(MoE)-Inferenzgeschwindigkeiten auf dieser Konfiguration zu messen. Tinygrad ist ein schlankes, von George Hotz initiiertes ML-Framework, das als Alternative zu PyTorch positioniert ist und eigene Hardware-Treiber mitbringt. Die Kombination aus RDMA-Vernetzung, heterogenen Beschleunigern und dem leichtgewichtigen Tinygrad-Stack ist für die Local-LLM-Community ungewöhnlich. Der Beitrag ist noch in der Planungsphase – konkrete Benchmarks liegen nicht vor, der Autor bittet die Community um Vorschläge für relevante Testszenarien.