Unsloth unterstützt jetzt AMD-Hardware für Training und Inferenz
Unsloth, das auf schnelles und speichereffizientes Fine-Tuning spezialisierte Open-Source-Framework, hat mit der AMD-Unterstützung eine lang erwartete Lücke geschlossen. Der Reddit-Post stammt von /u/danielhanchen, einem der Hauptentwickler hinter Unsloth, und beschreibt eine Kollaboration mit dem AMD-Team. Die Installation erfolgt vollautomatisch über ein Shell-Skript (Linux/WSL/macOS) bzw. ein PowerShell-Skript (Windows) und zieht dabei alle nötigen Abhängigkeiten – ROCm, Triton, bitsandbytes und PyTorch in AMD-optimierten Builds – ohne manuellen Eingriff. Wer nur einzelne Pakete installieren möchte, kann alternativ über `uv pip install "unsloth[amd]"` vorgehen. Besonders hervorzuheben ist die Unterstützung von Strix-Halo- und Ryzen-AI-Max-Systemen, die unified Memory nutzen und keine dedizierte GPU besitzen. Darüber hinaus lassen sich Modelle in mehreren Formaten exportieren (GGUF, safetensors, LoRA-Adapter) und über Cloudflare-HTTPS-Tunnel auch ferngesteuert betreiben. Lokale Modelle können außerdem als Backend für externe Coding-Agenten wie Claude Code oder Codex dienen. Tägliche vorgebaute ROCm-Binaries von llama.cpp sollen die Kompilierzeit weiter reduzieren und eine kontinuierliche Verbesserung der AMD-Unterstützung sicherstellen.
- Export-Formate: Modelle können als GGUF, safetensors oder LoRA-Adapter gespeichert und weitergegeben werden.
- Fernzugriff: Unsloth lässt sich via sicherem Cloudflare-HTTPS-Tunnel remote nutzen – das Feature wird als 'LM Link' bezeichnet.
- Agent-Integration: Lokale Modelle können direkt an Claude Code, Codex, Hermes Agent, OpenClaw, Pi und OpenCode angebunden werden.
- VRAM-Monitoring: RAM- und VRAM-Auslastung lässt sich während des Trainings sowohl lokal als auch remote verfolgen.
- Tägliche Prebuilts: AMD-optimierte llama.cpp-ROCm-Binaries werden täglich bereitgestellt, um Neukompilierungen zu vermeiden.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Unsloth unterstützt jetzt AMD-Hardware für Training und Inferenz
Unsloth, das auf schnelles und speichereffizientes Fine-Tuning spezialisierte Open-Source-Framework, hat mit der AMD-Unterstützung eine lang erwartete Lücke geschlossen. Der Reddit-Post stammt von /u/danielhanchen, einem der Hauptentwickler hinter Unsloth, und beschreibt eine Kollaboration mit dem AMD-Team. Die Installation erfolgt vollautomatisch über ein Shell-Skript (Linux/WSL/macOS) bzw. ein PowerShell-Skript (Windows) und zieht dabei alle nötigen Abhängigkeiten – ROCm, Triton, bitsandbytes und PyTorch in AMD-optimierten Builds – ohne manuellen Eingriff. Wer nur einzelne Pakete installieren möchte, kann alternativ über `uv pip install "unsloth[amd]"` vorgehen. Besonders hervorzuheben ist die Unterstützung von Strix-Halo- und Ryzen-AI-Max-Systemen, die unified Memory nutzen und keine dedizierte GPU besitzen. Darüber hinaus lassen sich Modelle in mehreren Formaten exportieren (GGUF, safetensors, LoRA-Adapter) und über Cloudflare-HTTPS-Tunnel auch ferngesteuert betreiben. Lokale Modelle können außerdem als Backend für externe Coding-Agenten wie Claude Code oder Codex dienen. Tägliche vorgebaute ROCm-Binaries von llama.cpp sollen die Kompilierzeit weiter reduzieren und eine kontinuierliche Verbesserung der AMD-Unterstützung sicherstellen.
- Export-Formate: Modelle können als GGUF, safetensors oder LoRA-Adapter gespeichert und weitergegeben werden.
- Fernzugriff: Unsloth lässt sich via sicherem Cloudflare-HTTPS-Tunnel remote nutzen – das Feature wird als 'LM Link' bezeichnet.
- Agent-Integration: Lokale Modelle können direkt an Claude Code, Codex, Hermes Agent, OpenClaw, Pi und OpenCode angebunden werden.
- VRAM-Monitoring: RAM- und VRAM-Auslastung lässt sich während des Trainings sowohl lokal als auch remote verfolgen.
- Tägliche Prebuilts: AMD-optimierte llama.cpp-ROCm-Binaries werden täglich bereitgestellt, um Neukompilierungen zu vermeiden.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.