Lemonade v10.5.1 bringt MTP + ROCm 7.13 Quick-Start für Strix Halo
Lemonade v10.5.1, ein SDK aus dem AMD-Umfeld, liefert einen vereinfachten Quick-Start für lokale Inferenz mit Multi-Token-Prediction (MTP) auf Strix-Halo-Hardware. Das Update integriert ROCm 7.13 als Backend und erlaubt es, das Modell Qwen3.6-27B-MTP-GGUF mit nur drei CLI-Befehlen zu laden: `lemonade pull`, `lemonade backends install llamacpp:rocm` und `lemonade load` mit automatisch gesetzten MTP-Parametern. Die Demonstration erfolgt per Pi-Agent in einem Video. Contributor u/lucifer-vali steuerte zusätzlich die Korrektur des Fedora-43-Supports bei. Das Projekt ist auf GitHub verfügbar und wird über einen Discord-Kanal begleitet. Hintergrund: Strix Halo ist AMDs integrierte APU-Plattform mit großem iGPU-Anteil, die sich zunehmend als Zielplattform für lokale LLM-Inferenz etabliert.
- Drei CLI-Befehle genügen: pull, backends install und load mit automatisch gesetzten MTP-Argumenten.
- ROCm-Version 7.13 wird als llamacpp-Backend installiert und genutzt.
- Unterstütztes Modell in diesem Release: Qwen3.6-27B-MTP-GGUF.
- u/lucifer-vali fixte in v10.5.1 den Fedora-43-Support.
- Gepostet von u/jfowers_amd – impliziert AMD-seitiges Engagement im Projekt.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Lemonade v10.5.1 bringt MTP + ROCm 7.13 Quick-Start für Strix Halo
Lemonade v10.5.1, ein SDK aus dem AMD-Umfeld, liefert einen vereinfachten Quick-Start für lokale Inferenz mit Multi-Token-Prediction (MTP) auf Strix-Halo-Hardware. Das Update integriert ROCm 7.13 als Backend und erlaubt es, das Modell Qwen3.6-27B-MTP-GGUF mit nur drei CLI-Befehlen zu laden: `lemonade pull`, `lemonade backends install llamacpp:rocm` und `lemonade load` mit automatisch gesetzten MTP-Parametern. Die Demonstration erfolgt per Pi-Agent in einem Video. Contributor u/lucifer-vali steuerte zusätzlich die Korrektur des Fedora-43-Supports bei. Das Projekt ist auf GitHub verfügbar und wird über einen Discord-Kanal begleitet. Hintergrund: Strix Halo ist AMDs integrierte APU-Plattform mit großem iGPU-Anteil, die sich zunehmend als Zielplattform für lokale LLM-Inferenz etabliert.
- Drei CLI-Befehle genügen: pull, backends install und load mit automatisch gesetzten MTP-Argumenten.
- ROCm-Version 7.13 wird als llamacpp-Backend installiert und genutzt.
- Unterstütztes Modell in diesem Release: Qwen3.6-27B-MTP-GGUF.
- u/lucifer-vali fixte in v10.5.1 den Fedora-43-Support.
- Gepostet von u/jfowers_amd – impliziert AMD-seitiges Engagement im Projekt.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.