Lemonade v10.5.1 bringt MTP + ROCm 7.13 Quick-Start für Strix Halo
Lemonade v10.5.1, ein SDK aus dem AMD-Umfeld, liefert einen vereinfachten Quick-Start für lokale Inferenz mit Multi-Token-Prediction (MTP) auf Strix-Halo-Hardware. Das Update integriert ROCm 7.13 als Backend und erlaubt es, das Modell Qwen3.6-27B-MTP-GGUF mit nur drei CLI-Befehlen zu laden: `lemonade pull`, `lemonade backends install llamacpp:rocm` und `lemonade load` mit automatisch gesetzten MTP-Parametern. Die Demonstration erfolgt per Pi-Agent in einem Video. Contributor u/lucifer-vali steuerte zusätzlich die Korrektur des Fedora-43-Supports bei. Das Projekt ist auf GitHub verfügbar und wird über einen Discord-Kanal begleitet. Hintergrund: Strix Halo ist AMDs integrierte APU-Plattform mit großem iGPU-Anteil, die sich zunehmend als Zielplattform für lokale LLM-Inferenz etabliert.
- Drei CLI-Befehle genügen: pull, backends install und load mit automatisch gesetzten MTP-Argumenten.
- ROCm-Version 7.13 wird als llamacpp-Backend installiert und genutzt.
- Unterstütztes Modell in diesem Release: Qwen3.6-27B-MTP-GGUF.
- u/lucifer-vali fixte in v10.5.1 den Fedora-43-Support.
- Gepostet von u/jfowers_amd – impliziert AMD-seitiges Engagement im Projekt.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com2w
AMD Strix Halo NPU jetzt nutzbar: Hybrid-Modus mit iGPU via Lemonade
- MEINUNGreddit.com1w
MTP auf Apple Silicon oft kontraproduktiv – besonders bei langen Kontexten
- MEINUNGreddit.com5d
Nutzer verdoppelt Token-Durchsatz mit Qwen 3.6 27B via MTP
- LAUNCHreddit.com3w
Lemonade v10.8: Auto-Memory-Management, Cloud-Offload und MCP-Gateway für lokale Modelle
Lemonade v10.5.1 bringt MTP + ROCm 7.13 Quick-Start für Strix Halo
Lemonade v10.5.1, ein SDK aus dem AMD-Umfeld, liefert einen vereinfachten Quick-Start für lokale Inferenz mit Multi-Token-Prediction (MTP) auf Strix-Halo-Hardware. Das Update integriert ROCm 7.13 als Backend und erlaubt es, das Modell Qwen3.6-27B-MTP-GGUF mit nur drei CLI-Befehlen zu laden: `lemonade pull`, `lemonade backends install llamacpp:rocm` und `lemonade load` mit automatisch gesetzten MTP-Parametern. Die Demonstration erfolgt per Pi-Agent in einem Video. Contributor u/lucifer-vali steuerte zusätzlich die Korrektur des Fedora-43-Supports bei. Das Projekt ist auf GitHub verfügbar und wird über einen Discord-Kanal begleitet. Hintergrund: Strix Halo ist AMDs integrierte APU-Plattform mit großem iGPU-Anteil, die sich zunehmend als Zielplattform für lokale LLM-Inferenz etabliert.
- Drei CLI-Befehle genügen: pull, backends install und load mit automatisch gesetzten MTP-Argumenten.
- ROCm-Version 7.13 wird als llamacpp-Backend installiert und genutzt.
- Unterstütztes Modell in diesem Release: Qwen3.6-27B-MTP-GGUF.
- u/lucifer-vali fixte in v10.5.1 den Fedora-43-Support.
- Gepostet von u/jfowers_amd – impliziert AMD-seitiges Engagement im Projekt.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com2w
AMD Strix Halo NPU jetzt nutzbar: Hybrid-Modus mit iGPU via Lemonade
- MEINUNGreddit.com1w
MTP auf Apple Silicon oft kontraproduktiv – besonders bei langen Kontexten
- MEINUNGreddit.com5d
Nutzer verdoppelt Token-Durchsatz mit Qwen 3.6 27B via MTP
- LAUNCHreddit.com3w
Lemonade v10.8: Auto-Memory-Management, Cloud-Offload und MCP-Gateway für lokale Modelle