Lemonade v10.7: Omni-Modelle, Auto-Tuning und CUDA/Vulkan-Support
Lemonade ist ein Open-Source-Projekt, das lokale LLM-Inferenz über verschiedene Hardware-Plattformen hinweg vereinheitlichen will. Mit Version 10.7 hat das Projekt eine neue Organisationsstruktur eingeführt: Sechs Arbeitsgruppen koordinieren nun die Weiterentwicklung, wobei vier davon von Personen außerhalb von AMD geleitet werden – ein deutliches Signal, dass das Projekt über seinen ursprünglichen AMD-Fokus hinauswächst. Die 19 Mitwirkenden des Releases verteilen sich auf drei Schwerpunktgruppen: Local Omni Models, Auto Tuning und Cross-Vendor Support. Die LMX-Omni-Modelle ermöglichen echte multimodale Chats inklusive Bildgenerierung und -bearbeitung, indem sie mehrere Backends und Modelle nahtlos kombinieren – und sind nun mit Open WebUI sowie anderen OpenAI-kompatiblen Clients nutzbar. Das neue `lemonade bench` CLI-Tool legt die Grundlage für automatisches Performance-Tuning, indem es vergleichbare Leistungsdaten über die Backends llama.cpp, FastFlowLM und vLLM hinweg erfasst. Auf der Hardware-Seite wurden CUDA-Backends für llama.cpp und stable-diffusion.cpp ergänzt sowie Vulkan-Unterstützung für sd-cpp hinzugefügt. Die Roadmaps der einzelnen Arbeitsgruppen sind öffentlich einsehbar, und es finden regelmäßige öffentliche Meetings über den Lemonade-Discord statt.
- LMX-Omni-Modelle unterstützen ab v10.7 GPU-Beschleunigung auf AMD, Apple Silicon, Nvidia und Intel.
- Das lemonade bench CLI ermöglicht Äpfel-zu-Äpfel-Vergleiche zwischen llama.cpp, FastFlowLM und vLLM.
- 4 der 6 Arbeitsgruppen werden von Nicht-AMD-Mitgliedern geleitet – das Projekt wird zunehmend community-getrieben.
- CUDA-Backends wurden für llama.cpp und stable-diffusion.cpp ergänzt; Vulkan-Support kommt für sd-cpp hinzu.
- Der Reddit-Post stammt von /u/jfowers_amd, der zu bi-wöchentlichen öffentlichen Meetings auf dem Lemonade-Discord einlädt.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Lemonade v10.7: Omni-Modelle, Auto-Tuning und CUDA/Vulkan-Support
Lemonade ist ein Open-Source-Projekt, das lokale LLM-Inferenz über verschiedene Hardware-Plattformen hinweg vereinheitlichen will. Mit Version 10.7 hat das Projekt eine neue Organisationsstruktur eingeführt: Sechs Arbeitsgruppen koordinieren nun die Weiterentwicklung, wobei vier davon von Personen außerhalb von AMD geleitet werden – ein deutliches Signal, dass das Projekt über seinen ursprünglichen AMD-Fokus hinauswächst. Die 19 Mitwirkenden des Releases verteilen sich auf drei Schwerpunktgruppen: Local Omni Models, Auto Tuning und Cross-Vendor Support. Die LMX-Omni-Modelle ermöglichen echte multimodale Chats inklusive Bildgenerierung und -bearbeitung, indem sie mehrere Backends und Modelle nahtlos kombinieren – und sind nun mit Open WebUI sowie anderen OpenAI-kompatiblen Clients nutzbar. Das neue `lemonade bench` CLI-Tool legt die Grundlage für automatisches Performance-Tuning, indem es vergleichbare Leistungsdaten über die Backends llama.cpp, FastFlowLM und vLLM hinweg erfasst. Auf der Hardware-Seite wurden CUDA-Backends für llama.cpp und stable-diffusion.cpp ergänzt sowie Vulkan-Unterstützung für sd-cpp hinzugefügt. Die Roadmaps der einzelnen Arbeitsgruppen sind öffentlich einsehbar, und es finden regelmäßige öffentliche Meetings über den Lemonade-Discord statt.
- LMX-Omni-Modelle unterstützen ab v10.7 GPU-Beschleunigung auf AMD, Apple Silicon, Nvidia und Intel.
- Das lemonade bench CLI ermöglicht Äpfel-zu-Äpfel-Vergleiche zwischen llama.cpp, FastFlowLM und vLLM.
- 4 der 6 Arbeitsgruppen werden von Nicht-AMD-Mitgliedern geleitet – das Projekt wird zunehmend community-getrieben.
- CUDA-Backends wurden für llama.cpp und stable-diffusion.cpp ergänzt; Vulkan-Support kommt für sd-cpp hinzu.
- Der Reddit-Post stammt von /u/jfowers_amd, der zu bi-wöchentlichen öffentlichen Meetings auf dem Lemonade-Discord einlädt.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.