lmm: CLI-Tool gegen doppelte Modell-Downloads per HF-Cache und Symlinks
Der Reddit-Nutzer /u/holotherapper hat „lmm" veröffentlicht, ein in Rust geschriebenes CLI-Tool exklusiv für Apple-Silicon-Macs. Das Problem: Tools wie LM Studio, Ollama und llama.cpp legen heruntergeladene Modelle jeweils in eigenen Verzeichnissen ab. Ein 8-GB-Modell, das in drei Tools genutzt wird, belegt so 24 GB Speicher. lmm löst das, indem es den Hugging-Face-Cache als einzigen Speicherort verwendet und Modelle per Symlink in die jeweiligen Tool-Verzeichnisse einbindet. So wird jedes Modell nur einmal heruntergeladen, aber von allen kompatiblen Tools genutzt. Das Tool unterstützt MLX-, GGUF- und Safetensors-Formate und ist kompatibel mit LM Studio, llama.cpp, Jan und ComfyUI. Eine interaktive Suche und Installation direkt von Hugging Face ist eingebaut. Bestehende HF-Cache-Modelle können ohne erneuten Download übernommen werden. Die Installation erfolgt über Homebrew. Der Quellcode ist auf GitHub unter holotherapper/lmm verfügbar.
- In Rust geschrieben, aktuell ausschließlich für Apple Silicon verfügbar.
- Installation via Homebrew: brew tap holotherapper/tap && brew install lmm
- Unterstützt Formate: MLX, GGUF, Safetensors.
- Kompatibel mit LM Studio, llama.cpp, Jan, ComfyUI u. a.
- Bestehende Modelle im HF-Cache können ohne Re-Download übernommen werden.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com6d
Athanor Lite: Kostenlose Desktop-App für einfaches Ausführen lokaler LLMs
- LAUNCHreddit.com3w
AeroLLM: Open-Source-Chat-App für lokale KI auf Apple Silicon
- MEINUNGreddit.com2w
Praxisguide: llama.cpp-Optimierungen für lokale LLM-Inferenz
- MEINUNGreddit.com3w
Community-Diskussion: Lokale LLMs von Spielzeug zu produktiv in einem Jahr
lmm: CLI-Tool gegen doppelte Modell-Downloads per HF-Cache und Symlinks
Der Reddit-Nutzer /u/holotherapper hat „lmm" veröffentlicht, ein in Rust geschriebenes CLI-Tool exklusiv für Apple-Silicon-Macs. Das Problem: Tools wie LM Studio, Ollama und llama.cpp legen heruntergeladene Modelle jeweils in eigenen Verzeichnissen ab. Ein 8-GB-Modell, das in drei Tools genutzt wird, belegt so 24 GB Speicher. lmm löst das, indem es den Hugging-Face-Cache als einzigen Speicherort verwendet und Modelle per Symlink in die jeweiligen Tool-Verzeichnisse einbindet. So wird jedes Modell nur einmal heruntergeladen, aber von allen kompatiblen Tools genutzt. Das Tool unterstützt MLX-, GGUF- und Safetensors-Formate und ist kompatibel mit LM Studio, llama.cpp, Jan und ComfyUI. Eine interaktive Suche und Installation direkt von Hugging Face ist eingebaut. Bestehende HF-Cache-Modelle können ohne erneuten Download übernommen werden. Die Installation erfolgt über Homebrew. Der Quellcode ist auf GitHub unter holotherapper/lmm verfügbar.
- In Rust geschrieben, aktuell ausschließlich für Apple Silicon verfügbar.
- Installation via Homebrew: brew tap holotherapper/tap && brew install lmm
- Unterstützt Formate: MLX, GGUF, Safetensors.
- Kompatibel mit LM Studio, llama.cpp, Jan, ComfyUI u. a.
- Bestehende Modelle im HF-Cache können ohne Re-Download übernommen werden.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com6d
Athanor Lite: Kostenlose Desktop-App für einfaches Ausführen lokaler LLMs
- LAUNCHreddit.com3w
AeroLLM: Open-Source-Chat-App für lokale KI auf Apple Silicon
- MEINUNGreddit.com2w
Praxisguide: llama.cpp-Optimierungen für lokale LLM-Inferenz
- MEINUNGreddit.com3w
Community-Diskussion: Lokale LLMs von Spielzeug zu produktiv in einem Jahr