Mference führt Inkling-Small 276B-A12B mit unter 10 GB RAM auf Apple Silicon aus
Warum es zählt
Entwickler können ein 276-Milliarden-Parameter-MoE-Modell lokal auf Consumer-Hardware mit weniger als 10 GB Footprint betreiben. Mference läuft nativ in Swift/Metal ohne MLX oder llama.cpp und bietet OpenAI-kompatiblen Server, CLI und Mac-App.
— Lumeric Redaktion
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Mference führt Inkling-Small 276B-A12B mit unter 10 GB RAM auf Apple Silicon aus
Warum es zählt
Entwickler können ein 276-Milliarden-Parameter-MoE-Modell lokal auf Consumer-Hardware mit weniger als 10 GB Footprint betreiben. Mference läuft nativ in Swift/Metal ohne MLX oder llama.cpp und bietet OpenAI-kompatiblen Server, CLI und Mac-App.
— Lumeric Redaktion
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.