Sarvam MoE-Architektur erhält llama.cpp-Support: 30B und 105B Modelle
Der Pull Request #20275 im ggml-org/llama.cpp-Repository von Contributor sumitchatterjee13 ergänzt die Sarvam-MoE-Architektur, damit beide Modellgrößen von Sarvam nativ in llama.cpp laufen können. Sarvam-30B ist ein MoE-Modell mit 2,4 Milliarden aktiven Non-Embedding-Parametern, das primär für praktische Deployments in ressourcenschwachen Umgebungen konzipiert wurde – es unterstützt multilingualen Voice-Call-Betrieb inklusive Tool Calls. Sarvam-105B richtet sich mit 10,3 Milliarden aktiven Parametern an komplexere Aufgaben mit Fokus auf Reasoning, Mathematik, Coding und agentische Anwendungen. Beide Modelle wurden mit besonderem Fokus auf den indischen Sprachraum trainiert und erreichen nach Eigenangaben State-of-the-Art-Ergebnisse über 22 indische Sprachen. Sarvam-105B soll laut Beschreibung mit mehreren großen Closed-Source-Modellen mithalten und liegt nahe an Frontier-Modellen auf diversen Reasoning- und Agentic-Benchmarks. Der PR ist ein infrastruktureller Schritt, der die Modelle für die lokale LLM-Community zugänglich machen soll.
- Sarvam-30B: 2,4B aktive Non-Embedding-Parameter, ausgelegt für ressourcenbeschränkte Umgebungen
- Sarvam-105B: 10,3B aktive Parameter, optimiert für agentische Tasks, Mathematik und Coding
- Beide Modelle unterstützen 22 indische Sprachen auf State-of-the-Art-Niveau für ihre Modellgröße
- Sarvam-30B unterstützt multilingualen Voice-Call-Betrieb mit Tool-Call-Fähigkeit
- PR #20275 von sumitchatterjee13 fügt die sarvam_moe-Architektur in llama.cpp ein
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com3w
Xiaomi MiMo v2.5 mit Sparse MoE-Architektur erhält llama.cpp-Unterstützung
- MEINUNGreddit.com3w
MTP-Unterstützung kommt zu llama.cpp – erste Modelle identifiziert
- LAUNCHreddit.com2w
Ollama v0.30.0-rc15 wechselt von GGML zu llama.cpp als direkte Basis
- LAUNCHreddit.com2h
Laguna XS.2 als Modell in Llama.cpp implementiert
Sarvam MoE-Architektur erhält llama.cpp-Support: 30B und 105B Modelle
Der Pull Request #20275 im ggml-org/llama.cpp-Repository von Contributor sumitchatterjee13 ergänzt die Sarvam-MoE-Architektur, damit beide Modellgrößen von Sarvam nativ in llama.cpp laufen können. Sarvam-30B ist ein MoE-Modell mit 2,4 Milliarden aktiven Non-Embedding-Parametern, das primär für praktische Deployments in ressourcenschwachen Umgebungen konzipiert wurde – es unterstützt multilingualen Voice-Call-Betrieb inklusive Tool Calls. Sarvam-105B richtet sich mit 10,3 Milliarden aktiven Parametern an komplexere Aufgaben mit Fokus auf Reasoning, Mathematik, Coding und agentische Anwendungen. Beide Modelle wurden mit besonderem Fokus auf den indischen Sprachraum trainiert und erreichen nach Eigenangaben State-of-the-Art-Ergebnisse über 22 indische Sprachen. Sarvam-105B soll laut Beschreibung mit mehreren großen Closed-Source-Modellen mithalten und liegt nahe an Frontier-Modellen auf diversen Reasoning- und Agentic-Benchmarks. Der PR ist ein infrastruktureller Schritt, der die Modelle für die lokale LLM-Community zugänglich machen soll.
- Sarvam-30B: 2,4B aktive Non-Embedding-Parameter, ausgelegt für ressourcenbeschränkte Umgebungen
- Sarvam-105B: 10,3B aktive Parameter, optimiert für agentische Tasks, Mathematik und Coding
- Beide Modelle unterstützen 22 indische Sprachen auf State-of-the-Art-Niveau für ihre Modellgröße
- Sarvam-30B unterstützt multilingualen Voice-Call-Betrieb mit Tool-Call-Fähigkeit
- PR #20275 von sumitchatterjee13 fügt die sarvam_moe-Architektur in llama.cpp ein
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- LAUNCHreddit.com3w
Xiaomi MiMo v2.5 mit Sparse MoE-Architektur erhält llama.cpp-Unterstützung
- MEINUNGreddit.com3w
MTP-Unterstützung kommt zu llama.cpp – erste Modelle identifiziert
- LAUNCHreddit.com2w
Ollama v0.30.0-rc15 wechselt von GGML zu llama.cpp als direkte Basis
- LAUNCHreddit.com2h
Laguna XS.2 als Modell in Llama.cpp implementiert