Qwen3-TTS Voice Cloning jetzt in mainline llama.cpp integriert
Der Merge in den mainline-Branch von llama.cpp (PR #26254) markiert einen qualitativen Sprung gegenüber dem früheren Demo-PR, der damals wegen fehlender Graph- und API-Komponenten nicht gemergt werden konnte. Die neue Implementierung setzt auf das Qwen3-TTS-12Hz-1.7B-Base-Modell im GGUF-Format und wird über das Binary `llama-tts` aufgerufen. Als Speaker-Referenz akzeptiert das System WAV- oder MP3-Dateien; Alibabas Qwen-Team gibt an, dass bereits rund drei Sekunden Audiomaterial für ein akzeptables Voice-Cloning ausreichen. Neben dem 1.7B-Base-Modell existieren in der Qwen3-TTS-Familie auch CustomVoice- und VoiceDesign-Varianten, die von der llama.cpp-Integration bislang nicht abgedeckt werden. Dedizierte C++-Ports wie `qwen3-tts.cpp` und `audio.cpp` liefen zwar bereits vor diesem Merge, jedoch außerhalb des mainline-Ökosystems — die Einbettung in llama.cpp selbst reduziert den Integrationsaufwand für bestehende Projekte erheblich. Ein wichtiger Vorbehalt bleibt: Der Server-Endpunkt `/tts` ist noch ein Draft-PR (#26603) und damit nicht produktionsreif. Außerdem enthält der Merge eine Breaking Change am bestehenden `llama-tts`-Binary, was Nutzer älterer Setups zur Anpassung zwingt. Unabhängige Vergleichstests — etwa Echtzeit-Faktor, Peak-RAM/VRAM und Voice-Similarity gegenüber der originalen PyTorch-Implementierung — stehen zum Zeitpunkt der Veröffentlichung noch aus.
- Merged via PR #26254 in das ggml-org/llama.cpp-Repository; der /tts-Server-Endpunkt läuft parallel als Draft-PR #26603.
- Breaking Change: Der Merge verändert das bestehende llama-tts-Binary inkompatibel — bestehende Skripte müssen angepasst werden.
- Unterstützte Sprachen: Englisch, Chinesisch, Deutsch, Italienisch, Spanisch, Französisch, Portugiesisch, Russisch, Japanisch und Koreanisch (10 gesamt).
- Die Qwen3-TTS-Familie umfasst neben dem integrierten 1.7B-Base-Modell auch CustomVoice- und VoiceDesign-Varianten, die llama.cpp bisher nicht abdeckt.
- Autor /u/BTA_Labs fordert Benchmark-Vergleiche über CPU, Metal, CUDA und ROCm mit Metriken wie Echtzeit-Faktor, Voice-Similarity und Long-Form-Stability.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
Qwen3-TTS Voice Cloning jetzt in mainline llama.cpp integriert
Der Merge in den mainline-Branch von llama.cpp (PR #26254) markiert einen qualitativen Sprung gegenüber dem früheren Demo-PR, der damals wegen fehlender Graph- und API-Komponenten nicht gemergt werden konnte. Die neue Implementierung setzt auf das Qwen3-TTS-12Hz-1.7B-Base-Modell im GGUF-Format und wird über das Binary `llama-tts` aufgerufen. Als Speaker-Referenz akzeptiert das System WAV- oder MP3-Dateien; Alibabas Qwen-Team gibt an, dass bereits rund drei Sekunden Audiomaterial für ein akzeptables Voice-Cloning ausreichen. Neben dem 1.7B-Base-Modell existieren in der Qwen3-TTS-Familie auch CustomVoice- und VoiceDesign-Varianten, die von der llama.cpp-Integration bislang nicht abgedeckt werden. Dedizierte C++-Ports wie `qwen3-tts.cpp` und `audio.cpp` liefen zwar bereits vor diesem Merge, jedoch außerhalb des mainline-Ökosystems — die Einbettung in llama.cpp selbst reduziert den Integrationsaufwand für bestehende Projekte erheblich. Ein wichtiger Vorbehalt bleibt: Der Server-Endpunkt `/tts` ist noch ein Draft-PR (#26603) und damit nicht produktionsreif. Außerdem enthält der Merge eine Breaking Change am bestehenden `llama-tts`-Binary, was Nutzer älterer Setups zur Anpassung zwingt. Unabhängige Vergleichstests — etwa Echtzeit-Faktor, Peak-RAM/VRAM und Voice-Similarity gegenüber der originalen PyTorch-Implementierung — stehen zum Zeitpunkt der Veröffentlichung noch aus.
- Merged via PR #26254 in das ggml-org/llama.cpp-Repository; der /tts-Server-Endpunkt läuft parallel als Draft-PR #26603.
- Breaking Change: Der Merge verändert das bestehende llama-tts-Binary inkompatibel — bestehende Skripte müssen angepasst werden.
- Unterstützte Sprachen: Englisch, Chinesisch, Deutsch, Italienisch, Spanisch, Französisch, Portugiesisch, Russisch, Japanisch und Koreanisch (10 gesamt).
- Die Qwen3-TTS-Familie umfasst neben dem integrierten 1.7B-Base-Modell auch CustomVoice- und VoiceDesign-Varianten, die llama.cpp bisher nicht abdeckt.
- Autor /u/BTA_Labs fordert Benchmark-Vergleiche über CPU, Metal, CUDA und ROCm mit Metriken wie Echtzeit-Faktor, Voice-Similarity und Long-Form-Stability.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.