TontaubeV1: Offenes 2,9B-TTS-Modell für lokale Langform-Sprachgenerierung
TontaubeV1 wurde von zwei Brüdern unter dem Label Tontaube entwickelt und als Open-Weight-Modell auf Hugging Face veröffentlicht. Die Architektur setzt auf vier separate autoregressive Modelle, die Codec-Streams von der groben semantischen Ebene bis hin zu akustischen Details generieren – wobei die Modelle für höhere Codebooks progressiv kleiner werden. Besonders ungewöhnlich ist die Entscheidung für Character-Level-Tokenisierung sowie gemeinsame logische Positionen zwischen alignierten Text- und Audio-Tokens. Das Streaming ist durch ein Rolling-Context-Window realisiert, das effektiv unbegrenzte Langform-Generierung ermöglicht – ein Bereich, an dem viele TTS-Systeme traditionell scheitern. Als Inference-Backend kommt vLLM zum Einsatz, was Batching über Requests und akustische Stages hinweg erlaubt und den niedrigen RTF-Wert mit erklärt. Im eigenen Benchmark über 400 Passagen – bewertet durch ein LLM-as-a-Judge-Verfahren – erzielte TontaubeV1 in der Prosodik 50,1 % im direkten Vergleich mit ElevenLabs Flash v2.5 und lag über Fish Audio S2 Pro, Gradium und Cartesia Sonic 3. Die Entwickler planen, das Modell demnächst in TTS Arena V2 und der Artificial Analysis Text to Speech Arena mit menschlichen Hörern zu testen.
- Vier-Modell-Kaskade: Jedes der vier autoregressiven Modelle verarbeitet eine eigene Codebook-Ebene; höhere Ebenen werden mit kleineren Modellen abgedeckt.
- Character-Level-Tokenisierung statt Subword-Tokens – ungewöhnlich für LLM-basierte TTS-Systeme und laut Entwicklern für Prosodie-Kontrolle relevant.
- RTF-Wert steigt ohne Batching auf ~0,08 (Einzelanfrage) gegenüber 0,02 mit Batching; 32 GB VRAM sind für das High-Throughput-Profil erforderlich.
- Benchmark-Methodik mit 400 Passagen und LLM-as-a-Judge: Konfidenzintervalle und Caveats sind im technischen Bericht unter tontaube.ai dokumentiert.
- Fine-Tuning-Support und quantisierte Versionen für GPUs mit weniger als 24 GB VRAM sind in Planung, aber noch nicht erschienen.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGarxiv.org4d
TontaubeV1: Streaming-TTS mit hierarchischem Codec und 200 ms bis zum ersten Audio
- LAUNCHreddit.com3w
Qwen3-TTS mit 34 ms Time-to-First-Audio und 10 RPS auf H100
- MEINUNGreddit.com2w
Breeze-TTS-2: Frontier-TTS-Modell lokal nutzbar mit ~7 GB
- LAUNCHreddit.com3w
FireRedTeam veröffentlicht FireRedAudio (9B) und FireRedTTS3 für Audio & Sprache
TontaubeV1: Offenes 2,9B-TTS-Modell für lokale Langform-Sprachgenerierung
TontaubeV1 wurde von zwei Brüdern unter dem Label Tontaube entwickelt und als Open-Weight-Modell auf Hugging Face veröffentlicht. Die Architektur setzt auf vier separate autoregressive Modelle, die Codec-Streams von der groben semantischen Ebene bis hin zu akustischen Details generieren – wobei die Modelle für höhere Codebooks progressiv kleiner werden. Besonders ungewöhnlich ist die Entscheidung für Character-Level-Tokenisierung sowie gemeinsame logische Positionen zwischen alignierten Text- und Audio-Tokens. Das Streaming ist durch ein Rolling-Context-Window realisiert, das effektiv unbegrenzte Langform-Generierung ermöglicht – ein Bereich, an dem viele TTS-Systeme traditionell scheitern. Als Inference-Backend kommt vLLM zum Einsatz, was Batching über Requests und akustische Stages hinweg erlaubt und den niedrigen RTF-Wert mit erklärt. Im eigenen Benchmark über 400 Passagen – bewertet durch ein LLM-as-a-Judge-Verfahren – erzielte TontaubeV1 in der Prosodik 50,1 % im direkten Vergleich mit ElevenLabs Flash v2.5 und lag über Fish Audio S2 Pro, Gradium und Cartesia Sonic 3. Die Entwickler planen, das Modell demnächst in TTS Arena V2 und der Artificial Analysis Text to Speech Arena mit menschlichen Hörern zu testen.
- Vier-Modell-Kaskade: Jedes der vier autoregressiven Modelle verarbeitet eine eigene Codebook-Ebene; höhere Ebenen werden mit kleineren Modellen abgedeckt.
- Character-Level-Tokenisierung statt Subword-Tokens – ungewöhnlich für LLM-basierte TTS-Systeme und laut Entwicklern für Prosodie-Kontrolle relevant.
- RTF-Wert steigt ohne Batching auf ~0,08 (Einzelanfrage) gegenüber 0,02 mit Batching; 32 GB VRAM sind für das High-Throughput-Profil erforderlich.
- Benchmark-Methodik mit 400 Passagen und LLM-as-a-Judge: Konfidenzintervalle und Caveats sind im technischen Bericht unter tontaube.ai dokumentiert.
- Fine-Tuning-Support und quantisierte Versionen für GPUs mit weniger als 24 GB VRAM sind in Planung, aber noch nicht erschienen.
Frag die KI zum Artikel
Folgefragen zu Headline, Quelle und Volltext — Antwort streamt in wenigen Sekunden.
Verwandte Beiträge
- FORSCHUNGarxiv.org4d
TontaubeV1: Streaming-TTS mit hierarchischem Codec und 200 ms bis zum ersten Audio
- LAUNCHreddit.com3w
Qwen3-TTS mit 34 ms Time-to-First-Audio und 10 RPS auf H100
- MEINUNGreddit.com2w
Breeze-TTS-2: Frontier-TTS-Modell lokal nutzbar mit ~7 GB
- LAUNCHreddit.com3w
FireRedTeam veröffentlicht FireRedAudio (9B) und FireRedTTS3 für Audio & Sprache