Infrastructure
ElevenLabs präsentiert Dubbing v2 für verbesserte KI-Stimmübersetzung
ElevenLabs hat seine neueste Innovation, Dubbing v2, vorgestellt, die einen bedeutenden Fortschritt in der Technologie der KI-gestützten Synchronisation darstellt. Dieses neue Modell verfolgt einen grundlegend anderen Ansatz, indem es die ursprüngliche Audioaufführung anhört, anstatt sich ausschließlich auf Texttranskripte zu verlassen. Dadurch entsteht übersetztes Audio, das der Darbietung des ursprünglichen Sprechers sehr ähnlich ist.
Wie Dubbing v2 funktioniert
Im Gegensatz zu traditionellen KI-Synchronisationsmethoden, die Audio in Text transkribieren, übersetzen und dann neue Sprache synthetisieren, passt Dubbing v2 seine Ausgabe direkt an das Quellaudio an. Dies ermöglicht es dem Modell, stimmliche Nuancen zu erfassen, die ein Texttranskript nicht vermitteln kann. Es unterstützt über 90 Sprachen mit regionalen Varianten und kann bis zu 32 Sprecher pro Audiodatei verarbeiten, was es für verschiedene Formate geeignet macht, von Solo-Podcasts bis hin zu Ensemble-Produktionen.
Ein bemerkenswertes Merkmal von Dubbing v2 ist die synchronisationsbewusste Übersetzung, die automatisch die Sprachzeit mit dem Originalaudio synchronisiert und so zeitaufwändige Lippen-Synchronisationsanpassungen überflüssig macht. Darüber hinaus behält es das ursprüngliche Hintergrundaudio bei, sodass Umgebungsgeräusche und Musik erhalten bleiben, während nur die Sprachspur übersetzt wird.
Verfügbarkeit und Preisgestaltung
ElevenLabs vertreibt Dubbing v2 über zwei Plattformen: ElevenCreative, die sich an Einzelpersonen wie YouTuber und Podcaster richtet, und ElevenProductions, die sich an Unternehmensklienten mit größeren Lokalisierungsbedürfnissen richtet. Um die Akzeptanz zu fördern, hat ElevenLabs ein Creator Dubbing Partner Program ins Leben gerufen, das in der ersten sieben-tägigen Aktionsphase eine begrenzte kostenlose Nutzung von bis zu 30 Minuten anbietet. Zudem wurde eine API für Entwickler und größere Organisationen bereitgestellt, die die Integration von Synchronisationsfunktionen in ihre Produkte ermöglicht.
FAQ
Was ist Dubbing v2 von ElevenLabs?
Dubbing v2 ist die neueste KI-gestützte Synchronisationstechnologie von ElevenLabs, die originale Audioaufführungen anhört, um übersetzte Audios zu erstellen, die der Lieferung des ursprünglichen Sprechers nahekommen.
Wie unterscheidet sich Dubbing v2 von traditionellen KI-Synchronisationsmethoden?
Im Gegensatz zu traditionellen Methoden, die Audio in Text transkribieren, übersetzen und dann neue Sprache synthetisieren, basiert Dubbing v2 direkt auf dem Quell-Audio, erfasst stimmliche Nuancen und sorgt für eine authentischere Übersetzung.
Welche Sprachen unterstützt Dubbing v2?
Dubbing v2 unterstützt über 90 Sprachen, einschließlich regionaler Varianten, was es vielseitig für verschiedene Zielgruppen macht.
Welche Funktionen bietet Dubbing v2 für die Synchronisation?
Dubbing v2 umfasst eine synchronisationsbewusste Übersetzung, die automatisch die Sprachzeit mit dem Originalaudio synchronisiert und die Notwendigkeit manueller Lippen-Synchronisationsanpassungen beseitigt.
Wie kann ich auf Dubbing v2 zugreifen und welche Preisoptionen gibt es?
Dubbing v2 ist über ElevenCreative für Einzelkreatoren und ElevenProductions für Unternehmenskunden verfügbar. Es gibt ein Creator Dubbing Partner Programm, das während eines sieben-tägigen Aktionszeitraums eine begrenzte kostenlose Nutzung von bis zu 30 Minuten anbietet, sowie eine API für Entwickler.