ElevenLabs Lance Dubbing v2 pour Améliorer la Traduction Vocale par IA

ElevenLabs a dévoilé sa dernière innovation, Dubbing v2, marquant une avancée majeure dans la technologie de doublage par IA. Ce nouveau modèle adopte une approche fondamentalement différente en écoutant la performance audio originale plutôt qu'en se basant uniquement sur des transcriptions textuelles, ce qui permet d'obtenir un audio traduit qui ressemble étroitement à la livraison de l'orateur original.

Fonctionnement de Dubbing v2

Contrairement aux méthodes traditionnelles de doublage par IA qui transcrivent l'audio en texte, le traduisent, puis synthétisent un nouveau discours, Dubbing v2 conditionne directement sa sortie sur l'audio source. Cela permet au modèle de capturer des nuances vocales qu'une transcription textuelle ne peut pas transmettre. Il prend en charge plus de 90 langues avec des variantes régionales et peut gérer jusqu'à 32 intervenants par fichier audio, ce qui le rend adapté à divers formats, allant des podcasts en solo aux productions en ensemble.

Une caractéristique notable de Dubbing v2 est sa traduction synchronisée, qui synchronise automatiquement le timing de la parole avec l'audio original, éliminant ainsi le besoin d'ajustements de synchronisation labiale chronophages. De plus, il conserve l'audio de fond original, garantissant que les sons ambiants et la musique restent intacts tandis que seule la piste vocale est traduite.

Disponibilité et Tarification

ElevenLabs distribue Dubbing v2 via deux plateformes : ElevenCreative, destinée aux créateurs individuels comme les YouTubers et les podcasteurs, et ElevenProductions, qui s'adresse aux clients d'entreprise ayant des besoins de localisation plus importants. Pour encourager l'adoption, ElevenLabs a lancé un Programme Partenaire de Doublage pour Créateurs, offrant une utilisation gratuite limitée de jusqu'à 30 minutes pendant une période promotionnelle initiale de sept jours. Une API pour les développeurs et les grandes organisations a également été mise en place, permettant d'intégrer les capacités de doublage dans leurs produits.