ElevenLabs Lanza Dubbing v2 para Mejorar la Traducción de Voz con IA

ElevenLabs ha revelado su última innovación, Dubbing v2, marcando un gran avance en la tecnología de doblaje impulsada por IA. Este nuevo modelo adopta un enfoque fundamentalmente diferente al escuchar la actuación de audio original en lugar de depender únicamente de transcripciones de texto, lo que resulta en un audio traducido que se asemeja estrechamente a la entrega del hablante original.

Cómo Funciona Dubbing v2

A diferencia de los métodos tradicionales de doblaje con IA que transcriben audio a texto, lo traducen y luego sintetizan un nuevo discurso, Dubbing v2 condiciona directamente su salida en el audio fuente. Esto permite que el modelo capture matices vocales que una transcripción de texto no puede transmitir. Soporta más de 90 idiomas con variantes regionales y puede manejar hasta 32 hablantes por archivo de audio, lo que lo hace adecuado para varios formatos, desde podcasts individuales hasta producciones en conjunto.

Una característica notable de Dubbing v2 es su traducción consciente de la sincronización, que sincroniza automáticamente el tiempo del habla con el audio original, eliminando la necesidad de ajustes de sincronización labial que consumen tiempo. Además, retiene el audio de fondo original, asegurando que los sonidos ambientales y la música permanezcan intactos mientras solo se traduce la pista vocal.

Disponibilidad y Precios

ElevenLabs está distribuyendo Dubbing v2 a través de dos plataformas: ElevenCreative, dirigida a creadores individuales como YouTubers y podcasters, y ElevenProductions, que atiende a clientes empresariales con necesidades de localización más grandes. Para fomentar la adopción, ElevenLabs ha lanzado un Programa de Socios de Doblaje para Creadores, ofreciendo un uso gratuito limitado de hasta 30 minutos durante un período promocional inicial de siete días. También se ha implementado una API para desarrolladores y organizaciones más grandes, permitiendo la integración de capacidades de doblaje en sus productos.