ElevenLabs запускает Dubbing v2 для улучшенного перевода голосов с помощью ИИ

ElevenLabs представила свою последнюю инновацию — Dubbing v2, что стало важным шагом вперед в технологии дубляжа на основе ИИ. Эта новая модель использует принципиально иной подход, слушая оригинальное аудиовыполнение, а не полагаясь исключительно на текстовые транскрипции, что позволяет создавать переведенное аудио, которое близко к оригинальной подаче говорящего.

Как работает Dubbing v2

В отличие от традиционных методов дубляжа на основе ИИ, которые сначала транскрибируют аудио в текст, затем переводят его и синтезируют новую речь, Dubbing v2 напрямую основывает свой вывод на исходном аудио. Это позволяет модели захватывать вокальные нюансы, которые текстовая транскрипция не может передать. Она поддерживает более 90 языков с региональными вариантами и может обрабатывать до 32 говорящих в одном аудиофайле, что делает её подходящей для различных форматов — от одиночных подкастов до ансамблевых productions.

Одной из примечательных особенностей Dubbing v2 является синхронизированный перевод, который автоматически синхронизирует временные интервалы речи с оригинальным аудио, устраняя необходимость в трудоемких корректировках синхронизации губ. Кроме того, он сохраняет оригинальное фоновое аудио, обеспечивая сохранение окружающих звуков и музыки, в то время как только вокальная дорожка переводится.

Доступность и цены

ElevenLabs распространяет Dubbing v2 через две платформы: ElevenCreative, ориентированную на индивидуальных создателей, таких как ютуберы и подкастеры, и ElevenProductions, которая обслуживает корпоративных клиентов с более крупными потребностями в локализации. Для содействия внедрению ElevenLabs запустила Программу Партнеров по Дубляжу для Создателей, предлагая ограниченное бесплатное использование до 30 минут в течение начального семидневного рекламного периода. Также была выпущена API для разработчиков и крупных организаций, позволяющая интегрировать возможности дубляжа в их продукты.