ИИ-дубляж клипов на 12 языков: голос меняется, музыка остаётся

Блог · · Команда Vyexa · 4 мин чтения

Примеры ИИ-дубляжа: один клип NASA в 12 версиях

Одни и те же 30 секунд из интервью в центре управления полётами NASA, превращённые в клип в Vyexa. Сначала оригинал на английском, затем тот же клип с ИИ-дубляжем на испанский, немецкий, французский, польский, украинский, русский, турецкий, арабский, японский, корейский и индонезийский языки. Включите звук: голос меняется, звук комнаты остаётся, субтитры и заголовок переходят на тот же язык.

Исходник Видео, с которого мы начали: горизонтальное интервью NASA на английском, 62 секунды. Vyexa нашла в нём 30-секундный момент, сделала вертикальный клип с субтитрами и заголовком, а потом озвучила этот клип. Что получилось — ниже.
Оригинал English Английский, без дубляжа
ИИ-дубляж Español Дубляж на испанский
ИИ-дубляж Deutsch Дубляж на немецкий
ИИ-дубляж Français Дубляж на французский
ИИ-дубляж Polski Дубляж на польский
ИИ-дубляж Українська Дубляж на украинский
ИИ-дубляж Русский Дубляж на русский
ИИ-дубляж Türkçe Дубляж на турецкий
ИИ-дубляж العربية Дубляж на арабский
ИИ-дубляж 日本語 Дубляж на японский
ИИ-дубляж 한국어 Дубляж на корейский
ИИ-дубляж Bahasa Indonesia Дубляж на индонезийский

Исходное видео: NASA (общественное достояние). NASA не рекламирует и не одобряет Vyexa.

Чтобы выложить тот же клип для аудитории, которая говорит на другом языке, актёр озвучки не нужен. В Vyexa выберите язык в блоке «Дубляж на ваш язык» на странице «Настройка клипа»: ИИ переведёт речь и озвучит её на этом языке. Оригинальная речь под дубляжем приглушается, а музыка, смех и звук помещения остаются. Субтитры и заголовок тоже переходят на этот язык.

Ниже — какие есть языки, как подбираются голоса и чего дубляж не умеет.

12 языков

Английский, испанский, немецкий, французский, польский, украинский, русский, турецкий, арабский, японский, корейский и индонезийский. Если видео уже на выбранном языке, ничего не меняется и ничего не списывается. Когда вы делаете ещё клипы из того же видео, язык дубляжа, который вы выбрали в прошлый раз, уже стоит.

Почему фон остаётся

Звук в видео — это смесь: голоса плюс всё остальное — музыка, смех, уличный шум, звуки игры в записи стрима с Twitch. Если просто приглушать всю дорожку под новый голос, музыка будет проседать на каждой реплике и возвращаться в паузах. Именно эта «раскачка» делает дешёвый дубляж утомительным.

Поэтому сначала мы делим звук на две дорожки: голоса и фон. Оригинальный голос затихает под дубляжем, а фон всё время играет на полной громкости. Если человек говорит, а реплики дубляжа в этом месте нет, оригинал остаётся чуть слышен — так не бывает, что человек открывает рот в тишине. По тому же принципу устроен автодубляж на больших платформах.

Одна звуковая волна делится на волну голоса и ровную волну фона

Свой голос для каждого человека в видео

По умолчанию дубляж работает в режиме «Авто» для всех языков: каждый человек в клипе получает похожий ИИ-голос — мужчина мужской, женщина женский. Два разговаривающих мужчины получают два разных голоса, а один и тот же человек звучит одинаково во всех клипах проекта. Кто говорит и кто это — мужчина, женщина или ребёнок, — решает ИИ-модель, которая слушает голос целиком, а не только его высоту. Поэтому громкий или высокий мужской голос всё равно озвучит мужской голос.

Хотите каждый раз одни и те же голоса? На странице «Дубляж» в аккаунте («Профиль» → «Дубляж») добавьте язык и выберите до трёх мужских и трёх женских голосов — у каждого есть кнопка «Послушать». Первый мужчина в клипе получает первый мужской голос, второй — второй. Если оставить список мужских или женских голосов пустым, эта часть по-прежнему подбирается автоматически.

Чего дубляж не умеет

  • Это закадровая озвучка, а не липсинк: губы не совпадают с новыми словами.
  • Музыкальные клипы не озвучиваются — там пение, а не речь. Видео без речи тоже не озвучиваются.
  • Переводит ИИ, и он может ошибиться в сленге, игре слов или именах. Имена получаются лучше, если добавить их в свой список слов на странице «Мой бренд».
  • Несколько человек, которые говорят одновременно, или шумная улица — это сложнее, чем один чётко говорящий человек.

Лимиты и API

Дубляж считается в видео за 30 дней: до 3 на Free, 40 на Creator, 60 на Pro. Видео считается один раз — новые клипы из уже озвученного видео бесплатны. Сколько осталось, показано в самом блоке. В публичном API это поле dub_language с теми же лимитами — см. документацию API.

Голоса даёт наш партнёр Alvenuri. Мы ещё не измеряли, как озвученные клипы работают по сравнению с оригиналами, поэтому цифр не приводим. После дубляжа его можно оценить на странице результатов — по этим оценкам мы и поймём.

Попробуйте: вставьте ссылку на vyexa.net и выберите язык в блоке «Дубляж на ваш язык». Для Free карта не нужна.

Читайте также