ИИ-дубляж клипов на 12 языков: голос меняется, музыка остаётся
Блог · · Команда Vyexa · 4 мин чтения
Примеры ИИ-дубляжа: один клип NASA в 12 версиях
Одни и те же 30 секунд из интервью в центре управления полётами NASA, превращённые в клип в Vyexa. Сначала оригинал на английском, затем тот же клип с ИИ-дубляжем на испанский, немецкий, французский, польский, украинский, русский, турецкий, арабский, японский, корейский и индонезийский языки. Включите звук: голос меняется, звук комнаты остаётся, субтитры и заголовок переходят на тот же язык.
Исходное видео: NASA (общественное достояние). NASA не рекламирует и не одобряет Vyexa.
Чтобы выложить тот же клип для аудитории, которая говорит на другом языке, актёр озвучки не нужен. В Vyexa выберите язык в блоке «Дубляж на ваш язык» на странице «Настройка клипа»: ИИ переведёт речь и озвучит её на этом языке. Оригинальная речь под дубляжем приглушается, а музыка, смех и звук помещения остаются. Субтитры и заголовок тоже переходят на этот язык.
Ниже — какие есть языки, как подбираются голоса и чего дубляж не умеет.
12 языков
Английский, испанский, немецкий, французский, польский, украинский, русский, турецкий, арабский, японский, корейский и индонезийский. Если видео уже на выбранном языке, ничего не меняется и ничего не списывается. Когда вы делаете ещё клипы из того же видео, язык дубляжа, который вы выбрали в прошлый раз, уже стоит.
Почему фон остаётся
Звук в видео — это смесь: голоса плюс всё остальное — музыка, смех, уличный шум, звуки игры в записи стрима с Twitch. Если просто приглушать всю дорожку под новый голос, музыка будет проседать на каждой реплике и возвращаться в паузах. Именно эта «раскачка» делает дешёвый дубляж утомительным.
Поэтому сначала мы делим звук на две дорожки: голоса и фон. Оригинальный голос затихает под дубляжем, а фон всё время играет на полной громкости. Если человек говорит, а реплики дубляжа в этом месте нет, оригинал остаётся чуть слышен — так не бывает, что человек открывает рот в тишине. По тому же принципу устроен автодубляж на больших платформах.

Свой голос для каждого человека в видео
По умолчанию дубляж работает в режиме «Авто» для всех языков: каждый человек в клипе получает похожий ИИ-голос — мужчина мужской, женщина женский. Два разговаривающих мужчины получают два разных голоса, а один и тот же человек звучит одинаково во всех клипах проекта. Кто говорит и кто это — мужчина, женщина или ребёнок, — решает ИИ-модель, которая слушает голос целиком, а не только его высоту. Поэтому громкий или высокий мужской голос всё равно озвучит мужской голос.
Хотите каждый раз одни и те же голоса? На странице «Дубляж» в аккаунте («Профиль» → «Дубляж») добавьте язык и выберите до трёх мужских и трёх женских голосов — у каждого есть кнопка «Послушать». Первый мужчина в клипе получает первый мужской голос, второй — второй. Если оставить список мужских или женских голосов пустым, эта часть по-прежнему подбирается автоматически.
Чего дубляж не умеет
- Это закадровая озвучка, а не липсинк: губы не совпадают с новыми словами.
- Музыкальные клипы не озвучиваются — там пение, а не речь. Видео без речи тоже не озвучиваются.
- Переводит ИИ, и он может ошибиться в сленге, игре слов или именах. Имена получаются лучше, если добавить их в свой список слов на странице «Мой бренд».
- Несколько человек, которые говорят одновременно, или шумная улица — это сложнее, чем один чётко говорящий человек.
Лимиты и API
Дубляж считается в видео за 30 дней: до 3 на Free, 40 на Creator, 60 на Pro. Видео считается один раз — новые клипы из уже озвученного видео бесплатны. Сколько осталось, показано в самом блоке. В публичном API это поле dub_language с теми же лимитами — см. документацию API.
Голоса даёт наш партнёр Alvenuri. Мы ещё не измеряли, как озвученные клипы работают по сравнению с оригиналами, поэтому цифр не приводим. После дубляжа его можно оценить на странице результатов — по этим оценкам мы и поймём.
Попробуйте: вставьте ссылку на vyexa.net и выберите язык в блоке «Дубляж на ваш язык». Для Free карта не нужна.