ШІ-дубляж кліпів 12 мовами: голос змінюється, музика лишається
Блог · · Команда Vyexa · 4 хв читання
Приклади ШІ-дубляжу: один кліп NASA у 12 версіях
Ті самі 30 секунд з інтерв’ю в центрі управління польотами NASA, перетворені на кліп у Vyexa. Спочатку оригінал англійською, потім той самий кліп, озвучений ШІ іспанською, німецькою, французькою, польською, українською, російською, турецькою, арабською, японською, корейською та індонезійською. Увімкніть звук: голос змінюється, звук кімнати лишається, субтитри й заголовок переходять на ту саму мову.
Вихідне відео: NASA (суспільне надбання). NASA не рекламує і не схвалює Vyexa.
Щоб викласти той самий кліп для аудиторії, яка говорить іншою мовою, актор озвучення не потрібен. У Vyexa виберіть мову в блоці «Дубляж вашою мовою» на сторінці «Налаштування кліпу»: ШІ перекладе мовлення й озвучить його цією мовою. Оригінальне мовлення під дубляжем стає тихішим, а музика, сміх і звук приміщення лишаються. Субтитри й заголовок теж переходять на цю мову.
Нижче — які є мови, як добираються голоси і чого дубляж не вміє.
12 мов
Англійська, іспанська, німецька, французька, польська, українська, російська, турецька, арабська, японська, корейська та індонезійська. Якщо відео вже вибраною мовою, нічого не змінюється і нічого не списується. Коли ви робите ще кліпи з того самого відео, мова дубляжу, яку ви вибрали минулого разу, уже стоїть.
Чому фон лишається
Звук у відео — це суміш: голоси плюс усе інше — музика, сміх, вуличний шум, звуки гри в записі стріму з Twitch. Якщо просто приглушувати всю доріжку під новий голос, музика провалюватиметься на кожній репліці й повертатиметься в паузах. Саме це «гойдання» робить дешевий дубляж виснажливим.
Тому спершу ми ділимо звук на дві доріжки: голоси і фон. Оригінальний голос затихає під дубляжем, а фон увесь час грає на повну гучність. Якщо людина говорить, а репліки дубляжу в цьому місці немає, оригінал лишається ледь чутним — тож людина ніколи не ворушить губами в тиші. За тим самим принципом працює автодубляж на великих платформах.

Окремий голос для кожної людини у відео
За замовчуванням дубляж працює в режимі «Авто» для всіх мов: кожна людина в кліпі отримує схожий ШІ-голос — чоловік чоловічий, жінка жіночий. Двоє чоловіків, які розмовляють, отримують два різні голоси, а та сама людина звучить однаково в усіх кліпах проєкту. Хто говорить і хто це — чоловік, жінка чи дитина, — визначає ШІ-модель, яка слухає голос повністю, а не лише його висоту. Тому гучний або високий чоловічий голос однаково озвучить чоловічий голос.
Хочете щоразу ті самі голоси? На сторінці «Дубляж» в акаунті («Профіль» → «Дубляж») додайте мову і виберіть до трьох чоловічих і трьох жіночих голосів — у кожного є кнопка «Послухати». Перший чоловік у кліпі отримує перший чоловічий голос, другий — другий. Якщо залишити список чоловічих чи жіночих голосів порожнім, цю частину й далі добирають автоматично.
Чого дубляж не вміє
- Це закадрове озвучення, а не ліпсинк: губи не збігаються з новими словами.
- Музичні кліпи не озвучуються — там спів, а не мовлення. Відео без мовлення теж не озвучуються.
- Перекладає ШІ, і він може помилитися в сленгу, грі слів чи іменах. Імена виходять краще, якщо додати їх до свого списку слів на сторінці «Мій бренд».
- Кілька людей, які говорять одночасно, або гучна вулиця — це складніше, ніж одна людина, що говорить чітко.
Ліміти та API
Дубляж рахується у відео за 30 днів: до 3 на Free, 40 на Creator, 60 на Pro. Відео рахується один раз — нові кліпи з уже озвученого відео безкоштовні. Скільки лишилося, видно в самому блоці. У публічному API це поле dub_language з тими самими лімітами — див. документацію API.
Голоси надає наш партнер Alvenuri. Ми ще не вимірювали, як озвучені кліпи працюють порівняно з оригіналами, тому цифр не наводимо. Після дубляжу його можна оцінити на сторінці результатів — саме ці оцінки нам це покажуть.
Спробуйте: вставте посилання на vyexa.net і виберіть мову в блоці «Дубляж вашою мовою». Для Free картка не потрібна.