ШІ-дубляж кліпів 12 мовами: голос змінюється, музика лишається

Блог · · Команда Vyexa · 4 хв читання

Приклади ШІ-дубляжу: один кліп NASA у 12 версіях

Ті самі 30 секунд з інтерв’ю в центрі управління польотами NASA, перетворені на кліп у Vyexa. Спочатку оригінал англійською, потім той самий кліп, озвучений ШІ іспанською, німецькою, французькою, польською, українською, російською, турецькою, арабською, японською, корейською та індонезійською. Увімкніть звук: голос змінюється, звук кімнати лишається, субтитри й заголовок переходять на ту саму мову.

Джерело Відео, з якого ми почали: горизонтальне інтерв’ю NASA англійською, 62 секунди. Vyexa знайшла в ньому 30-секундний момент, зробила вертикальний кліп із субтитрами й заголовком, а потім озвучила цей кліп. Що вийшло — нижче.
Оригінал English Англійською, без дубляжу
ШІ-дубляж Español Озвучено іспанською
ШІ-дубляж Deutsch Озвучено німецькою
ШІ-дубляж Français Озвучено французькою
ШІ-дубляж Polski Озвучено польською
ШІ-дубляж Українська Озвучено українською
ШІ-дубляж Русский Озвучено російською
ШІ-дубляж Türkçe Озвучено турецькою
ШІ-дубляж العربية Озвучено арабською
ШІ-дубляж 日本語 Озвучено японською
ШІ-дубляж 한국어 Озвучено корейською
ШІ-дубляж Bahasa Indonesia Озвучено індонезійською

Вихідне відео: NASA (суспільне надбання). NASA не рекламує і не схвалює Vyexa.

Щоб викласти той самий кліп для аудиторії, яка говорить іншою мовою, актор озвучення не потрібен. У Vyexa виберіть мову в блоці «Дубляж вашою мовою» на сторінці «Налаштування кліпу»: ШІ перекладе мовлення й озвучить його цією мовою. Оригінальне мовлення під дубляжем стає тихішим, а музика, сміх і звук приміщення лишаються. Субтитри й заголовок теж переходять на цю мову.

Нижче — які є мови, як добираються голоси і чого дубляж не вміє.

12 мов

Англійська, іспанська, німецька, французька, польська, українська, російська, турецька, арабська, японська, корейська та індонезійська. Якщо відео вже вибраною мовою, нічого не змінюється і нічого не списується. Коли ви робите ще кліпи з того самого відео, мова дубляжу, яку ви вибрали минулого разу, уже стоїть.

Чому фон лишається

Звук у відео — це суміш: голоси плюс усе інше — музика, сміх, вуличний шум, звуки гри в записі стріму з Twitch. Якщо просто приглушувати всю доріжку під новий голос, музика провалюватиметься на кожній репліці й повертатиметься в паузах. Саме це «гойдання» робить дешевий дубляж виснажливим.

Тому спершу ми ділимо звук на дві доріжки: голоси і фон. Оригінальний голос затихає під дубляжем, а фон увесь час грає на повну гучність. Якщо людина говорить, а репліки дубляжу в цьому місці немає, оригінал лишається ледь чутним — тож людина ніколи не ворушить губами в тиші. За тим самим принципом працює автодубляж на великих платформах.

Одна звукова хвиля розділяється на хвилю голосу і рівну хвилю фону

Окремий голос для кожної людини у відео

За замовчуванням дубляж працює в режимі «Авто» для всіх мов: кожна людина в кліпі отримує схожий ШІ-голос — чоловік чоловічий, жінка жіночий. Двоє чоловіків, які розмовляють, отримують два різні голоси, а та сама людина звучить однаково в усіх кліпах проєкту. Хто говорить і хто це — чоловік, жінка чи дитина, — визначає ШІ-модель, яка слухає голос повністю, а не лише його висоту. Тому гучний або високий чоловічий голос однаково озвучить чоловічий голос.

Хочете щоразу ті самі голоси? На сторінці «Дубляж» в акаунті («Профіль» → «Дубляж») додайте мову і виберіть до трьох чоловічих і трьох жіночих голосів — у кожного є кнопка «Послухати». Перший чоловік у кліпі отримує перший чоловічий голос, другий — другий. Якщо залишити список чоловічих чи жіночих голосів порожнім, цю частину й далі добирають автоматично.

Чого дубляж не вміє

  • Це закадрове озвучення, а не ліпсинк: губи не збігаються з новими словами.
  • Музичні кліпи не озвучуються — там спів, а не мовлення. Відео без мовлення теж не озвучуються.
  • Перекладає ШІ, і він може помилитися в сленгу, грі слів чи іменах. Імена виходять краще, якщо додати їх до свого списку слів на сторінці «Мій бренд».
  • Кілька людей, які говорять одночасно, або гучна вулиця — це складніше, ніж одна людина, що говорить чітко.

Ліміти та API

Дубляж рахується у відео за 30 днів: до 3 на Free, 40 на Creator, 60 на Pro. Відео рахується один раз — нові кліпи з уже озвученого відео безкоштовні. Скільки лишилося, видно в самому блоці. У публічному API це поле dub_language з тими самими лімітами — див. документацію API.

Голоси надає наш партнер Alvenuri. Ми ще не вимірювали, як озвучені кліпи працюють порівняно з оригіналами, тому цифр не наводимо. Після дубляжу його можна оцінити на сторінці результатів — саме ці оцінки нам це покажуть.

Спробуйте: вставте посилання на vyexa.net і виберіть мову в блоці «Дубляж вашою мовою». Для Free картка не потрібна.

Читайте також