Dubbing AI Twoich klipów w 12 językach: głos się zmienia, muzyka zostaje

Blog · · Zespół Vyexa · 4 min czytania

Przykłady dubbingu AI: jeden klip NASA w 12 wersjach

Te same 30 sekund z wywiadu z centrum kontroli misji NASA, zamienione w klip w Vyexa. Najpierw oryginał po angielsku, potem ten sam klip z dubbingiem AI na hiszpański, niemiecki, francuski, polski, ukraiński, rosyjski, turecki, arabski, japoński, koreański i indonezyjski. Włącz dźwięk: głos się zmienia, odgłosy pomieszczenia zostają, a napisy i tytuł przechodzą na nowy język.

Źródło Od tego wideo zaczęliśmy: 62-sekundowy poziomy wywiad NASA po angielsku. Vyexa znalazła w nim 30-sekundowy fragment, zrobiła z niego pionowy klip z napisami i tytułem, a potem nagrała dubbing. Wyniki poniżej.
Oryginał English Angielski, bez dubbingu
Dubbing AI Español Dubbing na hiszpański
Dubbing AI Deutsch Dubbing na niemiecki
Dubbing AI Français Dubbing na francuski
Dubbing AI Polski Dubbing na polski
Dubbing AI Українська Dubbing na ukraiński
Dubbing AI Русский Dubbing na rosyjski
Dubbing AI Türkçe Dubbing na turecki
Dubbing AI العربية Dubbing na arabski
Dubbing AI 日本語 Dubbing na japoński
Dubbing AI 한국어 Dubbing na koreański
Dubbing AI Bahasa Indonesia Dubbing na indonezyjski

Wideo źródłowe: NASA (domena publiczna). NASA nie rekomenduje Vyexa.

Żeby opublikować ten sam klip dla widzów mówiących w innym języku, nie potrzebujesz lektora. W Vyexa wybierz język w bloku „Dubbing na Twój język” na stronie „Konfiguracja klipu”: AI tłumaczy mowę i nagrywa dubbing w tym języku. Oryginalna mowa jest ściszona pod dubbingiem, a muzyka, śmiech i odgłosy pomieszczenia zostają. Napisy i tytuł też przechodzą na ten język.

Poniżej: jakie są języki, jak dobierane są głosy i czego dubbing nie robi.

12 języków

Angielski, hiszpański, niemiecki, francuski, polski, ukraiński, rosyjski, turecki, arabski, japoński, koreański i indonezyjski. Jeśli wideo jest już w wybranym języku, nic się nie zmienia i nic nie jest liczone. Gdy robisz kolejne klipy z tego samego wideo, język dubbingu z poprzedniego razu jest już wybrany.

Dlaczego tło zostaje

Dźwięk w wideo to miks: głosy plus cała reszta — muzyka, śmiech, szum ulicy, dźwięki gry z nagrania streamu na Twitchu. Jeśli po prostu ściszyć całą ścieżkę pod nowym głosem, muzyka cichnie przy każdej kwestii i wraca w pauzach. To „pompowanie” sprawia, że tani dubbing męczy przy oglądaniu.

Dlatego najpierw dzielimy dźwięk na dwie ścieżki: głosy i tło. Oryginalny głos cichnie pod dubbingiem, a tło gra cały czas na pełnej głośności. Tam, gdzie ktoś mówi, ale nie ma kwestii z dubbingu, oryginał zostaje lekko słyszalny — nigdy nie widać kogoś, kto mówi w ciszy. Na tej samej zasadzie działa automatyczny dubbing na dużych platformach.

Jedna fala dźwięku rozdziela się na falę głosu i równą falę tła

Osobny głos dla każdej osoby w wideo

Domyślnie dubbing działa w trybie „Auto” dla każdego języka: każda osoba w klipie dostaje podobny głos AI — mężczyzna męski, kobieta kobiecy. Dwóch rozmawiających mężczyzn dostaje dwa różne głosy, a ta sama osoba ma ten sam głos we wszystkich klipach projektu. Kto mówi i czy to mężczyzna, kobieta czy dziecko, rozpoznaje model AI, który słucha całego głosu, a nie tylko jego wysokości. Dlatego głośny lub wysoki męski głos i tak dostaje męski dubbing.

Chcesz za każdym razem tych samych głosów? Na stronie „Dubbing” w swoim koncie („Profil” → „Dubbing”) dodaj język i wybierz do trzech męskich i trzech kobiecych głosów — każdy z przyciskiem „Posłuchaj”. Pierwszy mężczyzna w klipie dostaje pierwszy męski głos, drugi — drugi. Jeśli zostawisz listę męskich lub kobiecych głosów pustą, ta część nadal dobiera się automatycznie.

Czego dubbing nie robi

  • To dubbing lektorski, nie lip-sync: ruch ust nie pasuje do nowych słów.
  • Teledysków nie dubbingujemy — tam jest śpiew, a nie mowa. Wideo bez mowy też nie.
  • Tłumaczy AI, więc może się pomylić przy slangu, grach słów czy nazwach własnych. Nazwy wychodzą lepiej, gdy dodasz je do swojej listy słów na stronie „Moja marka”.
  • Kilka osób mówiących naraz albo głośna ulica to trudniejszy przypadek niż jeden wyraźny mówca.

Limity i API

Dubbing liczymy w wideo na 30 dni: do 3 na Free, 40 na Creator, 60 na Pro. Jedno wideo liczy się raz — kolejne klipy z wideo, które już ma dubbing, są za darmo. Blok pokazuje, ile zostało. W publicznym API to pole dub_language, z tymi samymi limitami — zobacz dokumentację API.

Głosy pochodzą od naszego partnera Alvenuri. Nie zmierzyliśmy jeszcze, jak klipy z dubbingiem radzą sobie w porównaniu z oryginałami, więc nie podajemy żadnej liczby. Po dubbingu możesz go ocenić na stronie wyników — te oceny nam to pokażą.

Wypróbuj: wklej link na vyexa.net i wybierz język w bloku „Dubbing na Twój język”. Na Free karta nie jest potrzebna.

Przeczytaj też