Doppiaggio IA delle tue clip in 12 lingue: la voce cambia, la musica resta

Blog · · Team Vyexa · 4 min di lettura

Esempi di doppiaggio IA: una clip NASA in 12 versioni

Gli stessi 30 secondi di un’intervista NASA dal centro di controllo missione, trasformati in una clip con Vyexa. Prima l’originale in inglese, poi la stessa clip doppiata con l’IA in spagnolo, tedesco, francese, polacco, ucraino, russo, turco, arabo, giapponese, coreano e indonesiano. Attiva l’audio: la voce cambia, il suono della stanza resta, sottotitoli e titolo seguono la lingua.

Sorgente Il video da cui siamo partiti: un’intervista NASA orizzontale di 62 secondi, in inglese. Vyexa ci ha trovato un momento di 30 secondi, ne ha fatto una clip verticale con sottotitoli e titolo, poi l’ha doppiata. I risultati sono qui sotto.
Originale English Inglese, senza doppiaggio
Doppiaggio IA Español Doppiato in spagnolo
Doppiaggio IA Deutsch Doppiato in tedesco
Doppiaggio IA Français Doppiato in francese
Doppiaggio IA Polski Doppiato in polacco
Doppiaggio IA Українська Doppiato in ucraino
Doppiaggio IA Русский Doppiato in russo
Doppiaggio IA Türkçe Doppiato in turco
Doppiaggio IA العربية Doppiato in arabo
Doppiaggio IA 日本語 Doppiato in giapponese
Doppiaggio IA 한국어 Doppiato in coreano
Doppiaggio IA Bahasa Indonesia Doppiato in indonesiano

Video sorgente: NASA (pubblico dominio). La NASA non approva né sostiene Vyexa.

Per pubblicare la stessa clip per un pubblico che parla un’altra lingua non ti serve un doppiatore. In Vyexa scegli una lingua nel blocco «Doppiaggio nella tua lingua» in «Configurazione clip»: l’IA traduce il parlato e lo doppia in quella lingua. Sotto il doppiaggio la voce originale si abbassa, mentre musica, risate e suono della stanza restano. Anche sottotitoli e titolo passano a quella lingua.

Qui sotto: quali lingue ci sono, come vengono scelte le voci e cosa il doppiaggio non fa.

12 lingue

Inglese, spagnolo, tedesco, francese, polacco, ucraino, russo, turco, arabo, giapponese, coreano e indonesiano. Se il video è già nella lingua che hai scelto, non cambia nulla e non viene conteggiato niente. Quando crei altre clip dallo stesso video, la lingua di doppiaggio usata l’ultima volta è già selezionata.

Perché il sottofondo resta

L’audio di un video è un mix: le voci più tutto il resto — musica, risate, rumore della strada, i suoni del gioco in una registrazione di una live su Twitch. Se abbassi semplicemente tutta la traccia sotto la nuova voce, la musica cala a ogni battuta e risale nelle pause. È proprio questo «pompaggio» a rendere stancanti i doppiaggi economici.

Per questo prima dividiamo l’audio in due tracce: voci e sottofondo. La voce originale si abbassa sotto il doppiaggio, il sottofondo resta a pieno volume per tutto il tempo. Dove una persona parla ma non c’è una battuta doppiata, l’originale resta appena udibile, così non vedi mai qualcuno parlare nel silenzio. È la stessa idea che usano le grandi piattaforme per il loro doppiaggio automatico.

Un’onda sonora che si divide in un’onda della voce e in un’onda di sottofondo costante

Una voce per ogni persona nel video

Di default il doppiaggio funziona in modalità «Auto» per ogni lingua: ogni persona nella clip riceve una voce IA simile — a un uomo va una voce maschile, a una donna una femminile. Due uomini che parlano ricevono due voci diverse, e la stessa persona mantiene la stessa voce in tutte le clip del progetto. Chi parla, e se è un uomo, una donna o un bambino, lo decide un modello IA che ascolta tutta la voce, non solo il tono: così anche una voce maschile forte o acuta viene doppiata da una voce maschile.

Vuoi sempre le stesse voci? Nella pagina «Doppiaggio» del tuo account («Profilo» → «Doppiaggio») aggiungi una lingua e scegli fino a tre voci maschili e tre femminili, ognuna con il pulsante «Ascolta». Il primo uomo della clip riceve la prima voce maschile, il secondo uomo la seconda. Se lasci vuota la lista maschile o quella femminile, quella parte viene comunque scelta in automatico.

Cosa non fa

  • È un doppiaggio in voice-over, non un lip-sync: le labbra non seguono le nuove parole.
  • I video musicali non vengono doppiati: c’è il canto, non il parlato. Nemmeno i video senza parlato vengono doppiati.
  • La traduzione la fa l’IA e può sbagliare slang, giochi di parole o nomi. I nomi escono meglio se li aggiungi alla tua lista di parole nella pagina «Il mio brand».
  • Più persone che parlano una sopra l’altra, o una strada rumorosa, sono più difficili di una sola voce chiara.

Limiti e API

Il doppiaggio si conta in video ogni 30 giorni: fino a 3 su Free, 40 su Creator, 60 su Pro. Un video conta una sola volta: altre clip da un video che hai già doppiato sono gratis. Il blocco mostra quanti te ne restano. Nell’API pubblica è il campo dub_language, con gli stessi limiti — vedi la documentazione dell’API.

Le voci arrivano dal nostro partner Alvenuri. Non abbiamo ancora misurato come vanno le clip doppiate rispetto agli originali, quindi non diamo numeri — dopo un doppiaggio puoi valutarlo nella pagina dei risultati, e quelle valutazioni ce lo diranno.

Provalo: incolla un link su vyexa.net e scegli una lingua in «Doppiaggio nella tua lingua». Per Free non serve la carta.

Leggi anche