Doblaje con IA para tus clips en 12 idiomas: cambia la voz, se queda la música

Blog · · Equipo de Vyexa · 4 min de lectura

Ejemplos de doblaje con IA: un clip de la NASA en 12 versiones

Los mismos 30 segundos de una entrevista en el centro de control de la NASA, convertidos en clip en Vyexa. Primero el original en inglés y después el mismo clip doblado con IA a estos idiomas: español, alemán, francés, polaco, ucraniano, ruso, turco, árabe, japonés, coreano, indonesio. Activa el sonido: la voz cambia, el ambiente de la sala se queda y los subtítulos y el título siguen al idioma.

Fuente El vídeo del que partimos: una entrevista horizontal de la NASA de 62 segundos, en inglés. Vyexa encontró en ella un momento de 30 segundos, hizo un clip vertical con subtítulos y título y luego dobló ese clip. Los resultados, a continuación.
Original English Inglés, sin doblaje
Doblaje IA Español Doblado al español
Doblaje IA Deutsch Doblado al alemán
Doblaje IA Français Doblado al francés
Doblaje IA Polski Doblado al polaco
Doblaje IA Українська Doblado al ucraniano
Doblaje IA Русский Doblado al ruso
Doblaje IA Türkçe Doblado al turco
Doblaje IA العربية Doblado al árabe
Doblaje IA 日本語 Doblado al japonés
Doblaje IA 한국어 Doblado al coreano
Doblaje IA Bahasa Indonesia Doblado al indonesio

Vídeo original: NASA (dominio público). La NASA no respalda a Vyexa.

Para publicar el mismo clip para un público que habla otro idioma, no necesitas un actor de doblaje. En Vyexa, elige un idioma en el bloque «Doblaje a tu idioma» de «Configuración del clip»: la IA traduce lo que se dice y lo dobla a ese idioma. La voz original baja por debajo del doblaje, mientras que la música, las risas y el sonido de la sala se quedan. Los subtítulos y el título también cambian a ese idioma.

A continuación: qué idiomas hay, cómo se eligen las voces y qué no hace.

12 idiomas

Inglés, español, alemán, francés, polaco, ucraniano, ruso, turco, árabe, japonés, coreano e indonesio. Si el vídeo ya está en el idioma que eliges, no cambia nada y no se descuenta nada. Cuando haces más clips del mismo vídeo, ya aparece seleccionado el idioma de doblaje que usaste la última vez.

Por qué se mantiene el fondo

El sonido de un vídeo es una mezcla: las voces más todo lo demás — música, risas, ruido de la calle, sonidos del juego en una grabación de un directo de Twitch. Si simplemente bajas toda la pista bajo la nueva voz, la música cae en cada frase y vuelve en las pausas. Ese «bombeo» es lo que hace cansados los doblajes baratos.

Por eso primero separamos el sonido en dos pistas: voces y fondo. La voz original baja bajo el doblaje y el fondo suena a todo volumen todo el tiempo. Cuando alguien habla pero no hay frase doblada, el original se sigue oyendo un poco, así que nunca ves a alguien hablando en silencio. Es la misma idea que usan las grandes plataformas en su doblaje automático.

Una onda de sonido que se divide en una onda de voz y una onda de fondo constante

Una voz para cada persona del vídeo

Por defecto, el doblaje funciona en modo «Auto» en todos los idiomas: cada persona del clip recibe una voz de IA parecida — un hombre, una voz masculina; una mujer, una femenina. Dos hombres que hablan reciben dos voces distintas, y la misma persona conserva la misma voz en todos los clips del proyecto. Quién habla y si es un hombre, una mujer o un niño lo decide un modelo de IA que escucha la voz entera, no solo su tono, así que una voz masculina fuerte o aguda se sigue doblando con voz de hombre.

¿Quieres las mismas voces siempre? En la página «Doblaje» de tu cuenta («Perfil» → «Doblaje»), añade un idioma y elige hasta tres voces masculinas y tres femeninas, cada una con un botón «Escuchar». El primer hombre de un clip recibe la primera voz masculina, el segundo hombre, la segunda. Si dejas vacía la lista masculina o la femenina, esa parte se sigue eligiendo automáticamente.

Qué no hace

  • Es un doblaje en voz en off, no sincronización labial: los labios no coinciden con las nuevas palabras.
  • Los videoclips musicales no se doblan — ahí se canta, no se habla. Los vídeos sin habla tampoco se doblan.
  • La traducción la hace la IA y puede fallar con jerga, juegos de palabras o nombres. Los nombres salen mejor si los añades a tu lista de palabras en la página «Mi marca».
  • Varias personas hablando a la vez, o una calle ruidosa, es más difícil que una sola voz clara.

Límites y API

El doblaje se cuenta en vídeos cada 30 días: hasta 3 en Free, 40 en Creator y 60 en Pro. Un vídeo cuenta una sola vez — más clips de un vídeo que ya doblaste son gratis. El bloque muestra cuántos te quedan. En la API pública es el campo dub_language, con los mismos límites — consulta la documentación de la API.

Las voces vienen de nuestro socio Alvenuri. Aún no hemos medido cómo funcionan los clips doblados frente a los originales, así que no damos ninguna cifra — después de un doblaje puedes valorarlo en la página de resultados, y esas valoraciones nos lo dirán.

Pruébalo: pega un enlace en vyexa.net y elige un idioma en «Doblaje a tu idioma». Free no pide tarjeta.

Lee también