KI-Synchronisation für deine Clips in 12 Sprachen: Die Stimme wechselt, die Musik bleibt

Blog · · Vyexa-Team · 4 Min. Lesezeit

Beispiele für KI-Synchronisation: ein NASA-Clip in 12 Versionen

Dieselben 30 Sekunden aus einem Interview aus der NASA-Missionskontrolle, in Vyexa zu einem Clip gemacht. Zuerst das englische Original, dann derselbe Clip, von KI synchronisiert auf Spanisch, Deutsch, Französisch, Polnisch, Ukrainisch, Russisch, Türkisch, Arabisch, Japanisch, Koreanisch und Indonesisch. Mach den Ton an: Die Stimme wechselt, der Raumklang bleibt, Untertitel und Titel folgen der Sprache.

Quelle Damit haben wir angefangen: ein 62 Sekunden langes NASA-Interview im Querformat, auf Englisch. Vyexa hat darin einen 30-Sekunden-Moment gefunden, daraus einen Hochformat-Clip mit Untertiteln und Titel gemacht und diesen Clip dann synchronisiert. Die Ergebnisse siehst du unten.
Original English Englisch, ohne Synchronisation
KI-Synchro Español Synchronisiert auf Spanisch
KI-Synchro Deutsch Synchronisiert auf Deutsch
KI-Synchro Français Synchronisiert auf Französisch
KI-Synchro Polski Synchronisiert auf Polnisch
KI-Synchro Українська Synchronisiert auf Ukrainisch
KI-Synchro Русский Synchronisiert auf Russisch
KI-Synchro Türkçe Synchronisiert auf Türkisch
KI-Synchro العربية Synchronisiert auf Arabisch
KI-Synchro 日本語 Synchronisiert auf Japanisch
KI-Synchro 한국어 Synchronisiert auf Koreanisch
KI-Synchro Bahasa Indonesia Synchronisiert auf Indonesisch

Ausgangsvideo: NASA (gemeinfrei). NASA empfiehlt Vyexa nicht.

Wenn du denselben Clip für ein Publikum in einer anderen Sprache posten willst, brauchst du keinen Sprecher. Wähl in Vyexa auf der Seite „Clip-Einrichtung“ im Block „Synchronisation in deine Sprache“ eine Sprache: Die KI übersetzt die Sprache und synchronisiert sie. Die Originalstimme wird unter der Synchronisation leiser, Musik, Lachen und Raumklang bleiben. Auch Untertitel und Titel wechseln in diese Sprache.

Unten: welche Sprachen es gibt, wie die Stimmen gewählt werden und was die Funktion nicht kann.

12 Sprachen

Englisch, Spanisch, Deutsch, Französisch, Polnisch, Ukrainisch, Russisch, Türkisch, Arabisch, Japanisch, Koreanisch und Indonesisch. Ist das Video schon in der gewählten Sprache, ändert sich nichts und es wird nichts angerechnet. Machst du weitere Clips aus demselben Video, ist die zuletzt genutzte Synchronsprache schon ausgewählt.

Warum der Hintergrund bleibt

Der Ton eines Videos ist eine Mischung: Stimmen plus alles andere — Musik, Lachen, Straßenlärm, Spielsounds aus einer Twitch-Stream-Aufzeichnung. Dreht man einfach die ganze Spur unter der neuen Stimme leiser, sackt die Musik bei jedem Satz ab und kommt in den Pausen zurück. Genau dieses „Pumpen“ macht billige Synchronisationen so anstrengend.

Deshalb trennen wir den Ton zuerst in zwei Spuren: Stimmen und Hintergrund. Die Originalstimme wird unter der Synchronisation leise, der Hintergrund läuft die ganze Zeit in voller Lautstärke weiter. Wo jemand spricht, es aber keinen synchronisierten Satz gibt, bleibt das Original leise hörbar — so siehst du nie jemanden, der stumm redet. Nach demselben Prinzip arbeitet die automatische Synchronisation der großen Plattformen.

Eine Schallwelle teilt sich in eine Stimmwelle und eine gleichmäßige Hintergrundwelle

Eine eigene Stimme für jede Person im Video

Standardmäßig läuft die Synchronisation für jede Sprache im Modus „Auto“: Jede Person im Clip bekommt eine ähnliche KI-Stimme — ein Mann eine Männerstimme, eine Frau eine Frauenstimme. Zwei Männer im Gespräch bekommen zwei verschiedene Stimmen, und dieselbe Person behält in allen Clips des Projekts dieselbe Stimme. Wer spricht und ob es ein Mann, eine Frau oder ein Kind ist, erkennt ein KI-Modell, das die ganze Stimme hört und nicht nur die Tonhöhe. Eine laute oder hohe Männerstimme wird deshalb trotzdem von einer Männerstimme gesprochen.

Du willst jedes Mal dieselben Stimmen? Füg auf der Seite „Synchronisation“ in deinem Konto („Profil“ → „Synchronisation“) eine Sprache hinzu und wähl bis zu drei Männer- und drei Frauenstimmen, jede mit einem „Anhören“-Button. Der erste Mann im Clip bekommt die erste Männerstimme, der zweite die zweite. Lässt du die Liste für Männer- oder Frauenstimmen leer, wird dieser Teil weiter automatisch gewählt.

Was die Synchronisation nicht kann

  • Es ist ein Voice-over, kein Lip-Sync: Die Lippen passen nicht zu den neuen Wörtern.
  • Musikvideos werden nicht synchronisiert — da wird gesungen, nicht gesprochen. Videos ohne Sprache auch nicht.
  • Die Übersetzung macht eine KI, sie kann Slang, Wortspiele oder Namen verfehlen. Namen klappen besser, wenn du sie in deine Wortliste auf der Seite „Meine Marke“ einträgst.
  • Mehrere Leute, die durcheinanderreden, oder eine laute Straße sind schwieriger als eine klare einzelne Stimme.

Limits und API

Synchronisation wird in Videos pro 30 Tage gezählt: bis zu 3 bei Free, 40 bei Creator, 60 bei Pro. Ein Video zählt einmal — weitere Clips aus einem schon synchronisierten Video kosten nichts. Der Block zeigt, wie viele dir noch bleiben. In der öffentlichen API ist es das Feld dub_language, mit denselben Limits — siehe API-Doku.

Die Stimmen kommen von unserem Partner Alvenuri. Wie synchronisierte Clips im Vergleich zu den Originalen ankommen, haben wir noch nicht gemessen, deshalb nennen wir keine Zahl. Nach einer Synchronisation kannst du sie auf der Ergebnisseite bewerten — diese Bewertungen werden es uns zeigen.

Probier es aus: Füg auf vyexa.net einen Link ein und wähl eine Sprache in „Synchronisation in deine Sprache“. Für Free brauchst du keine Karte.

Weiterlesen