KI-Synchronisation für deine Clips in 12 Sprachen: Die Stimme wechselt, die Musik bleibt
Blog · · Vyexa-Team · 4 Min. Lesezeit
Beispiele für KI-Synchronisation: ein NASA-Clip in 12 Versionen
Dieselben 30 Sekunden aus einem Interview aus der NASA-Missionskontrolle, in Vyexa zu einem Clip gemacht. Zuerst das englische Original, dann derselbe Clip, von KI synchronisiert auf Spanisch, Deutsch, Französisch, Polnisch, Ukrainisch, Russisch, Türkisch, Arabisch, Japanisch, Koreanisch und Indonesisch. Mach den Ton an: Die Stimme wechselt, der Raumklang bleibt, Untertitel und Titel folgen der Sprache.
Ausgangsvideo: NASA (gemeinfrei). NASA empfiehlt Vyexa nicht.
Wenn du denselben Clip für ein Publikum in einer anderen Sprache posten willst, brauchst du keinen Sprecher. Wähl in Vyexa auf der Seite „Clip-Einrichtung“ im Block „Synchronisation in deine Sprache“ eine Sprache: Die KI übersetzt die Sprache und synchronisiert sie. Die Originalstimme wird unter der Synchronisation leiser, Musik, Lachen und Raumklang bleiben. Auch Untertitel und Titel wechseln in diese Sprache.
Unten: welche Sprachen es gibt, wie die Stimmen gewählt werden und was die Funktion nicht kann.
12 Sprachen
Englisch, Spanisch, Deutsch, Französisch, Polnisch, Ukrainisch, Russisch, Türkisch, Arabisch, Japanisch, Koreanisch und Indonesisch. Ist das Video schon in der gewählten Sprache, ändert sich nichts und es wird nichts angerechnet. Machst du weitere Clips aus demselben Video, ist die zuletzt genutzte Synchronsprache schon ausgewählt.
Warum der Hintergrund bleibt
Der Ton eines Videos ist eine Mischung: Stimmen plus alles andere — Musik, Lachen, Straßenlärm, Spielsounds aus einer Twitch-Stream-Aufzeichnung. Dreht man einfach die ganze Spur unter der neuen Stimme leiser, sackt die Musik bei jedem Satz ab und kommt in den Pausen zurück. Genau dieses „Pumpen“ macht billige Synchronisationen so anstrengend.
Deshalb trennen wir den Ton zuerst in zwei Spuren: Stimmen und Hintergrund. Die Originalstimme wird unter der Synchronisation leise, der Hintergrund läuft die ganze Zeit in voller Lautstärke weiter. Wo jemand spricht, es aber keinen synchronisierten Satz gibt, bleibt das Original leise hörbar — so siehst du nie jemanden, der stumm redet. Nach demselben Prinzip arbeitet die automatische Synchronisation der großen Plattformen.

Eine eigene Stimme für jede Person im Video
Standardmäßig läuft die Synchronisation für jede Sprache im Modus „Auto“: Jede Person im Clip bekommt eine ähnliche KI-Stimme — ein Mann eine Männerstimme, eine Frau eine Frauenstimme. Zwei Männer im Gespräch bekommen zwei verschiedene Stimmen, und dieselbe Person behält in allen Clips des Projekts dieselbe Stimme. Wer spricht und ob es ein Mann, eine Frau oder ein Kind ist, erkennt ein KI-Modell, das die ganze Stimme hört und nicht nur die Tonhöhe. Eine laute oder hohe Männerstimme wird deshalb trotzdem von einer Männerstimme gesprochen.
Du willst jedes Mal dieselben Stimmen? Füg auf der Seite „Synchronisation“ in deinem Konto („Profil“ → „Synchronisation“) eine Sprache hinzu und wähl bis zu drei Männer- und drei Frauenstimmen, jede mit einem „Anhören“-Button. Der erste Mann im Clip bekommt die erste Männerstimme, der zweite die zweite. Lässt du die Liste für Männer- oder Frauenstimmen leer, wird dieser Teil weiter automatisch gewählt.
Was die Synchronisation nicht kann
- Es ist ein Voice-over, kein Lip-Sync: Die Lippen passen nicht zu den neuen Wörtern.
- Musikvideos werden nicht synchronisiert — da wird gesungen, nicht gesprochen. Videos ohne Sprache auch nicht.
- Die Übersetzung macht eine KI, sie kann Slang, Wortspiele oder Namen verfehlen. Namen klappen besser, wenn du sie in deine Wortliste auf der Seite „Meine Marke“ einträgst.
- Mehrere Leute, die durcheinanderreden, oder eine laute Straße sind schwieriger als eine klare einzelne Stimme.
Limits und API
Synchronisation wird in Videos pro 30 Tage gezählt: bis zu 3 bei Free, 40 bei Creator, 60 bei Pro. Ein Video zählt einmal — weitere Clips aus einem schon synchronisierten Video kosten nichts. Der Block zeigt, wie viele dir noch bleiben. In der öffentlichen API ist es das Feld dub_language, mit denselben Limits — siehe API-Doku.
Die Stimmen kommen von unserem Partner Alvenuri. Wie synchronisierte Clips im Vergleich zu den Originalen ankommen, haben wir noch nicht gemessen, deshalb nennen wir keine Zahl. Nach einer Synchronisation kannst du sie auf der Ergebnisseite bewerten — diese Bewertungen werden es uns zeigen.
Probier es aus: Füg auf vyexa.net einen Link ein und wähl eine Sprache in „Synchronisation in deine Sprache“. Für Free brauchst du keine Karte.