Aktualisiert am 15. Februar 2025
Voice → avatar Workflow 2025: ElevenLabs Studio 3.0 + HeyGen
Wir haben eine komplette Pipeline gebaut: Rekord/Klon in ElevenLabs Studio 3.0, zwei in mehreren Sprachen, dann füttern Sie die Tracks in einen Avatargenerator, ohne Lip-Sync zu verlieren. Hier sind die Einstellungen und die Export-Checkliste.
Tests wurden auf Studio 3.0 Spät-2024-Modelle mit 48 kHz WAV-Exporten durchgeführt, dann in HeyGen und CapCut mit Übersetzung und Lip-Sync aktiviert.
Verwenden Sie dies als wiederholbare Vorlage. Jeder Schritt unten wird auf kurzen Haken (30–45 Sekunden) und Mid-Form-Erklärer (4–8 Minuten) getestet, so dass Sie sehen können, wo synchrone Drifts und wie es schnell zu beheben.
Baseline Preset, das wir in Studio 3.0 geladen haben
Beginnen Sie mit einem konsistenten Preset, so dass Sie nicht pro Sprache erraten. Dies ist der Build, der die meisten Tool-Handoffs überlebt:
- Spracheinstellungen: Stabilität 62–68, Klarheit + Ähnlichkeit 42–48, Stilübertreibung ab.
- Sicherheit: Wasserzeichen auf, Blockliste für Marken/medizinische Begriffe, "Pinsctuation vorbehalten" ermöglicht zum Synchronisieren.
- Eingangsnormalisierung: Lautstärke -16 LUFS mit -3 dB Peak Decke; De-ess bei 6–8 kHz, Lichttor bei -38 dB.
- Export: WAV 48 kHz-Mono für Stimme; hält Stiele für Musik/SFX, wenn Sie später wieder mischen.
Was änderte sich in Studio 3.0
- Geringere Latenz bei kurzen Clips, standhafteren Konsonanten, weniger duplizierte Phoneme bei konlatierten Exporten.
- Wasserzeichen standardmäßig; optionale blockierte Phrasen für Markennamen und Compliance-Bedingungen.
- Das Dubbing bewahrt die Pünktlichkeit und die Pausen besser als 2024, so dass die Beschriftungen näher an der Quelle Timing bleiben.
- Stems exportieren (Gewinn/Ambiente) für saubereres Mischen und leichtere Last-Meilen-Tweaks in Ihrem NLE.
Erfassen und Aufräumen vor dem Klonen
- Nehmen Sie 20–40 Sekunden sauberen Ton pro Lautsprecher auf. Vermeiden Sie Raumton länger als zwei Sekunden, so dass das Modell keine zusätzlichen Geräusche erfährt.
- Normalisieren Sie auf -16 LUFS mit einem transparenten Limiter; Trimm Mund klickt unter -42 dB, um robotische Schwänze nach der Übersetzung zu vermeiden.
- Fügen Sie 200 ms der Stille am Kopf und am Schwanz hinzu; Studio 3.0 hält diese Pausen, was hilft, die Beschriftungen in späteren Schnitten auszurichten.
- Führen Sie einen kurzen Hörtest auf Plosives ("p/b/t") und fricatives ("s/f") vor dem Klonen aus.
Empfohlene Farbeinstellungen
- Halten Sie Wasserzeichen auf; fügen Sie sensible Namen in die Blockliste, so dass der Übersetzer sie nie neu schreibt.
- Aktivieren Sie “Pinsctuation behalten”; manuell ziehen Sie jede Pause länger als 900 ms an kurzen Haken.
- Für mehrsprachige Abläufe erzeugen Sie EN → FR → ES in einer Sitzung, so dass der Ton konsistent bleibt; DE/PL profitiert von einer -2%-Tempo-Reduktion.
- Exportieren Sie WAV + SRT pro Sprache, plus Stängel, wenn Musik/SFX nachgeschaltet werden muss.
Schritt für Schritt Waschen des Arbeitsablaufs
- Lassen Sie Ihr gereinigtes Skript oder SRT in Studio 3.0 fallen; halten Sie Sätze unter 18 Wörter für Avatar-Tools, die mit langen visemes kämpfen.
- Rendern Sie einen Referenzpass, markieren Sie jede Phoneme wiederholt, dann regenerieren Sie nur diese Zeilen.
- Exportieren Sie SRT mit Original-Timecodes. Wenn Sie später in CapCut/Descript retimen, halten Sie eine Kopie dieses "source SRT" für Back-Sync.
- Etikettendateien mit
lang_version_scene_take.wavso bleiben das Avatar-Tool und NLE ausgerichtet.
Avatar Handoff
Importieren Sie die saubere WAV in ein Avatar-Video-Tool Tests: EN→FR→ES blieben an kurzen Haken synchron; DE brauchte eine manuelle Nachlaufzeit für Plosives.
- Deaktivieren Sie die Auto-Normalisierung innerhalb des Avatar-Tools, wenn Sie bereits zu -16 LUFS gemastert haben; Doppel-Normalisierung fügt Pumping hinzu.
- Halten Sie die viseme Glättung im Standard; es zu kurbeln macht Konsonanten aus dem Sync nach der Übersetzung.
- Für Portrait Avatare, vermeiden Sie Sprungschnitte enger als 6 Rahmen; die Mund Pose setzt sich zurück und sieht aus wie ein Glitch.
Exportrezept: Studio → HeyGen → CapCut
- Studio 3.0: Exportieren Sie WAV 48 kHz mono + SRT; halten Sie Stiele, wenn Sie später Musik hinzufügen möchten.
- HeyGen: Importieren Sie WAV, setzen Sie Sprache auf Datei, lassen Sie die Lippe-Sync Stärke standardmäßig. Rendern Sie einen 1080p-Entwurf, um Mundformen zu inspizieren.
- CapCut: Swap im letzten 4K-Render nur nach SRT-Überprüfung gegen den Entwurf. Bewerben Sie Lichtkompression (-2 dB Make-up, Verhältnis 2:1) wenn Sie Musik hinzufügen.
- Final QC: Peaks unter -1 dBFS; SRT-Linien unter 42 Zeichen; keine Markenbegriffe übersetzt; visuelle Frames frei von Klick-Mund-Resets.
Checkliste vor Export
- Wellenförmige Spitzen unter -1 dBFS; Lautheit -16 LUFS ±1; kein Breitband-Hals über -55 dB im Schwanz.
- SRT Linien unter 42 Zeichen; zwei Linien max; keine verwaiste Pünctuation nach der Übersetzung.
- Für mehrsprachige, überprüfen Markenbegriffe sind nicht auto-translatiert und Diakritik korrekt im Avatar-Ausgang.
- Exportieren Sie 1080p-Entwürfe aus dem Avatar-Tool, dann letzte 4K, sobald das Timing gesperrt ist; Archiv-Stänge für Remix-Anfragen.
Häufige Störungsmodi (und Fixes)
- Choppy Plosives nach der Übersetzung: Löschen Sie die Klarheit auf 40–42 und regenerieren Sie die betroffene Linie nur.
- Zitate treiben Mittensentenz: Teilen Sie den Satz in zwei Zeilen in Studio, regenerieren, halten Sie die SRT Spaltung.
- Avatar Mund lag auf Sprungschnitten: Legen Sie eine 6–8-Rahmen-Vorrolle des Schweigens vor der Linie ein; hält visemes in sync.
- Musikpumpen: Deaktivieren Sie die Per-Track-Normalisierung im Avatar-Tool; komprimieren Sie stattdessen in CapCut/Premiere.
FAQ
- Bleibt das Wasserzeichen? Ja standardmäßig; entfernen Sie nur, wenn Sie Rechte besitzen.
- Welche Sprachen blieben im Sync? EN, FR, ES stabil; DE braucht eine schnelle Überprüfung.
- Musikbett? Hinzufügen, nachdem Avatare gemacht werden, um Entzugsprobleme zu vermeiden.
Vorlagen, die Sie kopieren können
Fügen Sie dieses Timing-sichere SRT-Skelett in Studio vor dem Synchronisieren ein; justieren Sie nur den Text, um visemes vorhersehbar zu halten:
1
00:00:00,000 --> 00:00:03,200
Hook text here, under 18 words.
2
00:00:03,400 --> 00:00:07,000
Keep pauses short; avoid stacked commas.
Affiliate Transparenz: Einige Links können eine Provision ohne zusätzliche Kosten für Sie verdienen.