你在 Runway 或 Pika 里出了一段视频，在 ElevenLabs 或 OpenAI TTS 里单独出了一段配音，扔到同一条时间线上，嘴型和音频差了几十毫秒到一个明显错位的元音。人眼对口型偏差的容忍阈值大约只有 80 毫秒。修复方法看情况：要不能端到端重渲，要不用专用工具后期对，要不构图绕开。
常见原因
按命中率排序。
1. 音视频分别生成
最常见的情况。你写了 “woman speaking to the camera” 的 prompt，出了 5 秒视频，再单独出了 5 秒音频。两边的模型互相不知道对方。视频里的嘴型只是泛”说话”的动作，没有对齐任何具体音素。
如何判断：生成视频时有没有传入或引用那段具体音频？没有就是这种情况。
2. 工具本身不支持真 lip sync
Runway Gen-3 不会让嘴型对齐音频。Pika 1.5 有 Lip Sync 功能，但只支持它自己生成的片段，不接受任意输入。Kling 在 2.0 引入了 Lip Sync。Sora 没有 lip sync。如果你用的工具不支持，怎么调 prompt 都没用。
如何判断：查工具文档里的 “lip sync” 或 “audio-driven motion”。没写就是工具瓶颈。
3. 视频和音频帧率不匹配
你出的视频是 24fps，音频按 30fps 时间线对齐（或反过来）。误差会累积——第一秒看着还行，第四秒就差半个音素。
如何判断：在剪辑器里看视频的 fps。再看音频文件的采样率（44.1kHz / 48kHz 正常）。再核对项目时间线设置。
4. 音频开头带静默 padding
ElevenLabs 和 OpenAI TTS 有时会在输出前面补 50-200ms 静音。你把音频对齐到片头时，实际说话内容就向后偏移了那么多，口型就对不上。
如何判断：放大波形看片头。说话之前有一段平的，就是这段偏移。
5. 音频做过变速 / 时间重映射
你把音频加速或减速以匹配视频时长。视频里的嘴型还是原始速度，音频变了，越往后差越多。
6. “说话”动作生成时没有正确的口型线索
部分视频模型出的是泛泛的”嘴一开一合”动作，对得上模糊的”说话”概念，但对不上具体词。“M”、“P”、“F” 这类闭唇口型完全缺席。
动手前先确认
- 把两个源素材（视频和音频）按原始质量都存好。
- 记录每个素材的工具、模型、版本。
- 想清楚 sync 对这个场景多重要——品牌 explainer 要求很严，B-roll 旁白可以松。
- 确认两个素材的帧率 / 采样率和时间线设置一致。
- 重渲前先备份当前剪辑——重渲会烧额度。
需要收集的信息
- 两个源文件原始质量。
- 视频的帧率，音频的采样率和编码，项目时间线设置。
- 音频开头有没有静默 padding。
- 音频的带时间戳脚本（大多数 TTS 工具能导出）。
- 错位最明显的那个具体时间点。
最短修复路径
Step 1：定 sync 策略
三条合法路径：
- 端到端在同一个工具里出——最佳口型质量，对配音 / 形象的控制最少。
- 音视频分别生成，再用专用工具后对——控制最强，步骤最多。
- 构图绕开错位——明显对不上的字段切走脸部。
按用例选。
Step 2：端到端 lip sync 用支持的工具
2025-2026 现状：
- HeyGen：虚拟人，直接让 avatar 念你的脚本。开箱即用最强。
- D-ID：类似——上传一张肖像、给一段脚本，得到说话视频。
- Synthesia：avatar 库 + 声音克隆 + 脚本转视频。
- Pika Lip Sync：只对 Pika 自己生成的片段；上传音频 + 选片段。
- Kling 2.0 Lip Sync：支持更广的输入。
- Runway Act-One：2025 新功能，用一段参考表演视频驱动一个生成角色。
品牌内容要求口型必须紧的，整段都在这类工具里出，不要拼起来。
Step 3：分别生成后用专用工具后对
视频和音频分别准备好后：
- 导入 Sync.so（原 Wav2Lip cloud）、Synthesia Lip Sync 或本地 Wav2Lip / SadTalker pipeline。
- 上传视频片段 + 音频文件。
- 工具会按你的音频重新渲染嘴部区域。
Wav2Lip 是开源；Sync.so 按分钟计费，对真实感人脸效果更强。
Step 4：对齐帧率、修剪静默
哪怕用对了工具：
- 全项目统一到 24fps（电影标准）或 30fps（网络标准）——选一个并贯彻。
- 放到时间线前剪掉音频开头的静默段。Premiere、DaVinci、Audition 都有 “silence detection”。
- 音频采样率锁 48kHz（视频标准）——TTS 尽可能按 48kHz 重导。
Step 5：构图绕开错位的路径
不能重渲、也不能后对的情况下：
- 错位最严重的几个时刻切走脸部——B-roll、产品镜头、环境空镜，藏 1-2 秒。
- 用过肩镜头让嘴朝向偏离观众。
- 引用段加 lower-third 字幕。
- 短视频（TikTok、Reels）加字幕，能把观众注意力从口型上拉走。
Step 6：重录配音匹配视频节奏
有配音控制权（ElevenLabs Studio、OpenAI TTS），按视频嘴部节奏重导配音。插入短停顿或加速某些段，让说话和嘴开合对齐。
怎么确认已经修好
- 全速带声播放，眼睛不应该捕捉到错位。
- 25% 速度播放，单音素对齐应该在 ~80ms 以内。
- 给一个没看过工程的人看，问他有没有觉得哪里不对。
- 检查视频中段和末段——sync 偏差会累积，末段是最难的考验。
如果还是没修好
- 缩到最小复现：只留错位最严重的 2 秒。大多数”整段都对不上”最后都收敛到一段。
- 换一条路径——试过端到端就试分别后对，试过分别后对就换一个后对工具。
- 商业关键内容，哪怕想要电影感，也优先用 avatar 工具（HeyGen、Synthesia），sync 优先。
- 求助前打包源视频、源音频、剪辑工程、最差的那一刻。
预防建议
- 生成前就先定 sync 重不重要，按用例选工具。
- 全项目标准化帧率（24fps 电影或 30fps 网络）。
- 全程 48kHz 音频，匹配视频标准。
- 每种用例写一份 “sync workflow”（品牌视频 → HeyGen、B-roll → 分别后对）。
- 每个剪点留 200ms 缓冲，小漂移藏在剪点后面。