你在 Runway、Kling 或 Pika 里出了一段视频，在 ElevenLabs 或 OpenAI TTS 里单独出了一段配音，扔到同一条时间线上，嘴型和音频差了几十毫秒到一个明显错位的元音。人眼对这件事非常苛刻：广播标准（EBU R37）要求音频在大约提前 5 ms 到滞后 15 ms 之间；按 ITU-R BT.1359，音频提前约 45 ms、滞后约 125 ms 时观众就能稳定察觉；电影的工作容差更紧，大约 22 ms。
最快的修复： 如果音视频是分别生成的，嘴型从一开始就没对齐你的音素，怎么挪时间线都没用。把片段连同音频文件丢进一个会重渲嘴部的后期对口型工具（Sync.so，或开源的 MuseTalk / Wav2Lip），或者干脆用 avatar 工具（HeyGen、Synthesia）整段端到端重出。挪几帧只在偏移来自开头静默或帧率不匹配时有用，对没对齐的音素无效。
你属于哪一类
| 症状 | 最可能的原因 | 跳到 |
|---|---|---|
| 嘴在动但永远对不上词；M/P/B 的闭唇口型缺失 | 音视频分别生成，模型没见过你的音频 | Step 2 或 Step 3 |
| 开头一秒还行，越往后偏得越多 | 帧率不匹配或可变帧率（VFR）源 | 原因 3 + Step 4 |
| 从一开头就恒定偏 ~50-200 ms | TTS 文件开头有静默 padding | 原因 4 + Step 4 |
| 把音频拉长/压短贴合时长后按比例越来越偏 | 音频做过变速 / 时间重映射 | 原因 5 |
| 工具压根没有音频驱动嘴型的功能 | 用错了工具 | 原因 2 + Step 2 |
常见原因
按命中率排序。
1. 音视频分别生成
最常见的情况。你写了 “woman speaking to the camera” 的 prompt，出了 5 秒视频，再单独出了 5 秒音频。两边的模型互相不知道对方。嘴型只是泛”说话”的动作，没有对齐任何具体音素。
如何判断： 生成视频时有没有传入或引用那段具体音频？没有就是这种情况。一个可靠的判断点：M、P、B（双唇完全闭合）和 F、V（下唇贴上齿）这些口型要么缺失，要么落在错误的音节上。
2. 工具本身不支持音频驱动的 lip sync
不是每个视频模型都会把嘴型对齐到音轨。截至 2026 年 6 月：
- Runway Gen-3/Gen-4 不会让嘴型对齐你上传的音轨。Runway 的对口型路径是 Act-Two（2025 年 7 月发布），它是把一段参考表演视频（你自己的脸/动作）迁移到生成角色上，而不是接受任意音频。
- Pika 加了音频驱动路径（Pikaframes / “Pikaformance”，由 Pika 2.5 驱动）：上传一张图或角色加一段音频，它来驱动嘴部。免费版音频上限约 10s，付费版约 30s。
- Kling 有原生 lip sync（当前是 Kling 3.x 阶段）：上传音频文件即可驱动嘴部。每句台词尽量短——大约 3-5s——长独白会脱节，多人对话仍然偏弱。
- Sora：独立的 Sora 网页/App 已于 2026 年 4 月 26 日停服；它从未提供过针对任意素材的后期对口型工具。
如果你用的工具没有音频驱动嘴型的功能，怎么调 prompt 都没用。
如何判断： 查工具文档里的 “lip sync” 或 “audio-driven motion”。没有这功能（或者像 Runway 那样只接受参考视频而非音频文件），就是工具瓶颈。
3. 帧率不匹配，或可变帧率（VFR）源
你出的视频是 24fps，音频按 30fps 时间线对齐（或反过来）。误差会累积：第一秒看着还行，第四秒就差半个音素。更麻烦的一种是可变帧率（VFR）——常见于录屏、手机素材和部分 AI 导出。DaVinci Resolve 这类剪辑器默认按恒定帧率处理，VFR 素材无论你怎么剪都会漂。
如何判断： 在剪辑器的 clip attributes 里看视频的 fps，再核对项目时间线 fps。要查 VFR，运行 ffprobe -v error -select_streams v:0 -show_entries stream=r_frame_rate,avg_frame_rate -of default=noprint_wrappers=1 input.mp4——如果 r_frame_rate 和 avg_frame_rate 不一样，这文件就是 VFR，先转成恒定帧率（见 Step 4）。
4. 音频开头带静默 padding
ElevenLabs 和 OpenAI TTS 有时会在输出前面补一小段静音（常见从几十毫秒到一两百毫秒不等；有的 TTS 引擎补得更多）。你把音频对齐到片头时，实际说话内容就向后偏移了那么多，口型就恒定地对不上——这种偏移不会随时间增大。
如何判断： 放大波形看片头。说话之前有一段平的，就是这段偏移，剪掉它（Step 4）。
5. 音频做过变速 / 时间重映射
你把音频加速或减速以匹配视频时长。视频里的嘴型还是原始速度，音频变了，于是按比例越往后差越多——开头小、结尾大。
6. “说话”动作生成时没有正确的口型线索
部分视频模型出的是泛泛的”嘴一开一合”动作，对得上模糊的”说话”概念，但对不上具体词。M、P、B（闭唇）和 F、V 这些决定性口型完全缺席。这其实是原因 1 的一个子情形：没有逐音素的目标，所以只有后期对口型（Step 3）才是真正的修复。
动手前先确认
- 把两个源素材（视频和音频）按原始质量都存好。
- 记录每个素材的工具、模型、版本。
- 想清楚 sync 对这个场景多重要——品牌 explainer 要求很严，B-roll 旁白可以松。
- 确认两个素材的帧率 / 采样率和时间线设置一致。
- 重渲前先备份当前剪辑——重渲会烧额度。
需要收集的信息
- 两个源文件原始质量。
- 视频的帧率（恒定还是 VFR）、音频的采样率和编码、项目时间线设置。
- 音频开头有没有静默 padding。
- 音频的带时间戳脚本（大多数 TTS 工具能导出；有它就能精确量出漂移）。
- 错位最明显的那个具体时间点。
最短修复路径
Step 1：定 sync 策略
三条合法路径：
- 端到端在同一个工具里出——口型质量最佳，对配音 / 形象的控制最少。
- 音视频分别生成，再用专用工具后期对——控制最强，步骤最多。
- 构图绕开错位——明显对不上的字段切走脸部。
按用例选。
Step 2：端到端 lip sync 用支持的工具
2026 年 6 月现状：
- HeyGen——虚拟人；输入脚本或上传音频文件，让 avatar 念出来。它的 video-translate 功能还能把现有讲述者的嘴型重新对齐到翻译后的音频，覆盖 175+ 种语言。讲解/品牌内容开箱即用最强。
- Synthesia——avatar 库 + 声音克隆 + 脚本转视频。
- D-ID——上传一张肖像、给一段脚本，得到说话视频。
- Pika（Pikaframes/Pikaformance）——上传图/角色 + 音频；由 Pika 2.5 驱动嘴部。
- Kling lip sync（3.x 阶段）——上传音频；每句保持短（~3-5s）。
- Runway Act-Two——用一段参考表演视频（不是音频文件）驱动一个生成角色。
品牌内容要求口型必须紧的，整段都在这类工具里出，不要拼起来。
Step 3：分别生成后用专用工具后期对
视频和音频分别准备好后，把两者交给一个会按你的音频重渲嘴部区域的工具：
- Sync.so（Wav2Lip 背后的公司，原 Sync Labs）——把任意片段里任意说话人的嘴型改成匹配目标音频。提供 API 和按用量计费，Hobbyist 档约 $5/月起步。对真实感人脸效果最强。
- MuseTalk——开源，接近照片级真实，支持接近实时；能自己跑的话是不错的免费选择。
- Wav2Lip / SadTalker——可本地运行的开源 pipeline。注意：开源 Wav2Lip 的许可仅限个人 / 研究 / 非商用，维护者现在把商用用户引导到 Sync 的 API。用于付费项目前先看清许可。
三者流程相同：上传视频片段 + 音频文件，工具只重渲嘴部区域对齐到你的音频。
Step 4：对齐帧率、修剪静默
哪怕用对了工具：
- 选定一个项目帧率——24fps（电影）或 30fps（网络）——并把所有素材统一过去。VFR 源先转成恒定帧率：
ffmpeg -i input.mp4 -r 30 -c:v libx264 -c:a copy output.mp4。 - 放到时间线前剪掉音频开头的静默。用 silence detection——Premiere、DaVinci Resolve、Audition 都有。
- 音频采样率锁 48kHz（视频标准）——TTS 尽可能按 48kHz 重导。
- 有恒定参考时让剪辑器替你对齐：在 Premiere 里选中两个片段用 Synchronize / Merge Clips（按 Audio waveform）；在 DaVinci Resolve 里用 Media Pool 的 Auto Sync Audio，或时间线里的 Auto Align Clips → Based on Waveform。
Step 5：构图绕开错位的路径
不能重渲、也不能后期对的情况下：
- 错位最严重的几个时刻切走脸部——B-roll、产品镜头、环境空镜，藏 1-2 秒。
- 用过肩镜头让嘴朝向偏离观众。
- 引用段加 lower-third 字幕。
- 短视频（TikTok、Reels）烧入字幕，把观众注意力从口型上拉走。
Step 6：重录配音匹配视频节奏
有配音控制权（ElevenLabs Studio、OpenAI TTS），按视频嘴部节奏重导配音：插入短停顿或加速某些段，让说话落在嘴开合上。在 ElevenLabs 里用 <break time="0.5s" /> 标签强制停顿，不要只靠标点。
怎么确认已经修好
- 全速带声播放，眼睛不应该捕捉到错位。
- 25% 速度播放，单音素对齐应落在大约 40-80 ms 以内——观众对音频滞后比提前更宽容，所以宁可偏晚别偏早。
- 专门检查
M/P/B这类词的闭唇口型，对不上时这里最先露馅。 - 给一个没看过工程的人看，问他有没有觉得哪里不对。
- 抽查中段和末段各一处——偏差会累积，末段是最难的考验。
常见问题
直接把音轨左右挪一下能修好吗？
只有当原因是恒定偏移（开头静默，原因 4）或一次干净的帧率转换时才行。如果音视频是分别生成的（原因 1），嘴型在任何偏移量下都不对应你的词，挪来挪去只是拿一个坏帧换另一个坏帧。后期对口型（Step 3）才是修复。
为什么开头是对的、越到后面越漂？
典型的帧率或 VFR 不匹配（原因 3），或音频做过变速（原因 5）。每帧一个恒定误差会累积，所以开头看着没事、结尾差半个音素。统一到恒定帧率，并去掉音频上的任何变速。
真人现有素材上哪个工具的口型最好？
要给真人现有录像重新对口型（比如配成另一种语言），Sync.so 或 HeyGen 的 video-translate 路径最强。HeyGen 偏向 avatar 和翻译；Sync.so 是你接在自己的转写 / 翻译 / 配音流程后面的那层嘴部重定向。
Wav2Lip 能用于客户项目吗？
开源 Wav2Lip 模型的许可仅限个人、研究和非商用；维护者把商用用户引导到 Sync 的 API。付费 / 客户项目请用 Sync.so 或其他有商用许可的方案，不要直接用裸的开源模型。
口型到底要对到多紧？
广播（EBU R37）要求音频提前 5 ms 到滞后 15 ms；可察觉的临界（ITU-R BT.1359）大约是提前 45 ms（音频领先）到滞后 125 ms；电影实践大致在 22 ms 以内。网络 / 社交内容，大多数观众觉得低于约 80 ms 就算同步。
如果还是没修好
- 缩到最小复现：只留错位最严重的 2 秒。大多数”整段都对不上”最后都收敛到一段。
- 换一条路径——端到端太僵就试分别后期对；后期对看着不对就换一个后期对工具。
- 商业关键内容，哪怕想要电影感，也接受 avatar 工具（HeyGen、Synthesia），sync 优先。
- 求助前打包源视频、源音频、剪辑工程、帧率信息、最差的那一刻。
预防建议
- 生成前就先定 sync 重不重要，按用例选工具。
- 全项目标准化帧率（24fps 电影或 30fps 网络），任何 VFR 源在导入时先转成恒定帧率。
- 全程 48kHz 音频，匹配视频标准。
- 每种用例写一份 “sync workflow” 笔记（品牌视频 → HeyGen；B-roll → 分别后期对）。
- 每个剪点留约 200ms 缓冲，小漂移藏在剪点后面。