你给 Runway / Kling / Pika 喂了一张干净的参考图——你的角色、你的产品、你的场景——首帧出得挺像。第 30 帧脸开始偏、衣服颜色开始飘、产品轮廓开始变。第 120 帧已经是另一个人或者另一件东西。图生视频”漂移”是 2025-2026 视频生成里反馈最多的问题。靠正确的 motion 强度 + 片长 + 显式身份锚点组合可以修。
常见原因
按命中率排序。
1. Motion 强度太高
每个图生视频模型都有运动强度旋钮。Runway 叫 “Motion Brush strength” 或 “Camera Motion” 强度;Pika 是 0-4 滑条;Kling 是 “subtle/medium/intense” 三档。设太高,模型为了产生运动会发明新几何,身份立刻崩。
如何判断:用最低 motion 重跑。漂移大幅减少,就是 motion 强度的锅。
2. 片长超出身份一致性窗口
每个模型都有一个”一致性窗口”——它能稳定保留主体身份的帧数。2025-2026 旗舰:
- Runway Gen-3 Alpha:~80 帧(24fps 约 3.3s)开始可见漂移
- Kling 1.6:高一致性模式下 ~96 帧(~4s)
- Pika 1.5:无身份锚点下 ~72 帧(~3s)
- Sora:紧特写 ~120 帧(~5s),全身更短
要 10s 片就一定超窗口。
3. 参考图分辨率太低
参考图 512x512 或者有重 JPEG 压缩,模型把模糊边缘当语义歧义处理(“那是衣领还是围巾?”),每帧解出来不一样,看上去就是漂移。
如何判断:100% 打开参考图。边缘清晰吗?有压缩痕迹吗?1024px 大小的图文件不到 500KB,说明压得很厉害。
4. Prompt 和参考图打架
参考图是金发女性;prompt 写 “young woman with auburn hair”。模型拿到两个互相冲突的信号,跨帧不一致地解决。
如何判断:把 prompt 和参考图对照看。prompt 里点名的属性,有没有和图不一致?打架就是问题。
5. 主体在参考图里太小
主体在参考图里占不到 30%,模型可用的身份锚点信息少,更容易漂移。
6. 参考图里有多个主体
参考图里出现 2 个或更多人 / 物体,模型可能在跨帧时换”主角”。群像参考图是最高风险。
动手前先确认
- 把参考图、完整 prompt、motion 设置、漂移的输出片段都存下来。
- 记下用的是哪个模型 / 档位(Pika 1.5 vs 1.0、Runway Gen-3 Alpha vs Turbo)。
- 想清楚目标片长和容忍度——B-roll 允许更多漂移,hero shot 不行。
- 确认参考图短边至少 1024px、清晰。
- 改参考图和 prompt 前,先备份。
需要收集的信息
- 参考图原图、完整 prompt、motion 强度、片长。
- 模型名和版本。
- 首帧 vs 漂移帧并排截图,量化差距。
- 同一参考图在其他模型上是不是也漂移。
- 终用途:hero、B-roll、背景——容忍度不同。
最短修复路径
Step 1:参考图按原生分辨率重导
参考图短边至少 1024px、PNG(不要 JPEG)、主体居中、边缘清晰。裁掉背景杂物、水印、文字。参考图是最重要的变量,这里省成本,后面每一步都更难。
人物:头肩或半身,中性姿态。产品:干净背景、单一物体、无其他物体反光。
Step 2:motion 强度设到最低档
- Runway:Motion Brush 强度 1-2、Camera Motion 选 “static” 或 “slow”
- Pika:motion 滑条 0.3-0.5,不要 1.5+
- Kling:“subtle” 档
- Sora:最短时长
再重生成。身份稳得住就慢慢往上调。大多数漂移在这一步就解决。
Step 3:片长上限 3 秒
出 3 秒一段,再拼。每段用上一段的最后一帧作为下一段的参考图,跨整段保留身份。
Clip A:图生视频(参考 = 原图,3s)
导出 A 的最后一帧
Clip B:图生视频(参考 = A 的最后一帧,3s)
在 CapCut / Premiere 里拼接
这种”链式参考”工作流能把单镜头做不到的 10-20s 一致性做出来。
Step 4:prompt 里加显式身份描述
哪怕有参考图,也用文字点名主体:
the same blonde woman from the reference image, red leather jacket,
slight head turn, no camera movement, identity preserved across frames
产品:
the same red ceramic mug from the reference, rotating slowly on its axis,
shape and color preserved, no morphing
图 + 文双锚点能显著降低漂移。
Step 5:换一个身份保留更强的模型
最低 motion + 最短片 + 高清参考都跑过还漂,就是模型本身的瓶颈。2025-2026 现状:
- 人脸身份:Kling 1.6 “high subject coherence” 模式
- 产品身份:Runway Gen-3 + Motion Brush 只锁背景
- 整场景保留:试 Sora 最短档
Step 6:用 Runway Motion Brush 或 Kling 参考锁
Runway 和 Kling 都有 “lock subject” 或 motion brush——你刷出哪块该不动,只有刷过的区域才允许漂移。说话镜头里把身体刷掉,只允许头部运动。
怎么确认已经修好
- 首帧和末帧并排看,主体应该明显是同一个。
- 用 25% 速度看片。任何帧间脸、色、形的跳变都是漂移。
- 同设置出 3 段,3 段都稳,不只是运气好那一次。
- 给同事看终剪(不给参考图),他应该能匹配回参考图。
如果还是没修好
- 把片长缩到 2 秒再用最低 motion 跑。2s 还漂,参考图本身就是问题。
- prompt 写得更约束:
static shot, minimal motion, identity preserved,把所有镜头运动关掉。 - 同主体换一张参考图——有时候换个角度或构图,一致性会陡升。
- 换一个根本不同的模型。
- 求助前打包参考图、prompt、motion 设置、漂移片段。
预防建议
- 永远先用最严格的 motion 设置开局,确认身份稳了再放松。
- 参考图格式标准化:1024-1536px、PNG、中性背景、单一主体。
- 任何超过 3s 的镜头,规划成 3s 一段的链式生成,不要一次出长片。
- 品牌 / 产品视频,图 + 文字双锚点都用,prompt 里点名关键属性。
- 维护一份各模型”一致性窗口”文档,不要让请求超过模型能力。