图转视频偏离原图:原因 + 修复路径

开头是 A、结尾变成另一个人——motion 强度 + 身份锚点能修。

你给 Runway / Kling / Pika 喂了一张干净的参考图——你的角色、你的产品、你的场景——首帧出得挺像。第 30 帧脸开始偏、衣服颜色开始飘、产品轮廓开始变。第 120 帧已经是另一个人或者另一件东西。图生视频”漂移”是 2025-2026 视频生成里反馈最多的问题。靠正确的 motion 强度 + 片长 + 显式身份锚点组合可以修。

常见原因

按命中率排序。

1. Motion 强度太高

每个图生视频模型都有运动强度旋钮。Runway 叫 “Motion Brush strength” 或 “Camera Motion” 强度;Pika 是 0-4 滑条;Kling 是 “subtle/medium/intense” 三档。设太高,模型为了产生运动会发明新几何,身份立刻崩。

如何判断:用最低 motion 重跑。漂移大幅减少,就是 motion 强度的锅。

2. 片长超出身份一致性窗口

每个模型都有一个”一致性窗口”——它能稳定保留主体身份的帧数。2025-2026 旗舰:

  • Runway Gen-3 Alpha:~80 帧(24fps 约 3.3s)开始可见漂移
  • Kling 1.6:高一致性模式下 ~96 帧(~4s)
  • Pika 1.5:无身份锚点下 ~72 帧(~3s)
  • Sora:紧特写 ~120 帧(~5s),全身更短

要 10s 片就一定超窗口。

3. 参考图分辨率太低

参考图 512x512 或者有重 JPEG 压缩,模型把模糊边缘当语义歧义处理(“那是衣领还是围巾?”),每帧解出来不一样,看上去就是漂移。

如何判断:100% 打开参考图。边缘清晰吗?有压缩痕迹吗?1024px 大小的图文件不到 500KB,说明压得很厉害。

4. Prompt 和参考图打架

参考图是金发女性;prompt 写 “young woman with auburn hair”。模型拿到两个互相冲突的信号,跨帧不一致地解决。

如何判断:把 prompt 和参考图对照看。prompt 里点名的属性,有没有和图不一致?打架就是问题。

5. 主体在参考图里太小

主体在参考图里占不到 30%,模型可用的身份锚点信息少,更容易漂移。

6. 参考图里有多个主体

参考图里出现 2 个或更多人 / 物体,模型可能在跨帧时换”主角”。群像参考图是最高风险。

动手前先确认

  • 把参考图、完整 prompt、motion 设置、漂移的输出片段都存下来。
  • 记下用的是哪个模型 / 档位(Pika 1.5 vs 1.0、Runway Gen-3 Alpha vs Turbo)。
  • 想清楚目标片长和容忍度——B-roll 允许更多漂移,hero shot 不行。
  • 确认参考图短边至少 1024px、清晰。
  • 改参考图和 prompt 前,先备份。

需要收集的信息

  • 参考图原图、完整 prompt、motion 强度、片长。
  • 模型名和版本。
  • 首帧 vs 漂移帧并排截图,量化差距。
  • 同一参考图在其他模型上是不是也漂移。
  • 终用途:hero、B-roll、背景——容忍度不同。

最短修复路径

Step 1:参考图按原生分辨率重导

参考图短边至少 1024px、PNG(不要 JPEG)、主体居中、边缘清晰。裁掉背景杂物、水印、文字。参考图是最重要的变量,这里省成本,后面每一步都更难。

人物:头肩或半身,中性姿态。产品:干净背景、单一物体、无其他物体反光。

Step 2:motion 强度设到最低档

  • Runway:Motion Brush 强度 1-2、Camera Motion 选 “static” 或 “slow”
  • Pika:motion 滑条 0.3-0.5,不要 1.5+
  • Kling:“subtle” 档
  • Sora:最短时长

再重生成。身份稳得住就慢慢往上调。大多数漂移在这一步就解决。

Step 3:片长上限 3 秒

出 3 秒一段,再拼。每段用上一段的最后一帧作为下一段的参考图,跨整段保留身份。

Clip A:图生视频(参考 = 原图,3s)
导出 A 的最后一帧
Clip B:图生视频(参考 = A 的最后一帧,3s)
在 CapCut / Premiere 里拼接

这种”链式参考”工作流能把单镜头做不到的 10-20s 一致性做出来。

Step 4:prompt 里加显式身份描述

哪怕有参考图,也用文字点名主体:

the same blonde woman from the reference image, red leather jacket, 
slight head turn, no camera movement, identity preserved across frames

产品:

the same red ceramic mug from the reference, rotating slowly on its axis, 
shape and color preserved, no morphing

图 + 文双锚点能显著降低漂移。

Step 5:换一个身份保留更强的模型

最低 motion + 最短片 + 高清参考都跑过还漂,就是模型本身的瓶颈。2025-2026 现状:

  • 人脸身份:Kling 1.6 “high subject coherence” 模式
  • 产品身份:Runway Gen-3 + Motion Brush 只锁背景
  • 整场景保留:试 Sora 最短档

Step 6:用 Runway Motion Brush 或 Kling 参考锁

Runway 和 Kling 都有 “lock subject” 或 motion brush——你刷出哪块该不动,只有刷过的区域才允许漂移。说话镜头里把身体刷掉,只允许头部运动。

怎么确认已经修好

  • 首帧和末帧并排看,主体应该明显是同一个。
  • 用 25% 速度看片。任何帧间脸、色、形的跳变都是漂移。
  • 同设置出 3 段,3 段都稳,不只是运气好那一次。
  • 给同事看终剪(不给参考图),他应该能匹配回参考图。

如果还是没修好

  1. 把片长缩到 2 秒再用最低 motion 跑。2s 还漂,参考图本身就是问题。
  2. prompt 写得更约束:static shot, minimal motion, identity preserved,把所有镜头运动关掉。
  3. 同主体换一张参考图——有时候换个角度或构图,一致性会陡升。
  4. 换一个根本不同的模型。
  5. 求助前打包参考图、prompt、motion 设置、漂移片段。

预防建议

  • 永远先用最严格的 motion 设置开局,确认身份稳了再放松。
  • 参考图格式标准化:1024-1536px、PNG、中性背景、单一主体。
  • 任何超过 3s 的镜头,规划成 3s 一段的链式生成,不要一次出长片。
  • 品牌 / 产品视频,图 + 文字双锚点都用,prompt 里点名关键属性。
  • 维护一份各模型”一致性窗口”文档,不要让请求超过模型能力。

相关阅读

标签: #Prompt #排查 #排查 #视频生成 #图转视频