图转视频偏离原图:原因 + 修复路径

开头是 A、结尾变成另一个人——降 motion、限片长、用参考图 + 文字双锚点锁住身份就能修。

你给 Runway、Kling 或 Pika 喂了一张干净的参考图(你的角色、你的产品、你的场景),首帧出得挺像。到第 30 帧脸开始偏、夹克颜色开始飘、产品轮廓开始变。到第 120 帧已经是另一个人或者另一件东西。图生视频”漂移”是 2025-2026 视频生成里反馈最多的问题。

最快修复: motion 强度调到最低、片长压到 3 秒、prompt 里加一句点名主体的文字(“the same blonde woman from the reference image”)。这三步能解决绝大多数漂移。还漂,就用模型自带的主体锁定功能(Kling 3.0 的 “Bind Subject”、Runway 的 “Camera: Static” 配低 motion)加片段拼接收尾。下面是按顺序的完整修复路径。

你属于哪一类?

症状最可能的原因跳到
把 motion 滑条调低后漂移明显减少motion 强度太高Step 2
前 3 秒稳,之后身份开始滑片长超出一致性窗口Step 3
连首帧边缘都糊参考图分辨率太低 / 压得太狠Step 1
画面一直往另一个长相”纠偏”prompt 和参考图打架Step 4
主体很小,或者图里有两个人身份锚点弱 / 有歧义Step 1 和 5
上面都干净了还是漂模型本身是瓶颈Step 5 和 6

常见原因

按命中率排序。

1. Motion 强度太高

每个图生视频模型都有控制运动量的旋钮。Runway 提供 Motion Brush、镜头控制 prompt 以及 “Camera: Static” 选项;Pika 2.2 有 motion 滑条和 Pikaframes 关键帧控制;Kling 用 “subtle / medium / intense” 这类运动档位。设太高,模型为了产生运动会去发明新几何,身份立刻崩。

如何判断:用最低 motion 重跑。漂移大幅减少,就是 motion 强度的锅。

2. 片长超出身份一致性窗口

每个模型能稳住主体的帧数都有上限,超过就开始漂移。截至 2026 年 6 月的大致窗口(当起点用,自己的主体还要实测):

  • Runway Gen-4.5:配身份锚点大约 5-8s 可用,低 motion 下更长
  • Kling 3.0 开 “Bind Subject”:单镜头 5-10s;Multi-Shot 故事板能把同一主体延到约 15s
  • Pika 2.2:原生片长可到 10s;Pikaframes(首 + 尾关键帧)可链到约 25s
  • Veo 3.1:当前测试里跨长镜头的参考 / 身份保留最强

拿一张静图直接出一条 15-20s 的片,大概率已经超窗口。

3. 参考图分辨率太低

参考图是 512x512 或者有重 JPEG 压缩,模型把模糊边缘当语义歧义处理(“那是衣领还是围巾?”),每帧解出来不一样,看上去就是漂移。

如何判断:100% 打开参考图。边缘清晰吗?有压缩色块吗?1024px 的图文件不到约 500KB,说明压得很厉害。

4. Prompt 和参考图打架

参考图是金发女性;prompt 写 “young woman with auburn hair”。模型拿到两个互相冲突的信号,跨帧不一致地”和稀泥”。

如何判断:把 prompt 和参考图对照看。prompt 里点名的属性,有没有和图不一致?只要不一致,模型就会一帧一帧反复纠结。

5. 主体在参考图里太小

主体在参考图里占不到约 30%,模型可用的身份锚点信息就少,更容易漂移。重新裁图,让主体填满画面。

6. 参考图里有多个主体

出现 2 个或更多人 / 物体,模型可能在跨帧时换”主角”。群像参考图是最高风险。

动手前先确认

  • 把参考图、完整 prompt、motion 设置、漂移的输出片段都存下来。
  • 记下确切的模型和档位(比如 Runway Gen-4.5 vs Gen-4、Kling 3.0 vs 2.6、Pika 2.2)。不同版本漂移表现不一样。
  • 想清楚目标片长和容忍度:B-roll 允许更多漂移,hero shot 不行。
  • 确认参考图短边至少 1024px、清晰。
  • 改参考图和 prompt 前,先备份。

需要收集的信息

  • 参考图原图、完整 prompt、motion 强度、片长。
  • 模型名和版本。
  • 首帧 vs 漂移帧并排截图,量化差距。
  • 同一参考图在其他模型上是不是也漂移。
  • 终用途:hero、B-roll、还是背景。容忍度不同。

最短修复路径

Step 1:参考图按原生分辨率重导

参考图短边至少 1024px、存 PNG(不要 JPEG)、主体居中、清晰可见。裁掉背景杂物、水印、文字。参考图是最重要的变量,这里省成本,后面每一步都更难。

  • 人物:头肩或半身、中性姿态、均匀打光、五官几何清晰。
  • 产品:干净背景、单一物体、无其他物体的反光。

Step 2:motion 强度设到最低档

  • Runway Gen-4.5:prompt 几乎只描述你想要的”运动”(长相已经由图提供),设 “Camera: Static” 并降低 motion amplitude。
  • Pika 2.2:motion 滑条调低(大约 0.3-0.5),不要拉满。
  • Kling 3.0:最低运动档。

再重生成。身份稳得住就慢慢往上调,调到开始崩为止,再退一档。大多数漂移在这一步就解决。

Step 3:片长上限 3 秒并拼接

出 3 秒一段,再用每段的最后一帧作为下一段的参考图,跨整段保留身份:

Clip A:图生视频(参考 = 原图,3s)
导出 Clip A 的最后一帧为 PNG
Clip B:图生视频(参考 = A 的最后一帧,3s)
在 CapCut / Premiere 里拼接 Clip A + Clip B

这种”链式参考”工作流能做出单镜头做不到的 10-20s 一致性。Pika 的 Pikaframes 原生就是这套(给它首帧和尾帧);Runway 文档也建议把一次生成的首帧拿来当下一次的输入图。

Step 4:prompt 里加显式身份描述

哪怕有参考图,也用文字点名主体:

the same blonde woman from the reference image, red leather jacket,
slight head turn, no camera movement, identity preserved across frames

产品:

the same red ceramic mug from the reference, rotating slowly on its axis,
shape and color preserved, no morphing

模型支持的话,再加”负向”防漂移词:no morphingno de-agingno clothing changeno color shift。图 + 文这套双锚点能明显降低漂移。

Step 5:打开模型自带的主体锁定功能

这是 2026 年相对旧工作流最大的变化。新模型都带了专门的身份锁定控件:

  • Kling 3.0: 在 Image-to-Video 里打开 “Bind Subject”(Element Reference)开关,上传一张正面打光清晰的照片,让它锁住脸和服装。多角度主体就上传 3-4 张参考图(正、侧、背)建更强的锚点,再用 Multi-Shot 故事板工具,把同一主体跨约 15s 的序列稳住。
  • Runway Gen-4.5:Motion Brush 只刷出该动的区域(说话镜头里就允许头部动、把身体 / 背景锁住),保持 “Camera: Static”,并复用上一段的首帧来做链接。
  • Pika 2.2:Pikaframes,把你真正想要的首帧和尾帧给它,让模型在两个固定锚点之间插值,而不是自己去发明结尾。

Step 6:换一个身份保留更强的模型

最低 motion + 最短片 + 高清参考 + 主体锁定都跑过还漂,就是模型本身的瓶颈。截至 2026 年 6 月:

  • 跨长镜头参考 / 身份保留最好: Veo 3.1(跨多段保留同一张脸、服装、比例最稳)。
  • 单次调用多镜头角色连续性最好: Seedance 2.0(一次渲染多个镜头还能保住角色辨识度)。
  • 静图出人物运动、身份强: Kling 3.0 配 “Bind Subject”。
  • 关于 Sora: 独立的 Sora app、网页版和 API 正在下线(网页 / app 已于 2026 年 4 月 26 日关闭,API 于 2026 年 9 月 24 日结束)。只剩 ChatGPT Plus/Pro 里一个约 5 秒的精简片段功能。2026 年不要把身份要求高的工作流押在 Sora 上。

怎么确认已经修好

  • 首帧和末帧并排看,主体应该明显是同一个。
  • 用 25% 速度逐帧拉。任何帧间脸、色、形的跳变都是残余漂移。
  • 同设置出 3 段。3 段都稳,不只是运气好那一次。
  • 给同事只看终剪(不给参考图),他应该能匹配回参考图。

如果还是没修好

  1. 把片长缩到 2 秒、用最低 motion 跑。2s 还漂,参考图本身就是问题(回到 Step 1 重做)。
  2. prompt 写到最约束:static shot, minimal motion, identity preserved,把所有镜头运动全关掉。
  3. 同主体换一张参考图。有时候换个角度或构图,一致性会陡升。
  4. 换一个根本不同的模型(人物用 Veo 3.1 或 Kling 3.0;多镜头用 Seedance 2.0)。
  5. 求助前打包参考图、prompt、motion 设置、漂移片段,再发到社区。

常见问题

为什么开头完美、到一半脸就变了? 你超出了模型的一致性窗口。前 3 秒左右能稳;之后模型已经累积了足够多的生成帧,开始偏离原始锚点。把片长压到 3s 并拼接(Step 3),或者打开主体锁定功能(Step 5)。

我已经用了参考图,为什么还要写文字描述? 参考图只在首帧固定长相,后面每一帧靠 prompt 引导。prompt 里没有一句身份描述,模型的运动指令就可能盖过视觉锚点。图 + 文(Step 4)给它两个互相加强的信号,而不只是一个。

升级到更高档位是不是就能修好? 通常不行。漂移主要是设置和工作流的问题(motion 太高、片太长、参考图弱)。更高档位主要买分辨率、片长和排队优先级。先修设置;只有在干净参考图配低 motion 还漂时,才换模型(Step 6)。

现在哪个模型身份保留最好? 截至 2026 年 6 月,Veo 3.1 在跨多镜头保留同一角色上最可靠;Kling 3.0(“Bind Subject”)在人物运动上很强;Seedance 2.0 在单次调用多镜头输出上最好。Sora 正在下线,不适合身份要求高的工作。

到底能不能出一条一致的 15-20 秒片? 靠一张静图单次生成做不到稳定。把它拆成约 3s 一段的链(Step 3),用 Kling 3.0 Multi-Shot(约 15s),或者用 Pika 2.2 Pikaframes 配明确关键帧。把短的、身份锁定的片段拼起来,胜过一条又长又漂的生成。

预防建议

  • 永远先用最严格的 motion 设置开局,确认身份稳了再放松。
  • 参考图格式标准化:1024-1536px、PNG、中性背景、单一主体、均匀打光。
  • 任何超过 3s 的镜头,规划成 3s 一段的链(或用原生关键帧),不要一次出长片。
  • 品牌 / 产品视频,参考图 + 文字描述双锚点都用,prompt 里点名关键属性,再开模型的主体锁定开关。
  • 维护一份各模型”一致性窗口”笔记,别让请求超过模型能力。

相关阅读

标签: #Prompt #排查 #排查 #视频生成 #图转视频