你要了一段视频,工具回了你一张几乎静止的图——5 像素的视差、一片叶子在飘、其他一切死气沉沉。你想要动作,得到一张幻灯片。这是抖动 / 漂移的反面问题:模型对动作不敢下手。修复办法是加强动词、提升 motion 强度、指定镜头运动。
常见原因
按命中率排序。
1. prompt 里没动词
A woman in a red dress at a cafe 是一句静图 prompt。没有动作让模型动起来。大多数视频模型在 prompt 不指定动作时默认”最小运动”。
如何判断:读 prompt,给每个动词划线。没有运动动词(跑、转、挥、等等),就是隐式要求静图。
2. Motion 强度太低
Runway Motion Brush 设 1、Pika 0.3、Kling “subtle”——这些挺好用来避免漂移,但出来几乎不动。要真正的动作,设置要往上拉。
3. 工具默认偏静
Runway Gen-3 默认保守。Pika 1.5 默认比 1.0 弱。Kling 很多 UI 默认 subtle。工具选保守默认是因为激进运动会带来漂移和变形。
4. 静态参考图 + 被动 prompt
图生视频时,参考图是完美静态主体(人站着、产品居中),而 prompt 又没指动作,模型把”静态”当线索。
5. 没指定镜头运动
不指定时模型默认锁机位。主体运动和镜头运动都不指定,输出就是接近静图。
6. 互相矛盾的运动描述
Slow gentle movement, dynamic action, intense motion——三个矛盾的运动词。模型取平均,结果是”几乎不动”。
7. 片长太短,没有发展空间
2 秒片很难展开动作;模型知道时间不够给一段动作弧。4-5 秒片更容易填满可见运动。
动手前先确认
- 把 prompt、模型、motion 设置、静态输出都存好。
- 想清楚用例真正需要哪种、多少运动。
- 记下模型和 motion 强度。
- 用图生视频时,看参考图本身有没有运动暗示。
- 改 prompt 前先备份。
需要收集的信息
- 完整 prompt、motion 强度、模型、版本。
- 片长。
- 参考图(如有)是动态姿态还是静态。
- 期望的动作类型和强度。
最短修复路径
Step 1:加具体的动作动词
把描述性场景换成动作性场景:
改前:
a woman in a red dress at a cafe
改后:
a woman in a red dress, picking up a coffee cup, taking a sip,
glancing toward the window
模型能动的强动词:running, walking, turning, looking, waving, smiling, laughing, pouring, opening, closing, reaching, leaning, standing up, sitting down。
Step 2:指定镜头运动
哪怕只是轻微镜头运动,也能把”静”的感觉去掉:
slow camera push-in toward the subject, gentle dolly forward
slight pan from left to right across the scene
arc shot around the product, 30 degrees of rotation
镜头运动让模型”有事做”,哪怕主体本就该静。
Step 3:提升 motion 强度
- Runway:Motion Brush 从 1-2 拉到 3-4
- Pika:从 0.3-0.5 拉到 1.5-2
- Kling:从
subtle升到medium或intense - Sora:更长档给更多运动预算
高 motion 下出现漂移,要么接受这个权衡,要么短片 + 高 motion。
Step 4:换一张更有动势的参考图
图生视频时,选一张已经暗示运动的参考:
- 主体前倾,不是直立
- 头发略飘
- 一只脚抬起
- 一只手伸向某处
模型会沿着参考的运动矢量延续下去。
Step 5:用运动专用关键词
部分短语可靠地增加运动:
dynamic motion, energetic movement, sweeping camera,
expressive gesture, visible action
避免和它们冲突的修饰(subtle, gentle, slow, still)。
Step 6:换默认更有动感的工具
- Pika 历史上默认更有活力
- Runway Gen-3 在显式 motion prompt 下很强
- Sora 在动态场景上表现好
- Kling
medium/intense比subtle默认动感强
工具在每个 prompt 上都和你对着干,就换。
Step 7:延长片长
从 2-3 秒切到 4-5 秒。模型给长片更多运动预算。后期需要可以剪短。
怎么确认已经修好
- 看片,主体和 / 或镜头有可见运动。
- 暂停在首末帧,应该明显不同。
- 感觉是”视频”不是”带视差的照片”。
- 同设置出 3 段都有运动,不只是运气好那一次。
如果还是没修好
- 同时显式写主体动词 + 镜头运动后重渲。
- 同 prompt 在别的模型上测——部分工具默认极静。
- prompt 加
cinematic motion, dramatic action sequence再重渲。 - 确实要快动作(跑、跳)就用动作训练强的模型(Runway、Sora)。
- 求助前打包 prompt、模型、motion 设置、静态输出。
预防建议
- 视频 prompt 永远带动作动词 + 镜头运动,两者都当必填。
- motion 默认 medium,不是 subtle——只在出现漂移时降到 subtle。
- 片长从 4-5 秒起步,后期需要再裁短。
- 图生视频选已经暗示运动方向的参考图。
- 用 motion 强度匹配你常见用例的工具,做标准化。