概念
不随版本变化
视频生成:帧序列比单张图难在哪
多了一个时间维度:帧与帧之间要连贯,显存和时长都要按帧数算。
视频不是「多张图」。它多了一个时间维度:帧与帧之间要连贯,而且消耗按帧数放大。这两点决定了视频工作流的做法与出图很不一样。
与出图的三个区别
- 连贯性:相邻帧之间内容要一致,否则会出现闪烁、抖动、物体变形
- 消耗:中间数据的体量与帧数相关,所以帧数比分辨率更容易把显存吃满
- 输入更复杂:除了提示词,还常需要起始帧、参考图、或镜头运动方向
常见做法
| 做法 | 是什么 | 用在哪 |
|---|---|---|
| 文生视频 | 只给提示词生成一段视频 | 概念短片、氛围素材 |
| 图生视频 | 给一张起始图,让它动起来 | 把成品图变成短镜头 |
| 首尾帧 | 给起始与结束两张图,生成中间过程 | 控制镜头走向与转场 |
| 视频重绘 / 风格化 | 对已有视频逐帧或分块重绘 | 改风格、去水印、修老素材 |
| 插帧 | 在已有帧之间补出中间帧,提高流畅度 | 后期提帧率,低成本改善观感 |
时长与帧率
一段视频的时长由帧数与帧率共同决定:帧数决定「能生成长度」,帧率决定「播起来多流畅」。想做更长的视频,有两条路:一次生成更多帧(显存压力大),或者分段生成再拼接(要处理接缝处的一致性)。
常见误解
常见误解
- 把帧数当成可以随便加的参数
帧数增加会让中间数据同步增长,是显存报错最常见的来源之一。先降帧数跑通,再加回去。 - 以为插帧能救回连贯性差的结果
插帧补的是流畅度,补不了内容上的跳变。原片里物体变形的地方,插帧之后仍然变形。 - 分段生成不注意接缝
分段时后一段的起始帧最好用前一段的末帧,否则接缝处会出现明显跳变。
知仓学习社