一句话定义
Text-to-Video 是用文本提示生成视频：模型在时间维度建模，输出连续帧；不仅要单帧好看，还要人物、场景、镜头在帧间保持一致。
为什么需要它
视频比图像多了时间维度：动作、镜头、物理和长程一致性都要建模。文生视频可用于广告、影视预演、动画和素材生成，但算力、数据和版权成本都更高。
怎么工作
- 文本编码器把 prompt 变成条件。
- 视频扩散/时空 Transformer 在 T×H×W latent 上去噪。
- 时序注意力/3D 卷积保持帧间一致。
- 解码器输出帧序列，必要时补帧/超分。
- 控制：首帧、参考图、关键帧、镜头运动、分镜。
关键取舍
- 时长、分辨率、帧率越高，算力和显存越大。
- 时序一致性是核心难点；长视频更容易漂移。
- 可控性（镜头/动作/角色）比“随机好看”更难。
- 版权、深伪、安全审核必须前置。
训练需要大规模视频-文本对和镜头/动作标注，成本远高于图像。一致性靠时序注意力、3D 卷积、光流/时序损失；长视频通常分段生成再拼接。控制可用首帧/尾帧、关键帧、轨迹和镜头语言。评测看 FVD、CLIP score、人工偏好和一致性；版权/水印/安全要一起做。推理成本很高，先短片段验证，先做分镜，再拼长视频。控制成本。
常见误区
- 文生视频等于逐帧文生图：缺少时序建模会闪烁/跳变。
- 单帧质量好就够：一致性、物理合理性同样重要。
- Sora 是唯一路线：扩散、自回归、混合路线都在探索。
- 生成即可商用：版权/肖像/安全要单独评估。
用在哪里
- 广告/短视频/影视预演。
- 动画关键帧、分镜、素材生成。
- 多模态数据合成与世界模型研究。
相关概念
- 扩散与文生图：视频生成的基础方法。
- 多模态模型：理解/控制视频的模型。
- 视觉编码器与 CLIP：文本/视觉条件编码。