基于扩散模型的静物图转动态视频生成方法及系统与流程

本发明属于图像处理，具体为基于扩散模型的静物图转动态视频生成方法及系统。

背景技术：

1、静物图像向动态视频的转换技术在电商展示、虚拟现实、数字内容创作等领域具有广泛应用价值，能够将静态商品图片转化为可交互的动态展示内容，显著提升用户体验和商业转化效率。随着扩散模型在图像生成领域取得突破性进展，将其应用于静物图转视频生成成为该领域的重要研究方向。

2、现有的静物图转视频方法主要依赖二维图像序列的时间插值或简单的运动预测，生成的视频往往缺乏真实的三维空间感。这些方法在处理物体的空间结构时，无法准确捕捉物体在三维空间中的几何形态和遮挡关系，导致生成的视频在视角变换时出现物体形变不自然、透视关系错误等问题。例如当需要展示一个陶瓷花瓶从正面旋转到侧面的过程时，传统方法生成的视频中花瓶的曲面弧度和瓶口的椭圆变化往往与真实的三维投影规律不符，物体表面的光影变化也缺乏空间一致性。

3、更为关键的是，从静物图中恢复的三维几何信息本身存在深度模糊和结构不确定性，当相机视角发生推拉摇移等复杂变换时，确保生成的每一帧视频都符合该视角下的投影几何约束，成为制约技术实现的核心瓶颈，会直接导致生成的环绕视频在相机运动轨迹上出现跳变、物体边缘在不同帧之间发生抖动、以及前景物体与背景空间的相对位置关系失调等问题。

4、因此，如何在准确生成符合透视投影规律的连续视频帧，保持物体在空间中的结构一致性和运动流畅性，成为实现高质量静物环绕视频生成的关键问题。

技术实现思路

1、针对以上问题，本发明提供基于扩散模型的静物图转动态视频生成方法及系统，用于解决现有图生成视频物体结构一致性不足，视频流畅性不稳定的问题。

2、为实现上述目的，本发明采用的技术方案包括以下步骤：

3、基于扩散模型的静物图转动态视频生成方法，包括以下步骤：

4、获取静物图像，对所述静物图像进行深度估计，得到与所述静物图像对应的初始深度图，根据所述静物图像对应的相机内参和所述初始深度图，将所述静物图像中的像素点反投影至三维空间，得到三维点云，所述三维点云包括若干个三维点，每个三维点对应一个所述静物图像中的像素点；

5、获取与待生成视频帧视角变化对应的目标视角序列，所述目标视角序列包括若干个连续的视角，根据所述目标视角序列对所述三维点云进行空间变换和投影处理，得到与各待生成视频帧分别对应的视角几何信息，根据所述视角几何信息提取三维几何约束特征；

6、构建视频生成模型，所述视频生成模型为扩散模型，对所述视频生成模型进行训练，得到训练完成的视频生成模型，将所述静物图像、所述目标视角序列和所述三维几何约束特征输入所述训练完成的视频生成模型，所述训练完成的视频生成模型输出视频帧序列，所述视频帧序列构成的视频即为目标视频。

7、优选地，所述对所述静物图像进行深度估计，其具体实现方式包括：

8、将所述静物图像输入预训练的单目深度估计模型，得到所述静物图像中各像素点对应的深度值，对所述深度值进行归一化处理，得到所述初始深度图。

9、优选地，所述将所述静物图像中的像素点反投影至三维空间，其具体实现方式包括：

10、所述相机内参包括焦距参数和主点偏移参数，获取所述静物图像中每一像素点的二维坐标以及所述初始深度图中与所述像素点对应的深度值；

11、对于每个像素点，根据所述相机内参中的主点偏移参数，计算该像素点的二维像素坐标的偏移坐标，根据所述焦距参数和所述深度值，将所述偏移坐标转换为相机坐标系下的水平空间坐标和垂直空间坐标，并将所述深度值作为相机坐标系下的光轴方向坐标，根据所述水平空间坐标、所述垂直空间坐标和所述光轴方向坐标，确定所述像素点在相机坐标系下的三维坐标；

12、对所述静物图像中的所有像素点分别进行上述处理，得到由若干个三维坐标构成的所述三维点云。

13、优选地，所述得到与各待生成视频帧分别对应的视角几何信息，其具体实现方式包括：

14、对于所述目标视角序列中的每一目标视角，根据该目标视角对应的相机位姿参数将所述三维点云变换至该目标视角对应的相机坐标系下，对变换后的三维点云进行视野筛选，保留位于该目标视角成像范围内的三维点，将保留的三维点投影至二维成像平面，当多个三维点投影至同一位置时，保留距离该目标视角最近的三维点的深度值，得到目标视角深度图；

15、根据所述目标视角深度图中具有有效深度值的像素位置生成有效投影掩膜，将所述目标视角深度图与所述有效投影掩膜作为与该目标视角对应的视角几何信息。

16、优选地，所述得到与各待生成视频帧分别对应的视角几何信息后，还包括：

17、针对每一待生成视频帧对应的视角几何信息，获取所述视角几何信息中的目标视角深度图和有效投影掩膜；

18、所述相机内参包括镜头畸变参数，根据所述镜头畸变参数，建立所述目标视角深度图中校正前像素位置与校正后像素位置之间的映射关系；

19、根据所述映射关系确定所述目标视角深度图中的边缘畸变区域，按照所述映射关系对所述边缘畸变区域内的深度值进行重采样，得到校正后的目标视角深度图。

20、优选地，所述根据所述视角几何信息提取三维几何约束特征，其具体实现方式包括：

21、根据所述视角几何信息中的有效投影掩膜确定目标视角深度图中的有效像素点，针对每一有效像素点，根据其周围有效像素点对应的三维点构建局部三维点集合；

22、对所述局部三维点集合进行局部平面拟合，拟合得到的局部平面的法向方向即为所述有效像素点对应的表面法向量，根据所述局部三维点集合相对于拟合平面的空间偏离程度计算曲率值，由各有效像素点对应的表面法向量和曲率值形成所述三维几何约束特征。

23、优选地，所述对所述视频生成模型进行训练，其具体实现方式包括：

24、获取训练样本，所述训练样本包括若干个样本静物图像及其对应的目标视角序列和视频帧序列；

25、对于每一样本静物图像，根据所述目标视角序列提取样本静物图像的三维几何约束特征；

26、根据每次训练的时间步数和各时间步对应的加噪强度，生成噪声调度表；

27、对所述视频帧序列进行特征编码，得到视频特征，根据所述噪声调度表对所述视频特征加入噪声，得到加噪视频特征；

28、每一次训练时，将所述样本静物图像及其对应的所述目标视角序列、所述三维几何约束特征和所述加噪视频特征输入所述视频生成模型，所述视频生成模型输出噪声预测结果；

29、根据所述噪声预测结果与所加入噪声计算去噪损失，根据所述去噪损失更新所述视频生成模型的模型参数，当所述去噪损失小于预设损失阈值或训练次数达到预设次数，停止训练，得到训练完成的视频生成模型。

30、优选地，在所述训练完成的视频生成模型输出视频帧序列后，还包括：

31、对所述视频帧序列中的相邻视频帧进行稠密光流估计，得到相邻视频帧之间的稠密光流场，根据所述稠密光流场生成像素位移向量场；

32、对所述像素位移向量场进行二维空间频域变换，得到频域位移表示，根据所述频域位移表示中各频率成分对应的频率半径，对所述频率成分进行排序，将频率半径大于频率半径中位值的频率成分确定为高频分量，计算所述高频分量的幅值平方和得到高频分量能量，计算所述频域位移表示中全部频率成分的幅值平方和得到总频域能量；

33、根据所述高频分量能量与所述总频域能量之间的比值，得到对应相邻视频帧的高频分量能量占比，当任一相邻视频帧对应的高频分量能量占比大于预设能量占比基准时，判定该相邻视频帧之间存在几何结构不连续性。

34、优选地，判定该相邻视频帧之间存在几何结构不连续性后，还包括：

35、根据存在几何结构不连续性的相邻视频帧对应的高频分量能量占比，确定所述相邻视频帧中的异常运动区域，根据所述异常运动区域生成区域约束掩膜；

36、将所述静物图像、所述目标视角序列、所述三维几何约束特征和所述区域约束掩膜作为模型更新输入，对视频生成模型进行更新，采用更新后的视频生成模型重新生成与所述目标视角序列对应的视频帧序列，并将重新生成的视频帧序列作为更新后的视频帧序列。

37、通过以上技术方案，本发明将静物图像的深度估计、三维点云构建、目标视角投影和扩散模型生成过程相结合，使视频生成模型在图像内容、视角变化和三维几何约束共同作用下生成视频帧序列，从而提高静物图转动态视频过程中物体空间结构、透视关系和帧间运动的连续性；同时，通过对相邻视频帧进行几何结构不连续性检测并基于异常区域更新模型，减少生成视频中的边缘抖动、局部形变和结构跳变，提高目标视频的稳定性和真实感。