一种内容生成方法及相关装置与流程

本技术涉及软件，尤其涉及一种内容生成方法及相关装置。

背景技术：

1、视频作为信息传播的重要载体，在商业推广、品牌宣传及多媒体交互等领域具有广泛的应用价值。为了实现特定内容的展示或广告植入，通常需要将指定的图像或视频素材融合到目标视频场景的特定区域中。

2、现阶段，视频内容植入主要依赖于人工后期制作或自动化的图像处理算法。人工制作方式通过专业的视频剪辑软件逐帧进行选区、替换与合成，能够精细控制光影与透视关系，但耗时费力且成本高昂。自动化的图像处理算法则多采用基于光流跟踪的运动估计结合透视变换定位待植入的目标区域，随后利用泊松融合等传统图像融合算法将前景素材与背景视频进行像素级混合。

3、然而，在实际的复杂应用场景中，因目标区域存在遮挡、平面显示不完整或处于画面边缘被截断，常导致难以准确重构完整空间几何结构。另外，在动态视频中，由于光照不均、纹理特征稀疏以及物体运动带来的时序抖动，生成的局部内容容易出现与非植入区域边界融合生硬、色彩过渡不自然等问题。

技术实现思路

1、鉴于上述问题，本技术提供了一种内容生成方法及相关装置，以实现高效、稳定且具备高时序一致性的局部内容生成的目的。具体方案如下：

2、本技术第一方面提供一种内容生成方法，所述内容生成方法包括：

3、获取背景视频帧中目标区域的第一掩码数据；

4、通过对所述第一掩码数据进行几何约束，确定所述目标区域在所述背景视频帧中的完整几何边界；

5、将待融合内容映射至所述完整几何边界中得到所述背景视频帧的先验数据，并对所述先验数据进行前景与背景的分离编码得到所述背景视频帧的条件特征；

6、将所述条件特征输入至视频编辑模型，以获得所述视频编辑模型输出的所述背景视频帧的内容生成结果。

7、在一种可能的实现中，所述通过对所述第一掩码数据进行几何约束，确定所述目标区域在所述背景视频帧中的完整几何边界，包括：

8、判断所述第一掩码数据对应的区域与所述背景视频帧的边界是否相交；

9、若不相交，确定所述目标区域在所述背景视频帧中处于完整可见状态，并根据所述第一掩码数据的几何特征确定所述完整几何边界；

10、若相交，确定所述目标区域在所述背景视频帧中处于部分可见状态，通过对处于完整可见状态的其他多个背景视频帧对应的多个几何特征进行曲线拟合，补全所述第一掩码数据的几何特征，以确定所述完整几何边界。

11、在一种可能的实现中，所述通过对处于完整可见状态的其他多个背景视频帧对应的多个几何特征进行曲线拟合，补全所述第一掩码数据的几何特征，包括：获取所述其他多个背景视频帧中各个背景视频帧的第二掩码数据，并根据各个第二掩码数据所对应区域的重心坐标确定所述目标区域的运动方向；

12、针对各个第二掩码数据所对应的区域来说，在该区域中选取位于所述运动方向的反方向的边缘线作为基准边，并确定所述基准边上各点到其对边的垂直线长度；

13、通过对各个第二掩码数据对应的垂直线长度进行拟合，补全所述第一掩码数据所对应区域的顶点坐标。

14、在一种可能的实现中，所述通过对各个第二掩码数据对应的垂直线长度进行拟合，补全所述第一掩码数据所对应区域的顶点坐标，包括：

15、使用样条拟合方法对各个第二掩码数据对应的垂直线长度进行拟合，以确定所述第一掩码数据所对应区域的缺失垂线长度；

16、基于所述缺失垂线长度和所述第一掩码数据所对应区域的已知边缘线计算交点，以补全所述第一掩码数据所对应区域的顶点坐标。

17、在一种可能的实现中，所述将待融合内容映射至所述完整几何边界中得到所述背景视频帧的先验数据，包括：

18、根据所述完整几何边界的顶点坐标计算单应性矩阵；

19、利用所述单应性矩阵对所述待融合内容进行透视变换，以将所述待融合内容映射至所述完整几何边界中得到所述先验数据。

20、在一种可能的实现中，所述对所述先验数据进行前景与背景的分离编码得到所述背景视频帧的条件特征，包括：

21、利用所述第一掩码数据将所述先验数据分离为背景数据和前景数据；

22、分别将所述背景数据和所述前景数据映射至潜空间得到背景潜变量和编辑潜变量；

23、将所述背景潜变量和所述编辑潜变量进行拼接得到所述条件特征。

24、在一种可能的实现中，所述视频编辑模型为预先通过知识蒸馏训练得到的模型，所述知识蒸馏训练的过程包括：

25、对教师模型和学生模型分别进行采样迭代，所述教师模型的采样迭代步数大于所述学生模型的采样迭代步数；

26、基于所述教师模型的输出和所述学生模型的输出计算蒸馏损失值，以所述蒸馏损失值更新所述学生模型的参数，参数更新后的学生模型为所述视频编辑模型。

27、本技术第二方面提供一种内容生成装置，所述内容生成装置包括：

28、完整几何边界确定模块，用于获取背景视频帧中目标区域的第一掩码数据；通过对所述第一掩码数据进行几何约束，确定所述目标区域在所述背景视频帧中的完整几何边界；

29、局部内容生成模块，用于将待融合内容映射至所述完整几何边界中得到所述背景视频帧的先验数据，并对所述先验数据进行前景与背景的分离编码得到所述背景视频帧的条件特征；将所述条件特征输入至视频编辑模型，以获得所述视频编辑模型输出的所述背景视频帧的内容生成结果。

30、本技术第三方面提供一种计算机程序产品，包括计算机可读指令，当所述计算机可读指令在电子设备上运行时，使得所述电子设备实现上述第一方面或第一方面任一实现方式的内容生成方法。

31、本技术第四方面提供一种电子设备，包括至少一个处理器和与所述处理器连接的存储器，其中：

32、所述存储器用于存储计算机程序；

33、所述处理器用于执行所述计算机程序，以使所述电子设备能够实现上述第一方面或第一方面任一实现方式的内容生成方法。

34、本技术第五方面提供一种计算机存储介质，所述存储介质承载有一个或多个计算机程序，当所述一个或多个计算机程序被电子设备执行时，能够使所述电子设备实现上述第一方面或第一方面任一实现方式的内容生成方法。

35、借由上述技术方案，本技术提供的一种内容生成方法及相关装置，包括：获取背景视频帧中目标区域的第一掩码数据；通过对所述第一掩码数据进行几何约束，确定所述目标区域在所述背景视频帧中的完整几何边界；将待融合内容映射至所述完整几何边界中得到所述背景视频帧的先验数据，并对所述先验数据进行前景与背景的分离编码得到所述背景视频帧的条件特征；将所述条件特征输入至视频编辑模型，以获得所述视频编辑模型输出的所述背景视频帧的内容生成结果。本技术通过对目标区域的掩码数据进行几何约束，来精确推导出目标区域在背景视频帧中的完整几何变化，进而，将待融合内容依据该完整几何边界映射生成先验数据，进一步，通过对先验数据进行行前景与背景的分离编码来构建出包含背景上下文与编辑意图的条件特征，最后通过视频编辑模型以先验数据仅在目标区域内生成语义连贯且光照纹理一致的内容生成结果。本技术借助由几何约束重建空间结构、再由分离编码解耦潜变量特征的处理方式，能够有效避免非植入区域内容的意外修改与漂移，确保生成内容与背景视频在空间几何与时序上的高度一致性，在遮挡或不完整区域下定位不准、融合生硬以及生成内容时序闪烁等情况，显著提升视频局部内容生成的可控性、真实感与运行效率，为自动化视频广告植入及复杂场景下的视频编辑提供可靠的技术支持。