多视频流融合方法、电子设备、存储介质与流程

技术特征：
1.一种多视频流融合方法，其特征在于，所述方法应用于设置有多个摄像头传感器的场景，所述多个摄像头传感器用于采集所述场景的不同区域的视频流，相邻区域存在部分重叠，所述方法包括：基于各摄像头传感器采集的对应区域的视频流，以及，所述场景的地面图像，获取各区域在同一三维空间下的待拼接模型，所述待拼接模型用于表征对应区域的三维场景结构；通过各相邻区域的待拼接模型的纹理图像，对各区域的待拼接模型的纹理图像进行变形，获得各区域的待拼接模型变形后的纹理图像，以及，各区域的待拼接模型的矫正映射文件；基于各相邻区域的待拼接模型在各相邻区域的待拼接模型之间的虚拟视点的成像内容，获取各相邻区域的待拼接模型的融合掩码；根据各区域的待拼接模型变形后的纹理图像、各相邻区域的待拼接模型的融合掩码，在所述三维空间下的对各区域的待拼接模型进行拼接，得到三维场景模型；根据所述矫正映射文件、所述融合掩码，将各摄像头传感器采集的对应区域的视频流融合到所述三维场景模型，得到所述场景的三维虚拟现实视频。2.根据权利要求1所述的方法，其特征在于，所述通过各相邻区域的待拼接模型的纹理图像，对各区域的待拼接模型的纹理图像进行变形，获得各区域的待拼接模型变形后的纹理图像，以及，各区域的待拼接模型的矫正映射文件，包括：基于各相邻区域的待拼接模型的纹理图像，获取各相邻区域的待拼接模型之间的匹配特征点对，所述匹配特征点对的残差小于预设像素值；基于各相邻区域的待拼接模型的匹配特征点对在所述三维空间中的三维坐标，以及，各相邻区域的待拼接模型的权重，得到各相邻区域的待拼接模型的匹配特征点对的插值点的三维坐标，所述待拼接模型的权重与所述待拼接模型与三维空间中心的距离负相关；将各相邻区域的待拼接模型的匹配特征点对的插值点反投影至各相邻区域的待拼接模型的纹理图像，得到各区域的待拼接模型的纹理图像的控制点集；利用各区域的待拼接模型的纹理图像的控制点集，对各区域的待拼接模型的纹理图像进行基于网格的图像变形，获得各区域的待拼接模型变形后的纹理图像；根据各区域的待拼接模型变形前后的纹理图像的像素映射关系，生成所述待拼接模型的矫正映射文件。3.根据权利要求2所述的方法，其特征在于，所述基于各相邻区域的待拼接模型的纹理图像，获取各相邻区域的待拼接模型之间的匹配特征点对，包括：基于相邻区域的待拼接模型的纹理图像，获取相邻区域的待拼接模型之间的初始特征点对；将所述待拼接模型的面片结构投影至所述待拼接模型的纹理图像上，得到所述纹理图像的平面划分结果；基于所述纹理图像的平面划分结果，将所述纹理图像上位于同一平面区域内的初始特征点划分至同一特征点集合中；去除各特征点集合中满足预设条件的初始特征点所在的初始特征点对，得到相邻区域的待拼接模型的匹配特征点对,所述预设条件为所述初始特征点所在的特征点对的残差大于或等于第一预设阈值。
4.根据权利要求2所述的方法，其特征在于，所述利用各区域的待拼接模型的纹理图像的控制点集，对各区域的待拼接模型的纹理图像进行基于网格的图像变形，获得各区域的待拼接模型变形后的纹理图像，包括：为所述待拼接模型的纹理图像添加初始网格；利用所述待拼接模型的纹理图像的控制点集作为约束条件、使用以网格顶点集合作为自变量的目标函数，对所述初始网格进行优化，得到所述待拼接模型的纹理图像的最优网格；根据所述待拼接模型的纹理图像的初始网格与最优网格之间的对应关系，得到所述待拼接模型的纹理图像的仿射矩阵；使用所述待拼接模型的纹理图像的仿射矩阵，对所述待拼接模型的纹理图像进行变形，得到所述待拼接模型变形后的纹理图像。5.根据权利要求4所述的方法，其特征在于，所述目标函数包括下述约束项：约束控制点变换到所述控制点对应的匹配特征点的对准约束项、约束相邻网格的相对位置关系保持不变的相似变换约束项、约束所述待拼接模型的纹理图像变换前后相对尺度保持不变的尺度约束项、约束所述待拼接模型的纹理图像变换前后直线保持不变的直线约束项。6.根据权利要求1所述的方法，其特征在于，所述基于各相邻区域的待拼接模型在各相邻区域的待拼接模型之间的虚拟视点的成像内容，获取各相邻区域的待拼接模型的融合掩码，包括：针对相邻区域的待拼接模型在虚拟视点的成像内容，计算成像内容的重叠区域的对准误差和颜色差异；基于所述重叠区域的对准误差和颜色差异，得到所述重叠区域的差异图，以及，代价函数；在所述差异图上使用图割算法，获取累积代价函数最小的缝合线；对所述缝合线的两侧进行双线性插值后，反投影到相邻区域的待拼接模型上，得到相邻区域的待拼接模型的融合掩码。7.根据权利要求1所述的方法，其特征在于，所述根据各区域的待拼接模型变形后的纹理图像、各相邻区域的待拼接模型的融合掩码，在所述三维空间下的对各区域的待拼接模型进行拼接，得到三维场景模型，包括：在所述三维空间下，使用所述各相邻区域的待拼接模型的融合掩码，对所述各区域的待拼接模型变形后的纹理图像进行拼接，得到所述三维场景模型。8.根据权利要求1-7任一项所述的方法，其特征在于，所述根据所述矫正映射文件、所述融合掩码，将各摄像头传感器采集的对应区域的视频流融合到所述三维场景模型，得到所述场景的三维虚拟现实视频，包括：将各区域的视频流映射至所述三维场景模型；使用所述矫正映射文件，逐帧矫正映射后的三维场景模型的视频纹理，得到矫正后的视频纹理；基于所述融合掩码，以及，所述视频纹理的透明度，对所述矫正后的视频纹理进行融合渲染，得到该场景的三维虚拟现实视频。9.一种电子设备，其特征在于，包括：存储器与处理器；
所述存储器，用于存储所述处理器的可执行指令；所述处理器配置为经由执行所述可执行指令来执行权利要求1-8任一所述的方法。10.一种存储介质，其上存储有计算机程序，其特征在于，包括：该程序被处理器执行时实现权利要求1-8任一所述的方法。

技术总结
本申请提供一种多视频流融合方法、电子设备、存储介质。该方法包括：获取各区域在同一三维空间下的待拼接模型；通过各相邻区域的待拼接模型的纹理图像，获取各区域的待拼接模型的矫正映射文件；基于各相邻区域的待拼接模型在虚拟视点的成像内容，获取各相邻区域的待拼接模型的融合掩码，并对各个待拼接模型进行拼接得到三维场景模型；基于该三维场景模型、矫正映射文件、融合掩码，得到三维虚拟现实视频。通过以上方法，本申请实现了分散部署的摄像头传感器采集的多视频流融合。感器采集的多视频流融合。感器采集的多视频流融合。


技术研发人员：周忠 孟明 周颐 游景帝
受保护的技术使用者：北京航空航天大学
技术研发日：2020.09.04
技术公布日：2022/3/3