一种基于稠密融合与遮挡关系推理的虚拟前后景融合方法
本发明属于xr虚拟摄制、计算机视觉稠密深度估计、遮挡关系推理和虚实融合控制,具体涉及一种将前景实例分割、双目或多目稠密深度恢复、单目补深、深度置信融合、遮挡关系图推理、边界细化、接触一致性校核和低置信回退控制联动到同一虚拟摄制链路中的前后景融合方法及系统。
背景技术:
1、xr虚拟摄制场景通常需要同时获得真实摄像机位姿、前景掩码和虚拟场景渲染结果,再将真实前景与虚拟背景、虚拟中景物或虚拟前置物进行合成。现有技术更多聚焦于相机位姿估计、绿幕抠像和虚拟场景渲染输出,而对人物、车辆、手持道具与虚拟物体之间的像素级深度先后关系处理仍不够精细。
2、在真实摄制项目中,主持人手臂伸入虚拟屏幕前方、车辆前轮压在虚拟地台上、话筒或道具遮挡虚拟字幕、演员脚部接触虚拟台阶、透明道具经过虚拟前置元素等场景较为常见。如果仅依据二维前景掩码直接叠加虚拟场景,容易把本应位于后方的虚拟元素错误地放在前方,或者把本应被前景遮挡的部分完整显示出来,从而形成穿插、悬浮、边缘发虚和景深关系失真等问题。
3、双目视觉、数字抠像、动作捕捉、摄像机运动控制和虚拟场景渲染已经能够组成较完整的xr虚拟摄制基础链路,能够提供相机位姿、镜头参数和前景背景分离结果。但是,稀疏特征或单一抠像结果难以直接用于主持人发丝、衣摆、车窗轮廓、话筒杆、低纹理绿幕区域和反光区域等密集遮挡细节的稳定排序。
4、绿幕环境虽然有利于前景分离,但绿幕本身纹理简单,反光、褶皱、局部阴影以及近绿色服装会使深度估计与边界判断难度提升;发布会和演播室中常见的车身高光、屏幕反射、透明件和前景快速运动,也会进一步放大虚实遮挡错误。仅依靠人工调层或静态规则往往需要大量现场试错,难以满足直播、实时演播和虚拟发布会的快速制作要求。
5、因此,有必要提出一种将视觉稠密深度估计、前景实例理解、遮挡关系推理、边界细化、接触一致性校核和低置信回退控制进行系统融合的xr虚拟摄制前后景融合方案,使遮挡先后、接触边界和虚实叠层关系能够根据图像内容、深度置信度和时序状态自动调整。
技术实现思路
1、本发明的目的在于提供一种基于稠密深度置信融合与遮挡关系推理的xr虚拟摄制前后景融合方法及系统,以解决现有虚拟摄制系统在前景与虚拟物体发生复杂空间交互时遮挡判断粗糙、边界接触不稳定、脚底或轮胎悬浮、手部穿模、半透明边缘叠层不自然以及人工调层成本高的问题。
2、为实现上述目的,本发明构建由图像采集与时间同步、前景实例分割、稠密视差估计、单目补深、深度置信融合、遮挡关系图推理、边界细化与接触一致性校核、虚实分层合成与回退控制以及归档复核组成的完整技术链路。该链路在既有相机位姿、前景分割和虚拟场景渲染的基础上,引入像素深度、实例遮挡、边界状态和接触关系,并将其统一转换为可直接作用于合成过程的工程控制参数。
3、本发明的方法包括:获取同一时间基准下的双目或多目图像、镜头参数、相机位姿、虚拟场景深度层和时间戳;采用sam2时序实例分割获得真实前景实例掩码、alpha边界和传播置信度;采用raftstereo对左右目图像或主辅机位图像进行稠密视差估计并得到双目深度图;采用depth anything v2对绿幕低纹理、反光、透明边缘和遮挡单目可见区域进行单目补深;根据视差残差、左右一致性、边缘梯度、实例类别、单目置信度、位姿一致性和历史稳定度生成融合权重;基于融合深度图构建遮挡关系图,并通过深度差、投影重叠、相对运动、接触先验和历史稳定度得到遮挡层级;对边界执行门控条件随机场细化并进行接触一致性校核;最后根据质量评分进行虚实分层合成或低置信回退,并保存复核记录。
4、与现有技术相比,本发明至少具有如下有益效果:其一,将双目深度和单目补深结果按像素置信度融合,使低纹理、反光和局部遮挡区域仍能获得可用于遮挡判断的连续深度信息;其二,将真实实例、虚拟实例和接触区域构造成遮挡关系图,避免单一图层排序导致弯曲手臂、打开车门或手持道具穿插时整块图层顺序错误;其三,通过门控条件随机场和接触一致性校核分别处理柔性细边缘和刚性接触区域,降低边缘发虚、轮胎悬浮和脚底穿模风险;其四,通过低置信回退和归档复核机制,使算法异常不直接进入主输出画面,提高xr直播和虚拟发布会的播出稳定性。
1.一种基于稠密融合与遮挡关系推理的虚拟前后景融合方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的基于稠密融合与遮挡关系推理的虚拟前后景融合方法,其特征在于,步骤s2中,所述时序实例分割网络为segment anything model 2时序分割网络;所述segment anything model 2时序分割网络以当前帧图像、历史帧掩码和提示掩码为输入,输出实例类别、二值主体掩码、连续alpha边界和传播置信度,并利用历史掩码传播结果抑制主持人发丝、手指、衣摆、话筒杆、车门边缘和车辆轮廓在连续帧之间的闪烁。
3.根据权利要求1所述的基于稠密融合与遮挡关系推理的虚拟前后景融合方法,其特征在于,步骤s3中,所述稠密立体匹配网络为raftstereo网络;所述raftstereo网络对极线校正后的左右目图像或主辅机位图像执行循环视差更新,输出视差场、视差增量、迭代残差和左右一致性掩码,并根据所述迭代残差和左右一致性掩码确定像素级双目深度置信度。
4.根据权利要求1所述的基于稠密融合与遮挡关系推理的虚拟前后景融合方法,其特征在于,步骤s4中,所述单目深度估计网络为depth anything v2单目深度估计网络;所述depth anything v2单目深度估计网络输出相对深度图和结构置信度,并通过标定平面、高置信双目区域或虚拟场景基准平面对所述相对深度图进行尺度对齐,使其在双目低置信区域参与深度融合,而不替代双目深度图中的高置信绝对深度。
5.根据权利要求1所述的基于稠密融合与遮挡关系推理的虚拟前后景融合方法,其特征在于,步骤s5中,所述双目深度权重和单目深度权重根据像素的视差残差、双目深度置信度、单目深度置信度、实例类别权重和历史稳定度共同确定,所述单目深度权重与所述双目深度权重满足,并按照如下关系得到融合深度:
6.根据权利要求1所述的基于稠密融合与遮挡关系推理的虚拟前后景融合方法,其特征在于,步骤s6中,所述遮挡关系图中的每一条有向边表示一个实例相对于另一实例的前置、后置、接触或不确定关系;实例相对于实例的遮挡关系得分根据两实例交叠区域的融合深度差、投影交叠率、相对运动趋势、接触先验和历史遮挡稳定度确定,且所述遮挡关系图满足反对称性约束和局部传递性约束,以避免同一局部区域内同时出现相互矛盾的前后排序结果。
7.根据权利要求6所述的基于稠密融合与遮挡关系推理的虚拟前后景融合方法,其特征在于,当真实前景实例与虚拟资产实例的投影交叠区域内同时存在前置关系和后置关系时,将对应真实前景实例或虚拟资产实例拆分为多个可见分区,并分别为所述多个可见分区生成遮挡掩码;所述可见分区至少用于处理弯曲手臂、打开车门、透明车窗、手持道具穿过虚拟屏幕、车辆轮廓遮挡虚拟灯带中的一种局部穿插情形。
8.根据权利要求1所述的基于稠密融合与遮挡关系推理的虚拟前后景融合方法,其特征在于,步骤s7中,采用门控条件随机场执行边界细化,所述门控条件随机场的门控量由实例类别、alpha梯度、深度梯度和遮挡置信度共同确定;对于人物发丝、薄纱、衣摆和话筒线缆区域,降低几何收缩量并保留连续透明度;对于车辆轮胎、舞台台阶、桌面、实体道具和虚拟地面接触线区域,提高深度边界约束,以抑制柔性边缘被削断或刚性边缘发虚。
9.根据权利要求1所述的基于稠密融合与遮挡关系推理的虚拟前后景融合方法,其特征在于,步骤s9中,所述异常复核结果包括实例掩码、双目深度图、单目深度图、融合深度图、遮挡关系图、边界修正参数、接触异常区域、低置信区域坐标、触发原因、人工复核结果和场景标签;当当前帧短时丢失双目同步时,在限定持续时间内使用单目深度和历史运动补偿维持遮挡排序,当持续超过允许时长时,停止新增虚拟前置遮挡并进入保守遮挡模式。
10.一种实现如权利要求1-9任一所述方法的基于稠密融合与遮挡关系推理的虚拟前后景融合系统,其特征在于,包括:图像采集与时间同步单元,用于获取同一时间基准下的双目或多目图像、镜头参数、相机位姿、虚拟场景深度层和场景时间戳;前景实例分割单元,用于对真实前景对象进行时序实例分割,得到实例类别、实例掩码、alpha边界和传播置信度;稠密视差估计单元,用于对左右目图像或主辅机位图像进行稠密视差估计,得到视差场、迭代残差、左右一致性掩码和双目深度置信度;单目补深单元,用于对低纹理、反光、透明边缘、遮挡单目可见和双目不稳定区域生成单目深度图和单目深度置信度;深度置信融合单元,用于根据视差残差、左右一致性、边缘梯度、实例类别、单目深度置信度、相机位姿一致性和历史帧稳定度,对双目深度图和单目深度图进行加权融合,得到融合深度图;遮挡关系图推理单元,用于将真实前景实例、虚拟资产实例和场景接触区域构造成遮挡关系图,并根据融合深度差、投影重叠比例、相对运动趋势、接触先验和历史遮挡稳定度生成遮挡层级;边界细化与接触一致性校核单元,用于根据遮挡层级和融合深度图对真实前景边界和虚拟前置边界进行边界细化,并对脚底、轮胎、道具或台面与虚拟平面之间的深度差进行接触一致性校核;虚实合成与回退控制单元,用于根据实例掩码、融合深度图、遮挡层级、alpha边界和虚拟场景深度层执行分层合成,并在遮挡融合质量评分低于预设阈值时冻结虚拟前置层或切换为保守遮挡模式;归档复核单元,用于记录实例掩码、深度置信度、遮挡判定结果、边界修正参数、接触异常区域和人工复核结果。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com