一种混合现实场景虚实融合渲染优化方法与流程

本发明涉及混合现实，具体涉及一种混合现实场景虚实融合渲染优化方法。

背景技术：

1、混合现实技术通过将虚拟三维对象叠加至真实场景，为用户提供沉浸式交互体验，广泛应用于游戏娱乐、工业仿真和医疗培训等领域。然而，虚实融合渲染过程中，真实场景的光照条件、几何遮挡关系以及动态运动等因素直接影响最终显示效果。

2、诸多现有方案通常采用固定权重进行色彩混合，或依赖深度传感器进行简单遮挡处理，但难以适应复杂环境下的光照变化和物体运动，导致虚拟对象与真实场景之间存在明显的视觉割裂感，例如边缘锯齿严重以及前后遮挡错乱等问题。而且，实时渲染对计算效率要求较高，现有优化策略往往在精度与速度之间进行折中，缺乏对位姿估计抖动和深度图时序噪声的有效抑制机制，特别是在动态场景中，当用户头部快速运动或真实物体发生位移时，帧间渲染结果的不稳定性容易引发闪烁和抖动，严重降低用户体验。

技术实现思路

1、为此，本发明提供一种混合现实场景虚实融合渲染优化方法，以解决现有技术中当用户头部快速运动或真实物体发生位移时，帧间渲染结果的不稳定性容易引发闪烁和抖动，严重降低用户体验的问题。

2、为了实现上述目的，本发明提供如下技术方案：

3、一种混合现实场景虚实融合渲染优化方法，包括以下步骤：

4、场景数据采集步骤：通过深度相机和彩色相机同步获取真实场景的深度图像和彩色图像，并对所述深度图像和所述彩色图像进行时空对齐，得到对齐后的深度图d_real和彩色图c_real；

5、虚拟对象位姿注册步骤：根据惯性测量单元数据和视觉特征点匹配结果，估计当前帧头戴显示设备的位姿矩阵，并基于所述位姿矩阵将虚拟三维对象投影至图像平面，得到虚拟对象的深度图d_vir和彩色图c_vir；

6、环境光照参数估计步骤：从所述彩色图c_real中提取高光区域和阴影区域，计算环境光强度e_amb，并生成环境光遮蔽系数o_occ；

7、动态遮挡判定步骤：将所述深度图d_real与所述深度图d_vir进行逐像素比较，当d_real小于d_vir且差值超过预设阈值时，判定该像素位置为遮挡区域，否则为非遮挡区域；

8、融合权重计算步骤：针对每个像素位置，根据该像素的深度置信度、色彩相似度和时间一致性因子，计算虚实融合的混合权重w，具体采用如下公式：

9、w=(α×s+β×t+γ×c)/(α+β+γ)，

10、其中s为基于深度图噪声水平确定的深度置信度，t为当前帧与上一帧之间像素亮度差异的倒数所表征的时间一致性因子，c为虚拟像素颜色与对应真实像素颜色在lab色彩空间中的欧氏距离归一化值所表征的色彩相似度，α、β、γ为预设的正实数权重系数；

11、渲染融合步骤：根据所述混合权重w，对所述虚拟对象的彩色图c_vir和所述真实场景的彩色图c_real进行线性插值融合，得到初始融合图像i_fuse=w×c_vir+(1-w)×c_real，对所述遮挡区域内部的像素强制设置w=0，对所述遮挡区域的边界像素根据所述遮挡深度差值沿边界向外进行权重渐变衰减，使遮挡边缘平滑过渡；

12、边缘优化步骤：检测所述初始融合图像中虚拟对象边缘处的像素梯度变化，对梯度幅值大于预设门限的边缘像素进行自适应各向异性滤波，消除锯齿和光晕。

13、优选地，所述场景数据采集步骤中，所述深度图像和所述彩色图像的时空对齐包括：采用硬件同步触发信号控制深度相机和彩色相机同时曝光，并利用标定好的内参矩阵和外参矩阵将深度图像映射至彩色图像坐标系，对映射后的深度图像进行双边滤波填充空洞。

14、优选地，所述虚拟对象位姿注册步骤中，所述惯性测量单元数据包括三轴加速度和三轴角速度，所述视觉特征点匹配结果通过orb特征描述子匹配得到，将所述惯性测量单元数据和所述视觉特征点匹配结果输入扩展卡尔曼滤波器，输出当前帧的六自由度位姿，再根据虚拟对象在世界坐标系中的固定位置，计算投影矩阵得到所述深度图d_vir和彩色图c_vir。

15、优选地，所述环境光照参数估计步骤中，提取高光区域和阴影区域采用基于亮度直方图的自适应阈值分割，将亮度值高于第一阈值的像素集合作为高光区域，将亮度值低于第二阈值的像素集合作为阴影区域，根据高光区域的平均亮度值计算所述环境光强度e_amb，并采用屏幕空间环境光遮蔽算法生成所述环境光遮蔽系数o_occ。

16、优选地，所述动态遮挡判定步骤中，所述预设阈值根据深度相机的测量误差和虚拟对象的几何复杂度动态调整，当深度相机测量误差增大或虚拟对象表面曲率增大时，增大所述预设阈值，并且对于判定为遮挡区域的像素，同时记录遮挡深度差值，用于后续边缘羽化处理。

17、优选地，所述融合权重计算步骤中，所述深度置信度s通过以下方式获得：以当前像素为中心取邻域窗口，计算邻域内深度值的标准差σ_d，令s=exp(-σ_d/σ_ref)，其中σ_ref为预设的参考标准差；所述时间一致性因子t通过计算当前帧与上一帧在相同像素位置处彩色亮度值之差的绝对值δi，令t=1/(δi+ε)，其中ε为极小正数以防止除零；所述色彩相似度c通过将虚拟颜色和真实颜色转换至lab空间并计算欧氏距离δe，令c=1-min(δe/δe_max,1)，其中δe_max为预设最大容许色差。

18、优选地，所述渲染融合步骤中，对于所述非遮挡区域，还根据所述环境光遮蔽系数o_occ对所述虚拟对象的彩色图c_vir进行光照调制，调整后的虚拟颜色c_vir’=c_vir×(e_amb×（1-o_occ×k)），其中k为预设的光照影响系数，然后将所述调整后的虚拟颜色代入所述线性插值融合公式，得到初始融合图像；所述预设的光照影响系数k的取值范围为0.2至0.8，并且当所述环境光强度e_amb大于亮度阈值时，k取较小值以减少虚拟对象的光照过曝。

19、优选地，所述边缘优化步骤中，所述自适应各向异性滤波的滤波核大小根据边缘像素的梯度方向确定，沿梯度方向滤波核长度小于垂直于梯度方向的滤波核长度，并且滤波核的权重系数采用高斯函数，其中高斯函数的标准差根据所述混合权重w的局部变化率自适应调整，局部变化率越大则标准差越大；所述局部变化率通过计算当前边缘像素周围3×3邻域内混合权重w的方差来表征，方差越大则所述标准差越大，所述标准差调整范围为0.5至3.0像素；滤波后的像素值采用双线性插值从原始图像中采样得到。

20、本发明具有如下优点：本发明通过多维度特征融合的动态权重计算，结合环境光照估计和自适应边缘滤波，实现高质量、低延迟的虚实融合渲染。具体而言，本方法首先采集对齐后的深度图和彩色图，注册虚拟对象的位姿并投影得到其深度和颜色信息；然后估计环境光照参数并判定遮挡区域；接着基于深度置信度、色彩相似度和时间一致性因子计算像素级的混合权重，利用该权重进行色彩融合，并对遮挡区域进行强制处理；最后对融合图像的边缘进行自适应各向异性滤波，消除锯齿；

21、通过引入深度置信度和时间一致性因子，使混合权重能够实时响应场景噪声和运动变化，避免固定权重导致的融合失真；结合环境光遮蔽系数对虚拟颜色进行光照调制，使得虚拟对象的光照方向与真实场景一致，显著提升视觉真实感；动态调整遮挡判定阈值，适应不同深度误差和几何复杂度，减少误判；轻量化的边缘滤波算法仅针对梯度较大区域进行处理，计算开销小，适用于移动端和头戴式显示设备；帧间一致性维护机制有效抑制了闪烁和抖动，增强了长时间使用的舒适度和稳定性。