一种用于手机上的视频通话背景虚化与光线补全增强系统的制作方法

本发明涉及计算机视觉，尤其涉及一种用于手机上的视频通话背景虚化与光线补全增强系统。

背景技术：

1、随着移动互联网与5g通信技术的普及，视频通话与移动端直播已成为日常沟通的重要方式。在这些场景中，用户通常处于光照条件复杂（如逆光、暗光、多光源干扰）且背景杂乱的非标准环境中。为了提升视觉体验，现有的视频处理系统通常会引入背景虚化与人像补光技术。

2、现有的深度学习视觉模型通常对视频流的每一帧进行全局的全分辨率卷积计算。视频通话场景中，用户身体往往处于相对静止或微小运动状态，且画面的核心关注点仅集中在人脸及上半身，对全局画面的逐帧密集计算产生了极大的时空数据冗余，导致移动设备快速发热、降频及电池电量严重消耗；抠图与光线增强算法高度依赖单一的可见光模态。在暗光或逆光条件下，rgb图像的边缘特征极度弱化且伴随高频噪点，导致模型无法精准剥离前景人像与背景。这会引发严重的伪影现象，补光效果溢出到背景区域，或者背景虚化错误地吞噬了人物的边缘；此外，现有的端侧补光算法多采用简单的非线性映射或全局亮度调节，未能遵循物理光学规律，导致增强后的肤色苍白、通透性差，无法还原真实的光影层次。

技术实现思路

1、本发明解决的技术问题是：现有技术难以提升复杂光照下的渲染保真度，视频单帧的推理延迟过长，背景区域调节毛躁，容易产生伪影。

2、为解决上述技术问题，本发明提供如下技术方案：一种用于手机上的视频通话背景虚化与光线补全增强系统，包括：

3、时空动态判定模块，用于接收连续视频流，并计算当前帧与上一帧的时序运动矢量，对所述时序运动矢量进行判断，输出待处理画面；

4、空间特征提取模块，用于利用距离约束核在所述待处理画面中划定核心空间约束区域，并利用双流深度可分网络，提取所述核心空间约束区域内的关键特征，生成对应的场景深度图；

5、交叉注意力融合模块，用于通过交叉注意力算法对关键特征进行路由计算，生成双模态融合特征；

6、物理解耦渲染模块，用于利用本征图像分解算法将所述双模态融合特征解析为反射率图，并结合所述场景深度图，计算得到背景光，根据所述反射率图与背景光合成核心区域增强画面，得到最终视频渲染帧。

7、优选地，所述时空动态判定模块包括运动矢量估计单元和时序重叠剪枝单元；

8、所述运动矢量估计单元用于接收连续视频流，提取所述连续视频流中的当前帧与上一帧，利用光流估计算法计算所述当前帧与所述上一帧之间的位移变化矩阵，生成时序运动矢量；

9、所述时序重叠剪枝单元用于接收所述时序运动矢量，将所述时序运动矢量的幅值与预设重叠阈值进行对比，输出待处理画面。

10、优选地，所述时序重叠剪枝单元进行对比判定的具体过程包括：

11、若所述时序运动矢量的幅值小于或等于预设重叠阈值，则判定当前帧与上一帧内容高度重叠，复用所述上一帧的图像渲染参数，跳过后续特征提取步骤；

12、若所述时序运动矢量的幅值大于所述预设重叠阈值，则判定当前帧存在显著动态变化，将所述当前帧提取并标记为待处理画面，输出至空间特征提取模块；

13、所述预设重叠阈值通过当前相机的感光度和前n帧运动矢量幅值进行实时动态计算，重叠阈值的计算表达式为：

14、；

15、其中，为预设重叠阈值，和分别为前n帧视频图像运动矢量幅值的历史均值和历史标准差，为时序调节因子，为基准感光度，为当前摄像头的感光度，为噪声补偿系数。

16、优选地，所述空间特征提取模块包括锚点定位划定单元与双流特征编码单元；

17、所述锚点定位划定单元用于接收所述待处理画面，提取所述待处理画面中的目标视觉锚点，以所述目标视觉锚点为中心构建距离约束核；

18、所述双流特征编码单元用于接收划定约束后的待处理画面，通过双分支网络架构并行处理图像流，分别提取可见光纹理特征与深度结构特征，生成场景深度图。

19、优选地，所述锚点定位划定单元构建距离约束核的具体过程包括：

20、利用人脸检测算法锁定所述待处理画面中的人脸区域作为目标视觉锚点；

21、基于所述目标视觉锚点，按照预设空间扩展系数向外延伸，划定核心空间约束区域；

22、将所述待处理画面中位于所述核心空间约束区域之外的像素标记为背景缓冲区，对所述背景缓冲区直接施加高斯模糊处理，仅保留所述核心空间约束区域进入双流特征编码单元。

23、优选地，所述双流特征编码单元包含第一处理分支与第二处理分支；

24、所述第一处理分支用于接收所述核心空间约束区域内的可见光三通道数据，通过深度可分离卷积网络提取高频的色彩特征与边缘特征，生成第一特征，所述第一特征为可见光纹理特征；

25、所述第二处理分支用于接收所述核心空间约束区域内的单通道初始深度特征图，通过下采样提取低频的前景轮廓与纵深结构特征，生成第二特征，所述第二特征为深度结构特征，将所述第一特征和第二特征保存为关键特征。

26、优选地，所述交叉注意力融合模块包括跨模态映射单元与路由计算协同单元；

27、所述跨模态映射单元用于接收所述关键特征，通过线性投影变换生成查询矩阵、键值矩阵与数值矩阵；

28、所述路由计算协同单元用于接收所述查询矩阵、键值矩阵和数值矩阵，利用缩放点积注意力机制计算跨模态响应权重，合成双模态融合特征。

29、优选地，所述跨模态映射单元在生成矩阵时的具体规则为：

30、将所述深度结构特征进行特征空间映射，生成所述查询矩阵；

31、将所述可见光纹理特征进行特征空间映射，生成所述键值矩阵与所述数值矩阵；

32、所述路由计算协同单元的计算过程包括：计算所述查询矩阵与所述键值矩阵的转置的点积，除以维度缩放因子后，通过归一化指数函数得到权重分布矩阵；

33、将所述权重分布矩阵与所述数值矩阵相乘，使得深度结构的边缘特征引导可见光像素的响应，生成所述双模态融合特征。

34、优选地，所述物理解耦渲染模块包括本征图解耦单元与像素级合成单元；

35、所述本征图解耦单元用于接收所述双模态融合特征，利用预置的光照解耦解码器结构对所述双模态融合特征执行本征图像分解，提取不包含光源信息的反射率图：

36、接收场景深度图与待处理画面的原始输入图像，执行基于场景深度图的自适应背景光估计：

37、从所述场景深度图中选取深度值最大的前0.1%像素，计算所述前0.1%像素在原始输入图像上的各通道像素均值，作为第一候选背景光；

38、采用四叉树分级搜索，每次选取各通道像素方差之和最小的子区域，迭代n次后计算最终区域的各通道平均值，作为第二候选背景光，同时，以像素的红绿色差与红蓝色差之和作为色差度量，每次选取平均色差最大的子区域，迭代n次后计算最终区域的各通道平均值，作为第三候选背景光；

39、分别根据所述第一候选背景光、第二候选背景光和第三候选背景光，计算对应权重并归一化，通过加权平均得到最终背景光；

40、对所述场景深度图中各像素的深度值进行归一化处理，得到归一化深度值，根据所述归一化深度值计算各像素的光照衰减系数，将所述原始输入图像与所述光照衰减系数的逐像素乘积作为环境光照分量，将所述原始输入图像减去环境光照分量后与所述光照衰减系数的逐像素比值作为场景反射分量，并对所述环境光照分量和场景反射分量分别进行引导滤波边缘保持优化，再对优化后的透射率图进行下限阈值约束；

41、将所述最终背景光作为全局环境光补偿项，提取所述反射率图，并与所述最终背景光按光照衰减系数进行线性融合，生成反射率图。

42、优选地，所述像素级合成单元用于接收所述反射率图，执行矩阵计算映射，生成核心区域增强画面：

43、将所述反射率图执行对比度增强与细节锐化处理，生成核心区域增强画面；

44、根据高斯模糊预处理后的背景缓冲区，利用拼接融合机制将所述核心区域增强画面与背景缓冲区进行图层融合，生成最终视频渲染帧，并输出至显示终端。

45、本发明的有益效果：本发明通过提取时序运动矢量，创新性地对视频流进行动态判定。对于动作幅度微小的高度重叠帧，系统直接休眠后续高耗能的特征提取与渲染网络，复用上一帧的渲染参数。该机制有效剔除了视频通话中的时间冗余，使得移动设备的npu/cpu负载降低至少一个数量级，显著改善了长时间通话的发热问题；通过构建基于视觉锚点的距离约束核，将大部分的网络算力精准聚焦于人像核心区域，而对背景缓冲区采取轻量级降维处理。这种空间维度的计算范围裁剪，在保证人像主体清晰度的同时，大幅缩短了单帧的推理延迟；利用深度图中低频但稳定的几何物理轮廓，强行约束补光网络的激活区域，有效避免了复杂光线导致的前背景混淆，解决了视频通话中常见的伪影问题；通过这种严格遵循光学先验原理的重构方式，确保了网络仅对光影分布进行提亮，而不改变人体皮肤纹理的本色，使得最终输出的增强画面肤色红润自然、立体感强，显著提升了用户的视觉体验。