一种基于图像增强的直播画面优化方法与流程
本发明涉及图像处理,具体为一种基于图像增强的直播画面优化方法。
背景技术:
1、随着移动互联网带宽的提升与流媒体直播平台的兴起,多人实时连麦互动已成为各大网络直播系统(如娱乐互动、网络授课、电商带货等)的标准配置。在多人连麦场景下,多个位于不同地理位置、处于不同光照环境中的主播,通过各自的终端采集设备进行音视频推送。由于不同摄像头的感光传感器素质、自动白平衡调节机制、曝光灵敏度存在差异,且各主播所处的物理环境光源(如色温、光照强度)大相径庭,导致各路原始视频流在色彩、亮度、对比度以及肤色表现上呈现出巨大的差异。
2、当直播服务器或客户端播放器将这多路独立的视频流拼接在一个画幅内合成单个连麦画面时,由于各区域画面之间色彩饱和度不一、色温冷暖失调以及明暗曝光落差显著,整体画面会产生极强烈的视觉不协调感与物理割裂感。
3、目前,现有的图像或视频和谐化方法大多针对离线的绿幕抠像合成场景,且多采用逐帧独立优化的策略。然而,在连麦直播这种对实时性要求极高、带宽和计算资源受限的实时流媒体传输场景下,若将多路高清视频流完全在云端服务器中进行解码以及逐像素色彩重构,可能会导致云端服务器面临内存带宽瓶颈,难以支撑高并发连麦直播间的实时托管;若完全由主播终端执行复杂的时空一致性校正,由于各终端计算性能残缺不一,且单个终端缺乏全局多路画面的视觉上下文信息,无法在本地实现全局视觉一致性对齐。同时,现有的逐帧独立和谐化处理极易产生由于参数跳变带来的帧间色调与亮度闪烁,且传统的全局校正极易导致主播肤色发生失真(如偏绿、偏蓝等)。
技术实现思路
1、为解决上述问题,本发明提供一种基于图像增强的直播画面优化方法。
2、一种基于图像增强的直播画面优化方法,包括以下步骤:
3、在采集到直播视频流后,实时提取视频帧画面的特征元数据,并将所述特征元数据与原始视频流打包传输至云端服务器;所述云端服务器基于所述特征元数据确定基准画面;
4、基于采集的原始视频流,直播终端通过本地轻量化模型执行肤色区域提取,生成包含连续权重分布的粗肤色保护掩模并上传至云端服务器;所述云端服务器基于接收到的粗肤色保护掩模,通过时序双边滤波生成高精度的全局肤色保护掩模;
5、所述云端服务器以确定的基准画面为调色参考,利用时空联合一致性约束算法解算非基准画面的色彩变换关系,生成时序平滑的色彩映射参数,其中所述色彩映射参数包括一阶线性色调变换矩阵和亮度偏移向量;
6、所述云端服务器将解算的色彩映射参数与所述全局肤色保护掩膜进行像素级叠加,在三维色彩空间中重采样构建三维色彩查找表3d lut,并将其封装为压缩的3d lut参数更新包下发至播放终端;所述播放终端基于所述参数更新包,对待和谐化视频帧进行色彩转换;
7、所述云端服务器根据预设的连麦版面布局,对待和谐化后的视频帧与基准画面的视频帧进行空间拼接,并在拼接的重叠边界区域进行羽化融合,输出视觉一致性连麦直播画面。
8、优选地,所述特征元数据具体包括:视频帧画面的平均曝光亮度、色彩丰富度、帧间时序运动稳定性和当前帧的编码帧类型;
9、其中,所述平均曝光亮度、色彩丰富度、帧间时序运动稳定性均基于对采集的直播视频流中的视频帧进行双线性下采样所得到的低分辨率图像计算得到。
10、优选地,所述色彩丰富度的计算方法为:
11、提取视频帧图像在红、绿、蓝三个色彩通道上的灰度直方图,并基于灰度直方图统计各灰度值在各通道中的出现概率;
12、根据各灰度值在各通道中的出现概率计算各色彩通道的通道信息熵,并将各色彩通道的通道信息熵进行算数平均求和,作为色彩丰富度指标,具体计算公式为:
13、式中,c表示色彩通道,g表示灰度值,表示灰度值g在通道c中的出现概率,为防止零对数的平滑因子。
14、优选地,所述帧间时序运动稳定性的计算方法为:
15、获取当前视频帧的编码帧类型,并基于所述编码帧类型分别采用以下方式计算运动稳定性:
16、当当前帧为非关键帧p帧或b帧时,从硬件视频编码器的宏块级压缩元数据中读取当前帧中各个宏块的运动矢量,并计算运动矢量的模长方差作为帧间时序运动稳定性指标;
17、当当前帧为关键帧i帧时,计算当前帧与上一编码帧在低分辨率下对应y通道分量的均方误差作为帧间时序运动稳定性指标。
18、优选地,所述云端服务器基于所述特征元数据确定基准画面,具体包括:
19、基于直播终端上传的特征元数据,获取各路直播流视频帧的平均曝光亮度、色彩丰富度和帧间时序运动稳定性;
20、基于所述各路直播流视频帧的平均曝光亮度、色彩丰富度和帧间时序运动稳定性计算各路视频流的综合画面质量得分,并将得分最高的一路直播流作为参考的基准画面;
21、其中,所述综合画面质量得分的计算公式为:
22、;
23、式中,为平均曝光亮度,为预设的最佳曝光亮度目标值,为帧间时序运动稳定性,、和为预设的特征权重系数。
24、优选地,所述云端服务器以确定的基准画面为调色参考,解算非基准画面的色彩变换关系,生成时序平滑的色彩映射矩阵,具体采用时空联合一致性约束算法,其中:
25、在空间维度上,所述云端服务器通过一阶线性色调变换矩阵与亮度偏移向量建立待和谐化视频帧映射至基准画面的空间映射损失项;
26、在时间维度上,所述云端服务器采用基于raft深度学习光流网络计算相邻帧与当前帧之间的稠密光流运动向量,并构建时序一致性损失项;
27、所述云端服务器通过最小化联合损失函数,解算得到满足帧间时序色彩映射一致性的变换矩阵参数;
28、其中,所述联合损失函数表示为:
29、;
30、式中,为空间映射损失项,为时序一致性损失项,为预设的权重系数。
31、优选地,所述云端服务器将解算的色彩映射参数与所述全局肤色保护掩膜进行像素级叠加,在三维色彩空间中重采样构建三维色彩查找表3d lut,具体包括:
32、在三维rgb色彩空间内,均匀构建33×33×33的三维立体网格控制节点;
33、基于所述色彩映射参数和全局肤色保护掩模,计算每个节点的和谐化目标值,作为3d lut网格节点重构的映射色彩输出;
34、其中,所述节点的和谐化目标值的计算公式为:
35、;
36、式中,为全局肤色保护掩膜在全图上的平均概率值,为节点的归一化输入色彩值,和分别为一阶线性色调变换矩阵和亮度偏移向量。
37、相比于现有技术,本发明的优点在于:
38、通过将高清逐像素渲染下放到边缘端或本地gpu,云端服务器仅处理变换矩阵和肤色掩膜等轻量级参数;3d lut在云端经时序差分、色度下采样及活跃色域剪枝后体积大幅压缩,消除了云端服务器算力与高带宽传输瓶颈。
39、在色彩和谐化解算过程中引入稠密光流短程一致性约束,并建立色彩变换参数在时间轴上的平滑正则化,解决了传统逐帧独立对齐由于参数跳变导致的视频闪烁现象。
40、结合移动端轻量级高斯混合模型建模与云端多帧双边滤波重构,提取出高精度的连续型全局肤色保护掩膜,使得人脸及核心皮肤区域在背景冷暖调色和白平衡对齐中保持色彩恒常性,缓解了主播面部的病态偏色。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com