一种直播视频背景替换方法

1.本发明属于数字图像处理技术领域，具体涉及一种直播视频背景替换方法。


背景技术：

2.随着计算机与网络通信技术的飞速发展，网络直播已经成为一种重要的信息传播方式，被广泛地用于网上购物、线上教育、游戏娱乐等场景，产生大量的经济效益，已经成为一个重要的互联网盈利点。可以取代传统的教学、工作模式，实现远程授课、会议交流，最大限度地降低沟通上的距离成本和信息成本，具有非常重要的实际应用价值。在网络直播中，由于直播环境一般是固定的，直播背景也是固定的；但是由于应用场景的要求，直播背景需要经常变化。因此，如何根据应用场景的需求，实时动态更换直播背景，成为一个非常有意义的课题。
3.在视频、图像背景替换方面已有部分研究成果，如公开号为cn108769721a 的中国专利提出了一种直播场景智能切换系统及其方法，该方法利用底层驱动捕捉屏幕动态变化区，再通过屏幕图像处理过滤器对输入的变化区域集合做优化合并，来区分视频的前景和背景；但在实际应用中，由于摄像头的位移，可能造成背景区域也随之位移，该方法仅仅利用视频的变化无法区分这种情况下的前景和背景区域。又如公开号为cn112911318a的中国专利提出了一种直播间背景替换方法、装置、电子设备及存储介质，该方法利用ai服务器对原始直播视频流进行图像分割，返回的图像遮罩，但该方法的图像分割效果粗糙，而且没有考虑多场景的适用性。公开号为cn112330579a的中国专利提出了一种视频背景更换方法、装置、计算机设备及计算机可读介质，该方法将视频转换成若干张图像，并对这些图像进行人脸识别及肢体动作识别，以得到人体区域，作为前景和背景的区分。在实际直播中，前景包括人体及其手持物品、动态海报、多种展示商品等，该方法仅仅把人体区域作为前景，无法满足直播间实际应用需求。
4.在理论研究方面，目前的研究成果大多面向监控视频中的背景提取，如文献[曹磊.基于sift算法的监控视频背景提取及移动目标检测[d].厦门大学,2018]、文献[唐佳林,王镇波,陈华春.视频交通流检测中的背景提取[j].山西电子技术,2011(04):39-40 46]以及文献[杨惠,韩其睿.视频监控中运动目标检测的背景提取及更新[j].计算机技术与发展,2012,22(12):80-82 86]都有提出相应的技术方案，但直播视频与监控视频不同，其场景中前景部分一般大多为人像，而且所占区域较大，肢体动作运动频率块、幅度大，用普通的适用于监控场景的背景检测方法，其准确度较低。


技术实现要素：

[0005]
鉴于上述，本发明提供了一种直播视频背景替换方法，能够满足各种不同应用场景下直播背景实时替换的需求，既能够达到较高的准确度，又不需要额外的数据和设备，有较好地普适性和灵活性。
[0006]
一种直播视频背景替换方法，包括如下步骤：
[0007]
(1)通过计算当前帧图像每个像素点的运动特征值m，得到背景候选点集合s1；
[0008]
(2)从集合s1中去掉空间孤立点，得到背景候选点集合s2；
[0009]
(3)对集合s2中每一像素点的区域局部稳定性进行判断，得到背景候选点集合s3；
[0010]
(4)对集合s3中每一像素点的区域色彩稳定度进行判断，得到背景候选点集合s4；
[0011]
(5)对集合s4中每一像素点的可信度加权值进行计算判断，得到背景候选点集合s5；
[0012]
(6)对集合s5之外的零散前景像素点的背景可信度进行计算判断，得到背景候选点集合s6；
[0013]
(7)将当前帧图像中集合s6内的所有像素点替换为背景图片中对应位置的像素点。
[0014]
进一步地，所述步骤(1)中通过以下公式计算像素点的运动特征值m，进而将运动特征值m小于特定阈值的像素点纳入背景候选点集合s1；
[0015][0016]
其中：y
p
为当前帧图像中任一像素点p在yuv色彩空间中的亮度分量值，为像素点p在当前帧图像前面第t帧图像中任一邻居像素点在yuv色彩空间中的亮度分量值，所述邻居像素点共有9个即前面第t帧图像中与像素点p对应相同位置的像素点以及该像素点周围的8个像素点，f
t
为当前帧图像前面第t帧图像对应的权重值。
[0017]
进一步地，所述步骤(2)的具体实现方式为：对于集合s1中的任一像素点，统计以该像素点为中心5
×
5大小的区域内属于s1的像素点数量，若数量小于3，则将该像素点视为空间孤立点并从s1中将其移除。
[0018]
进一步地，所述步骤(3)的具体实现方式为：对于集合s2中的任一像素点，确定以该像素点为中心7
×
7大小的区域q，通过以下公式计算区域q的局部稳定性d，若局部稳定性d小于特定阈值，则将该像素点纳入背景候选点集合s3；
[0019][0020]
其中：i表示区域q内属于s2的任一像素点，yi为像素点i在yuv色彩空间中的亮度分量值，y
i1
为前一帧图像中与像素点i对应相同位置的像素点在yuv色彩空间中的亮度分量值，x为区域q内属于s2的像素点数量。
[0021]
进一步地，所述步骤(4)的具体实现方式为：对于集合s3中的任一像素点，确定以该像素点为中心7
×
7大小的区域p，通过以下公式计算区域p的色彩稳定度duv，若色彩稳定度duv小于特定阈值，则将该像素点纳入背景候选点集合s4；
[0022]
[0023][0024]
其中：j表示区域p内属于s3的任一像素点，uj为像素点j在yuv色彩空间中的色度u分量值，vj为像素点j在yuv色彩空间中的色度v分量值，为前一帧图像中与像素点j对应相同位置的像素点在yuv色彩空间中的色度u分量值，为前一帧图像中与像素点j对应相同位置的像素点在yuv色彩空间中的色度v分量值，y为区域p内属于s3的像素点数量。
[0025]
进一步地，所述步骤(5)的具体实现方式为：对于集合s4中的任一像素点e，通过以下公式计算像素点e的可信度加权值c，若可信度加权值c大于特定阈值，则将像素点e纳入背景候选点集合s5；
[0026][0027]
其中：c
t
为当前帧图像前面第t帧图像中与像素点e对应相同位置像素点的可信度加权值，c
th
为当前帧图像前面第t帧图像中与像素点e对应相同位置像素点的上下左右任一像素点的可信度加权值，c
ti
为当前帧图像前面第t帧图像中与像素点e对应相同位置像素点的左上、左下、右上、右下任一像素点的可信度加权值，f
t
为当前帧图像前面第t帧图像对应的权重值，g1～g3均为给定权重值。
[0028]
进一步地，所述步骤(6)的具体实现方式为：对于当前帧图像中除集合s5 之外的任一像素点o，若像素点o的上下左右四个像素点均属于s5，则通过以下公式计算像素点o的背景可信度e，若背景可信度e小于特定阈值，则将像素点o加入至背景候选点集合s5中，依此遍历得到背景候选点集合s6；
[0029][0030]
其中：z表示以像素点o为中心3
×
3大小的区域，k表示区域z内属于s5的任一像素点，yk为像素点k在yuv色彩空间中的亮度分量值，为前一帧图像中与像素点k对应相同位置的像素点在yuv色彩空间中的亮度分量值，ck为像素点k的可信度加权值。
[0031]
基于上述技术方案，本发明具有以下有益技术效果：
[0032]
1.本发明只需要直播视频和背景图片就可以完成直播视频背景替换，具有很好的灵活性和普适性。
[0033]
2.本发明替换效果好，背景边界轮廓不明显。
[0034]
3.本发明算法复杂度较低，可以实时完成直播间背景替换，不影响直播的流畅度。
附图说明
[0035]
图1为本发明直播视频背景替换方法的流程示意图。
具体实施方式
[0036]
为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
[0037]
本发明直播视频背景替换方法的基本思路是：将整个图像分为前景和背景两部分，背景是基本静止不动的，前景是在变化的；以像素点为单位，通过比较相邻的若干帧图像中相同位置像素点的像素值，以及区域内像素点变化值的数理统计信息，判断该像素点属于前景还是背景，对每个像素点都进行归类后，得到背景区域，并用背景图片的同一区域内容替换原图像。本发明方法的具体流程如图1所示：
[0038]
(1)计算当前帧图像每个像素点的运动特征值m，得到背景候选点集合 s1。
[0039]
如果一个像素点属于背景区域，它的像素值应该基本不变。本发明在yuv 色彩空间内对图像进行处理，对图像内从上到下，从左到右，遍历每一个像素点，每个像素点的处理方法一致。从视频的第7帧图像开始，对于一个像素点a，本方法计算它的灰度分量y与前1帧相同位置像素点，以及上、下、左、右、左上、左下、右上、右下这8个点(若存在)的灰度分量y差值的绝对值，取其中的最小值，并乘以权重系数f1。用同样的方法对前2到6帧进行操作，对这6 个结果求和，得到像素点a的运动特征值m，如下式所示：
[0040][0041]
其中：y为像素点a的灰度分量值，y
t
为当前帧前面第t帧相同位置像素点、及其周围8个像素点的灰度分量值，f
t
为权重值；将m与阈值t1进行比较，若 m小于t1，则将像素点a归入背景像素点候选集合s1；反之，则将其归为前景像素点。
[0042]
(2)从s1中去掉空间孤立点，得到背景候选点集合s2。
[0043]
由于上一步背景像素点检测存在误差，可能把部分前景像素点误检为背景点，这部分点往往单独出现；依次以s1集合中的每个点为中心，统计5
×
5区域内属于s1集合的点的个数，如果小于3，则把该点从s1中去除；遍历s1集合中所有的点，得到背景像素点候选集合s2。
[0044]
(3)以s2中的每个像素点为中心，选取7
×
7的区域，判断该区域的局部稳定性，得到背景候选点集合s3。
[0045]
背景区域一般都是成片出现，而区域内的像素点受到外界的运动干扰都很相似，如摄像头的位移、抖动、遮挡等。因此依次以s2中的每个像素点为中心，选取7
×
7的区域，计算该区域内属于s2集合的像素点的运动相似度，得到局部稳定性d，以此来进一步筛选属于背景的像素点，如下式所示：
[0046][0047][0048]
其中：y为所选取的7
×
7区域内属于s2集合的像素点的y分量值，y1为前一帧相同位置像素的y分量值，x为所选取的7
×
7区域内属于s2集合的像素点个数。将d与阈值t2进行比较，若d小于t2，则将该像素点归入背景像素点候选集合s3；反之，则将其归为前景像素
点。
[0049]
(4)以s3中的每个像素点为中心，选取7
×
7的区域，计算该区域的色彩稳定度duv，得到背景候选点集合s4。
[0050]
在直播过程中，背景区域的色彩受到光照、间歇遮挡、摄像头焦点转移等影响，会有微弱变化，而对于属于背景区域的像素点，这些变化是一致的。因此依次以s3中的每个像素点为中心，选取7
×
7的区域，计算该区域内属于s2 集合的像素点的色彩变化相似度，得到色彩稳定度duv，以此来进一步筛选属于背景的像素点，如下式所示：
[0051][0052][0053][0054]
其中：u和v为所选取的7
×
7区域内属于s3集合的像素点的色度u和v分量值，u1和v1为前一帧相同位置像素的u和v分量值，x为所选取的7
×
7区域内属于s3集合的像素点个数。将duv与阈值t3进行比较，若duv小于t3，则将该像素点归入背景像素点候选集合s4；反之，则将其归为前景像素点。
[0055]
(5)计算s4中的每个像素点的可信度加权值c，得到背景候选点集合s5。
[0056]
背景区域在整个视频中的位置相对固定，因此属于背景区域的像素点的位置也相对固定，可以根据前面若干帧相同位置像素点的归属情况，来进一步筛选s4中属于背景的像素点。从第7帧开始，遍历s4中每一个像素点，与前6 帧比较，计算其可信度加权值c，如下式所示：
[0057][0058]
其中：t取值范围为[1,6]，c
t
为当前帧属于集合s4的像素点在前面第t帧相同位置像素点的可信度加权值，c
th
为当前帧前面第t帧相同位置像素点上下左右这四个像素点的可信度加权值，c
ti
为当前帧前面第t帧相同位置像素点左上、左下，右上和右下这四个像素点的可信度加权值，f
t
为权重值，g1、g2和g3为权重值。将c与阈值t4进行比较，若c大于t4，则将该像素点归入背景像素点候选集合s5；反之，则将其归为前景像素点，并将所有前景像素点的c值设为 0。同时，保留所有像素点的c值，供后续帧使用。
[0059]
(6)计算被s5中像素点包围的零散前景像素点的背景可信度e，得到背景候选点集合s6。
[0060]
属于s5集合像素点的包围区域内，可能存在零星的前景像素点，这部分像素点很有可能属于背景，需要进一步判断。如果一个前景像素点的上、下、左、右四个像素点都属于s5集合，则计算该素点的背景可信度e，计算这些像素点的背景可信度e，如下式所示：
[0061][0062]
其中：y为以该像素点为中心3
×
3区域内的属于s5集合的像素点的y分量值， y1为前一帧相同位置像素的y分量值，c为属于s5集合的像素点对应的可信度加权值。将e与阈值t5进行比较，若e小于t5，则将该像素点与集合s5合并，得到背景候选点集合s6；反之，则将其归为前景像素点。
[0063]
(7)将集合s6中的像素点替换为背景图片相应位置的像素点，对第7帧开始的每一帧进行以上操作，可以实现整个直播视频的实时背景替换。
[0064]
本实施方式中的参数设定值为：t1＝17.4，t2＝24.3，t3＝21.1，t4＝5.3， t5＝16.5，f1＝0.6，f2＝0.5，f3＝0.4，f4＝0.3，f5＝0.2，f6＝0.1，g1＝0.4，g2＝0.3，g3＝0.2。
[0065]
上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。