基于视频会议场景的多会场关键帧提取方法及系统与流程

1.本发明属于数字图像处理技术领域，尤其涉及基于视频会议场景的多会场关键帧提取方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.随着网络信息技术的发展，视频会议作为线上会议可以满足公司会议需求，各公司逐渐以视频会议取代了线下会议，在所有会议中占比逐年提高。
4.在视频会议召开过程中，由于会议效果的需求，主会场经常需要对分会场进行轮询，所谓轮询就是在主会场侧依次浏览分会场的上送画面。如以国家电网视频会议轮询视频为例，进行各项处理及操作。为了保证视频会议质量，需要对轮询视频中可能存在的问题进行检测，此时需要提取所有会场的一帧图像作为检测样本。
5.为了方便进行提取操作，定义会议轮询视频中相邻分会场进行转换操作时的前一帧图像，即转换会场前的最后一帧图像为关键帧。
6.传统方法提取所有会场的关键帧时，先求视频中每一帧图像的平均灰度值，再求相邻两帧图像的平均灰度值差的绝对值，与阈值比较。若平均灰度值差的绝对值大于阈值，则判定前一幅图像为关键帧并将其保存。这种方法在会场中有人员走动、会场亮度较低等情况下检测效果较差，准确率不能达到要求。
7.例如，专利号为cn110781843、发明人为施智平、发明名称为“课堂行为检测方法及电子设备”中提出了一种关键帧提取方法。该方法通过比较相邻视频帧的第一相似度来判别其是否为关键帧，其中第一相似度通过灰度直方图来计算。单纯使用灰度并不能充分利用所有的图像信息，且该方法在研究目标为课堂背景时并未针对变化不大的背景信息进行有针对性的改进，因此现有的该方法仅适用于视频帧数较少的情况，且对于人员走动等环境变化导致的误差无法有效识别。


技术实现要素：

8.为克服上述现有技术的不足，本发明提供了基于视频会议场景的多会场关键帧提取方法，解决在会场中有人员走动、个别会场偏黑等情况下检测效果较差的问题，针对视频会议轮询视频，准确、高效地提取出关键帧。
9.为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
10.第一方面，公开了基于视频会议场景的多会场关键帧提取方法，包括：
11.读取会议轮询视频；
12.对视频中每一帧图像，计算其对应的灰度图像；
13.在所有灰度图像中选取关键点，计算以其为中心的邻域的平均灰度值并将结果定义为关键点处的平均灰度值；
14.计算两幅连续灰度图像间关键点处的平均灰度值的差，并与灰度阈值相比较，若关键点处平均灰度值的差大于灰度阈值，则称该关键点为有效点，若有效点个数多于阈值，则判定前一幅图像为关键帧并保存。
15.进一步的技术方案，计算视频中每一帧图像对应的灰度图像时，将读取视频的第i帧和第i 1帧图像的红色、绿色、蓝色分量图像，将其按比例系数转化为对应的灰度图像。
16.进一步优选的技术方案，对视频中每一帧图像利用不同比例系数进行转化；将转化结果与该轮询视频中出现的分会场数量及包含该分会场名称信息的标签进行比对，从而得到各比例系数条件下的正确率以及视频会议场景下的最优比例系数。
17.进一步的技术方案，利用视频会议场景下的最优比例系数代入灰度化公式获得最优的灰度图像。
18.进一步的技术方案，在所有灰度图像中选取关键点，关键点选取时应遵循所选位置能反映体现会场环境特征、体现不同会场差异、不易受人员走动影响、分布均匀且离散的原则。
19.进一步的技术方案，所述关键点均匀且离散的分布在轮询视频图像左右两侧偏上的部分。
20.进一步的技术方案，针对灰度图像中四条边以及四个顶点上的像素，采用扩展的方式来补足缺少的像素，扩展时需对图像进行均匀扩展，使扩展的像素的值等于相距最近的边界像素的值，最终形成扩展图像。
21.进一步的技术方案，将相邻两帧图像相同位置的关键点的平均灰度值对应相减，并取绝对值，分别与阈值比较并计数，若计数结果大于有效点阈值，判定相邻两帧图像中前一帧图像为关键帧。
22.第二方面，公开了基于视频会议场景的多会场关键帧提取系统，包括：
23.图像转化模块，被配置为：对读取的会议轮询视频中每一帧图像，转化为对应的灰度图像；
24.平均灰度值计算模块，被配置为：在所有灰度图像中选取关键点，计算以其为中心的邻域的平均灰度值并将结果定义为关键点处的平均灰度值；
25.关键帧提取模块，被配置为：计算两幅连续灰度图像间关键点处的平均灰度值的差，并与灰度阈值相比较，若关键点处平均灰度值的差大于灰度阈值，则称该关键点为有效点，若有效点个数多于阈值，则判定前一幅图像为关键帧并保存。
26.以上一个或多个技术方案存在以下有益效果：
27.本发明该方法在传统方法的基础上，结合视频会议场景特点，进行了改进。首先将检测对象由整幅图像改为关键点，减少了由于会议时人员走动等特殊情况造成的误差，且大大减少了计算量，提升了检测效率；其次针对视频会议场景这一相对固定的背景条件进行遍历测试，得到了该场景下灰度化公式的最优比例系数，提升了检测正确率。
28.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
29.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示
意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
30.图1为本发明实施例方法流程图。
具体实施方式
31.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
32.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。
33.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
34.关键帧的定义为：
35.会议轮询视频中相邻分会场进行转换操作时的前一帧图像，即会场转换前的最后一帧图像称为关键帧。
36.实施例一
37.本实施例公开了一种基于视频会议场景的多会场关键帧提取方法，通过处理会议轮询视频来提取轮询视频中包含的各会场的关键帧。
38.在识别关键帧属于哪一会场时，由于轮询顺序是固定的，按照顺序比较即可得知所属的会场。
39.该方法步骤如下：
40.step1：对会议轮询视频中每一帧图像，按照当前场景下的红色、绿色、蓝色分量图像比例计算其对应的灰度图像；
41.step2：遵循位置能明显反映体现会场环境特征、体现不同会场差异、不易受人员走动影响、分布均匀且离散的原则；在所有上述灰度图像中选取关键点并计算以关键点为中心的3
×
3像素点邻域的平均灰度值，将结果定义为关键点处的平均灰度值；定义灰度阈值t0，作为判别关键点是否为有效点的标准；定义有效点个数阈值t1，作为判别相邻两帧图像是否为不同会场图像的标准；每幅图像中确定4个关键点，4个关键点位置在每一图像中均具相同的位置处；
42.step3：计算两幅连续图像间对应关键点处的平均灰度值的差，并与阈值t0比较，若该差值大于灰度阈值t0，则称前一个关键点有效并记作有效点；统计有效点的个数，若有效点的个数多于阈值t1，则判定前一幅图像为关键帧并保存。
43.本发明的具体实施例中，提取关键帧具体方法为：
44.1)读取视频的第i帧和第i 1帧图像的红色、绿色、蓝色分量图像，将其按比例转化为对应的灰度图像，将一幅红、绿、蓝色彩图像转化为灰度图像时按照以下公式：
45.li＝0.299
·ri
0，587
·gi
0.114bi，i＝1，2，3，...，n
46.其中，li为第i帧图像对应的灰度图像矩阵，ri、gi、bi分别表示第i帧图像在红、绿、蓝色彩空间中的红色、绿色、蓝色分量图像矩阵，i表示帧数，n表示视频中所有帧的数量；
47.设视频内图像尺寸为m*n，则li、ri、gi、bi均为m*n维矩阵；
48.轮询视频中各会场布置相似的特点：每一幅图像均包括包含会场名称信息的挡板以及统一的背景墙。针对轮询视频的特点，对视频中每一帧图像测试了不同比例系数条件
下提取结果；将提取结果与该轮询视频中出现的分会场数量及包含该分会场名称信息的标签进行比对，从而得到各比例系数条件下的正确率以及视频会议场景下的最优比例系数；
49.具体的，在各比例下的灰度图像中选取关键点，计算关键点邻域内的平均灰度值，再计算两幅连续图像间关键点处灰度差值，与阈值比较并判定前一幅图像是否为关键帧。遍历完整个视频后，将关键帧的提取结果与正确信息相比较，可得到各比例系数的正确率，从而得到最优比例系数。
50.设最优比例系数为k/(k j l)、j/(k j l)、l/(k j l)，则选用最优比例系数的灰度化公式可表示为：
51.li＝(k
·ri
j
·gi
l
·bi
)/(k j l)，i＝1，2，3，...，n
52.确定最优比例系数的过程：
53.为确定最优比例系数，可将该问题等效为研究红色、绿色、蓝色分量图像在提取关键帧的过程，计算时应遍历各比例系数，再结合不同比例下的测试结果，分析其正确率，即：将关键帧的提取结果与正确信息相比较，即将提取结果与该轮询视频中出现的分会场数量及包含该分会场名称信息的标签进行比对，得到最适合视频轮询会议的比例系数，具体过程为：
54.a.设红色、绿色、蓝色分量图像比例为1∶1∶1，提取轮询视频关键帧，将提取结果与该轮询视频中出现的分会场数量及包含该分会场名称信息的标签进行比对，从而得到该比例下的提取关键帧的正确率；
55.b.将红色、绿色、蓝色分量图像比例从1∶1∶1至4∶4∶4进行组合遍历测试，共计64种组合情况，得到64组提取结果；将各组提取结果与该轮询视频中出现的分会场数量及标签进行比对，重点关注1∶1∶4、1∶4∶1、1∶4∶4、4∶1∶1、4∶1∶4、4∶4∶1几种比例对应结果；
56.c.将上述结果与该轮询视频中出现的分会场数量及标签进行比对，发现蓝色分量图像占比较小时对于关键帧提取结果无异常，而红色、绿色分量图像占比较小时提取过程出现了一定的误差，可知红色、绿色分量图像对关键帧提取正确率影响较大，蓝色分量图像对关键帧提取正确率影响较小，因此选择红色、绿色、蓝色比例为4∶4∶1作为最优比例，即k＝4，j＝4，l＝1；
57.确定最优比例系数后，代入灰度化公式：
[0058][0059]
可得第i帧图像对应的灰度图像矩阵；
[0060]
2)在灰度图像中选取的4个位置相同的关键点，关键点选取时应遵循所选位置能明显反映体现会场环境特征、体现不同会场差异、不易受人员走动影响、分布均匀且离散的原则。经网上轮询视频画面的分析可以得知，人员走动多出现于画面下半部分，且由于要求视频画面中上方为固定背景墙、下半部分为写有分会场名称的挡板，会场环境特征主要由视频左上方区域及右上方区域体现，因此关键点应均匀且离散的分布在图像左右两侧偏上的部分。
[0061]
上述关键点的选取是经过测试后发现4个点是保证正确率前提下最少的点数。
[0062]
计算以关键点为中心的3
×
3像常点邻域的平均灰度值：
[0063][0064]
其中表示第x行、第y列像素的3
×
3邻域的灰度平均值，l(x，y)表示第x行、第y列像素的灰度值；
[0065]
对于灰度图像中不满足上述公式的边界像素，即四条边以及四个顶点上的像素，采用扩展的方式来补足缺少的像素。扩展时需对图像进行均匀扩展，使扩展的像素的值等于相距最近的边界像素的值，最终形成扩展图像。因为原图像尺寸为m*n，所以扩展后图像尺寸为(m 2)*(n 2)；
[0066]
一般情况下基于关键点选取的规则，并不会选取边界元素作为关键点，但是，若选取的关键点中包含边界像素点，则需要利用扩展图像。由于边界像素点无法满足上述公式，因此需要扩展图像才能代入公式中进行计算。
[0067]
3)将相邻两帧图像相同位置的4个关键点的平均灰度值对应相减，并取绝对值，即：
[0068][0069]
其中，am表示第m个关键点的3
×
3邻域平均灰度值的差的绝对值，表示第i帧图像中第x行、第y列像素的3
×
3像素邻域灰度平均值；
[0070]
4)将a1，...，a4分别与阈值t0比较并计数，若计数结果大于t1，则判定第i帧图像为关键帧，并保存；
[0071]
5)读取第i 2帧图像，对该帧进行上述处理并与第i 1帧图像比较，重复上述步骤1)至步骤5)的过程直至倒数二帧图像比较结果结束为止。
[0072]
实施例二
[0073]
本实施例的目的是提供一种计算装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
[0074]
实施例三
[0075]
本实施例的目的是提供一种计算机可读存储介质。
[0076]
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行上述方法的步骤。
[0077]
实施例四
[0078]
本实施例的目的是提供了基于视频会议场景的多会场关键帧提取系统，包括：
[0079]
图像转化模块，被配置为：对读取的会议轮询视频中每一帧图像，转化为对应的灰度图像；
[0080]
平均灰度值计算模块，被配置为：在所有灰度图像中选取关键点，计算以其为中心的邻域的平均灰度值并将结果定义为关键点处的平均灰度值；
[0081]
关键帧提取模块，被配置为：计算两幅连续灰度图像间关键点处的平均灰度值的差，并与灰度阈值相比较，若关键点处平均灰度值的差大于灰度阈值，则称该关键点为有效点，若有效点个数多于阈值，则判定前一幅图像为关键帧并保存。
[0082]
还包括：最优系数测试模块，用于计算最优比例系数。
[0083]
确定最优比例系数时：可将该问题等效为研究红色、绿色、蓝色分量图像在提取关键帧的过程，计算时应遍历各比例系数，再结合不同比例下的测试结果，分析其正确率，即：将关键帧的提取结果与正确信息相比较，即将提取结果与该轮询视频中出现的分会场数量及包含该分会场名称信息的标签进行比对，得到最适合视频轮询会议的比例系数
[0084]
以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
[0085]
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
[0086]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。