运用于课堂录播中的运动侦测方法、装置、设备以及介质与流程

1.本技术涉及现代化教学系统的技术领域，尤其是涉及一种运用于课堂录播中的运动侦测方法、装置、设备以及介质。


背景技术：

2.目前课堂录播已广泛应用于现代教学系统当中，课堂录播已成为评估教师教学水平、强化学生学习内容的必备设备。目前有一种方法，采用教师机拍摄教师区全景视频，采用学生机拍摄学生区全景视频，然后对教师区全景视频和学生区全景视频进行运动侦测，若检测出运动目标，则获取运动目标的位置即中心坐标，基于中心坐标对出现运动目标的教师区全景视频和/或学生区全景视频进行抠图处理，得到包含运动目标的特写视频，通过录播机对特写视频、教师区全景视频和学生区全景视频进行轮换切换播放。但是运动侦测过程中，需要对教师区全景视频和学生区全景视频的每一帧画面进行全面检测，检测量大，效率低。


技术实现要素：

3.为了在课堂录播中实现高效率地运动侦测，本技术提供一种运用于课堂录播中的运动侦测方法、装置、设备以及介质。
4.第一方面，本技术提供一种运用于课堂录播中的运动侦测方法，采用如下的技术方案：一种运用于课堂录播中的运动侦测方法，包括：获取教师区全景视频和学生区全景视频；获取所述教师区全景视频的第一坐标组，基于所述第一坐标组在所述教师区全景视频中划分出第一探测区域；获取所述学生区全景视频的第二坐标组，基于所述第二坐标组在所述学生区全景视频中划分出第二探测区域；对所述第一探测区域和第二探测区域进行运动侦测。
5.通过采用上述技术方案，在教师机的拍摄画面中，不仅包含了教师讲台区域，还包含了天花板的部分区域，以及教师讲台和学生区的交界区域，而且运动侦测通常只需对人的上半身进行侦测即可，无需处理人的下半身画面，因此，在教师机拍摄画面中，将天花板的部分区域、教师讲台和学生区的交界区域、人的下半身活动区域去除，留下的部分就是第一探测区域；学生的活动区域通常为课桌的过道，学生通常还会起立回答问题，在学生起立过程中，会被判定为运动目标，为了排除坐着的学生的运动干扰，划定第二探测区域；仅对第一探测区域和第二探测区域进行运动侦测，不仅能够大大降低工作量，提高工作效率，还能排除坐着的学生的运动干扰。
6.第二方面，本技术提供另一种运用于课堂录播中的运动侦测方法，采用如下的技术方案：一种运用于课堂录播中的运动侦测方法，包括：
获取教师区全景视频和学生区全景视频；获取所述教师区全景视频的第三坐标组，基于所述第三坐标组在所述教师区全景视频中划分出第一探测屏蔽区域；获取所述学生区全景视频的第四坐标组，基于所述第四坐标组在所述学生区全景视频中划分出第二探测屏蔽区域；对第一非重合区域和第二非重合区域进行运动侦测；其中，所述第一非重合区域为所述教师区全景视频和第一探测屏蔽区域的非重合部分，所述第二非重合区域为所述学生区全景视频和第二探测屏蔽区域的非重合部分。
7.通过采用上述技术方案，对教师区全景视频进行运动侦测时，常常会遇到需屏蔽探测某区域的情况，比如，教师机拍摄的画面内如果有幻灯片放映，幻灯片变化会干扰对运动目标的侦测，因此划定第一探测屏蔽区域，减少干扰；对学生区全景视频进行运动侦测时，也常常会遇到需屏蔽探测某区域的情况，例如吊灯的灯光干扰，因此划定第二探测屏蔽区域，减少干扰；因此，仅对第一非重合区域和第二非重合区域进行运动侦测，不仅能够大大降低工作量，提高设备工作效率，还能减少对运动侦测的干扰，提高侦测精准度。
8.第三方面，本技术提供又一种运用于课堂录播中的运动侦测方法，采用如下的技术方案：一种运用于课堂录播中的运动侦测方法，包括：获取教师区全景视频和学生区全景视频；获取所述教师区全景视频的第一坐标组和第三坐标组，基于所述第一坐标组在所述教师区全景视频中划分出第一探测区域，基于所述第三坐标组在所述教师区全景视频中划分出第一探测屏蔽区域；获取所述学生区全景视频的第二坐标组和第四坐标组，基于所述第二坐标组在所述学生区全景视频中划分出第二探测区域，基于所述第四坐标组在所述学生区全景视频中划分出第二探测屏蔽区域；对第三非重合区域和第四非重合区域进行运动侦测；其中，所述第三非重合区域为所述第一探测区域和第一探测屏蔽区域的非重合部分，所述第四非重合区域为所述第二探测区域和第二探测屏蔽区域的非重合部分。
9.通过采用上述技术方案，在教师机的拍摄画面中，不仅包含了教师讲台区域，还包含了天花板的部分区域，以及教师讲台和学生区的交界区域，而且运动侦测通常只需对人的上半身进行侦测即可，无需处理人的下半身画面，因此，在教师机拍摄画面中，将天花板的部分区域、教师讲台和学生区的交界区域、人的下半身活动区域去除，留下的部分就是第一探测区域；对第一探测区域进行运动侦测时，也常常会遇到需屏蔽探测某区域的情况，比如，教师机拍摄的画面内如果有幻灯片放映，幻灯片变化会干扰对运动目标的侦测，因此划定第一探测屏蔽区域，减少干扰；学生的活动区域通常为课桌的过道，学生通常还会起立回答问题，在学生起立过程中，会被判定为运动目标，为了排除坐着的学生的运动干扰，划定第二探测区域；对第二探测区域进行运动侦测时，也常常会遇到需屏蔽探测某区域的情况，例如吊灯的灯光干扰，因此划定第二探测屏蔽区域，减少干扰；仅对第一探测区域和第一探测屏蔽区域的第三非重合区域、第二探测区域和第二探测屏蔽区域的第四非重合区域进行运动侦测，能够大大降低工作量，提高设备工作效率，提高侦测精准度。
10.优选的，所述对第三非重合区域和第四非重合区域进行运动侦测，包括：
采用vda算法中的帧差法，分别对所述第三非重合区域和第四非重合区域进行运动侦测。
11.优选的，在所述对第三非重合区域和第四非重合区域进行运动侦测之后，包括：根据所述第三非重合区域中的运动目标，对所述教师区全景视频进行抠图，得到教师区特写视频；根据所述第四非重合区域中的运动目标，对所述学生区全景视频进行抠图，得到学生区特写视频；根据预设的切换策略，对所述教师区全景视频、教师区特写视频、学生区全景视频和学生区特写视频进行切换录制，得到课堂视频。
12.通过采用上述技术方案，教师区特写视频由教师区全景视频抠图获取，学生区特写视频由学生区全景视频抠图获取，因此，只需两台摄像设备分别拍摄教师区全景视频和学生区全景视频即可，无需增设教师特写的拍摄设备和学生特写的拍摄设备；课堂视频由教师区全景视频、教师区特写视频、学生区全景视频和学生区特写视频切换录制而来，切换录制的设备只需录播机即可；综上所述，本技术只需两台摄像设备和一个录播机就能完成教师区全景视频、教师区特写视频、学生区全景视频、学生区特写视频和课堂视频的录制，不仅减少教室内的布线繁杂度，还大大降低课堂录播的成本，满足了课堂录播的设备一体化的功能需求。
13.第四方面，本技术提供一种运用于课堂录播中的运动侦测装置，采用如下的技术方案：一种运用于课堂录播中的运动侦测装置，包括，获取模块，用于获取教师区全景视频和学生区全景视频；第一划分模块，用于获取所述教师区全景视频的第一坐标组和第三坐标组，基于所述第一坐标组在所述教师区全景视频中划分出第一探测区域，基于所述第三坐标组在所述教师区全景视频中划分出第一探测屏蔽区域；第二划分模块，用于获取所述学生区全景视频的第二坐标组和第四坐标组，基于所述第二坐标组在所述学生区全景视频中划分出第二探测区域，基于所述第四坐标组在所述学生区全景视频中划分出第二探测屏蔽区域；以及，运动侦测模块，用于对第三非重合区域和第四非重合区域进行运动侦测；其中，所述第三非重合区域为所述第一探测区域和第一探测屏蔽区域的非重合部分，所述第四非重合区域为所述第二探测区域和第二探测屏蔽区域的非重合部分。
14.第五方面，本技术提供一种计算机设备，采用如下的技术方案：一种计算机设备，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行第一方面任一项所述的运用于课堂录播中的运动侦测方法的计算机程序。
15.第六方面，本技术提供一种计算机可读存储介质，采用如下的技术方案：一种计算机可读存储介质，存储有能够被处理器加载并执行第一方面任一项所述的运用于课堂录播中的运动侦测方法的计算机程序。
附图说明
16.图1是本技术实施例提供的一种运用于课堂录播中的运动侦测方法的流程示意
图。
17.图2是本技术实施例提供的第一探测区域的示意图。
18.图3是本技术实施例提供的第二探测区域的示意图。
19.图4是本技术实施例提供的另一种运用于课堂录播中的运动侦测方法的流程示意图。
20.图5是本技术实施例提供的第一探测屏蔽区域的示意图。
21.图6是本技术实施例提供的第二探测屏蔽区域的示意图。
22.图7是本技术实施例提供的又一种运用于课堂录播中的运动侦测方法的流程示意图。
23.图8是本技术实施例提供的第一探测区域和第一探测屏蔽区域的示意图。
24.图9是本技术实施例提供的第二探测区域和第二探测屏蔽区域的示意图。
25.图10是本技术实施例提供的现有的课堂录播系统的示意图。
26.图11是本技术实施例提供的课堂录播系统的示意图。
27.图12是本技术实施例提供的运用于课堂录播中的运动侦测装置的结构框图。
28.图13是本技术实施例提供的计算机设备的结构示意图。
具体实施方式
29.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。
30.本实施例提供一种运用于课堂录播中的运动侦测方法，如图1所示，该方法的主要流程描述如下（步骤s101～s103）：步骤s101：获取教师区全景视频和学生区全景视频。
31.其中，教师区全景视频由教师机拍摄而来，教师机一般安装于教室后方，镜头对准教师讲台区域；学生区全景视频由学生机拍摄而来，学生机为拍摄学生区全景视频的摄像机，学生机一般安装于教室前方黑板一侧，镜头对准教室内的学生区域。
32.步骤s102：获取教师区全景视频的第一坐标组，基于第一坐标组在教师区全景视频中划分出第一探测区域；获取学生区全景视频的第二坐标组，基于第二坐标组在学生区全景视频中划分出第二探测区域。
33.例如，参照图2和图3，第一探测区域和第二探测区域均为矩形，则第一坐标组和第二坐标组均由四个角坐标组成；其中，第一坐标组和第二坐标组均的四个角坐标由人工设置，当然，也可以由机器检测完成。教师通常处于教师讲台区域的中间位置，若教师走动，则移动状态基本体现在图2中的第一探测区域；学生的活动区域通常为课桌的过道，学生通常还会起立回答问题，在学生起立过程中，会被判定为运动目标，影响对运动目标的侦测，当排除坐着的学生之后，学生的移动范围和移动状态基本体现在参照图3中的第二探测区域。因此，通过划分第一探测区域和第二探测区域，降低工作量，排除坐着的学生的运动干扰。
34.步骤s103：对第一探测区域和第二探测区域进行运动侦测。
35.本实施例中，采用海思的vda算法中的帧差法，分别对第一探测区域和第二探测区域进行运动侦测。
36.在教师区全景视频中划分出第一探测区域之后，教师区图像中均设置有第一探测
区域；其中，教师区图像为教师区全景视频中的图像帧；同理，在学生区全景视频中划分出第二探测区域之后，学生区图像中均设置有第二探测区域；其中，学生区图像为学生区全景视频中的图像帧。
37.其中，对第一探测区域进行运动侦测的方法为：通过对教师区图像的第一探测区域进行侦差分析，确定教师区图像中是否存在运动目标。例如，对接收的教师区全景视频进行实时处理，每得到一帧教师区图像，就对新教师区图像的第一探测区域进行侦差分析，当处理到第100帧图像时，检测出第99帧图像和第100帧图像中出现运动目标，则确定教师区全景视频在第99帧图像开始出现运动目标。
38.同理，对第二探测区域进行运动侦测的方法和对第一探测区域进行运动侦测的方法一致，在此不再赘述。
39.值得注意的是，若教师移动至学生区，则将教师拍摄进学生区全景视频中进行运动侦测，同理，若学生移动至教师区，则将学生拍摄进教师区全景视频中进行运动侦测。
40.进一步地，还需预先设置探测灵敏度来精确获取运动目标的位置即中心坐标，探测灵敏度的设置包括：运动阈值和背景更新权重值；其中，运动阈值为判断目标是否运动的限定值，背景更新权重值与运动阈值类似，背景更新权重值为判断是否进行画面背景变化分析的值；进一步地，还设置最小运动面积和目标间隔阈值；其中，最小运动面积为判断目标是否运动的最小面积，小于最小运动面积的画面运动不进行分析处理；当然教室内也会存在多目标运动的情况，因此需设置目标间隔阈值，大于目标间隔阈值的两块运动区域会被认为双运动目标，小于该阈值的两块运动区域被认为单运动目标，同理，进而能够判定多运动目标。
41.本技术还提供第二种运用于课堂录播中的运动侦测方法，如图4所示，该方法的主要流程描述如下（步骤s201～s203）：步骤s201：获取教师区全景视频和学生区全景视频。
42.本实施例中的步骤s201与步骤s101的方法原理一致，在此不再赘述。
43.步骤s202：获取教师区全景视频的第三坐标组，基于第三坐标组在教师区全景视频中划分出第一探测屏蔽区域；获取学生区全景视频的第四坐标组，基于第四坐标组在学生区全景视频中划分出第二探测屏蔽区域。
44.例如，参照图5和图6，第一探测屏蔽区域和第二探测屏蔽区域均为矩形，则第三坐标组和第四坐标组均由四个角坐标组成；其中，第一坐标组和第二坐标组均的四个角坐标由人工设置，当然，也可以由机器检测完成。在对教师区全景视频和学生区全景视频进行运动侦测时，常常会遇到需屏蔽探测某区域的情况；比如，中心坐标包括第一中心坐标和第二中心坐标，其中，第一中心坐标为第一探测区域中运动目标的中心坐标，第二中心坐标为第二探测区域中运动目标的中心坐标；教师机拍摄的画面内如果有幻灯片放映，幻灯片变化会干扰对运动目标的检测和对第一中心坐标的计算，因此划定第一探测屏蔽区域，减少幻灯片等事物干扰；学生机拍摄的画面内如果有吊灯闪烁，吊灯闪烁的灯光会干扰对运动目标的检测和对第二中心坐标的计算，因此划定第二探测屏蔽区域，减少吊灯等事物干扰。
45.步骤s203：对第一非重合区域和第二非重合区域进行运动侦测；其中，第一非重合区域为对教师区全景视频和第一探测屏蔽区域的非重合部分，第二非重合区域为学生区全景视频和第二探测屏蔽区域的非重合部分。
46.本实施例中的步骤s203与步骤s103的方法原理一致，在此不再赘述。
47.对于第一探测屏蔽区域和第二探测屏蔽区域不进行运动侦测，仅对第一非重合区域和第二非重合区域进行运动侦测，使得运动侦测的画面面积减少，因此，通过设置第一探测屏蔽区域和第二探测屏蔽区域，不仅能减少干扰，还能大大降低运动侦测的工作量。
48.本技术还提供第三种运用于课堂录播中的运动侦测方法，如图7所示，该方法的主要流程描述如下（步骤s301～s304）：步骤s301：获取教师区全景视频和学生区全景视频。
49.本实施例中的步骤s301与步骤s101的方法原理一致，在此不再赘述。
50.步骤s302：获取教师区全景视频的第一坐标组和第三坐标组，基于第一坐标组在教师区全景视频中划分出第一探测区域，基于第三坐标组在教师区全景视频中划分出第一探测屏蔽区域。
51.例如，参照图8，第一探测区域和第一探测屏蔽区域均为矩形，设置第一探测区域的方法原理和步骤s102的方法原理一致，设置第一探测屏蔽区域的的方法原理和步骤s202的方法原理一致，在此不再赘述。
52.步骤s303：获取学生区全景视频的第二坐标组和第四坐标组，基于第二坐标组在学生区全景视频中划分出第二探测区域，基于第四坐标组在学生区全景视频中划分出第二探测屏蔽区域。
53.例如，参照图9，第二探测区域和第二探测屏蔽区域均为矩形，设置第二探测区域的方法原理和步骤s102的方法原理一致，设置第二探测屏蔽区域的的方法原理和步骤s202的方法原理一致，在此不再赘述。
54.步骤s304：对第三非重合区域和第四非重合区域进行运动侦测；其中，第三非重合区域为第一探测区域和第一探测屏蔽区域的非重合部分，第四非重合区域为第二探测区域和第二探测屏蔽区域的非重合部分。
55.本实施例中的步骤s304与步骤s103的方法原理一致，在此不再赘述。
56.进一步地，在对教师区全景视频和学生区全景视频进行运动侦测之后，还可以根据第三非重合区域中的运动目标，对教师区全景视频进行抠图，得到教师区特写视频；根据第四非重合区域中的运动目标，对学生区全景视频进行抠图，得到学生区特写视频；根据预设的切换策略，对教师区全景视频、教师区特写视频、学生区全景视频和学生区特写视频进行切换录制，得到课堂视频。
57.其中，根据第三非重合区域中的运动目标，对教师区全景视频进行抠图，得到教师区特写视频，包括：逐帧判断教师区图像中的第三非重合区域是否存在运动目标；若是，则获取第一中心坐标，根据第一中心坐标，对教师区图像进行匀速追踪抠图，得到第一图像；若否，则采用第一预设方法对教师区图像中进行抠图，得到第二图像，具体的，在课堂开始时，若教师区全景视频中没有运动目标，则对教师区图像中的第一预设区域进行抠图；若教师区全景视频中出现运动目标，运动目标又消失时，抠图位置保持运动目标消失时的抠图位置不变，等到出现新的运动目标时，抠图位置根据新的运动目标的坐标发生变化；按照教师区全景视频的时序，将第一图像和第二图像融合为教师区特写视频。
58.其中，根据第四非重合区域中的运动目标，对学生区全景视频进行抠图，得到学生
区特写视频，包括：逐帧判断学生区图像中的第四非重合区域是否存在运动目标；若是，则获取第二中心坐标，根据第二中心坐标，对学生区图像进行变速追踪抠图，得到第三图像；若否，则采用第二预设方法对学生区图像进行抠图，得到第四图像，具体的，通过第二预设方法对学生区图像进行抠图得到第四图像的原理和通过第一预设方法对教师区图像进行抠图得到第二图像的原理一致，在此不再赘述；按照学生区全景视频的时序，将第三图像和第四图像融合为学生区特写视频。
59.其中，根据预设的切换策略，对教师区全景视频、教师区特写视频、学生区全景视频和学生区特写视频进行切换录制，得到课堂视频，包括：根据运动目标出现位置，预先设置切换策略。具体的，在录制开始时即课堂开始时，判断教师区全景视频和学生区全景视频中是否同时出现运动目标；若是，则切换至学生区特写视频，录制第一时长的学生区特写视频；若否，则判断教师区全景视频中是否出现运动目标；若是，则切换至教师区特写视频，录制第二时长的教师区特写视频；若否，则判断学生区全景视频中是否出现运动目标；若是，则切换至学生区特写视频，录制第三时长的学生区特写视频；若否，则切换至教师区全景视频，录制第四时长的教师区全景视频，录制完毕之后，切换至学生区全景视频，录制第五时长的学生区全景视频。
60.在录制结束时即课堂结束时，结束对教师区全景视频、教师区特写视频、学生区全景视频和学生区特写视频的切换录制，得到课堂视频。
61.参照图10，目前很多的课堂录播系统除了采用多机位拍摄，还要求有自动跟踪功能，需配置探测机对教室内运动目标进行位置探测，跟踪机对运动目标进行特写跟踪，导致配置成本增加。参照图11，本技术中直接对教师区全景视频和学生区全景视频进行运动侦测，探测运动目标的位置，对运动目标进行抠图追踪，只需教师机和学生机即可完成对运动目标的位置探测和特写跟踪，而且本技术仅通过教师机、学生机和录播机三台设备，就能实现对教师全景、教师特写、学生全景、学生特写的录制和播放，不仅简化了录播教室内的设备和布线，大大降低了课堂录播系统的配置成本，也满足了课堂录播的设备一体化的功能需求成本大大降低。
62.为了更好地实施以上方法，本技术实施例还提供了一种运用于课堂录播中的运动侦测装置，该装置具体可以集成在计算机设备中，例如终端或服务器等设备中，该终端可以包括但不限于手机、平板电脑或台式电脑等设备。
63.图12为本技术实施例提供的一种运用于课堂录播中的运动侦测装置的结构框图，如图12所示，该装置主要包括：获取模块401，用于获取教师区全景视频和学生区全景视频；第一划分模块402，用于获取教师区全景视频的第一坐标组和第三坐标组，基于第一坐标组在教师区全景视频中划分出第一探测区域，基于第三坐标组在教师区全景视频中划分出第一探测屏蔽区域；第二划分模块403，用于获取学生区全景视频的第二坐标组和第四坐标组，基于第二坐标组在学生区全景视频中划分出第二探测区域，基于第四坐标组在学生区全景视频中划分出第二探测屏蔽区域；以及，运动侦测模块404，用于对第三非重合区域和第四非重合区域进行运动侦测；其
中，第三非重合区域为第一探测区域和第一探测屏蔽区域的非重合部分，第四非重合区域为第二探测区域和第二探测屏蔽区域的非重合部分。
64.上述实施例提供的方法中的各种变化方式和具体实例同样适用于本实施例的运用于课堂录播中的运动侦测装置，通过前述对运用于课堂录播中的运动侦测方法的详细描述，本领域技术人员可以清楚的知道本实施例中的运用于课堂录播中的运动侦测装置的实施方法，为了说明书的简洁，在此不再详述。
65.为了更好地执行上述方法的程序，本技术实施例还提供一种计算机设备，如图13所示，计算机设备500包括存储器501和处理器502。
66.计算机设备500可以以各种形式来实施，包括手机、平板电脑、掌上电脑、笔记本电脑和台式计算机等设备。
67.其中，存储器501可用于存储指令、程序、代码、代码集或指令集。存储器501可以包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如基于第一坐标组在教师区全景视频中划分出第一探测区域等)以及用于实现上述实施例提供的运用于课堂录播中的运动侦测方法的指令等；存储数据区可存储上述实施例提供的运用于课堂录播中的运动侦测方法中涉及到的数据等。
68.处理器502可以包括一个或者多个处理核心。处理器502通过运行或执行存储在存储器501内的指令、程序、代码集或指令集，调用存储在存储器501内的数据，执行本技术的各种功能和处理数据。处理器502可以为特定用途集成电路(application specific integrated circuit，asic)、数字信号处理器(digital signal processor，dsp)、数字信号处理装置(digital signal processing device，dspd)、可编程逻辑装置(programmable logic device，pld)、现场可编程门阵列(field programmable gate array，fpga)、中央处理器(central processing unit，cpu)、控制器、微控制器和微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器502功能的电子器件还可以为其它，本技术实施例不作具体限定。
69.本技术实施例提供一种计算机可读存储介质，例如包括：u盘、移动硬盘、只读存储器(read only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。该计算机可读存储介质存储有能够被处理器加载并执行上述实施例的运用于课堂录播中的运动侦测方法的计算机程序。
70.本技术具体实施例仅仅是对本技术的解释，其并不是对本技术的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本技术的权利要求范围内都受到专利法的保护。
71.另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。