一种课堂录制视频有效性检测方法与流程

1.本发明涉及视频分析技术领域，尤其涉及一种课堂录制视频有效性检测方法。


背景技术：

2.在学校里每间教室都会根据课表自动收录教学课程，学校将保留其中有效的教学视频；但是由于各种原因，部分教室可能没有进行正常上课，比如老师请假、更改上课时间和地点、学生自主上自习、以及由于疫情原因大家在家里上网课等因素，这样的录制视频收录下来后被保存后就会成为无意义的课程，会浪费大部分资源来保留和处理这些无效的课程；因此，如何检测判断课堂录制视频的有效性，是目前需要考虑的问题。


技术实现要素：

3.本发明的目的在于克服现有技术的缺点，提供了一种课堂录制视频有效性检测方法，解决了现有的课堂录制视频没有检测视频有效性的问题。
4.本发明的目的通过以下技术方案来实现：一种课堂录制视频有效性检测方法，所述检测方法包括：s1、将需要进行分析的视频以固定时间间隔进行分段，并对每段视频首先进行音频检测，在满足要求后执行后续步骤，否则该段视频检测结束；s2、对满足音频检测要求的分段视频依次进行视频检测、文本检测、人体姿态检测和人脸检测；s3、完成相关检测后得到人声在本段视频中占据的时长、文本在本段视频中出现的次数、检测到最大人体数量、检测到人脸出现的次数；s4、通过训练好的决策树对每个视频段的检测结果进行授课视频分类，并基于分段视频分类的结果对整个视频进行分类，最后判断整段视频的有效性。
5.所述音频检测包括：通过人声检测算对分段视频的音频进行检测，检测每段音频中出现人声的位置和持续时间，如果当前视频段中没有人声出现，则不满足要求，直接判定本段视频为无效课堂内容，不进行后续步骤的检测。
6.所述视频检测包括：获取本段视频某一帧的数据，再与下一帧数据进行像素对比，计算出前后画面中不一致区域的位置和大小，如果当前帧没有任何变化，则连续进行下一帧视频的画面变化检测，如果当前帧画面有变化，则说明教室中有活动存在。
7.所述文本检测包括：截取当前帧数据中间面积为n的画面，通过预先训练好的文本检测模型进行文本检测，如果检测到文本就记录下文本出现的时间和位置。
8.所述人体姿态检测包括：采用人体姿态检测方法对当前帧进行人体检测，判断当前帧教室画面中是否有人，如果检测到有人体姿态，则记录下所有有效的人体姿态的位置。
9.所述人脸检测包括：判断当前帧画面中是否有面向学生座位的人脸出现，如果有，则表示该人脸为教师，并记录下正面人脸在当前帧中出现的位置，如果没有，则表示人体姿态检测中检测到的人体姿态为学生，则当前帧为在学生自习。
10.所述检测方法还包括：通过大量有效和无效的教室视频数据进行计算，得到人声在本段视频中占据的时长、文本在本段视频中出现的次数、检测到最大人体数量和检测到人脸出现的次数四种数据与是否是有效授课视频的数据集，并通过cart分类树算法训练分类决策树。
11.本发明具有以下优点：一种课堂录制视频有效性检测方法，综合了人声的检测、视频中的动态变化、文本、人体和人脸的检测结果，来判断录制的课堂视频是否为有效的课堂视频。结合音频内容和视频内容这两个关键点，以及才用决策树分析的方法来对课堂内容的有效性就行评估打分的方法，进而帮助筛选出有效的课堂，降低无效课堂占用资源造成资源的浪费。
附图说明
12.图1 为本发明的流程示意图。
具体实施方式
13.下面结合附图对本发明做进一步的描述，但本发明的保护范围不局限于以下所述。
14.如图1所示，本发明具体涉及一种课堂录制视频有效性检测方法，采用多个步骤使用多种特征检测对分段视频中的音频和视频分别检测和打分，目的是识别出那些可能是教师正常讲课的视频片段。然后再根据所有片段的识别结果，判断整体视频是否为教师授课的有效视频，其包括以下内容：步骤一:首先将需要进行分析的视频并以固定时间间隔进行分段，比如十分钟为一段。然后将每段中的音频和视频分别提取出来，对这些分段进行独立的检测和打分。之所以要进行分段检测，是为了避免课堂中因为某种原因（比如随堂考试等等）导致出现长时间安静的时间段对整体检测可能带来的影响。
15.步骤二：在音频检测中，使用人声检测算法对输入的音频进行检测，检测出每段音频中出现人声的位置和持续时间。如果当前视频段中完全没有人声出现，直接判定本段为无效课堂内容，不进行其余步骤的检测，否则进入步骤三的视频检测。
16.但仅仅依靠是否有人声出现来检测课堂录制视频是否有效是不够的，教室中在某些其他情况下也会出现各种人声，比如自习教室中会有学生的说话声，清洁人员打扫卫生是也可能有对话等语音。因此还需要结合视频内容的检测来综合判断视频是否是教师授课的视频。因此，需要后续检测来进行进一步的判断。
17.步骤三：在视频检测中，先使用视频动态检测的算法检测视频画面中出现变化的部分。具体为，先获取本段视频第一一帧的数据，接下来再把下一帧拿来作为像素对比，计算出前后画面中不一致的区域的位置和大小。如果当前帧没有任何变化，则连续进行下一帧视频的画面变化检测；如果当前帧画面有变化，说明教室中有活动存在，但活动是否是授课活动还是其他光影变化或者其他活动需要进一步分析，进入下一个检测步骤。
18.步骤四：在本步骤中进行文本检测，目的是检测黑板上是否有教师的板书，或者是否有ppt文本。如果视频中出现文字信息，则当前视频段是教师授课的有效视频的可能性将增大。由于视频的边缘会可能会出现收录时间等对课程分析无意义的文字，所以只取当前
帧的中间百分之八十的部分进行文本检测。采用预先训练好的文本检测模型对当前帧进行文本检测,如果检测到文本就记录下文本出现的时间和位置。然后进入下一步，进行人体姿态检测。
19.步骤五：采用人体姿态方法对当前帧进行人体检测，此步骤的检测是判断判断教室中是否有人，他们很可能是上课的教师和学生。如果检测到有人体姿态，记录下所有有效的人体姿态的位置，并进入下一步骤的检测。
20.步骤六：本步骤的检测是判断是否有面向学生座位的人脸出现，如果有面向学生的人脸出现，则其是教师的可能性将会很大，记录下正面人脸在当前帧中出现的位置；如果没有面向学生的人脸，则上一步骤中检测到的人很可能只是在教室中自习的学生，本段视频可能不是教师正常授课的视频。
21.步骤七：根据上述步骤的检测，可以得到如下数据：（1）人声在本段视频中占的时长；（2）文本在本段视频中出现的次数；（3）检测到的最大人体数量；（4）检测到人脸出现的次数。使用大量有效和无效的教室视频数据进行计算，得到这四个量与是否是有效授课视频的数据集。然后使用cart分类树算法训练分类决策树。使用训练好的决策树对视频段的检测结果进行授课视频分类。
22.步骤八：基于分段视频分类的结果，对整个视频进行分类。此处可以简单使用经验值进行分类，比如判定为有效授课的段数占总段数的比例超过某个经验值（如60%-80%），就可判断整段视频为有效的授课视频。
23.以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。