一种面向互联网智慧教育的视频大数据推送方法与流程

1.本发明涉及视频推送技术领域，具体而言，涉及一种面向互联网智慧教育的视频大数据推送方法。


背景技术：

2.随着互联网技术的高速发展，智慧教育越来越受到广泛的关注，并给学生、家长、教师提供了更多维度的教育资源。作为教育资源的重要信息载体，海量的视频数据发挥了重要的作用。同时，海量的智慧教育视频也成了一种负担，学习者往往无法从海量的智慧教育视频中精准地获取目标智慧教育视频。
3.传统的视频检索或推荐技术往往能够帮助学习者获取部分智慧教育视频，但精准度往往无法达到预期，推送的智慧教育视频仍然存在一些低质量、不匹配的视频，极大地降低了智慧教育的实际应用价值。因此，如何精准、有效地为学习者推送目标智慧教育视频是一个亟待解决的问题。


技术实现要素：

4.本发明的目的在于提供一种面向互联网智慧教育的视频大数据推送方法，用以改善现有技术中视频推送质量低、内容不匹配的问题。
5.本发明的实施例是这样实现的：第一方面，本技术实施例提供一种面向互联网智慧教育的视频大数据推送方法，其包括以下步骤：对于网络数据库中的任意一段智慧教育视频，随机选取若干帧图像，并判断每一帧图像的质量，若某段智慧教育视频的高质量帧图像比率低于预设值，则将该视频标记为不理想智慧教育视频并筛除；对于网络数据库中的任意一段智慧教育视频，随机选取若干帧图像，利用ocr识别技术对所有随机帧图像中的核心词汇进行识别，若出现非正常词汇，则将该视频标记为不理想智慧教育视频并筛除；对于网络数据库中剩下的智慧教育视频，利用关键帧检测技术挑选出每段视频所对应的唯一核心关键帧图像，得到待检测核心关键帧图像；获取目标学习者非常喜欢、喜欢、不喜欢和非常不喜欢，4种喜爱程度的智慧教育视频，并利用关键帧检测技术挑选出每段视频所对应的唯一核心关键帧图像，得到样本核心关键帧图像，其中非常喜欢和喜欢的智慧教育视频所对应的唯一核心关键帧图像为正样本，不喜欢和非常不喜欢的智慧教育视频所对应的唯一核心关键帧图像为负样本；利用 svm 模型对样本核心关键帧图像进行训练，得到目标关键帧图像检索决策模型；将待检测核心关键帧图像输入目标关键帧图像检索决策模型中，计算出每个待检测核心关键帧图像的得分；
如果得分高于上限预设值，则将该核心关键帧图像所对应的智慧教育视频判别为目标视频，并推送给学习者；如果得分低于下限预设值，则将该核心关键帧图像所对应的智慧教育视频判别为非目标视频；如果得分处于上限预设值和下限预设值之间，则进一步计算其与所有样本核心关键帧图像的相似度；如果该核心关键帧图像与正样本的相似度最高，则将其所对应的智慧教育视频判别为目标视频，并推送给学习者；如果该核心关键帧图像与负样本的相似度最高，则将其所对应的智慧教育视频判别为非目标视频。
6.基于第一方面，在本发明的一些实施例中，上述对于网络数据库中的任意一段智慧教育视频，随机选取若干帧图像，并判断每一帧图像的质量的步骤具体包括：对每一帧图像进行预处理；利用峰值信噪比技术计算出预处理图像的psnr值；若psnr值高于预设值，则将该帧图像认定为高质量帧图像。
7.基于第一方面，在本发明的一些实施例中，上述利用ocr识别技术对所有随机帧图像中的核心词汇进行识别的步骤具体包括：从每张随机帧图像中提取出图像特征e；将查询词q转换为特征f；计算图像特征e和特征f的配对相似度并进行排序；将配对相似度最高的结果作为识别结果，得到核心词汇。
8.基于第一方面，在本发明的一些实施例中，上述对于网络数据库中剩下的智慧教育视频，利用关键帧检测技术挑选出每段视频所对应的唯一核心关键帧图像的步骤具体包括：利用关键帧检测网络 adascan对视频进行时间扫描，得到每一帧图像的重要性分数；将分数最高的一帧图像作为该段视频的唯一核心关键帧图像。
9.基于第一方面，在本发明的一些实施例中，上述利用 svm 模型对样本核心关键帧图像进行训练，得到目标关键帧图像检索决策模型的步骤具体包括：将样本核心关键帧图像输入svm模型中，并分别赋予非常喜欢、非常不喜欢的智慧教育视频的唯一核心关键帧图像两倍的权重；通过svm 模型进行训练，得到目标关键帧图像检索决策模型。
10.基于第一方面，在本发明的一些实施例中，上述如果得分处于上限预设值和下限预设值之间，则进一步计算其与所有样本核心关键帧图像的相似度的步骤具体包括：将正样本、负样本、得分处于上限预设值和下限预设值之间的唯一核心关键帧图像进行哈希编码；利用欧式距离计算出得分处于上限预设值和下限预设值之间的唯一核心关键帧图像和所有正样本、负样本的相似度。
11.基于第一方面，在本发明的一些实施例中，上述对每一帧图像进行预处理的方式包括图像压缩、噪音消除、灰度化处理中的一种或多种。
12.第二方面，本技术实施例提供一种电子设备，其包括存储器，用于存储一个或多个程序；处理器。当上述一个或多个程序被上述处理器执行时，实现如上述第一方面中任一项
上述的方法。
13.第三方面，本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面中任一项上述的方法。
14.相对于现有技术，本发明的实施例至少具有如下优点或有益效果：本发明实施例提供一种面向互联网智慧教育的视频大数据推送方法，首先通过高质量帧检测和核心词汇识别，对网络数据库中部分画质粗糙、含敏感内容的不理想智慧教育视频提前进行筛除，不参与后续的判断和推送过程，减少了计算资源的消耗，同时提取出网络数据库中剩下的智慧教育视频的唯一核心关键帧图像，得到待检测核心关键帧图像，作为后续判别的基础。然后，通过获取目标学习者不同喜爱程度的智慧教育视频，并提取出各自的唯一核心关键帧图像，得到正样本核心关键帧图像和负样本核心关键帧图像，再利用差异性权重 svm 模型对正、负样本核心关键帧图像进行训练，更加充分地考量和利用了不同喜爱程度的训练样本，使得训练出的 svm 模型的目标关键帧图像检索决策模型更加准确。最后，将待检测核心关键帧图像输入目标关键帧图像检索决策模型中进行判断，判别出目标视频并推送给学习者。判别过程中，通过利用相似度检测后验模型对得分在分类边缘部分的唯一核心关键帧图像进行判断，弥补了模型对得分在分类边缘的图像判断不准确的问题，更加精准地提升了目标视频的判断精准度，使得推送给学习者的智慧教育视频更加符合学习者的学习需求。
附图说明
15.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
16.图1为本发明实施例提供的一种面向互联网智慧教育的视频大数据推送方法的流程图；图2为本发明实施例中判断每一帧图像的质量的步骤的具体流程图；图3为本发明实施例中利用ocr识别技术对所有随机帧图像中的核心词汇进行识别的步骤的具体流程图；图4为本发明实施例中利用关键帧检测技术挑选出每段视频所对应的唯一核心关键帧图像的步骤的具体流程图；图5为本发明实施例中利用 svm 模型对样本核心关键帧图像进行训练，得到目标关键帧图像检索决策模型的步骤的具体流程图；图6为本发明实施例中计算某一待检测核心关键帧图像与所有样本核心关键帧图像的相似度的步骤的具体流程图；图7为本发明实施例提供的一种电子设备的结构框图。
17.图标：1、存储器；2、处理器；3、通信接口。
具体实施方式
18.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例
中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。
19.因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
实施例
20.下面结合附图，对本技术的一些实施方式作详细说明。在不冲突的情况下，下述的各个实施例及实施例中的各个特征可以相互组合。
21.请参阅图1，图1所示为本技术实施例提供的一种面向互联网智慧教育的视频大数据推送方法的流程图，该面向互联网智慧教育的视频大数据推送方法包括以下步骤：步骤s1：对于网络数据库中的任意一段智慧教育视频，随机选取若干帧图像，并判断每一帧图像的质量，若某段智慧教育视频的高质量帧图像比率低于预设值，则将该视频标记为不理想智慧教育视频并筛除；示例性的，首先对网络数据库中的任意一段智慧教育视频，随机选取30帧图像，然后利用图像质量检测技术判断每一帧图像的质量，得到高质量帧图像。如果高质量帧图像的个数不超过25个，则将该段视频标记为不理想智慧教育视频并从网络数据库中筛除，不再参与后续的判断过程。对每一段视频均执行此操作，从而筛除网络数据库中画质粗糙、画面不清晰的智慧教育视频。
22.具体地，请参阅图2，图2为判断每一帧图像的质量的步骤的具体流程图，其包括以下步骤：步骤s1-1：对每一帧图像进行预处理；由于原始智慧教育视频图像数据中存在着大量的数据冗余和主观视觉冗余，所以需要对随机帧图像进行压缩编码，以尽量少的比特数来表征图像信息，方便存储和后续处理。
23.步骤s1-2：利用峰值信噪比技术计算出预处理图像的psnr值；峰值信噪比是最常用的评估输出图像质量的方法，它基于对应像素点间的误差，是一种基于误差敏感的图像质量评价指标，方法简单，处理速度快。
24.步骤s1-3：若psnr值高于预设值，则将该帧图像认定为高质量帧图像。
25.上述步骤中，首先根据随机帧图像的高度、宽度和每像素的比特数，计算出预处理图像和原图像之间的均方误差值mse，然后计算均方误差值相对于(2^n-1)^2的对数值，得到图像的psnr值（峰值信噪比值）。如果某一随机帧图像的psnr值高于预设值，则将该随机帧图像认定为高质量帧图像。对每一随机帧图像均执行此操作，找出该段智慧教育视频的所有随机帧图像中的高质量帧图像，用于后续根据高质量帧图像与随机帧图像的帧数之比，判断该段智慧教育视频是否需要筛除。
26.步骤s2：对于网络数据库中的任意一段智慧教育视频，随机选取若干帧图像，利用ocr识别技术对所有随机帧图像中的核心词汇进行识别，若出现非正常词汇，则将该视频标记为不理想智慧教育视频并筛除。
27.示例性的，首先对网络数据库中的任意一段智慧教育视频，随机选取30帧图像，然后利用ocr识别技术识别出随机帧图像中的核心词汇，如果从某段智慧教育视频中识别出了低俗、暴力等非正常词汇，则将该段视频标记为不理想智慧教育视频并筛除，不再参与后续的判断过程。比如，从某段智慧教育视频的随机帧图像中识别出了“杀死”这个词，则将该段智慧教育视频标记为不理想智慧教育视频并筛除。需说明的是，只要某段视频中有一帧图像识别出了非正常词汇，则该段视频即标记为不理想智慧教育视频并筛除。
28.需说明的是，上述步骤s1和步骤s2不区分先后顺序，可以先执行步骤s1再执行步骤s2，也可以先执行步骤s2再执行步骤s1，也可以两者同时进行。
29.具体地，请参阅图3，图3为利用ocr识别技术对所有随机帧图像中的核心词汇进行识别的步骤的具体流程图，其包括以下步骤：步骤s2-1：从某一随机帧图像中提取出文本特征e；步骤s2-2：提取所有可能的文本候选图片的特征f；在上述步骤中，主要是利用anchor-free检测器提取出随机帧图像中的文本特征e和可能的文本候选图片的特征f，以减少后续的计算量，节约存储空间。
30.步骤s2-3：计算文本特征e和特征f的配对相似度，并将配对相似度最高的特征f作为检索结果；这一步主要是为了在文本检索数据集中找到与随机帧图像最匹配的文本候选图片，缩小随机帧图像与所有候选文本之间的语义鸿沟，使得后续的识别结果更加精准。
31.步骤s2-4：通过端对端的文本识别系统对上述检索结果进行识别，得到核心词汇。此步骤中，直接将配对相似度最高的特征f作为检索结果输入到已训练好的文本识别系统中，以翻译识别出对应的文字字符，从而得到随机帧图像中所对应的核心词汇，并用于后续判断该核心词汇是否为非正常词汇，进一步判断该段智慧教育视频是否需要筛除。
32.步骤s3：对于网络数据库中剩下的智慧教育视频，利用关键帧检测技术挑选出每段视频所对应的唯一核心关键帧图像，得到待检测核心关键帧图像。在此步骤中，每段智慧教育视频只保留1 个最核心的关键帧图像，以降低计算资源的消耗；具体地，请参阅图4，图4为利用关键帧检测技术挑选出每段视频所对应的唯一核心关键帧图像的步骤的具体流程图，其包括以下步骤：s3-1：利用关键帧检测网络 adascan对视频进行时间扫描，得到每一帧图像的重要性分数；上述步骤中，由于一段智慧教育视频中只有少数帧包含足够的信息来判别智慧教育视频的主题，所以利用adascan算法，判断视频中每一帧画面对智慧教育主题识别的重要程度，把重要的关键帧聚合起来，并丢弃非关键帧，同时使用one-hot向量对关键帧进行加权，以在线方式显式输出所有帧的重要性，得到每一帧图像的重要性分数。上述提到的adascan算法属于现有技术，在此不再赘述。
33.s3-2：将分数最高的一帧图像作为该段视频的唯一核心关键帧图像。考虑到计算资源的消耗和后续对比的方便性，此处只保留重要性分数最高的那一帧图像，作为该段视频所对应的唯一核心关键帧图像。
34.步骤s4：获取目标学习者非常喜欢、喜欢、不喜欢和非常不喜欢，4种喜爱程度的智慧教育视频，并利用关键帧检测技术挑选出每段视频所对应的唯一核心关键帧图像，得到样本核心关键帧图像，其中非常喜欢和喜欢的智慧教育视频所对应的唯一核心关键帧图像
为正样本，不喜欢和非常不喜欢的智慧教育视频所对应的唯一核心关键帧图像为负样本；示例性的，各种喜爱程度的智慧教育视频可以各选30个，以保证样本的丰富性，然后分别提取每段视频的唯一核心关键帧图像，作为后续训练的原始样本。其中唯一核心关键帧的提取方法请参照步骤s3，此处不再赘述。
35.步骤s5：利用 svm 模型对样本核心关键帧图像进行训练，得到目标关键帧图像检索决策模型；具体地，请参阅图5，图5为利用 svm 模型对样本核心关键帧图像进行训练，得到目标关键帧图像检索决策模型的步骤的具体流程图，其包括以下步骤：步骤s5-1：将样本核心关键帧图像输入svm模型中，并分别赋予非常喜欢、非常不喜欢的智慧教育视频的唯一核心关键帧图像两倍的权重；在此步骤中，通过赋予常喜欢、非常不喜欢的智慧教育视频的唯一核心关键帧图像两倍的权重，能更好的的区分两种极端情况，从而更快速的对目标视频作出判别，而对于处在中间的喜欢、不喜欢的视频，则可进一步通过计算其与样本的相似度去进行判别。
36.步骤s5-2：通过svm 模型进行训练，得到目标关键帧图像检索决策模型。
37.上述步骤中，通过赋予不同喜爱程度的智慧教育视频以不同的权重，利用差异性权重svm模型对样本核心关键帧图像进行判断，更加充分地考量和利用了目标学习者不同喜爱程度的训练样本，使得训练出的svm模型的目标关键帧图像检索决策模型更加准确。具体svm 模型的搭建方式属于现有技术，此处不再赘述。
38.步骤s6：将待检测核心关键帧图像输入目标关键帧图像检索决策模型中，计算出每个待检测核心关键帧图像的得分；步骤s7：如果得分高于上限预设值，则将该核心关键帧图像所对应的智慧教育视频判别为目标视频，并推送给学习者；如果得分低于下限预设值，则将该核心关键帧图像所对应的智慧教育视频判别为非目标视频；如果得分处于上限预设值和下限预设值之间，则进一步计算其与所有样本核心关键帧图像的相似度；具体地，请参阅图6，图6为计算某一待检测核心关键帧图像与所有样本核心关键帧图像的相似度的步骤的具体流程图，其包括以下步骤：步骤s7-1：将正样本、负样本、得分处于上限预设值和下限预设值之间的唯一核心关键帧图像进行哈希编码；此步骤中，主要是利用哈希编码对正样本、负样本、得分处于上限预设值和下限预设值之间的唯一核心关键帧图像进行编码表征，生成各自的表征编码，以方便后续计算得分处于上限预设值和下限预设值之间的唯一核心关键帧图像与所有样本核心关键帧图像之间的欧氏距离。
39.步骤s7-2：利用欧式距离计算出得分处于上限预设值和下限预设值之间的唯一核心关键帧图像和所有正样本、负样本的相似度。此步骤中，利用欧式距离计算方法计算出某一得分处于上限预设值和下限预设值之间的唯一核心关键帧图像的表征编码，与所有样本核心关键帧图像的表征编码之间的距离，得到多个欧氏距离，并对距离按照从小到大的顺序进行排序，距离越小，说明两个图像越相似。
40.上述步骤中，计算图像相似度的方法还包括直方图方法、图像模板匹配、ssim结构相似性等方式，此处采用哈希算法去计算得分处于上限预设值和下限预设值之间的唯一核心关键帧图像与所有样本核心关键帧图像之间的相似度，节省了存储空间，运行速度更快。
41.步骤s8：如果该核心关键帧图像与正样本的相似度最高，则将其所对应的智慧教育视频判别为目标视频，并推送给学习者；如果该核心关键帧图像与负样本的相似度最高，则将其所对应的智慧教育视频判别为非目标视频。
42.上述步骤中，通过利用相似度检测后验模型对得分在分类边缘部分的唯一核心关键帧图像进行判断，弥补了模型对得分在分类边缘的图像判断不准确的问题，更加精准地提升了目标视频的判断精准度，使得推送给学习者的智慧教育视频更加符合学习者的学习需求。
43.请参阅图7，图7为本技术实施例提供的电子设备的一种示意性结构框图。该电子设备包括存储器1、处理器2和通信接口3，该存储器1、处理器2和通信接口3相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器1可用于存储软件程序及模块，如本技术实施例所提供的面向互联网智慧教育的视频大数据推送系统对应的程序指令/模块，处理器2通过执行存储在存储器1内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口3可用于与其他节点设备进行信令或数据的通信。
44.其中，存储器1可以是但不限于，随机存取存储器（random access memory，ram），只读存储器（read only memory，rom），可编程只读存储器（programmable read-only memory，prom），可擦除只读存储器（erasable programmable read-only memory，eprom），电可擦除只读存储器（electric erasable programmable read-only memory，eeprom）等。
45.处理器2可以是一种集成电路芯片，具有信号处理能力。该处理器2可以是通用处理器，包括中央处理器（central processing unit，cpu）、网络处理器（network processor，np）等；还可以是数字信号处理器（digital signal processing，dsp）、专用集成电路（application specific integrated circuit，asic）、现场可编程门阵列（field－programmable gate array，fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
46.可以理解，图7所示的结构仅为示意，电子设备还可包括比图7中所示更多或者更少的组件，或者具有与图7所示不同的配置。图7中所示的各组件可以采用硬件、软件或其组合实现。
47.在本技术所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
48.另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
49.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
50.综上所述，本技术实施例提供的一种面向互联网智慧教育的视频大数据推送方法，首先通过高质量帧检测和核心词汇识别，对网络数据库中部分画质粗糙、含敏感内容的不理想智慧教育视频提前进行筛除，不参与后续的判断和推送过程，减少了计算资源的消耗，同时提取出网络数据库中剩下的智慧教育视频的唯一核心关键帧图像，得到待检测核心关键帧图像，作为后续判别的基础。然后，通过获取目标学习者不同喜爱程度的智慧教育视频，并提取出各自的唯一核心关键帧图像，得到正样本核心关键帧图像和负样本核心关键帧图像，再利用差异性权重 svm 模型对正、负样本核心关键帧图像进行训练，更加充分地考量和利用了不同喜爱程度的训练样本，使得训练出的 svm 模型的目标关键帧图像检索决策模型更加准确。最后，将待检测核心关键帧图像输入目标关键帧图像检索决策模型中进行判断，判别出目标视频并推送给学习者。判别过程中，通过利用相似度检测后验模型对得分在分类边缘部分的唯一核心关键帧图像进行判断，弥补了模型对得分在分类边缘的图像判断不准确的问题，更加精准地提升了目标视频的判断精准度，使得推送给学习者的智慧教育视频更加符合学习者的学习需求。
51.以上所述仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。
52.对于本领域技术人员而言，显然本技术不限于上述示范性实施例的细节，而且在不背离本技术的精神或基本特征的情况下，能够以其它的具体形式实现本技术。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本技术的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本技术内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。