教学视频分段及信息点提取方法、装置、电子设备和介质

1.本技术涉及数据处理技术领域，特别是涉及一种教学视频分段及信息点提取方法、装置、电子设备和介质。


背景技术：

2.随着智能设备以及互联网的快速发展，越来越多的人通过互联网平台，以视频的方式分享自己的学习经验和生活娱乐过程。各大教育平台也纷纷推出了自己的线上教学视频课程。相对于传统的线下课程，线上教学视频课程有其独特的优势，如不受教室场地、上课时间的约束，可回放观看等。然而，线上教学视频课程也存在一些问题，虽然学员可以根据视频的标题和内容简介找到所需视频，但是学员想要跳跃学习视频中的部分知识，则无法快速准确定位到视频中目标信息点的位置。尤其是对于时长较长的视频，定位查找将耽误学员的大量时间。
3.传统针对教学视频进行分段和信息点进行提取时，采用人工分段和提取的方式进行。这种人工分段和提取的方式，不仅需要耗费大量人力物力、效率低，并且不同的人对同一个视频理解并不相同，会出现分段和提取信息点不一致的问题。因此，传统的教学视频分段及信息点提取方法，费时费力，具有工作效率低的缺点。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够提高工作效率的教学视频分段及信息点提取方法、装置、电子设备和介质。
5.本技术第一方面，提供了一种教学视频分段及信息点提取方法，包括：
6.获取教学视频，读取所述教学视频中的图像信息；
7.提取所述教学视频中的文本信息；
8.根据所述文本信息和所述图像信息对所述教学视频进行分段处理，生成分段视频；
9.根据所述分段视频对应的文本信息和图像信息，对所述分段视频进行信息点提取，确定信息点。
10.在一个实施例中，所述文本信息为音频文本，所述提取所述教学视频中的文本信息，包括：
11.提取所述教学视频中的音频内容，并根据音频转文本技术将所述音频内容中的文本内容和时间线对应保存，得到音频文本。
12.在一个实施例中，所述根据所述文本信息和所述图像信息对所述教学视频进行分段处理，生成分段视频，包括：
13.根据所述文本信息，确定初步分段点；
14.根据所述图像信息，确定二次分段点；
15.根据所述初步分段点和所述二次分段点，确定最终分段点；
16.根据所述最终分段点，对所述教学视频进行分段处理，生成分段视频。
17.在一个实施例中，所述根据所述文本信息，确定初步分段点，包括：
18.根据所述文本信息，将所述文本信息中文本时间间隔大于预设间隔阈值的时间点提取，确定初步分段点。
19.在一个实施例中，所述根据所述图像信息，确定二次分段点，包括：
20.根据所述图像信息，按照预设时间间隔提取图像，并计算相邻图像的相似度；
21.若所述相似度小于第一预设相似度阈值，则将对应相邻图像之间的时间点确定为二次分段点。
22.在一个实施例中，所述根据所述图像信息，按照预设时间间隔提取图像，并计算相邻图像的相似度，包括：
23.根据所述图像信息，按照预设时间间隔提取图像；
24.将提取的图像转换成四级灰度图像，并将所述四级灰度图像向量化，得到图像向量；
25.对所述图像向量进行标准化处理，得到标准化向量；
26.根据所述标准化向量计算相邻图像的相似度。
27.在一个实施例中，所述对所述分段视频进行信息点提取，确定信息点，包括：
28.根据所述分段视频对应的文本信息确定第一候选信息点；
29.根据所述分段视频中的图像信息，确定第二候选信息点；
30.根据所述第一候选信息点和所述第二候选信息点，确定所述分段视频的信息点。
31.本技术第二方面，提供了一种教学视频分段及信息点提取装置，包括：
32.信息提取模块，用于获取教学视频，读取所述教学视频中的图像信息；提取所述教学视频中的文本信息；
33.分段视频生成模块，用于根据所述文本信息和所述图像信息对所述教学视频进行分段处理，生成分段视频；
34.信息点提取模块，用于根据所述分段视频对应的文本信息和图像信息，对所述分段视频进行信息点提取。
35.本技术第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述实施例中的方法的步骤。
36.本技术第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述实施例中的方法的步骤。
37.上述教学视频分段及信息点提取方法，先获取教学视频，读取教学视频中的图像信息，提取教学视频中的文本信息；再根据文本信息和图像信息对教学视频进行分段处理，生成分段视频；最后再对分段视频进行信息点提取，确定信息点。整个信息点提取过程中，自动完成视频分段和信息点提取，无需人工参与，有利于提高视频分段和信息点提取过程的工作效率。
附图说明
38.图1为一个实施例中教学视频分段及信息点提取方法的流程示意图；
39.图2为另一个实施例中教学视频分段及信息点提取方法的流程示意图；
40.图3为一个实施例中根据文本信息和图像信息对教学视频进行分段处理，生成分段视频的流程示意图；
41.图4为一个实施例中根据分段视频对应的文本信息和图像信息，对分段视频进行信息点提取，确定信息点的流程示意图；
42.图5为另一个实施例中教学视频分段及信息点提取装置的结构框图；
43.图6为一个实施例中电子设备的内部结构图。
具体实施方式
44.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
45.在一个实施例中，如图1所示，提供了一种信息点提取方法，本实施例中以该方法应用于终端进行举例说明，可以理解，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的终端实现。本实施例中，信息点提取方法包括步骤s200至步骤s800。
46.步骤s200：获取教学视频，读取教学视频中的图像信息。
47.其中，教学视频是指包含图像和音频的视频。教学视频的内容，可以是语文、数学、英语等学科的教学内容，也可以是厨艺、插花等其他类型的教学视频。总之，本技术实施例对教学视频的具体内容和学科类型不作限定。教学视频中的图像信息，是指教学视频中每一帧图像的集合。具体的，获取教学视频后，读取该教学视频中的图像信息。
48.步骤s400：提取教学视频中的文本信息。
49.其中，教学视频中的文本信息包括字幕文本和音频文本。通常，教学视频中的视频文件和字幕文件是分开存储，并不是所有的教学视频中都包含字幕。优选的，在获取教学视频后，先判断该教学视频是否附带有字幕文件，若有则读取字幕文件得到字幕文本；若无则直接进行音频文本的提取。
50.在其中一个实施例中，该文本信息为音频文本，提取教学视频中的音频文本的具体过程为：提取教学视频中的音频内容，并根据音频转文本技术将该音频内容中的文本内容和时间线对应保存，得到音频文本。
51.具体的，采用音频转文本技术转换音频内容，将其中的文本内容与时间线一一对应保存，得到音频文本的格式如下表所示。
52.[0053][0054]
步骤s600：根据文本信息和图像信息对教学视频进行分段处理，生成分段视频。
[0055]
其中，分段处理是指基于一定的标准，将教学视频按照时间线分割成多个分段视频。具体的，根据上述步骤中得到的文本信息和图像信息，可以获取教学视频的具体内容。并根据教学视频的具体内容对教学视频进行拆分，确定分段点，将教学视频分成多个分段视频。
[0056]
步骤s800：根据所述分段视频对应的文本信息和图像信息，对分段视频进行信息点提取，确定信息点。
[0057]
其中，信息点是指可以用于表示对应分段视频的关键词或关键句。具体的，根据分段视频对应的文本信息和图像信息，可以提取出该视频中的备选信息点，再根据预设算法对这些备选信息点进行筛选，就可以确定最终的信息点。
[0058]
进一步的，确定信息点后，还可以将分段视频及其分段点和信息点对应存储，便于查找。其中，分段点可以是指对应分段视频的起始点或终止点。
[0059]
上述教学视频分段及信息点提取方法，先获取教学视频，读取教学视频中的图像信息，提取教学视频中的文本信息；再根据文本信息和图像信息对教学视频进行分段处理，生成分段视频；最后再对分段视频进行信息点提取，确定信息点。整个信息点提取过程中，自动完成视频分段和信息点提取，无需人工参与，有利于提高视频分段和信息点提取过程的工作效率。
[0060]
在一个实施例中，请参考图2，步骤s600包括步骤s620至步骤s680。
[0061]
步骤s620：根据文本信息，确定初步分段点。
[0062]
具体的，可以是预先设置好间隔词集合，提取文本信息中的间隔词，根据间隔词所在的时间点确定初步分段点。其中，间隔词包括但不限于“下一节”、“现在”、“开始”、“完成”等。
[0063]
另外，还可以根据间隔时间确定初步分段点。间隔时间是教师授课过程中，语句之间的停顿时间，根据上述步骤中获取的文本信息，可以得到文本信息中的文本时间间隔，即为间隔时间。优选的，可以根据文本信息，将文本信息中文本时间间隔大于预设间隔阈值的时间点提取，确定初步分段点。其中，文本信息中第一个句子的起始位置为第一个初步分段点，最后一个句子的结束位置为最后一个初步分段点。
[0064]
具体的，可以将文本间隔的起点或终点确定为初步分段点；也可以将文本间隔的中间时间点确定为初步分段点。例如：句子序列为集合为{s1,s2…
si,s
i 1
,
…
sn}，用下标s表
示句子开始，e表示句子的结束。设相邻两个句子之间的间隔集合为{t1,t2…
ti,t
i 1
,
…
t
n-1
}，则ti＝s
(i 1)s-s
ie
，初步分段点可以为di＝s
ie
、di＝s
(i 1)s
、或di＝s
ie
ti/2。
[0065]
步骤s640：根据图像信息，确定二次分段点。
[0066]
具体的，教学视频中一般包含有演示文档。可以根据图像信息，先对图像信息进行处理，提取图像信息中的演示文档信息，并标记演示文档信息对应的时间节点。再根据演示文档信息中的标题文本，确定切换至下一标题的时间节点，并将该时间节点确定为二次分段点。
[0067]
另外，还可以根据相邻图像的相似度确定二次分段点。具体的，可以根据图像信息，按照预设时间间隔提取图像，并计算相邻图像的相似度，若该相似度小于第一预设相似度阈值，则将对应相邻图像之间的时间点确定为二次分段点。其中，预设时间间隔可以是2s、3s或其他时间间隔。
[0068]
进一步的，在一个实施例中，根据图像信息，按照预设时间间隔提取图像，并计算相邻图像的相似度的过程为：根据图像信息，按照预设时间间隔提取图像；将提取的图像转换成四级灰度图像，并将该四级灰度图像向量化，得到图像向量；对图像向量进行标准化处理，得到标准化向量；根据标准化向量计算相邻图像的相似度。
[0069]
其中，灰度数字图像是指每个像素只有一个采样颜色的图像，这类图像通常显示为从最暗黑色到最亮的白色的灰度。灰度图像与黑白图像的区别在于，黑白图像只有黑白两种颜色，灰度图像在黑色与白色之间还有许多级的过度颜色。四级灰度图像就是在白色和黑色之间又加入了两种过度颜色的灰度图像。将图像转换成四级灰度图像，一方面可以降低背景颜色亮度等非关键因素的影响，另一方面又可以很好地保持图像中的内容信息，如文字内容和文字属性等。具体的，相邻的两幅四级灰度图像向量化得到图像向量x和y，根据公式和计算两个图像向量的2范数，并得到标准化处理后的标准化向量norm
x
＝x/l
x
和normy＝y/ly。最后再根据向量的点积公式s＝norm
x
normy计算得到两幅图像的余弦相似度，即为相邻图像的相似度。
[0070]
步骤s660：根据初步分段点和二次分段点，确定最终分段点。
[0071]
具体的，按照时间线将初步分段点和二次分段点进行融合，将获得的分段点集合合并，合并后的集合中可能会出现相邻分段点之间时间间隔过短的情况。为避免这种情况，使用维特比算法查找合并后的集合，筛选出最优的分段点，具体方法如下：
[0072]
对于初步分段点，每个分段点包含有间隔时间属性。对于二次分段点，每个分段点包含有相似度数值属性。由于两者数据类型不一样，首先将两者的数据转换成合理的度量标准，并进行归一化处理，再使用维特比算法，求出得分最高的分段点序列，并且通过算法的约束条件保证相邻分段点之间的时间间隔大于最小时长阈值，便可得到最终的分段点集合。其中，最小时长阈值可以是5分钟、10分钟或其他任意时长。
[0073]
步骤s680：根据最终分段点，对教学视频进行分段处理，生成分段视频。
[0074]
上述实施例中根据文本信息确定初步分段点，根据视频信息确定二次分段点，在使用预设算法将两种分段点融合，确定最终分段点，对教学视频进行分段处理，生成分段视频，可以提高分段的准确性，进而提高视频信息点提取的准确性。
[0075]
在一个实施例中，请参考图3，步骤s800包括步骤s820至步骤s860。
[0076]
步骤s820：根据分段视频对应的文本信息确定第一候选信息点。
[0077]
具体的，对于每一个分段视频所对应的字幕文本或音频文本，可以使用预设算法获取关键词信息点的概率分布，并将概率分布大于预设概率阈值的关键词信息点作为第一候选信息点。
[0078]
步骤s840：根据分段视频对应的图像信息确定第二候选信息点。
[0079]
具体的，可以根据分段视频中相似度值小于第二预设相似度阈值的图像信息，提取该图像信息中的文字内容，以及对应文字内容的属性，这样可以避免重复识别到相似度高的图像，在保证内容不损失的情况下，提高了效率。并且将满足预设属性条件的对应文字内容作为确定第二候选信息点。
[0080]
其中，文字内容的属性可以是文字大小，预设属性条件可以是指字号大于设定字号。进一步的，文字内容的属性还可以包括字体、是否加粗、灰度值等，同样的，还可以根据属性的具体内容设置不同的预设属性条件。例如，根据演示文档的格式，可以确定一级目录、二级目录的文字大小和字体，设置预设属性条件，并根据预设属性条件确定第二候选信息点。提取文字内容的属性的方法，可以是使用ocr技术识别图像中的文字内容并保留文字属性。并且，由于教学视频中大量使用演示文档，为了更准确的提取信息点，本实施例保留了对于信息点比较重要的属性：文字大小。
[0081]
步骤s860：根据第一候选信息点和第二候选信息点，确定分段视频的信息点。
[0082]
具体的，根据第一候选信息点和第二候选信息点，使用余弦相似度技术将两者中文本相似度高的信息点提取出来，就可以确定分段视频的信息点。
[0083]
应该理解的是，虽然上述实施例中涉及的各流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述实施例中涉及的各流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0084]
在一个实施例中，如图4所示，提供了一种教学视频分段及信息点提取装置，包括：信息提取模块100，用于获取教学视频，读取教学视频中的图像信息，以及提取教学视频中的文本信息；分段视频生成模块200，用于根据文本信息和图像信息对教学视频进行分段处理，生成分段视频；信息点提取模块300，用于根据分段视频对应的文本信息和图像信息，对分段视频进行信息点提取。
[0085]
在一个实施例中，请参考图5，该装置还包括存储模块400，用于将分段视频及其分段点和信息点对应存储。
[0086]
在一个实施例中，信息提取模块100具体用于：提取教学视频中的音频内容，并根据音频转文本技术将音频内容中的文本内容和时间线对应保存，得到音频文本。
[0087]
在一个实施例中，分段视频生成模块200包括：初步分段点确定单元，用于根据文本信息，确定初步分段点；二次分段点确定单元，用于根据图像信息，确定二次分段点；最终分段点确定单元，用于根据初步分段点和二次分段点，确定最终分段点；分段视频生成单元，用于根据最终分段点，对教学视频进行分段处理，生成分段视频。
[0088]
在一个实施例中，初步分段点确定单元具体用于：根据文本信息，将文本信息中文本时间间隔大于预设间隔阈值的时间点提取，确定初步分段点。
[0089]
在一个实施例中，二次分段点确定单元具体用于：根据图像信息，按照预设时间间隔提取图像，并计算相邻图像的相似度；若相似度小于第一预设相似度阈值，则将对应相邻图像之间的时间点确定为二次分段点。
[0090]
在一个实施例中，二次分段点确定单元具体用于：根据图像信息，按照预设时间间隔提取图像；将提取的图像转换成四级灰度图像，并将四级灰度图像向量化，得到图像向量；对图像向量进行标准化处理，得到标准化向量；根据标准化向量计算相邻图像的相似度。
[0091]
在一个实施例中，信息点提取模块300，具体用于：根据分段视频对应的文本信息，确定第一候选信息点；根据分段视频中的图像信息，确定第二候选信息点；根据第一候选信息点和第二候选信息点，确定分段视频的信息点。
[0092]
关于知识点标注装置的具体限定可以参见上文中对于知识点标注方法的限定，在此不再赘述。上述知识点标注装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0093]
在一个实施例中，提供了一种电子设备，该电子设备可以是终端，其内部结构图可以如图6所示。该电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种教学视频信息点提取方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0094]
本领域技术人员可以理解，图6中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0095]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
[0096]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例
中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0097]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。