一种多模式协同教育智能处理方法和系统与流程

1.本技术涉及到教育领域，具体而言，涉及一种多模式协同教育智能处理方法和系统。


背景技术：

2.随着网络和智能设备的发展，智能教室技术也在教学过程中得到的广泛的应用。在基于网络的教育中，网络直播是非常重要的一个资源共享的手段。
3.例如，老师a在某地的教室内进行讲课，学生通过摄像头就可以在另一个地方同步收看老师a的加课直播视频，这对于解决教育资源不均衡问题有很大的帮助。
4.现在教学过程中的网络直播都是通过视频直播的方式进行，一般是通过一个摄像头将老师讲课的视频进行同步直播。虽然另一个地方的学生能够看到老师讲课的实时视频，但是，对于老师在黑板上书写的字迹有可能会不清楚，对于这个问题，在现有技术中没有什么很好的解决方案。


技术实现要素：

5.本技术实施例提供了一种多模式协同教育智能处理方法和系统，以至少解决现有技术中在课程直播可能出现的板书不清楚的问题。
6.根据本技术的一个方面，提供了一种多模式协同教育智能处理方法，包括：获取通过摄像头拍摄的第一视频，其中，所述摄像头位于第一教室，所述第一视频为拍摄的老师讲课的视频；获取所述老师在讲课过程中所书写的板书；将所述板书与所述第一视频中的板书书写时间进行匹配，生成所述板书被所述老师书写出的时间轴，其中，所述时间轴与所述板书在所述第一视频中出现的时间轴相同；将所述第一视频、所述板书以及所述时间轴发送至显示设备，其中，所述显示设备用于根据时间轴同步显示所述第一视频和所述板书。
7.进一步地，获取所述老师在所述讲课过程中所写的板书包括：将所述第一视频复制一份得到第二视频；提取所述第二视频中的所述老师在所述讲课过程中书写板书的视频段落；将所述视频段落中的关键帧中的板书内容；将提取到的板书内容形成板书视频。
8.进一步地，将所述板书与所述第一视频中的板书书写时间进行匹配生成所述时间轴包括：将所述板书视频的板书的出现的时间与所述第一视频中的所述老师书写所述板书的时间设置为相同；在板书内容没有变化的时间，保持上一帧的内容不变。
9.进一步地，获取所述老师在所述讲课过程中所写的板书包括：获取所述老师在触摸屏幕上写下的所述板书；将所述板书转化为矢量线条并进行保存。
10.进一步地，将所述板书与所述第一视频中的板书书写时间进行匹配生成所述时间轴包括：建立所述矢量线条的出现与时间的对应关系；将所述对应关系与所述第一视频的时间进行匹配矫正后得到所述矢量线条在所述第一视频中出现的时间轴。
11.根据本技术的另一个方面，还提供了一种多模式协同教育智能处理系统，包括：第一获取模块，用于获取通过摄像头拍摄的第一视频，其中，所述摄像头位于第一教室，所述
第一视频为拍摄的老师讲课的视频；第二获取模块，用于获取所述老师在讲课过程中所书写的板书；生成模块，用于将所述板书与所述第一视频中的板书书写时间进行匹配，生成所述板书被所述老师书写出的时间轴，其中，所述时间轴与所述板书在所述第一视频中出现的时间轴相同；发送模块，用于将所述第一视频、所述板书以及所述时间轴发送至显示设备，其中，所述显示设备用于根据时间轴同步显示所述第一视频和所述板书。
12.进一步地，所述第二获取模块，用于将所述第一视频复制一份得到第二视频；提取所述第二视频中的所述老师在所述讲课过程中书写板书的视频段落；将所述视频段落中的关键帧中的板书内容；将提取到的板书内容形成板书视频。
13.进一步地，所述生成模块用于将所述板书视频的板书的出现的时间与所述第一视频中的所述老师书写所述板书的时间设置为相同；在板书内容没有变化的时间，保持上一帧的内容不变。
14.进一步地，所述第二获取模块用于获取所述老师在触摸屏幕上写下的所述板书；将所述板书转化为矢量线条并进行保存。
15.进一步地，所述生成模块用于建立所述矢量线条的出现与时间的对应关系；将所述对应关系与所述第一视频的时间进行匹配矫正后得到所述矢量线条在所述第一视频中出现的时间轴。
16.在本技术实施例中，采用了获取通过摄像头拍摄的第一视频，其中，所述摄像头位于第一教室，所述第一视频为拍摄的老师讲课的视频；获取所述老师在讲课过程中所书写的板书；将所述板书与所述第一视频中的板书书写时间进行匹配，生成所述板书被所述老师书写出的时间轴，其中，所述时间轴与所述板书在所述第一视频中出现的时间轴相同；将所述第一视频、所述板书以及所述时间轴发送至显示设备，其中，所述显示设备用于根据时间轴同步显示所述第一视频和所述板书。通过本技术解决了现有技术中在课程直播可能出现的板书不清楚的问题，提高了板书的清晰度，进一步提高了课程直播的效果。
附图说明
17.构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
18.图1是根据本技术实施例的多模式协同教育智能处理方法的流程图。
具体实施方式
19.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
20.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
21.在本实施例中提供了一种多模式协同教育智能处理方法，图1是根据本技术实施例的多模式协同教育智能处理方法的流程图，如图1所示，该流程包括如下步骤：
22.步骤s102，获取通过摄像头拍摄的第一视频，其中，所述摄像头位于第一教室，所述第一视频为拍摄的老师讲课的视频；
23.步骤s104，获取所述老师在讲课过程中所书写的板书；
24.步骤s106，将所述板书与所述第一视频中的板书书写时间进行匹配，生成所述板书被所述老师书写出的时间轴，其中，所述时间轴与所述板书在所述第一视频中出现的时间轴相同；
25.步骤s108，将所述第一视频、所述板书以及所述时间轴发送至显示设备，其中，所述显示设备用于根据时间轴同步显示所述第一视频和所述板书。
26.在一个可选的实施方式中，所述显示设备在接收到第一视频、所述板书之后和所述时间轴以后，在显示屏幕上使用画中画的方式进行显示，所述板书为主显示，所述第一视频作为所述主显示的一部分进行辅显示。
27.作为另一个可选的实施方式，可以将所述板书和所述时间轴做成主视频，将第一视频做成辅视频，将所述辅视频与所述主视频合成为第一显示视频，其中，辅视频占据主视频的一部分，所述服务器将所述第一显示视频发送给步骤s108中的显示设备。
28.作为另一个可选的可以增加的实施方式，还可以将所述第一视频中声音进行提取，得到第一声音文件，将所述板书和时间轴与得到第一声音文件组合得第二显示视频，其中，所述第二显示视频显示的内容为所述板书按照所述时间轴出现的视频，所述第二显示视频的声音按照所述时间轴播放所述第一声音文件的得到的声音。将合成后的第二显示视频发送给所述显示设备。比较优的是，可以获取所述服务器与所述显示设备之间的网络延迟，当网络延迟大于等于第一阈值时，将所述第二显示视频发送给所述显示设备，当所述网络延迟小于所述第一阈值时，将所述第一显示视频发送给所述显示设备。
29.通过上述步骤，将板书和时间轴与视频一起单独发送给显示设备，这样可以通过显示设备单独进行板书的显示，从而解决了现有技术中在课程直播可能出现的板书不清楚的问题，提高了板书的清晰度，进一步提高了课程直播的效果。
30.获取老师在讲课过程中所写的板书有多种解决方案，例如，如果老师使用的传统的黑板，此时，可以从第一视频中提取该板书，从画面中提取线条的技术可以采用现有的提取方法，无论哪种提取方法只要能提取出板书的线条都可以取得本实施例中的效果。在本实施例中提供了一种可选的比较优的实施方式。
31.在本可选的实施方式中，可以采用基于神经网络的机器学习的方式来进行线条的提取。神经网络模型可以使用很多种开源的平台进行搭建，在此不再一一进行说明。搭建好的神经网络模型，是否能够使用该模型取决于训练数据。在本可选实施方式中，训练数据是老师书写板书的视频和该板书对应的矢量线条。经过超过预定量的训练数据的训练就可以得到一个机器学习模型，该模型的输入是一段视频，输入就是板书的矢量线条。
32.在本可选实施方式中，可以获将所述第一视频复制一份得到第二视频；提取所述第二视频中的所述老师在所述讲课过程中书写板书的视频段落；将所述视频段落中的关键帧中的板书内容；将提取到的板书内容形成板书视频。如果使用了上述的机器学习模型来进行板书内容的识别，则将视频段落输入到该机器学习模型中，该机器学习模型的输出就是板书对应的矢量线条。
33.进一步地，将所述板书与所述第一视频中的板书书写时间进行匹配生成所述时间轴包括：将所述板书视频的板书的出现的时间与所述第一视频中的所述老师书写所述板书(即上个步骤中提取的板书内容，板书内容可以是矢量线条)的时间设置为相同；在板书内
容没有变化的时间，保持上一帧的内容不变。
34.在另外一个教学环境中，如果老师所使用的黑板是智能设备，该智能设备具有触摸屏幕，此时，获取所述老师在所述讲课过程中所写的板书可以包括：获取所述老师在触摸屏幕上写下的所述板书；将所述板书转化为矢量线条并进行保存。
35.在该可选实施方式，建立时间轴的方式也比较简单，可以建立所述矢量线条的出现与时间的对应关系；将所述对应关系与所述第一视频的时间进行匹配矫正后得到所述矢量线条在所述第一视频中出现的时间轴。
36.上述两种方式中，可以根据教室的情况来灵活进行选择。作为一个可选的实施方式，可以将所述第一视频、所述板书以及所述时间轴发送至显示设备之后，再发送给服务器。服务器可以保存该第一视频、板书和时间轴。这样就可以形成录制的课程，供以后的学生来进行学习。
37.在发送给服务器之后，所述服务器可以将所述板书和所述时间轴做成主视频，将第一视频做成辅视频，将所述辅视频与所述主视频合成为第一显示视频，其中，辅视频占据主视频的一部分，所述服务器将所述第一显示视频发送给步骤s108中的显示设备。
38.作为另一个可选的实施方式，在录制完一个阶段的视频之后，在服务器上包括有多个课程视频，多个视频课程之间的拼接顺序按照课程表的方式来进行排列。这样有助于学生查找课程，以及按照课程表上的课程进行上课。
39.作为另一个可选的可以增加的实施方式，服务器还可以将所述第一视频中声音进行提取，得到第一声音文件，将所述板书和时间轴与得到第一声音文件组合得第二显示视频，其中，所述第二显示视频显示的内容为所述板书按照所述时间轴出现的视频，所述第二显示视频的声音按照所述时间轴播放所述第一声音文件的得到的声音。
40.所述服务器保存所述第一显示视频和所述第二显示视频，并将所述第一显示视频和所述第二显示设备均配置课程名称标签。所述服务器在接收到回放所述课程名称对应的课程的情况下，将所述第一显示视频或者所述第二显示视频发送给回放设备。比较优的是，所述服务器可以获取所述服务器与所述回放设备之间的网络带宽，当网络带宽大于等于第二阈值时，将所述第一显示视频发送给所述回放设备，当所述网络带宽小于所述第二阈值时，将所述第二显示视频发送给所述回放设备。
41.上述图1中的示出步骤以及上述可选的步骤也可以是由该服务器执行的。或者，当老师使用智能设备在讲课时，也可以由具有计算功能的上述智能设备来执行有服务器所执行的步骤。
42.在本实施例中，提供一种电子装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行以上实施例中的方法。
43.上述程序可以运行在处理器中，或者也可以存储在存储器中(或称为计算机可读介质)，计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd
‑
rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或
任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
44.这些计算机程序也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤，对应与不同的步骤可以通过不同的模块来实现。在本实施例中，就提供了设备、装置或系统，该系统可以称为一种多模式协同教育智能处理系统，所述系统包括：第一获取模块，用于获取通过摄像头拍摄的第一视频，其中，所述摄像头位于第一教室，所述第一视频为拍摄的老师讲课的视频；第二获取模块，用于获取所述老师在讲课过程中所书写的板书；生成模块，用于将所述板书与所述第一视频中的板书书写时间进行匹配，生成所述板书被所述老师书写出的时间轴，其中，所述时间轴与所述板书在所述第一视频中出现的时间轴相同；发送模块，用于将所述第一视频、所述板书以及所述时间轴发送至显示设备，其中，所述显示设备用于根据时间轴同步显示所述第一视频和所述板书。
45.该系统用于实现上述实施例中的方法步骤，已经进行说明的，在此不再赘述。
46.例如，作为一个可选的实施方式，所述第二获取模块用于将所述第一视频复制一份得到第二视频；提取所述第二视频中的所述老师在所述讲课过程中书写板书的视频段落；将所述视频段落中的关键帧中的板书内容；将提取到的板书内容形成板书视频。在该可选的实施方式中，比较优地，所述生成模块用于将所述板书视频的板书的出现的时间与所述第一视频中的所述老师书写所述板书的时间设置为相同；在板书内容没有变化的时间，保持上一帧的内容不变。
47.又例如，作为另一个可选的实施方式，所述第二获取模块用于获取所述老师在触摸屏幕上写下的所述板书；将所述板书转化为矢量线条并进行保存。在该可选的实施方式中，比较优地，所述生成模块用于建立所述矢量线条的出现与时间的对应关系；将所述对应关系与所述第一视频的时间进行匹配矫正后得到所述矢量线条在所述第一视频中出现的时间轴。
48.通过上述实施例解决了现有技术中在课程直播可能出现的板书不清楚的问题，提高了板书的清晰度，进一步提高了课程直播的效果。
49.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。