一种互动教学信息的多视窗处理方法及系统与流程

[0001][0002][0003][0004][0005]
本发明涉及多屏互动、交互、多视窗、图像处理设备、智慧教室、网络教学、图像处理设备、图像处理方法和程序技术领域领域。本发明具体涉及一种互动教学信息的多视窗处理方法及系统。


背景技术：

[0006]
在多媒体教室,智慧教室,线上线下混合教学,会议过程中,用户需要对于pc电脑，云桌面，笔记本，苹果、安卓、windows无线手持终端,ppt、pdf、图片、视频等文件，白板，网络摄像机，线上教学资源，录播主机等教学硬件设备，软件资源实现统一接入，操作及管理。
[0007]
目前有以下几种方法：现有技术1(cn201910591526。4)本发明公开了一种多屏互动的网络教学方法,方法包括:1,对教师终端及学生终端进行权限配置；2,控制单元接收多个网络教学视频源信号,多个网络教学视频源为关联视频源；根据关联视频源的内容对视频进行分类,根据多个网络教学视频的内容对网络教学视频源进行重要等级排序；获取多个关联的终端显示设备的预设优先级与视频源重要等级排序的对应关系表项,根据对应关系表项,将各个网络教学视频源分别通过与各网络教学视频源重要等级排序对应优先级的终端显示设备显示；3,教师终端按照班级群组查看该组学生终端的显示情况。本发明的教师终端可以将学生终端的内容投放到投影模块上,便于随堂作业的针对性讲解,且操作方便, 提高了操作效率。
[0008]
现有技术2(cn109243226a)本发明涉及多媒体教学领域,具体提供一种多屏互动教学系统及方法。一种多屏互动教学系统,其特征在于:包括教学管理平台,教师终端,学生终端, 投影模块和服务器；所述服务器与所述教学管理平台连接；所述教学管理平台包括教学资源管理模块和用户权限管理模块；所述教学资源管理模块包括课件管理单元,所述课件管理单元用于存放教师的课件；所述用户管理模块包括权限管理单元和用户分组单元；所述权限管理单元用于对所述教师终端及所述学生终端进行权限配置；所述教师终端按照班级群组查看该组学生终端的显示情况；所述教师终端获取学生终端的显示画面发送至投影模块进行显示。
[0009]
现有技术3(cn201710626865。2)本发明公开了一种课上多屏互动教学操作方法和系统,方法包括把需要被呈现的内容模块化,由pc端调度模块对小窗口进行统一管理,整个大屏幕的内容显示完成后,程序将根据需要将大屏幕内容传输到对应的学生平板端,系统包括调度模块,小窗口显示模块,传输模块,显示模块四个模块。本发明实现了将一个屏幕分为多个屏幕的目的,大大减少了不必要时间的浪费,提高了教师的上课效率,解决了坐在后排的学生看不清大屏幕的问题,更使课堂上的互动变得丰富有趣,从而提高了学生的学习效率。
[0010]
综上所述，现有技术的多媒体互动教学方式和系统主要采用下列几种方法：第一种是：通过录播系统，摄像机进行互动教学。第二种是：通过矩阵，拼接器设备实现互动教学。第三种是安装应用软件，通过软件方式实现互动教学。
[0011]
由此可知，现有技术中多媒体互动教学方式和系统还存在的缺点为：用户体验差。视窗数量最多4个，而且不能实现预览，拖动，缩放，批注等操作；接入教学资源少、只有手机，pc；操作复杂，老师学生的设备需要安装应用程序，才能完成交互；扩展性差，无法完成多间教室，或者线上线下教学活动；缺少录播功能，或者需要额外配置录播主机实现资源记录；此外，现有技术互动教学系统大多配备指定软件平台，软件平台操作各异，数据互不相通，为使用者带来额外工作量，同样给系统的安装、管理、维护带来不便。


技术实现要素：

[0012]
本发明的目的是提供一种互动教学信息的多视窗处理方法，其可操作性强、互动性高在多媒体教室,智慧教室,线上线下完成混合教学。实现用户对于pc电脑，云桌面，笔记本，苹果、安卓、windows无线手持终端,ppt、pdf、图片、视频等文件，白板，网络摄像机，线上教学资源，录播主机等教学硬件设备，软件资源实现统一接入、操作及管理。用户以所见即所得的多视窗操作。完成本地，远程教学/会议活动。教学/会议活动用户操作数据，各类音视频录播数据可存储，点播，直播和教学大数据分析。
[0013]
本发明中的一种互动教学信息的多视窗处理系统。通过视频显示处理端和多个用户端的设置，用户以所见即所得的多视窗操作。完成本地，远程教学/会议活动。教学/会议活动用户操作数据，各类音视频录播数据可存储，点播，直播和教学大数据分析。
[0014]
本发明一个方面，提供了互动教学信息的多视窗处理方法，互动教学信息的多视窗处理方法能够实施在一个视频显示处理端。视频显示处理端能够连接多个用户端。互动教学信息的多视窗处理方法包括步骤：
[0015]
步骤s101，视频显示处理端从用户端接收笔记本电脑和台式机电脑的第一音频数据和第一视频数据。根据第一音频数据和第一视频数据生成第一类视窗数据。
[0016]
步骤s102，视频显示处理端从用户端接收苹果airplay无线投屏的流媒体数据。根据流媒体数据生成第二类视窗数据。
[0017]
步骤s103，视频显示处理端从用户端接收安卓系统移动设备或win10系统处理设备的 miracast无线投屏数据。根据无线投屏数据生成第三类视窗数据。
[0018]
步骤s104，视频显示处理端从用户端接收gb28181、onvif协议的网络摄像机的输出视频数据。根据输出视频数据生成第四类视窗数据。
[0019]
步骤s105，视频显示处理端从用户端接收且解析ppt、pdf、word文件以及其中的视频文件和图片文件数据，获取解析后的ppt、pdf、word文件以及其中的视频文件和图片文件数据。根据解析后的ppt、pdf、word文件以及其中的视频文件和图片文件数据生成第五类视窗数据。
[0020]
步骤s106，视频显示处理端根据第一类视窗数据、第二类视窗数据、第三类视窗数据、第四类视窗数据和第五类视窗数据，在本地生成教学显示视窗文件。
[0021]
步骤s107，视频显示处理端从用户端的处理器接收用户端的控制信息。根据用户端的控制信息控制教学显示视窗文件。
[0022]
步骤s108，视频显示处理端能够采集本地音视频文件且将本地音视频文件发送到用户端。
[0023]
在本发明互动教学信息的多视窗处理方法的一种实施方式中，互动教学信息的多视窗处理方法能够实施在多个视频显示处理端。多个视频显示处理端之间网络连接。任一个视频显示处理端均能够采集本地音视频文件且将本地音视频文件发送到其他视频显示处理端。其他视频显示处理端能够在本地显示和播放音视频文件。
[0024]
在本发明互动教学信息的多视窗处理方法的另一种实施方式中，视频显示处理端的显示界面窗口能够同时显示、预览且拖动，缩放，滑动包括8个以上的视窗窗口。8个以上的视窗窗口包括第一类视窗数据、第二类视窗数据、第三类视窗数据、第四类视窗数据和第五类视窗数据所生成的视窗窗口。
[0025]
在本发明互动教学信息的多视窗处理方法的另一种实施方式中，视频显示处理端能够存储教学显示视窗文件且能够将教学显示视窗文件向远程推流。
[0026]
在本发明互动教学信息的多视窗处理方法的另一种实施方式中，步骤s101中视频显示处理端通过高清hdmi图像数据采集接口从用户端接收笔记本电脑和台式机电脑的第一音频数据和第一视频数据。高清hdmi图像数据采集接口支持最高1080p60hz输出的台式机、笔记本的视音频数据采集。高清hdmi图像数据采集接口支持hdmi高清的图像采集文件且支持对外部音频源的融合采集。
[0027]
在本发明互动教学信息的多视窗处理方法的另一种实施方式中，步骤s107中，用户端的处理器在本地应用加载windows操作系统、安卓操作系统、苹果操作系统。
[0028]
在本发明互动教学信息的多视窗处理方法的另一种实施方式中，任一个视频显示处理端获取其他视频显示处理端所发送的本地音视频文件后。判断本地音视频文件中是否具有 miracast、airplay或widi协议，若存在识别其文件中的标识pin码是否正确，若是，则执行协议并连接且获取本地音视频文件且在本地显示。
[0029]
本发明的另一个方面，提供了一种互动教学信息的多视窗处理系统，其包括一个视频显示处理端和多个用户端。视频显示处理端能够连接多个用户端。视频显示处理端配置为：
[0030]
从用户端接收笔记本电脑和台式机电脑的第一音频数据和第一视频数据。根据第一音频数据和第一视频数据生成第一类视窗数据。
[0031]
从用户端接收苹果airplay无线投屏的流媒体数据。根据流媒体数据生成第二类视窗数据。
[0032]
从用户端接收安卓系统移动设备或win10系统处理设备的miracast无线投屏数据。根据无线投屏数据生成第三类视窗数据。
[0033]
从用户端接收gb28181、onvif协议的网络摄像机的输出视频数据。根据输出视频数据生成第四类视窗数据。
[0034]
从用户端接收且解析ppt、pdf、word文件以及其中的视频文件和图片文件数据，获取解析后的ppt、pdf、word文件以及其中的视频文件和图片文件数据。根据解析后的ppt、 pdf、word文件以及其中的视频文件和图片文件数据生成第五类视窗数据。
[0035]
根据第一类视窗数据、第二类视窗数据、第三类视窗数据、第四类视窗数据和第五类视窗数据，在本地生成教学显示视窗文件。
[0036]
从用户端的处理器接收用户端的控制信息。根据用户端的控制信息控制教学显示视窗文件。
[0037]
能够采集本地音视频文件且将本地音视频文件发送到用户端。
[0038]
在本发明互动教学信息的多视窗处理系统的另一种实施方式中，视频显示处理端为多个视频显示处理端。多个视频显示处理端之间网络连接。任一个视频显示处理端均能够采集本地音视频文件且将本地音视频文件发送到其他视频显示处理端。其他视频显示处理端能够在本地显示和播放音视频文件。
[0039]
视频显示处理端的显示界面窗口能够同时显示、预览且拖动，缩放，滑动包括8个以上的视窗窗口。8个以上的视窗窗口包括第一类视窗数据、第二类视窗数据、第三类视窗数据、第四类视窗数据和第五类视窗数据所生成的视窗窗口。视频显示处理端能够存储教学显示视窗文件且能够将教学显示视窗文件向远程推流。
[0040]
在本发明互动教学信息的多视窗处理系统的另一种实施方式中，视频显示处理端还配置为：通过高清hdmi图像数据采集接口从用户端接收笔记本电脑和台式机电脑的第一音频数据和第一视频数据。
[0041]
高清hdmi图像数据采集接口支持最高1080p60hz输出的台式机、笔记本的视音频数据采集。高清hdmi图像数据采集接口支持hdmi高清的图像采集文件且支持对外部音频源的融合采集。用户端的处理器在本地应用加载windows操作系统、安卓操作系统、苹果操作系统。
[0042]
任一个视频显示处理端获取其他视频显示处理端所发送的本地音视频文件后。判断本地音视频文件中是否具有miracast、airplay或widi协议，若存在识别其文件中的标识pin码是否正确，若是，则执行协议并连接且获取本地音视频文件且在本地显示。
[0043]
下文将以明确易懂的方式，结合附图对互动教学信息的多视窗处理方法及系统的特性、技术特征、优点及其实现方式予以进一步说明。
附图说明
[0044]
图1是用于说明在本发明一种实施方式中，互动教学信息的多视窗处理方法的流程示意图。
[0045]
图2是用于说明在本发明一种实施方式中，互动教学信息的多视窗处理系统的组成示意图。
[0046]
图3是用于说明在本发明另一种实施方式中，互动教学信息的多视窗处理系统的组成示意图。
具体实施方式
[0047]
为了对发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式，在各图中相同的标号表示结构相同或结构相似但功能相同的部件。
[0048]
在本文中，“示意性”表示“充当实例、例子或说明”，不应将在本文中被描述为“示意性”的任何图示、实施方式解释为一种更优选的或更具优点的技术方案。为使图面简洁，各图中只示意性地表示出了与本示例性实施例相关的部分，它们并不代表其作为产品的实际结构及真实比例。
[0049]
如图1、2所示，本发明一方面提供了互动教学信息的多视窗处理方法，互动教学信息的多视窗处理方法能够实施在一个视频显示处理端201。视频显示处理端201能够连接多个用户端。互动教学信息的多视窗处理方法包括步骤：
[0050]
步骤s101，生成第一类视窗数据。
[0051]
本步骤中，视频显示处理端201从第一类型用户端101，即用户端接收笔记本电脑和台式机电脑的第一音频数据和第一视频数据。根据第一音频数据和第一视频数据生成第一类视窗数据。第一类型用户端101为台式机或笔记本使用者的用户。
[0052]
步骤s102，生成第二类视窗数据。
[0053]
本步骤中，视频显示处理端201从第二类型用户端102，即用户端接收苹果airplay无线投屏的流媒体数据。根据流媒体数据生成第二类视窗数据。第二类型用户端102为移动终端使用者的用户。
[0054]
步骤s103，生成第三类视窗数据。
[0055]
本步骤中，视频显示处理端201从第三类型用户端103，即用户端接收安卓系统移动设备或win10系统处理设备的miracast无线投屏数据。根据无线投屏数据生成第三类视窗数据。第三类型用户端103为使用安卓系统移动设备或win10系统处理设备的用户。
[0056]
步骤s104，生成第四类视窗数据。
[0057]
本步骤中，视频显示处理端201从第四类型用户端104，即用户端接收gb28181、onvif 协议的网络摄像机的输出视频数据。根据输出视频数据生成第四类视窗数据。第四类型用户端104为gb28181、onvif协议的网络摄像机或录制设备的用户。
[0058]
步骤s105，生成第五类视窗数据。
[0059]
本步骤中，视频显示处理端201从第五类型用户端105，即用户端接收且解析ppt、 pdf、word文件以及其中的视频文件和图片文件数据，获取解析后的ppt、pdf、word文件以及其中的视频文件和图片文件数据。根据解析后的ppt、pdf、word文件以及其中的视频文件和图片文件数据生成第五类视窗数据。第五类型用户端105为在笔记本、台式机或移动终端上使用文档文件的用户。
[0060]
步骤s106，生成教学显示视窗文件。
[0061]
本步骤中，视频显示处理端201根据第一类视窗数据、第二类视窗数据、第三类视窗数据、第四类视窗数据和第五类视窗数据，在本地生成教学显示视窗文件，根据成教学显示视窗文件在本地显示屏显示其视窗301。
[0062]
步骤s107，控制信息控制教学显示视窗文件。
[0063]
本步骤中，视频显示处理端201从用户端的处理器接收用户端的控制信息。根据用户端的控制信息控制教学显示视窗文件。
[0064]
步骤s108，向外发送本地音视频文件。
[0065]
本步骤中，视频显示处理端201能够采集本地音视频文件且将本地音视频文件发送到用户端。
[0066]
再此特别指出，本说明书中主要以完成在线上/线下教学/会议活动的名义进行阐述本发明的实施，但可以理解的是，本发明的方法和系统还可以作为其他网络线上/线下混合交流场景的使用。本发明涉及给予多媒体教学、网络教学、在线培训、线上会议、应急指挥、金融系统等教学活动或会议过程的操作方法，系统以及计算机程序产品，在多媒体教
pdf、word文件以及其中的视频文件和图片文件数据生成第五类视窗数据。
[0080]
根据第一类视窗数据、第二类视窗数据、第三类视窗数据、第四类视窗数据和第五类视窗数据，在本地生成教学显示视窗文件。
[0081]
从用户端的处理器接收用户端的控制信息。根据用户端的控制信息控制教学显示视窗文件。
[0082]
能够采集本地音视频文件且将本地音视频文件发送到用户端。
[0083]
在本发明互动教学信息的多视窗处理系统的另一种实施方式中，视频显示处理端201 为多个视频显示处理端201、202、203。多个视频显示处理端201、202、203之间网络连接。任一个视频显示处理端201均能够采集本地音视频文件且将本地音视频文件发送到其他视频显示处理端201。其他视频显示处理端201能够在本地显示和播放音视频文件。
[0084]
视频显示处理端201的显示界面窗口能够同时显示、预览且拖动，缩放，滑动包括8 个以上的视窗窗口。8个以上的视窗窗口包括第一类视窗数据、第二类视窗数据、第三类视窗数据、第四类视窗数据和第五类视窗数据所生成的视窗窗口。视频显示处理端201能够存储教学显示视窗文件且能够将教学显示视窗文件向远程推流。
[0085]
在本发明互动教学信息的多视窗处理系统的另一种实施方式中，视频显示处理端201 还配置为：通过高清hdmi图像数据采集接口从用户端接收笔记本电脑和台式机电脑的第一音频数据和第一视频数据。
[0086]
高清hdmi图像数据采集接口支持最高1080p60hz输出的台式机、笔记本的视音频数据采集。高清hdmi图像数据采集接口支持hdmi高清的图像采集文件且支持对外部音频源的融合采集。用户端的处理器在本地应用加载windows操作系统、安卓操作系统、苹果操作系统。
[0087]
任一个视频显示处理端201获取其他视频显示处理端201所发送的本地音视频文件后。判断本地音视频文件中是否具有miracast、airplay或widi协议，若存在识别其文件中的标识pin码是否正确，若是，则执行协议并连接且获取本地音视频文件且在本地显示。
[0088]
在本发明的另一种实施方式中：
[0089]
s1、根据本发明的目的，提供多视窗互动教学方法，包括以下步骤：
[0090]
s2、有线设备，笔记本，电脑通过高清hdmi音频进行图像采集，以及视窗化；
[0091]
s3、苹果airplay无线投屏流媒体数据接入，以及视窗化；
[0092]
s4、安卓、win10 miracast无线显示数据接入，以及视窗化；
[0093]
s5、gb28181、onvif协议的网络摄像机接入，以及视窗化；
[0094]
s6、ppt、pdf、word、视频、图片文件解析，显示，以及视窗化；
[0095]
s7、windows、安卓、苹果系统的反控；
[0096]
s8、多个视窗预览、拖动，缩放，滑动等操作，屏幕可实现同时8个视窗操作；
[0097]
从显示屏采集音视频数据，任意推送到其他多视窗设备；从其他多视窗设备获取音视频数据，显示到本地视窗；对视窗内容存储，推流，对视窗操作动作捕捉存储；其中，
[0098]
所述高清hdmi图像数据采集支持最高1080p60hz输出的台式机/笔记本的视音频数据采集，并以视窗方式显示，并支持教学触摸一体机的反向控制。
[0099]
所述高清hdmi图像数据采集支持hdmi高清的图像采集，并支持对外部音频源的融合采集，并以视窗方式显示，支持本地录播实现远程教学直播。
[0100]
所述苹果airplay协议是苹果公司实现的在苹果产品之间传输媒体流信息的一组协议，其基于组播dns(multicast domain name server)协议和dns服务发现协议，实现设备间的发现，音频，图片，视频的传输以及屏幕镜像。
[0101]
所述无线投屏视窗化是指苹果系统(ios,mac os)终端通过airplay协议镜像至本系统，并以视窗方式显示，支持推流，批注。
[0102]
所述安卓、windows无线显示是指由wi-fi联盟于2012年所定制，以wi-fi直连(wi-fidirect)为基础的无线显示标准。支持此标准的设备可以不依赖任何连接线实现设备画面的投屏。
[0103]
所述gb28181、onvif协议都是为了确保安全防范视频监控联网系统信息传输即网络视频在安防市场的应用接口标准的不同，将不同厂商生产的网络视频产品具有互通性的接口标准。
[0104]
所述gb28181、onvif协议的网络视频接入是指负责将gb28181、onvif设备/平台推送的ps流转成es流，然后提供rtsp、rtmp、flv、hls多种格式，并以视窗化显示，支持直播分享、录制、点播。
[0105]
所述文档包括microsoft word文档、ppt文档、excel文档、pdf文档、txt文档、视频、图片文档；
[0106]
所述应用操作包括所述文档的打开、关闭、翻页、前进、后退、以及使用者在所述电子文档上的批注动作的位置信息等等。
[0107]
所述windows、安卓、苹果系统的反向控制是指设备通过usb连接至本系统，可以在主窗口显示区远程控制电脑。
[0108]
所述多视窗预览、拖动、缩放、滑动等操作是指本系统接入的有线、无线设备及文件，可以在教学资源预览区按类型分组预览，以及主窗口显示区进行放大拖动、缩放、控制、录制等操作。
[0109]
所述多视窗，是指本系统支持最少同时支持从教学资源预览区，拖入8个资源视窗(包括笔记本，pc，文件等)，在主窗口显示区，并进行移动，缩放，滑动等操作。此技术通过对airplay，miracast数据进行接入并解码，通过对hdmi数据采集接入，通过对ppt， pdf，图片视频文件解析，通过图形，图像处理及优化，实现多视窗功能。
[0110]
所述从显示屏采集音视频数据，指本系统可以对主窗口显示区的音频视频，以及摄像机图像进行h264编码，通过网口，以流媒体形式通过交换机推送到其他多视窗设备。通过这种方式，远端教室可以获取本教室的老师画面，课件及声音；
[0111]
所述从其他多视窗设备获取音视频数据，是指本系统可以对把其他多视窗设备音视频数据流，获取并h264解码，并显示到小组/远程教室预览区，以进行教学互动或会议讨论。通过这种方式，本地教室可以获取多个分教室的画面及声音；
[0112]
所述对视窗内容存储，推流，对视窗操作动作捕捉存储，指本系统可以进行本地化录制存储/推送至录播服务器进行存储。
[0113]
应当理解，虽然本说明书是按照各个实施方式中描述的，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
[0114]
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。