多媒体数据传输方法、装置、电子设备及介质与流程

多媒体数据传输方法、装置、电子设备及介质
1.本技术要求于2021年09月06日提交中国专利局、申请号为202122142979.4、申请名称为“多媒体数据传输装置及电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本技术中。
技术领域
2.本技术涉及远程视频技术领域，特别涉及一种多媒体数据传输方法、装置、电子设备及介质。


背景技术：

3.目前，利用网络进行视频会议、远程教育等远程通信方式已经广泛出现在人们的生活中。工作者可以通过远程视频会议进行工作指导、工作交流；学生可以通过在线远程学习的方式进行日常课程学习。家长可以通过远程辅导的方式对孩子进行课程辅导等。
4.在远程会议、远程辅导或远程在线学习的场景中，一般会存在一个分享设备端和至少一个接收设备端，在任意一个接收设备端均可以看到分享设备端共享的屏幕，在任意一个接收设备端或分享设备端均可以获取其他设备端的头像以及对应音频等，以便于双方进行更好的互动和交流。例如，如图1所示，图1中为家长采用远程视频的方式辅导孩子学习的场景，为了使得家长能够更好的监督孩子学习情况，可以将孩子端的设备作为分享端设备，家长端的设备作为接受端设备，如此使得家长能够通过接收端设备实时监督孩子在分享端设备上进行的各种操作，例如做题等。其中家长在接收端设备还可以看到孩子的人像以及听到孩子的声音，孩子在分享端设备也可以看到家长的人像以及听到家长的声音。
5.在上述交互的过程一般由于会同时存在多路数据的传输，例如视频数据，包括双端设备的摄像头拍摄的视频；屏幕共享数据，包括其中一端设备的屏幕的实时动态；音频数据，包括双端设备的音频模块获取的音频。但是多路数据的传输需要双端设备不断的上传和下载多路数据，因此流量消耗和功耗消耗均较高。


技术实现要素：

6.为解决上述问题，本技术实施例提供一种多媒体数据传输方法、装置、电子设备及介质。
7.第一方面，本技术实施例提供一种多媒体数据传输方法，包括：
8.第一电子设备采集用户的视频数据；
9.所述第一电子设备判断出所述视频数据满足预设条件时，停止向第二电子设备传输所述视频数据。
10.本技术实施例提供的多媒体数据传输方法中，第一电子设备在判断出所述视频数据满足所述预设条件时，可以控制所述第一电子设备停止向第二电子设备传输所述视频数据。该技术方案能够使得第一电子设备在视频数据满足所述预设条件的情况下停止视频数据向第二电子设备的传输，能够有效降低第一电子设备和第二电子设备的流量消耗。且暂
停视频数据的上传在一定程度上也能够降低第一电子设备的功耗。
11.可以理解，本技术实施例中，第一电子设备在向第二电子设备或其他电子设备分享屏幕的时候，可以定义第一电子设备为分享端设备，当第一电子设备在接收其他电子设备的屏幕分享时，可以定义第一电子设备为接收端设备。即第一电子设备既可以作为分享端设备，也可以作为接收端设备。同理，第二电子设备也是既可以作为分享端设备，也可以作为接收端设备。
12.在上述第一方面一种可能的实现中，所述预设条件包括：在设定时间内任意两相邻帧图像的相似度大于设定值；和/或；在设定时间内任意两相邻帧图像中人像的移动距离小于设定距离。
13.可以理解，本技术实施例中视频数据满足所述预设条件态即为本技术实施例中提及的视频数据为无效状态的情形。
14.在一些实施例中，相邻两帧图像的相似度可以通过相邻两帧图像内的人像或其他物质等的偏移程度确定。
15.可以理解，若在设定时间内任意两相邻帧图像中人像的移动距离小于设定距离或者在设定时间内任意两相邻帧图像的相似度大于设定值则可以更加精确地证实人像在设定时间内一直处于动作幅度较小的状态。此时可认为获取的视频数据为无效状态，可以暂停该端视频数据的上传。当视频数据恢复为有效状态时，例如，人像动作幅度变大，在设定时间内任意两相邻帧图像的相似度大于等于设定值时则恢复视频数据的正常上传。本技术实施例提供的多媒体数据传输方能够在视频数据无效的状态下进行视频数据的暂停上传，能够在保证用户体验的前提下，有效降低用户流量消耗。
16.可以理解，当视频中任意两相邻帧图像中人像的移动距离均无人像，则可以定义人像的移动距离为零。即视频无效状态也包括视频中不存在人像的状态。
17.在上述第一方面一种可能的实现中，所述第一电子设备判断出所述视频数据满足所述预设条件时，停止向第二电子设备传输所述视频数据以使得所述第二电子设备在视频显示界面中显示所述视频数据的最后一帧图像。
18.其中，第二电子设备的视频显示界面可以为第二电子设备显示界面上的人像框，人像框内可以用于显示第一电子设备向第二电子设备传输的所有人像数据。
19.本技术实施例中，当第一电子设备停止向第二电子设备传输所述视频数据时，第二电子设备在视频显示界面中显示所述视频数据的最后一帧图像可以用于提示第二电子设备端的用户第一电子设备已停止上传视频数据。还可以使得用户可以看到视频数据的最后一帧图像，在一些情况下可以在节省流量的同时，方便用户记录等。例如，在远程教育的一些场景中，采用第一电子设备拍摄教师在黑板上的讲解过程，若在一些情况下，教师的人像脱离了第一电子设备的拍摄范围，传输控制模块判断出此时的视频数据为无效状态，控制第一电子设备停止了视频数据的上传，此时第二电子设备仍然可以显示教师未脱离拍摄范围内的最后一帧图像，且图像中包含黑板上的讲解内容，学生可以观看最后一帧图像中的内容并根据教师的语音进行相关记录。
20.在上述第一方面一种可能的实现中，所述第一电子设备判断出所述视频数据满足所述预设条件时，停止向第二电子设备传输所述视频数据以使得所述第二电子设备在视频显示界面中显示图像托管信息。
21.图像托管信息可以用于提示用户第一电子设备已停止视频数据的上传，其中，图像托管信息包括但不仅限于托管水印，或“托管中”等文字提示等。
22.在上述第一方面一种可能的实现中，所述第一电子设备判断出所述视频数据满足所述预设条件时，停止向第二电子设备传输所述视频数据以使得所述第二电子设备在视频显示界面中显示所述视频数据的最后一帧图像和图像托管信息。
23.可以理解，本技术实施例中，可以在第二电子设备的视频显示界面中同时显示最后一帧图像和图像托管信息。例如，若图形托管信息为托管水印，则可以在最后帧图像上显示该托管水印。该技术方案可以在提示用户第一电子设备已停止视频数据传输的同时使得用户能够看到视频数据的最后一帧图像。
24.在上述第一方面一种可能的实现中，所述图像托管信息包括托管水印。
25.在上述第一方面一种可能的实现中，所述方法还包括：所述第一电子设备判断出所述视频数据满足所述预设条件时，控制摄像装置进入关闭状态。
26.可以理解，若第一电子设备在检测出视频数据满足所述预设条件时，可以控制第一电子设备的摄像装置关闭。能够有效减小设备功耗。在一些实施例中，可以设置摄像装置在间隔设定时间内重新开启；在一些实施例中，用户可以也可以根据实际需求重新开启摄像装置；在一些实施例中，第一电子设备还可以在接收所述第二电子设备的取消托管请求后，控制摄像装置重新开启。
27.在上述第一方面一种可能的实现中，所述方法还包括：所述第一电子设备接收所述第二电子设备的取消托管请求后，向所述第二电子设备传输所述第一电子设备获取的视频数据。
28.在一些实施例中，可以在电子设备的远程交互界面，例如远程会议界面、远程辅导界面等设置“取消托管”虚拟按钮以用于用户恢复对方设备的视频数据的上传。例如，当第二电子设备端的用户想要恢复第一电子设备的视频数据的上传，则可以点击“取消托管”虚拟按钮，第二电子设备的处理器检测到“取消托管”虚拟按钮被触发后，则可以向第一电子设备发送恢复视频数据上传的指令。第一电子设备的传输控制模块收到该指令后，可以控制第一电子设备将视频数据传输至第二电子设备。该实施方案能够使得用户可以根据实际需求自定义控制视频数据的上传，增加远程交互的实用性，提升用户体验。
29.在上述第一方面一种可能的实现中，所述方法还包括：
30.所述第一电子设备获取所述用户的屏幕共享数据和/或音频数据；
31.所述第一电子设备将所述屏幕共享数据和/或所述音频数据发送至所述第二电子设备。
32.第二方面，本技术实施例提供一种多媒体数据传输装置，包括：
33.采集模块，用于控制第一电子设备采集用户的视频数据；
34.传输控制模块，用于当判断出所述视频数据满足所述预设条件时，控制所述第一电子设备停止向第二电子设备传输所述视频数据。
35.可以理解，本技术实施例中，采集模块可以用于控制第一电子设备的摄像装置采集用户的视频数据。其中，摄像装置可以为第一电子设备摄像头。
36.本技术实施例提供的多媒体传输装置中，传输控制模块在判断出所述视频数据满足所述预设条件时，可以控制所述第一电子设备停止向第二电子设备传输所述视频数据。
该技术方案能够使得第一电子设备在视频数据满足所述预设条件的情况下停止视频数据向第二电子设备的传输，能够有效降低第一电子设备和第二电子设备的流量消耗。且暂停视频数据的上传在一定程度上也能够降低第一电子设备的功耗。
37.在上述第二方面一种可能的实现中，所述预设条件包括：在设定时间内任意两相邻帧图像的相似度大于设定值；和/或；在设定时间内任意两相邻帧图像中人像的移动距离小于设定距离。
38.在上述第二一方面一种可能的实现中，所述传输控制模块，用于：
39.当判断出所述视频数据满足所述预设条件时，控制所述第一电子设备停止向第二电子设备传输所述视频数据以使得所述第二电子设备在视频显示界面中显示所述视频数据的最后一帧图像。
40.在上述第二方面一种可能的实现中，所述传输控制模块，用于：
41.当判断出所述视频数据满足所述预设条件时，控制所述第一电子设备停止向第二电子设备传输所述视频数据以使得所述第二电子设备在视频显示界面中显示图像托管信息。
42.在上述第二方面一种可能的实现中，所述传输控制模块，用于：
43.所述第一电子设备停止向所述第二电子设备传输所述视频数据以使得所述第二电子设备在视频显示界面中显示所述视频数据的最后一帧图像和图像托管信息。
44.在上述第二方面一种可能的实现中，所述图像托管信息包括托管水印。
45.在上述第一方面一种可能的实现中，所述传输控制模块，用于当判断出所述视频数据满足所述预设条件时，所述第一电子设备的摄像装置进入关闭状态。
46.在上述第二方面一种可能的实现中，所述传输控制模块，用于当接收所述第二电子设备的取消托管请求后，控制所述第一电子设备向所述第二电子设备传输所述第一电子设备获取的视频数据。
47.在上述第二方面一种可能的实现中，多媒体数据传输装置还包括：
48.获取模块，用于控制所述第一电子设备获取所述用户的屏幕共享数据和/或音频数据；
49.传输模块，用于控制所述第一电子设备将所述屏幕共享数据和/或所述音频数据发送至所述第二电子设备。
50.本技术实施例第三方面提供一种电子设备，包括存储器，用于存储由所述电子设备的一个或多个处理器执行的指令，以及
51.处理器，是所述电子设备的所述一个或多个处理器之一，用于执行所述多媒体数据传输方法。
52.本技术实施例第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令在执行时使计算机执行所述多媒体数据传输方法。
附图说明
53.图1根据本技术的一些实施例，示出了一种多媒体数据传输的应用场景图；
54.图2根据本技术的一些实施例，示出了一种多媒体数据传输的应用场景图；
55.图3根据本技术的一些实施例，示出了一种多媒体数据传输的应用场景图；
56.图4根据本技术的一些实施例，示出了一种电子设备的结构示意图；
57.图5根据本技术的一些实施例，示出了一种多媒体数据传输的流程示意图；
58.图6根据本技术的一些实施例，示出了一种多媒体数据传输的应用场景图；
59.图7根据本技术的一些实施例，示出了一种多媒体数据装置的示意图。
具体实施方式
60.本技术实施例提供一种多媒体数据传输方法、多媒体数据传输装置、电子设备和介质。
61.如前所述，在多媒体数据传输的过程中由于会同时存在多路数据的传输，例如视频数据、屏幕共享数据以及音频数据等，因此会存在多个设备之间多路数据的上传和下载，导致流量消耗和功耗消耗均较高。
62.为了解决上述问题，本技术实施例提供一种多媒体数据传输方法，在多媒体数据传输过程中电子设备可以针对视频数据进行智能识别检测视频数据是否处于无效状态，当视频数据数据处于无效状态时，可以停止将视频数据传输至另外的电子设备。其中视频数据处于无效状态可以为视频数据满足预设条件的状态。其中视频数据可以为电子设备的摄像头拍摄到的图像，预设条件可以为在设定时间内任意两相邻帧图像的相似度大于设定值；或者，在设定时间内任意两相邻帧图像中人像的移动距离小于设定距离。其中，若在设定时间内任意两相邻帧图像的相似度大于设定值或者在设定时间内任意两相邻帧图像中人像的移动距离小于设定距离则可以证明人像在一段时间内一直处于动作幅度较小的状态。可以理解，当视频中任意两相邻帧图像中均无人像，则可以定义人像的移动距离为零。即视频无效状态也包括视频中不存在人像的状态。
63.可以理解，本技术实施例中，若任意一端的电子设备视频数据处于无效状态时，可以暂停该端视频数据的上传，且可以启动托管状态以提醒另一端的用户，即在另一端设备的人像框中将会显示对方已托管水印等提示，当视频数据恢复为有效状态时，则恢复视频数据的正常上传。本技术实施例提供的多媒体数据传输方能够在视频数据无效的状态下进行视频数据的暂停上传，能够在保证用户体验的前提下，有效降低用户流量消耗。且视频数据的暂停上传可以在一定程度上降低设备的功耗。
64.例如，在上述图1中所示的远程辅导场景中，该场景中包括孩子1及孩子端设备001和家长2及家长端设备002，在孩子端设备001和家长端设备002进行交互的过程中，若孩子端设备001为分享方设备，家长端设备002为接收端设备，则孩子1可以在孩子端设备001的屏幕上进行写画等操作，孩子端设备001可以将屏幕内容以及孩子端设备001采集到的音频和图像发送至家长端设备002，家长端设备002可以将家长端设备002采集的音频和图像发送至孩子端设备001；从而可以使得在孩子端设备001的人像框3中可以显示家长2的人像，在家长端设备002的人像框4中可以显示孩子1的人像，在家长端设备002的屏幕上可以看到孩子端设备001的屏幕内容。
65.其中，孩子端设备001在检测到孩子端设备001采集到的图像为无效状态时，例如在孩子端设备001检测到图像中孩子1一直处于在屏幕上认真书写的状态，即孩子1长期处于动作幅度较小的状态时，则孩子端设备001将会暂停将拍摄到的图像上传至服务器003，此时在家长端设备002的人像框4中如图2所示，显示“托管中”的水印；而孩子端设备001在
检测到孩子端设备001采集到的图像恢复至有效状态时，例如在孩子端设备001检测到图像中孩子1开始玩耍，出现大幅度动作时，则孩子端设备001将恢复图像的上传，此时在家长端设备002的人像框4中，将会重新显示孩子端设备001上传的图像，例如，可以重新显示孩子1的人像。
66.在一些实施例中，若家长端设备002在检测到家长端设备002采集到的图像为无效状态时，例如，家长端设备002检测到图像中家长2也处于长期动作幅度较小的状态或者不存在人像的状态时，则家长端设备002也会暂停将拍摄到的图像上传至服务器003。此时在孩子端设备001的人像框4中也会显示“托管中”的水印，即如图3所示，双方设备的人像框中均显示“托管中”的水印。
67.可以理解，本技术实施例中多媒体数据传输方法的实现需要涉及到分享端设备和接收端设备。需要说明的是，本技术实施例中，分享端设备和接收端设备的定义只是根据在多媒体数据传输过程中的角色定义的，并不构成对分享端设备和接收端设备的限定。即在一段时间内，分享端设备也可以作为接收端设备。例如在视频会议的第一段时间内，进行分享屏幕的一端的设备定义为分享端设备，接收屏幕分享的设备定义为接收端设备。而在视频会议的第二段时间内，可能需要在第一段时间内作为接收端设备的电子设备进行屏幕分享，此时，在第一段时间内作为接收端设备的电子设备在第二段时间内将会作为分享端设备分享屏幕，而在第一段时间内作为接收端设备的电子设备在第二段时间内将会作为接收端接收屏幕分享。
68.在多媒体数据传输的过程中分享端设备和接收端设备之间会同时存在多路数据的传输，例如视频数据、屏幕共享数据以及音频数据等。可以理解，上述屏幕共享数据可以包括屏幕内容；视频数据可以为各端设备的图像采集装置拍摄到的图像，音频数据可以为各端设备的音频装置获取的音频。
69.其中，分享端设备和接收端设备间各数据的传输方向可以为：分享端设备的屏幕共享数据可以传输至接收端设备，以使得接收端设备能够看到分享端设备的屏幕内容，分享端设备和接收端设备的视频数据和音频数据均可传输至对方设备，以便更好的交互。
70.其中，在多媒体数据传输的场景中，分享端设备一般为一个，接收端设备可以为一个也可以为多个。
71.例如在远程教学直播的场景中，教师端设备可以为分享端设备，学生端设备可以为接收端设备，其中，教师端设备可以为一个，学生端设备可以为多个，即可以实现多个学生同时进行远程听课学习。教师端设备获取的屏幕内容、图像及音频可以发送至学生端设备，以使得学生端设备能够观看屏幕内容并结合教师的音频和图像进行听课学习。
72.再例如，如前所述，在远程辅导的场景中，家长想要监督孩子做题写作业等，可以通过孩子端设备和家长端设备的交互实现。其中，将孩子端的设备作为分享端设备，家长端的设备作为接受端设备，此时分享端设备和接收端设备均为一个。
73.本技术实施例中，多媒体数据传输的实现方式可以为首先创建视频入口，设备端的用户可以通过视频入口进入视频交互。可实施的，该视频入口可以为特定链接。例如，在远程教学直播的场景中，教师和学生均可以通过打开该链接进入视频交互。再例如，在上述家庭远程辅导的场景中，家长和孩子均可以通过打开该链接进入视频交互。
74.在上述远程辅导场景中，若家长需要监督孩子写作业，则孩子端的设备可以分享
屏幕内容，在孩子端设备分享屏幕内容的这段时间内，可以将孩子端设备定义为分享端设备，家长端设备定义为接收端设备；若家长需要给孩子进行讲解，则家长端的设备可以分享屏幕内容，在家长端设备分享屏幕内容的这段时间内，可以将家长端设备定义为分享端设备，孩子端设备定义为接收端设备。
75.本技术实施例中，调整各设备在视频交互过程中的角色的方式可以为通过视频发起人即视频入口的创建人进行直接调整。例如，在上述远程辅导场景中，家长为视频入口的创建人，则家长可以在家长端设备上设置孩子设备为分享端设备，家长端设备为接收端设备，在视频交互的过程中，也可以根据实际需求将家长端设备设置为分享端设备。
76.可以理解，本技术实施例中，分享端设备和接收端设备的交互可以通过服务器实现，即任意一端设备的图像流、屏幕共享等均可以上传至服务器，使得另一端设备可以从服务器下载对应的图像流和屏幕共享数据。可以理解，本技术实施例中，分享端设备和接收端设备也可以不通过服务器直接进行交互，例如，通过点对点(point to point,p2p)的方式进行图像流、屏幕共享等数据的传输。
77.下面在详细介绍本技术实施例提供的多媒体数据传输方法之前，首先对本技术实施例提供的电子设备进行介绍。上述分享端设备和接收端设备均可以采用本技术实施例提供的电子设备。
78.可以理解，本技术实施例提及的电子设备包括但不限于膝上型计算机、台式计算机、平板计算机及智能手机等。
79.为了便于介绍，现在以电子设备为平板计算机10为例进行说明。
80.如图4所示，平板计算机10可以包括处理器110、电源模块140、存储器180，移动通信模块130、无线通信模块120、传感器模块190、音频模块150、摄像头170、接口模块160、按键101以及显示屏102等。
81.可以理解的是，本发明实施例示意的结构并不构成对平板计算机10的具体限定。在本技术另一些实施例中，平板计算机10可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
82.处理器110可以包括一个或多个处理单元，例如，可以包括中央处理器cpu(central processing unit)、图像处理器gpu(graphics processing unit)、数字信号处理器dsp、微处理器mcu(micro-programmed control unit)、ai(artificial intelligence，人工智能)处理器或可编程逻辑器件fpga(field programmable gate array)等的处理模块或处理电路。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器110中可以设置存储单元，用于存储指令和数据。在一些实施例中，处理器110中的存储单元为高速缓冲存储器180。可以理解，本技术实施例中,处理器110可以用于检测视频数据是否为无效状态。
83.电源模块140可以包括电源、电源管理部件等。电源可以为电池。电源管理部件用于管理电源的充电和电源向其他模块的供电。在一些实施例中，电源管理部件包括充电管理模块和电源管理模块。充电管理模块用于从充电器接收充电输入；电源管理模块用于连接电源，充电管理模块与处理器110。电源管理模块接收电源和/或充电管理模块的输入，为处理器110，显示屏102，摄像头170，及无线通信模块120等供电。
84.无线通信模块120可以包括天线，并经由天线实现对电磁波的收发。无线通信模块120可以提供应用在平板计算机10上的包括无线局域网(wireless local area networks，wlan)(如无线保真(wireless fidelity，wi-fi)网络)，蓝牙(bluetooth，bt)，全球导航卫星系统(global navigation satellite system，gnss)，调频(frequency modulation，fm)，近距离无线通信技术(near field communication，nfc)，红外技术(infrared，ir)等无线通信的解决方案。平板计算机10可以通过无线通信技术与网络以及其他设备进行通信。
85.可以理解，本技术实施例中，电子设备与服务器003之间可以通过无线通信模块进行通信。
86.显示屏102用于显示人机交互界面、图像、视频等。显示屏102包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，lcd)，有机发光二极管(organic light-emitting diode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，amoled)，柔性发光二极管(flex light-emitting diode，fled)，miniled，microled，micro-oled，量子点发光二极管(quantum dot light emitting diodes，qled)等。可实施的，本技术实施例中，显示屏102可以用于显示用户的屏幕书写内容。例如，在上述远程辅导场景中，若平板计算机10作为孩子端设备，则显示屏102可以用于显示孩子在屏幕上的书写内容。
87.传感器模块190可以包括接近光传感器、压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器，骨传导传感器等。
88.音频模块150用于将数字音频信息转换成模拟音频信号输出，或者将模拟音频输入转换为数字音频信号。音频模块150还可以用于对音频信号编码和解码。在一些实施例中，音频模块150可以设置于处理器110中，或将音频模块150的部分功能模块设置于处理器110中。在一些实施例中，音频模块150可以包括扬声器、听筒、麦克风以及耳机接口。
89.可以理解，本技术实施例中，麦克风可以用于采集音频以获取音频数据，扬声器可以用于播放音频。
90.摄像头170用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件把光信号转换成电信号，之后将电信号传递给isp(image signal processing，图像信号处理)转换成数字图像信号。平板计算机10可以通过isp，摄像头170，视频编解码器，gpu(graphic processing unit，图形处理器)，显示屏102以及应用处理器等实现拍摄功能。
91.本技术实施例中，摄像头170可以用于获取视频数据。
92.接口模块160包括外部存储器接口、通用串行总线(universal serial bus，usb)接口及用户标识模块(subscriber identification module，sim)卡接口等。其中外部存储器接口可以用于连接外部存储卡，例如micro sd卡，实现扩展平板计算机10的存储能力。外部存储卡通过外部存储器接口与处理器110通信，实现数据存储功能。通用串行总线接口用于平板计算机10和其他电子设备进行通信。用户标识模块卡接口用于与安装至平板计算机10的sim卡进行通信，例如读取sim卡中存储的电话号码，或将电话号码写入sim卡中。
93.在一些实施例中，平板计算机10还包括按键101、马达以及指示器等。其中，按键
101可以包括音量键、开/关机键等。马达用于使平板计算机10产生振动效果，例如在用户的平板计算机10被呼叫的时候产生振动，以提示用户接听平板计算机10来电。指示器可以包括激光指示器、射频指示器、led指示器等。
94.下面结合上述平板计算机10对本技术实施例一种多媒体数据传输方法进行详细叙述。
95.首先图5以两个设备(第一电子设备和第二电子设备)进行视频交互为例，示出了一种多媒体数据传输方法的示意图。图5中所示的第一电子设备和第二电子设备均可以为平板计算机10。如图5所示，多媒体数据传输方法可以包括：
96.501:第一电子设备获取分享端的屏幕共享数据、音频数据和视频数据。
97.本技术实施例中，第一电子设备可以通过处理器获取第一电子设备的屏幕共享数据，可以通过摄像头获取用户的视频数据，可以通过麦克风获取用户的音频数据。
98.其中，屏幕共享数据可以包括第一电子设备上的屏幕内容，视频数据可以包括第一电子设备的摄像头拍摄到的图像，音频数据可以为第一电子设备的麦克风获取的音频。
99.例如，以上述图2中的远程辅导场景为例，第一电子设备为孩子端设备001，第二电子设备为家长端设备002，则孩子1可以在孩子端设备001的屏幕上进行写画等操作，孩子端设备001可以获取屏幕内容并采集音频和图像，例如，孩子1的音频和图像。
100.502：判断第一电子设备获取的视频数据是否为无效状态。
101.若判断结果为是，则证明第一电子设备获取的视频数据为无效状态，则转至s504,暂停视频数据的上传。若判断结果为否，则证明第一电子设备获取的视频数据为有效状态，则转至s503，保持视频数据的上传。
102.本技术实施例中，可以通过在第一电子设备的处理器对视频数据进行识别，从而判断图像流是否为无效状态。其中，在一些实施例中，无效状态可以为人像在一段时间内一直处于动作幅度较小的状态；在一些实施例中，无效状态也可以为不存在人像的状态；在一些实施例中，无效状态还可以为第一电子设备设定的其他无效状态，本技术在此不做限定。
103.其中处理器110可以包括人脸检测模型，可以通过人脸检测模型获对摄像头获取的视频数据进行识别，判断视频数据中是否存在人像。若不存在人像，则可以确定此时视频数据处于无效状；若存在人像，则继续通过人脸检测模型判断设定时间内的人像数据中相邻两帧图像中人像的移动距离是否小于设定值，从而判断人像在该设定时间内是否一直处于动作幅度较小的状态。
104.例如，该设定时间内的视频数据共包括5帧图像数据，每一帧图像数据与相邻帧图像数据中人像的相对移动距离均小于设定值，则可以判断人像在该段时间内是否一直处于动作幅度较小的状态，从而确定此时视频数据处于无效状态，此时可以暂停视频数据的上传。当后续出现某一帧数据的人像相对于前一帧数据的人像的相对移动距离大于等于设定值，可以判断人像出现动作幅度改变较大的状态并确定视频数据恢复为有效状态，则恢复视频数据的上传。可以理解，上述设定值可以根据实际需求设定，例如，可以为50个像素。
105.可以理解，在一些实施例中，可以定义在第一电子设备和第二电子设备开始交互的初始设定时间内，不论视频数据是否无效，双方设备均进行视频数据的传输。
106.其中，初始设定时间可以为视频会议开始的前五分钟。
107.因为在视频会议等交互的开始阶段，用户还在调试设备的状态，此时，可能第一电
子设备和第二电子设备获取到的视频数据中不存在人像，因此，便会停止视频数据的上传。但此时若停止了数据的上传用户可能会误以为设备发生异常或无法正常调试。而定义在第一电子设备和第二电子设备开始交互的初始设定时间内，不论视频数据是否无效，双方设备均进行视频数据的传输可以有效避免上述情况的发生，使得交互顺利进行。
108.503：第一电子设备将屏幕共享数据、音频数据和视频数据上传至服务器003。
109.本技术实施例中，当第一电子设备识别出视频数据为有效状态，则可以保持视频数据上传服务器003，同时将将屏幕共享数据和音频数据上传至服务器003。
110.其中，第一电子设备可以通过wi-fi、蓝牙等方式将屏幕共享数据、音频数据和视频数据上传至服务器003。
111.504：第一电子设备将屏幕共享数据、音频数据上传至服务器003，暂停视频数据的上传。
112.本技术实施例中，当第一电子设备识别出视频数据为无效状态，则可以暂停视频数据的上传，将屏幕共享数据、音频数据和视频数据上传至服务器003。
113.本技术实施例中，在暂停第一电子设备的视频数据上传的时间段内，第一电子设备的屏幕上的人像框内可以继续显示第二电子设备端用户的人像，第二电子设备的屏幕上的人像框中将会显示对方托管中的提示信息，例如，可以如图1所示为托管水印；可实施的，也可以为在暂停视频数据上传前第一电子设备上传至服务器003的视频数据中的最后一帧的静态图像；可实施的，还可以为在暂停视频数据上传前第一电子设备上传至服务器003的视频数据中的最后一帧的静态图像上显示托管水印。
114.例如，如上述举例，若设定时间内的视频数据共包括5帧图像数据，每一帧图像数据与相邻帧图像数据中人像的相对移动距离均小于设定值，则可以判断人像在该段时间内是否一直处于动作幅度较小的状态，从而确定此时视频数据处于无效状态，此时可以暂停视频数据的上传。第二电子设备的屏幕的人像框中将会第一电子设备上传至服务器003的视频数据中的最后一帧的静态图像，即上述举例中第五帧的图像数据。
115.505：第二电子设备从服务器003下载第一电子设备上传的数据。
116.本技术实施例中，若第一电子设备上传至服务器003的数据包括屏幕共享数据、音频数据和视频数据，则第二电子设备可以从服务器003上下载第一电子设备上传至服务器003的屏幕共享数据、音频数据和视频数据。
117.若第一电子设备上传至服务器003的数据包括屏幕共享数据和音频数据，则第二电子设备可以从服务器003上下载第一电子设备上传至服务器003的屏幕共享数据和音频数据。
118.本技术实施例中，第二电子设备可以通过wi-fi、蓝牙等方式从服务器003下载第一电子设备上传至服务器003的数据。
119.本技术实施例中，当第二电子设备从服务器003下载屏幕共享数据、音频数据和视频数据后，第二电子设备的屏幕上可以显示第一电子设备的屏幕内容，第二电子设备屏幕的人像框中可以显示第一电子设备摄像装置拍摄的图像，在第二电子设备端可以播放第一电子设备端上传至服务器003的音频。
120.本技术实施例上述步骤公开了第一电子设备将数据传输至第二电子设备的过程，可以理解，在上述第一电子设备将数据传输至第二电子设备的过程的同时，第二电子设备
可以将第二电子设备获取的数据传输至第一电子设备，具体的，第二电子设备向第一电子设备传输视频数据和音频数据的过程与上述第一电子设备向第二电子设备传输视频数据和音频数据的过程一致。其不同在于，第二电子设备可以不需要向第一电子设备传输屏幕共享数据。其原因在于，在一些实施例中，在视频交互过程中，只需要一端的设备进行屏幕分享，第一电子设备在进行屏幕分享的同时，第二电子设备无需进行屏幕分享，直接接收第一电子设备分享的屏幕共享数据即可。即在第二电子设备上可以显示第一电子设备的屏幕内容。
121.可以理解，上述视频交互方法是以第二电子设备为一个进行叙述的，在一些实施例中，若第二电子设备的数量为多个，例如在前述远程教学直播的场景中，则任意一个第二电子设备除了向第一电子设备发送音频数据和视频数据，还可以其他第二电子设备发送音频数据和视频数据，以实现多设备之间的交互。其中多个第二电子设备之间视频数据的传输参照上述第一电子设备与第二电子设备之间视频数据的传输方法，此处不再赘述。
122.在一些实施例中，第二电子设备和第一电子设备均可以对对方设备的视频数据是否传输进行控制。
123.例如，在一些情况中，第一电子设备识别到获取的视频数据为无效状态，则暂停视频数据的上传和传输。此时，若第二电子设备端的用户想要继续获取第一电子设备端的视频数据，则可以在第二电子设备上控制第一电子设备继续上传视频数据。上述方案能够实现根据用户需求对视频数据的传输实现智能控制。
124.在一些实施例中，可以在电子设备的远程交互界面，例如远程会议界面、远程辅导界面等设置“取消托管”虚拟按钮以用于用户恢复对方设备的视频数据的上传。例如，当第二电子设备端的用户想要恢复第一电子设备的视频数据的上传，则可以点击“取消托管”虚拟按钮，第二电子设备的处理器检测到“取消托管”虚拟按钮被触发后，则可以向第一电子设备发送恢复视频数据上传的指令。第一电子设备的处理器收到该指令后，控制第一电子设备将视频数据上传至服务器003。
125.例如，如图6所示，在上述远程辅导场景中，当孩子端设备001暂停视频数据上传，家长想要恢复孩子端设备001的视频数据的上传，则可以点击家长端设备002的界面上的虚拟按钮5，家长端设备002的处理器检测到“取消托管”虚拟按钮5被触发后，则可以向孩子端设备001发送恢复视频数据上传的指令。孩子端设备001的处理器收到该指令后，控制孩子端设备001将视频数据上传至服务器003。
126.综上，本技术实施例提供的多媒体数据传输方法可以根据视频数据的状态判断是否上传视频数据，能够有效节省交互过程中的流量消耗并降低双端电子设备的功耗。
127.如图7所示，本技术实施例还提供一种多媒体数据传输装置700，包括：
128.采集模块701，用于控制第一电子设备采集用户的视频数据；
129.传输控制模块702，用于当判断出视频数据满足预设条件时，控制第一电子设备停止向第二电子设备传输视频数据。
130.预设条件包括：在设定时间内任意两相邻帧图像的相似度大于设定值；和/或；在设定时间内任意两相邻帧图像中人像的移动距离小于设定距离。
131.传输控制模块，可以用于：
132.当判断出视频数据满足预设条件时，控制第一电子设备停止向第二电子设备传输
视频数据以使得第二电子设备在视频显示界面中显示视频数据的最后一帧图像。
133.传输控制模块，可以用于：
134.当判断出视频数据满足预设条件时，控制第一电子设备停止向第二电子设备传输视频数据以使得第二电子设备在视频显示界面中显示图像托管信息。
135.传输控制模块，可以用于：
136.当判断出视频数据满足预设条件时，控制第一电子设备停止向第二电子设备传输视频数据以使得第二电子设备在视频显示界面中显示视频数据的最后一帧图像和图像托管信息。
137.图像托管信息包括托管水印。
138.传输控制模块，可以用于当判断出视频数据满足预设条件时，控制第一电子设备的摄像装置进入关闭状态。
139.传输控制模块，可以用于当接收第二电子设备的取消托管请求后，控制第一电子设备向第二电子设备传输第一电子设备获取的视频数据。
140.其中，多媒体数据传输装置还可以包括：
141.获取模块，用于控制第一电子设备获取用户的屏幕共享数据和/或音频数据；
142.传输模块，用于控制第一电子设备将屏幕共享数据和/或音频数据发送至第二电子设备。
143.本技术公开的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本技术的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。
144.可将程序代码应用于输入指令，以执行本技术描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本技术的目的，处理系统包括具有诸如例如数字信号处理器(dsp)、微控制器、专用集成电路(asic)或微处理器之类的处理器的任何系统。
145.程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理系统通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本技术中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。
146.在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读(例如，计算机可读)存储介质承载或存储在其上的指令，其可以由一个或多个处理器读取和执行。例如，指令可以通过网络或通过其他计算机可读介质分发。因此，机器可读介质可以包括用于以机器(例如，计算机)可读的形式存储或传输信息的任何机制，包括但不限于，软盘、光盘、光碟、只读存储器(cd-roms)、磁光盘、只读存储器(rom)、随机存取存储器(ram)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)、磁卡或光卡、闪存、或用于利用因特网以电、光、声或其他形式的传播信号来传输信息(例如，载波、红外信号数字信号等)的有形的机器可读存储器。因此，机器可读介质包括适合于以机器(例如，计算机)可读的形式存储或传输电子指令或信息的任何类型的机器可读介质。
147.本技术实施例还提供了一种计算机程序或包括计算机程序的一种计算机程序产
品，该计算机程序在某一计算机上执行时，将会使所述计算机实现上述多媒体数据传输方法。可实施的，计算机程序产品可以包括指令，所述指令用于实现上述多媒体数据传输方法。
148.在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。然而，应该理解，可能不需要这样的特定布置和/或排序。而是，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以与其他特征组合。
149.需要说明的是，本技术各设备实施例中提到的各单元/模块都是逻辑单元/模块，在物理上，一个逻辑单元/模块可以是一个物理单元/模块，也可以是一个物理单元/模块的一部分，还可以以多个物理单元/模块的组合实现，这些逻辑单元/模块本身的物理实现方式并不是最重要的，这些逻辑单元/模块所实现的功能的组合才是解决本技术所提出的技术问题的关键。此外，为了突出本技术的创新部分，本技术上述各设备实施例并没有将与解决本技术所提出的技术问题关系不太密切的单元/模块引入，这并不表明上述设备实施例并不存在其它的单元/模块。
150.需要说明的是，在本专利的示例和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
151.虽然通过参照本技术的某些优选实施例，已经对本技术进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本技术的范围。