数据传输方法及装置与流程

1.本公开涉及通信技术领域，尤其涉及数据传输方法及装置。


背景技术：

2.在零终端系统中，零终端与云端服务器中的虚拟机进行数据传输。其中，在数据传输应用上，存在两种应用方式，一种是实时应用，用户对延时感知比较敏感，以音视频传输应用为例，音视频通话应用是一种实时应用。另一种是非实时应用，同样以音视频传输应用为例，在线视频应用是一种非实时应用。
3.针对上述两种应用场景，通常对数据传输的处理方式是一样。然而，在一些两种应用场景混合交叉出现的场景中，这种方式使得流畅度不高，不能保证用户获得更好的用户体验。


技术实现要素：

4.本公开实施例提供一种数据传输方法及装置，能够解决现有的数据传输方式流畅度不高的问题。技术方案如下：
5.根据本公开实施例的第一方面，提供一种数据传输方法，该方法包括：
6.在与虚拟机进行数据传输的过程中，当检测到当前的传输场景是实时传输场景以后，以实时传输场景对应的数据传输模式与虚拟机进行数据传输，其中，实时传输场景是指用户能够感知到数据传输时延的场景。
7.本公开实施例提供的数据传输方法，数据传输过程能够根据传输场景的不同灵活变换，在实时传输场景下，使用对应的数据传输模式，避免延迟情况的发生，保证流畅性，提高了用户使用体验。
8.在一个实施例中，当检测到当前的传输场景是实时传输场景以后，以实时传输场景对应的数据传输模式与虚拟机进行数据传输，包括：
9.当检测到目标输入信号以后，确定当前的传输场景是实时传输场景，目标输入信号包括：目标控制信号、有效音频信号和有效视频信号中的至少一种信号；
10.以实时传输场景对应的数据传输模式与虚拟机进行数据传输。
11.本实施例，通过对输入信号进行检测，针对目标控制信号以及有效音视频信号，来判断是否进入实时传输场景，是的实时传输场景判断全面、准确、速度快，从而能快速进行传输模式的切换，提高用户体验。
12.在一个实施例中，在目标输入信号是目标控制信号时，当检测到目标输入信号以后，确定当前的传输场景是实时传输场景，包括：
13.当检测到键盘操作指令和/或鼠标操作指令以后，确定当前的传输场景是实时传输场景。
14.在一个实施例中，在目标输入信号是有效音频信号时，当检测到目标输入信号以后，确定当前的传输场景是实时传输场景，包括：
15.基于静音检测算法和/或声音识别算法，检测有效音频信号；
16.当检测到有效音频信号以后，确定当前的传输场景是实时传输场景。
17.在一个实施例中，在目标输入信号是有效视频信号时，当检测到目标输入信号以后，确定当前的传输场景是实时传输场景，包括：
18.当检测当前的视频画面中包含人物的有效动作时以后，确定当前的传输场景是实时传输场景。
19.在一个实施例中，以实时传输场景对应的数据传输模式与虚拟机进行数据传输，包括：
20.以增加缓存大小、建立丢包重传机制、建立前向纠错机制中的至少一种传输机制，与虚拟机进行数据传输。
21.本实施例，通过以增加缓存大小、建立丢包重传机制、建立fec机制中的至少一种传输机制，与虚拟机进行数据传输，保证实时传输场景下数据传输的流畅性，尤其是音视频流的传输流畅性，提高了用户体验。
22.在一个实施例中，以实时传输场景对应的数据传输模式与虚拟机进行数据传输之后，还包括：
23.实时进行场景检测，当检测到当前的传输场景由实时传输场景切换到非实时传输场景以后，以非实时传输场景对应的数据传输模式与虚拟机进行数据传输。
24.本实施例，通过对实时传输场景中进行传输场景的检测，在传输场景切换到非实时传输场景以后，将数据传输模式调整为非实时传输场景对应的数据传输模式，完成与虚拟机的数据传输，在数据传输过程能够根据传输场景的不同灵活变换，在实时传输场景下，使用对应的数据传输模式，避免延迟情况的发生，提高了数据安全性稳定性，提高了用户使用体验。
25.根据本公开实施例的第二方面，提供一种数据传输装置，包括：
26.检测模块，用于在与虚拟机进行数据传输的过程中，检测当前的传输场景是否是实时传输场景，其中，实时传输场景是指用户能够感知到数据传输时延的场景。
27.数据传输模块，用于当检测到当前的传输场景是实时传输场景以后，以实时传输场景对应的数据传输模式与虚拟机进行数据传。
28.在一些实施例中，数据传输模块具体用于：
29.当检测到目标输入信号以后，确定当前的传输场景是实时传输场景，目标输入信号包括：目标控制信号、有效音频信号和有效视频信号中的至少一种信号；以实时传输场景对应的数据传输模式与虚拟机进行数据传输。
30.本公开实施例提供的数据传输装置，数据传输过程能够根据传输场景的不同灵活变换，在实时传输场景下，使用对应的数据传输模式，避免延迟情况的发生，保证流畅性，提高了用户使用体验。
31.在一个实施例中，在目标输入信号是目标控制信号时，数据传输模块具体用于：
32.当检测到键盘操作指令和/或鼠标操作指令以后，确定当前的传输场景是实时传输场景。
33.在一个实施例中，在目标输入信号是有效音频信号时，数据传输模块具体用于：
34.基于静音检测算法和/或声音识别算法，检测有效音频信号；当检测到有效音频信
号以后，确定当前的传输场景是实时传输场景。
35.在一个实施例中，在目标输入信号是有效视频信号时，数据传输模块具体用于：
36.当检测当前的视频画面中包含人物的有效动作时以后，确定当前的传输场景是实时传输场景。
37.在一个实施例中，数据传输模块具体用于：
38.以增加缓存大小、建立丢包重传机制、建立前向纠错机制中的至少一种传输机制，与虚拟机进行数据传输。
39.在一个实施例中，该装置还包括：
40.模式切换模块，用于实时进行场景检测，当检测到当前的传输场景由实时传输场景切换到非实时传输场景以后，以非实时传输场景对应的数据传输模式与虚拟机进行数据传输。
41.根据本公开实施例的第三方面，提供一种数据传输设备，设备包括处理器和存储器，存储器中存储有至少一条计算机指令，指令由处理器加载并执行以实现第一方面以及第一方面的任一实施例所描述的数据传输方法中所执行的步骤。
42.根据本公开实施例的第四方面，提供一种计算机可读存储介质，存储介质中存储有至少一条计算机指令，指令由处理器加载并执行以实现第一方面以及第一方面的任一实施例所描述的数据传输方法中所执行的步骤。
43.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
44.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
45.图1为本公开实施例提供的一种数据传输方法的流程示意图；
46.图2是本公开实施例提供的另一种数据传输方法的流程示意图；
47.图3是本公开实施例提供的一种数据传输装置的结构图。
具体实施方式
48.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
49.本公开实施例提供的一种数据传输方法可以应用在零终端系统，零终端系统可以包括：零终端和服务器，其中，服务器中可以运行一个或多个虚拟机。零终端通过与服务器中的一个虚拟机连接，从而与该虚拟机进行数据传输。
50.其中，服务器可以为一个服务器也可以为服务器集群，对此本公开不做限定。本公开中的服务器也可以称为云端服务器。
51.在零终端系统中，零终端与云端服务器中的虚拟机进行数据传输。其中，在数据传输应用上，存在两种应用方式，一种是实时应用，用户对延时感知比较敏感，以音视频传输
应用为例，音视频通话应用是一种实时应用，本公开中将该种数据传输场景称为实时传输场景。另一种是非实时应用，同样以音视频传输应用为例，在线视频应用是一种非实时应用，本公开中将该种数据传输场景称为非实时传输场景。
52.实时应用对延时要求比较高，而非实时应用对延时则不那么敏感，因此，应在流处理技术上有所差别，以提高用户体验。比如，非实时应用可以通过加大缓存，可靠传输等方式避免网络的不稳定性和提升图像音频质量。
53.在云桌面使用场景下，使用场景实际是实时和非实时这两种情况的混合。比如，在用户进行软件编辑和操作，通过软件进行音视频通信时，属于实时场景，而当客户观看视频内容时，又是非实时应用场景。如果使用差异化的媒体处理策略针对具体场景，可以有更好的体验。
54.本公开实施例提供的数据传输方法，零终端与虚拟机进行数据传输的过程中，通常默认使用非实时传输场景对应的数据传输模式。零终端对传输场景进行检测，当检测到当前的传输场景切换到上述实时传输场景以后，相应将当前的数据传输模式变换为实时传输场景对应的数据传输模式，从而与虚拟机进行数据传输。使得数据传输过程能够根据场景的不同灵活变换，在实时传输场景下，使用对应的数据传输模式，避免延迟情况的发生，保证数据传输的流畅性，提高了用户使用体验。
55.下面以具体的实施例进行详细说明本公开的技术方案。
56.请参见图1，图1为本公开实施例提供的一种数据传输方法的流程示意图，如图1所示，本实施例由零终端执行，该零终端可以为上述实施例中零终端系统中的零终端。本实施例提供的数据传输方法可以包括以下步骤：
57.步骤101、在与虚拟机进行数据传输的过程中，检测当前的传输场景是否是实时传输场景。
58.若是，则继续执行步骤102，若否继续执行步骤101。
59.步骤102、以实时传输场景对应的数据传输模式与虚拟机进行数据传输。
60.本实施例中，实时传输场景是指用户能够感知到数据传输时延的场景。由于实时传输场景中，用户对数据传输时延比较敏感，例如，在进行视频通话时，如果存在数据传输时延，将表现为视频通话卡顿现象，会给用户带来不好的用户体验，因此，可以对传输场景进行检测，在检测到当前的传输场景是实时传输场景以后，将当前的数据传输模式变换为实时传输场景对应的数据传输模式，从而与虚拟机进行数据传输。其中，实时传输场景对应的数据传输模式是指优先保证数据传输的流畅性的数据传输模式。
61.本公开实施例提供的数据传输方法，数据传输过程能够根据传输场景的不同灵活变换，在实时传输场景下，使用对应的数据传输模式，避免延迟情况的发生，保证流畅性，提高了用户使用体验。
62.在一些实施例中，步骤101中实时传输场景的确定可以通过零终端的输入信号进行判断，下面以具体的实施例进行详细说明。
63.在上述任一实施例的基础上，进一步地，步骤101可以包括如下步骤1011，相应的，步骤102之前可以包括如下步骤1020。
64.步骤1011、在与虚拟机进行数据传输的过程中，检测是否有目标输入信号。
65.步骤1020、确定当前的传输场景是实时传输场景。
66.上述目标输入信号可以包括但不限于：目标控制信号、有效音频信号和有效视频信号中的至少一种信号。下面分别对上述三种输入信号应用的场景以及上述三种输入信号进行分别介绍。
67.场景一：用户在使用零终端进行软件操作，用户通过零终端与软件进行交互，其中就存在用户操作以后等待软件反馈的情况，软件反馈如果不及时，用户能够感知到延迟，操作体验不好，因此，将上述类似的场景确定为实时传输场景。相应的，可以通过检测目标控制信号，来确定是否是实时传输场景。
68.目标控制信号为零终端接收到的基于用户操作生成的控制信号，例如，目标控制信号可以为键盘操作指令和/或鼠标操作指令等通过外设接收到的控制信号。
69.对于目标控制信号的检测，可以当检测到键盘操作指令和/或鼠标操作指令以后，确定当前的传输场景是实时传输场景。
70.场景二：用户使用零终端进行音频通话的过程中，如果通话过程中接收到对方的语音有延迟，将影响通话质量，因此，可以在音频模块，例如麦克风被启动以后，对有效音频信号进行检测，可以将上述类似的场景确定为实时传输场景。
71.其中，有效音频信号是指排除一些无效的音频信号以外的音频信号。例如，背景音乐，噪音等均属于无效音频信号，非用户本人的声音信号也可以属于无效音频信号等。有效音频信号也可以称为有效的音频流。
72.对于有效音频信号的检测，可以基于静音检测算法和/或声音识别算法，检测有效音频信号，当检测到有效音频信号以后，确定当前的传输场景是实时传输场景。
73.其中，通过静音检测算法能够屏蔽背景音对音频检测的影响，识别出当前音频内容中存在的有效音频信号。
74.进一步地，还可以将人声识别技术应用在音频检测中，即对于静音检测算法确定出的音频信号，继续基于声纹比对来判断是否为当前使用者的声音，如果是，则确定为有效的音频信号。
75.需要说明的是，在这种方式中，需要预先存储当前使用者的声音特征参数。需要说明的是，该功能在用户开启人声识别时才会执行。
76.通过这种方式能够避免将其他人发出的声音误认为当前使用者的声音，进而提高检测精度。
77.场景三：用户使用零终端进行视频通话的过程中，如果通话过程中接收到对方的视频画面有延迟，将影响通话质量，因此，可以在视频模块，例如摄像头，被启动以后，对有效视频信号进行检测，可以将上述类似的场景确定为实时传输场景。
78.其中，有效视频信号是指包含目标用户进行有效动作的视频画面等。因此，相应的，可以通过检测目标控制信号，来确定是否是实时传输场景。有效视频信号也可以称为有效的视频流。如果检测到视频画面中的目标用户在一段时间内没有动作变化，或，检测发现视频画面中不包含人像，则认为是无效的视频流，在这种状态下可以进入非实时传输模式。
79.对于有效视频信号的检查，当检测当前的视频画面中包含人物的有效动作以后，确定当前的传输场景是实时传输场景。
80.本实施例，通过对输入信号进行检测，针对目标控制信号以及有效音视频信号，来判断是否进入实时传输场景，是的实时传输场景判断全面、准确、速度快，从而能快速进行
传输模式的切换，提高用户体验。
81.在一些实施例中，步骤102中对于实时传输场景对应的数据传输模式可以有多种方式。下面示例性的说明其中的一种方式。
82.在上述任一实施例的基础上，进一步地，步骤102可以包括如下步骤1021。
83.步骤1021：以增加缓存大小、建立丢包重传机制、建立前向纠错(forward error correction，简称fec)机制中的至少一种传输机制，与虚拟机进行数据传输。
84.本实施例，通过以增加缓存大小、建立丢包重传机制、建立fec机制中的至少一种传输机制，与虚拟机进行数据传输，保证实时传输场景下数据传输的流畅性，尤其是音视频流的传输流畅性，提高了用户体验。
85.在一些实施例中，步骤102之后还可以包括如下步骤103。
86.步骤103：实时进行场景检测，当检测到当前的传输场景由实时传输场景切换到非实时传输场景以后，以非实时传输场景对应的数据传输模式与虚拟机进行数据传输。
87.其中，当前的传输场景由实时传输场景切换到非实时传输场景，可以通过检测上述目标输入信号进行确定。其中，目标输入信号与上述目标输入信号类似，此处不再赘述。
88.可以在预设时间段内未检测到目标输入信号时，确定当前的传输场景由实时传输场景切换到非实时传输场景，接下来的数据传输以非实时传输场景对应的数据传输模式与虚拟机进行数据传输。
89.本实施例，通过对实时传输场景中进行传输场景的检测，在传输场景切换到非实时传输场景以后，将数据传输模式调整为非实时传输场景对应的数据传输模式，完成与虚拟机的数据传输，在数据传输过程能够根据传输场景的不同灵活变换，在实时传输场景下，使用对应的数据传输模式，避免延迟情况的发生，提高了数据安全性稳定性，提高了用户使用体验。
90.在一些实施例中，在切换数据传输模式是，可以以通知的形式发送给虚拟机。在上述任一实施例的基础上，进一步地，本实施例提供的方法还可以包括如下步骤104。
91.步骤104、向虚拟机发送数据传输模式切换通知。
92.其中，数据传输模式切换通知用于指示当前的数据传输模式已经切换。
93.需要说明的是，步骤104可以在步骤102之后，步骤103之前，即数据传输模式切换通知用于指示当前的数据传输模式已经切换到了实时传输场景对应的数据传输模式。步骤104也可以在步骤103之后，即数据传输模式切换通知用于指示当前的数据传输模式已经切换到了非实时传输场景对应的数据传输模式。
94.基于上述图1对应的实施例提供的数据传输方法，本公开另一实施例提供另一种数据传输方法，该方法可以应用于零终端系统，例如，发送设备可以是终端设备或网络服务器等，接收设备也可以是终端设备或网络服务器等。本实施例以发送设备是服务器，接收设备是虚拟机，发送音视频数据为例进行说明，并不代表本公开局限于此。本实施例中的实施传输模式与上述实时里中的实时传输场景对应的数据传输模式相同。参照图2所示，本实施例提供的数据传输方法包括以下步骤：
95.步骤201、虚拟机与零终端建立连接后，进行初始化。
96.源端(s端)模块对当前零终端对应的虚拟机的桌面图像进行采集并持续发送给零终端中的接收端(r端)模块。此为场景初始化阶段，此阶段中，零终端通过正确的账号密码
登录至虚拟机。
97.步骤202、r端模块进行场景检测，得到场景检测结果。
98.r端模块进行输入检测，输入检测包括对键鼠操作的检测，以及音视频输入的检测。从而根据检测到的输入情况来判断是否进入实时传输模式。下面分两种情况来说明。
99.一、在虚拟机与零终端建立连接后，r端持续对用户是否有键鼠操作进行检测，如果出现键鼠操作，则进入实时传输模式，在该模式下优先保证音视频流传输的流畅性。如果一直未检测到键鼠操作，则一直处于非实时传输模式，在此模式下按照预设的方式进行编码传输。
100.进一步地，在实时传输模式下，如果预设时间内没有检测到键鼠操作，则退出实时传输模式，进入非实时传输模式。这里的预设时间可以根据需要进行设置和调整。
101.二、当检测到音频模块(比如mic)和/或视频模块(比如摄像头)被启动时，r端启动音视频流检测，此时，如果检测到有效的音频流或者视频流，则进入实时传输模式，在该模式下，优先保证当前s端发送过来的音视频流传输的流畅性。如果未检测到有效的音频流或者视频流，则一直处于非实时传输模式。
102.进一步地，在实时传输模式下，如果预设时间内没有检测到有效的音频或者视频流，则退出实时传输模式。
103.步骤203、r端根据场景检测结果，确定当前的传输模式。
104.当检测到控制信号(键鼠操作)、有效的音频信号、有效的视频信号其中任意一项或者多项时，r端进入实时传输模式；
105.当一段时间内未检测到上述三项中的任一项时，则退出实时传输模式。
106.在实时传输模式下优先保证音视频流传输流畅性，比如，通过增加接收端缓存大小、丢包重传、fec等可靠传输机制来提升音视频质量。
107.进一步地，在r端切换传输模式时，可以通知s端。
108.基于上述图1和图3对应的实施例中所描述的数据传输方法，下述为本公开装置实施例，可以用于执行本公开方法实施例。
109.本公开实施例提供一种数据传输装置，如图3所示，该数据传输装置30包括：
110.检测模块301，用于在与虚拟机进行数据传输的过程中，检测当前的传输场景是否是实时传输场景，其中，实时传输场景是指用户能够感知到数据传输时延的场景。
111.数据传输模块302，用于当检测到当前的传输场景是实时传输场景以后，以实时传输场景对应的数据传输模式与虚拟机进行数据传。
112.在一些实施例中，数据传输模块302具体用于：
113.当检测到目标输入信号以后，确定当前的传输场景是实时传输场景，目标输入信号包括：目标控制信号、有效音频信号和有效视频信号中的至少一种信号；以实时传输场景对应的数据传输模式与虚拟机进行数据传输。
114.在一个实施例中，在目标输入信号是目标控制信号时，数据传输模块302具体用于：
115.当检测到键盘操作指令和/或鼠标操作指令以后，确定当前的传输场景是实时传输场景。
116.在一个实施例中，在目标输入信号是有效音频信号时，数据传输模块302具体用
于：
117.基于静音检测算法和/或声音识别算法，检测有效音频信号；当检测到有效音频信号以后，确定当前的传输场景是实时传输场景。
118.在一个实施例中，在目标输入信号是有效视频信号时，数据传输模块302具体用于：
119.当检测当前的视频画面中包含人物的有效动作时以后，确定当前的传输场景是实时传输场景。
120.在一个实施例中，数据传输模块302具体用于：
121.以增加缓存大小、建立丢包重传机制、建立前向纠错机制中的至少一种传输机制，与虚拟机进行数据传输。
122.在一个实施例中，该装置30还包括：
123.模式切换模块，用于实时进行场景检测，当检测到当前的传输场景由实时传输场景切换到非实时传输场景以后，以非实时传输场景对应的数据传输模式与虚拟机进行数据传输。
124.本公开实施例提供的数据传输装置，其实现原理与技术效果与上述实施例类似，此处不再赘述。
125.基于上述图1和图2对应的实施例中所描述的数据传输方法，本公开实施例还提供一种计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(英文：read only memory，rom)、随机存取存储器(英文：random access memory，ram)、cd-rom、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令，用于执行上述图1和图2对应的实施例中所描述的数据传输方法，此处不再赘述。
126.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
127.本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。