远程桌面延迟检测方法、装置、电子设备和系统与流程

1.本发明涉及远程桌面技术领域，尤其涉及一种远程桌面延迟检测方法、装置、电子设备和系统。


背景技术：

2.在远程桌面技术领域，可以利用远程桌面协议将一台计算机屏幕显示的内容传送到另一台计算机上显示，实现远程办公，在企业办公等领域得到了广泛的应用。
3.在远程桌面屏幕内容传送过程中，需要对所传输的屏幕内容进行编码后通过网络传输给另一台计算机，并在另一台计算机上进行解码后显示，这样，远程桌面屏幕内容在本地桌面显示会存在延迟，该延迟直接决定着远程桌面的流畅性。因此，如何对远程桌面的延迟时间进行检测，对优化数据传输、提高远程桌面的流畅性具有重要的作用，是目前业界亟待解决的技术问题。


技术实现要素：

4.本发明提供一种远程桌面延迟检测方法、装置、电子设备和系统，以实现对远程桌面的延迟检测。
5.本发明提供一种远程桌面延迟检测方法，包括：在控制远程桌面对应的远程设备运行目标应用程序的过程中，对本地桌面显示的第一时间编码图像和第二时间编码图像同时进行抓屏，得到第一抓屏图像；其中，所述第一时间编码图像是所述远程设备对远程桌面系统时间进行编码生成的；所述第二时间编码图像是所述本地桌面对应的本地设备对本地桌面系统时间进行编码生成的；对所述第一抓屏图像进行解码分析，得到所述远程设备运行所述目标应用程序时，所述远程桌面的桌面图像显示到所述本地桌面的延迟时间。
6.根据本发明提供的一种远程桌面延迟检测方法，所述对所述第一抓屏图像进行解码分析，得到所述远程设备运行所述目标应用程序时，所述远程桌面的桌面图像显示到所述本地桌面的延迟时间，包括：对所述第一抓屏图像进行解码，获取解码数据中所述第一时间编码图像对应的第一时间和所述第二时间编码图像对应的第二时间；确定所述第一时间和所述第二时间的时间差，得到第一时间差；基于所述第一时间差和固有时间差，确定所述远程设备运行所述目标应用程序时，所述远程桌面的桌面图像显示到所述本地桌面的所述延迟时间；其中，所述固有时间差为所述远程桌面与所述本地桌面固有的系统时间差。
7.根据本发明提供的一种远程桌面延迟检测方法，在控制所述远程设备运行所述目标应用程序之前，所述方法还包括：在所述远程设备未运行应用程序的情况下，获取第一设定时间段内对所述第一时间编码图像和所述第二时间编码图像同时进行抓屏的抓屏图像，得到第二抓屏图像；
对所述第二抓屏图像中的每个抓屏图像进行解码，并根据解码数据确定所述每个抓屏图像中，所述第一时间编码图像对应的时间和所述第二时间编码图像对应的时间之间的时间差，得到所述每个抓屏图像的第二时间差；计算所述第二抓屏图像中所有抓屏图像的第二时间差的平均值，得到所述固有时间差。
8.根据本发明提供的一种远程桌面延迟检测方法，所述对本地桌面显示的第一时间编码图像和第二时间编码图像同时进行抓屏，得到第一抓屏图像，包括：响应于编码图像移动指令，控制所述第一时间编码图像和所述第二时间编码图像在所述本地桌面移动，直至所述第一时间编码图像和所述第二时间编码图像的并列排布距离小于设定阈值；对移动后的所述第一时间编码图像和所述第二时间编码图像同时进行抓屏，得到所述第一抓屏图像。
9.根据本发明提供的一种远程桌面延迟检测方法，还包括：在检测到应用场景测试指令的情况下，确定所述目标应用程序；通过远程桌面窗口控制所述远程设备运行所述目标应用程序；所述远程桌面窗口显示在所述本地桌面。
10.根据本发明提供的一种远程桌面延迟检测方法，所述通过远程桌面窗口控制所述远程设备运行所述目标应用程序，包括：启动所述目标应用程序对应的场景模拟程序，所述场景模拟程序用于模拟对所述目标应用程序的操作；基于所述场景模拟程序，通过所述远程桌面窗口控制所述远程设备中所述目标应用程序的运行。
11.根据本发明提供的一种远程桌面延迟检测方法，所述在检测到应用场景测试指令的情况下，确定所述目标应用程序，包括：在检测到应用场景测试指令的情况下，在所述本地桌面显示应用场景选择界面，所述应用场景选择界面中包括应用程序选择控件；响应于面向所述应用程序选择控件的选择操作，确定所述目标应用程序。
12.本发明还提供一种远程桌面延迟检测装置，包括：抓屏模块，用于在控制远程桌面对应的远程设备运行目标应用程序的过程中，对本地桌面显示的第一时间编码图像和第二时间编码图像同时进行抓屏，得到第一抓屏图像；其中，所述第一时间编码图像是所述远程设备对远程桌面系统时间进行编码生成的；所述第二时间编码图像是所述本地桌面对应的本地设备对本地桌面系统时间进行编码生成的；分析模块，用于对所述第一抓屏图像进行解码分析，得到所述远程设备运行所述目标应用程序时，所述远程桌面的桌面图像显示到所述本地桌面的延迟时间。
13.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述远程桌面延迟检测方法。
14.本发明还提供一种远程桌面延迟检测系统，包括本地设备和与所述本地设备通信
连接的远程设备，所述本地设备上运行本地桌面，所述远程设备上运行远程桌面；所述远程设备用于对远程桌面系统时间进行编码，生成第一时间编码图像，并在所述远程桌面显示所述第一时间编码图像；所述本地设备用于执行如上述任一种所述远程桌面延迟检测方法的步骤。
15.本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述远程桌面延迟检测方法。
16.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述远程桌面延迟检测方法。
17.本发明提供的远程桌面延迟检测方法、装置、电子设备和系统，可以在控制远程桌面对应的远程设备运行目标应用程序的过程中，对本地桌面显示出的第一时间编码图像和第二时间编码图像同时进行抓屏，得到第一抓屏图像；其中，第一时间编码图像可以反映显示到本地桌面的远程桌面的桌面图像在远程桌面上显示时的时间，第二时间编码图像可以反映本地桌面显示远程桌面的桌面图像时的时间，这样，通过在本地桌面对第一时间编码图像和第二时间编码图像同时进行抓屏，得到的第一抓屏图像中可以同时携带远程桌面的桌面图像在远程桌面显示和在本地桌面显示时的时间信息，进而对该第一抓屏图像进行解码分析，便可得到远程设备运行目标应用程序时，远程桌面的桌面图像从远程桌面显示到本地桌面的延迟时间，从而实现了远程桌面的延迟检测，得到的延迟时间能够反映将远程桌面的桌面图像显示到本地桌面的整个链路的延迟。
附图说明
18.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1是本发明实施例提供的远程桌面延迟检测方法的流程示意图之一；图2是本发明实施例提供的远程桌面延迟检测方法的原理示意图；图3是本发明实施例提供的远程桌面延迟检测系统的结构示意图；图4是本发明实施例中在本地桌面控制远程桌面的原理示意图；图5是本发明实施例提供的远程桌面延迟检测方法的流程示意图之二；图6是本发明实施例提供的远程桌面延迟检测装置的结构示意图；图7是本发明实施例提供的电子设备的结构示意图。
具体实施方式
20.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.需要说明的是，本发明中为部件或对象名称所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。
22.下面结合图1对本发明的远程桌面延迟检测方法进行描述。该远程桌面延迟检测方法可以应用于服务器、手机、电脑等电子设备，也可以应用于设置在服务器、手机、电脑等电子设备中的远程桌面延迟检测装置中，该远程桌面延迟检测装置可以通过软件、硬件或两者的结合来实现。
23.图1示例性示出了本发明实施例提供的远程桌面延迟检测方法的流程示意图之一，该远程桌面延迟检测方法可以应用于本地设备，该本地设备上运行本地桌面，该本地设备比如可以是服务器、手机、电脑等电子设备。参照图1所示，该远程桌面延迟检测方法可以包括如下的步骤110~步骤120。
24.步骤110：在控制远程桌面对应的远程设备运行目标应用程序的过程中，对本地桌面显示的第一时间编码图像和第二时间编码图像同时进行抓屏，得到第一抓屏图像。
25.第一时间编码图像是远程设备对远程桌面系统时间进行编码生成的。例如，远程设备可以实时获取远程桌面系统时间，并对该远程桌面系统时间进行编码，将编码结果转换为图形形式，得到第一时间编码图像，然后在远程桌面显示该第一时间编码图像。在本地设备控制远程桌面时，第一时间编码图像作为远程桌面的桌面图像的一部分，随远程桌面的桌面图像被编码后，通过网络传输到本地设备，经本地设备解码后显示在本地桌面。其中，远程设备比如可以是服务器、手机或电脑等电子设备。
26.第二时间编码图像是本地设备对本地桌面系统时间进行编码生成的。例如，本地设备可以实时获取本地桌面系统时间，并对该本地桌面系统时间进行编码，将编码结果转换为图形形式，得到第二时间编码图像，然后在本地桌面显示该第二时间编码图像。
27.本地设备可以在本地桌面显示远程桌面窗口，通过该远程桌面窗口对远程桌面进行控制，比如可以通过该远程桌面窗口访问并操作远程桌面的应用程序。
28.在远程设备运行目标应用程序的过程中，本地设备可以对本地桌面中显示的第一时间编码图像和第二时间编码图像同时进行抓屏，通过抓屏可以同时获取到远程桌面的桌面图像在远程桌面显示时的时间编码信息和在本地桌面显示时的时间编码信息。其中，目标应用程序可以是远程设备中的办公应用程序，比如可以包括文字编辑word文档、演示文稿ppt、网页浏览器、视频播放器、音频播放器、绘图软件和图像处理软件等其中的至少一种，但不限于此。
29.示例性的，可以在本地桌面的预设桌面区域显示第一时间编码图像和第二时间编码图像，该预设桌面区域比如可以是本地桌面上预先设定的显示区域，本地设备可以对该预设桌面区域进行抓屏以抓取第一时间编码图像和第二时间编码图像。
30.示例性的，可以对本地桌面的桌面图像进行时间编码图像的识别，通过识别确定第一时间编码图像和第二时间编码图像所在的位置区域，然后对该位置区域进行抓屏，可以抓取到第一时间编码图像和第二时间编码图像。
31.示例性的，第一时间编码图像和第二时间编码图像可以在本地桌面进行移动。例如，可以由检测人员对第一时间编码图像和第二时间编码图像进行移动操作，本地设备响应于该移动操作，控制第一时间编码图像和第二时间编码图像在本地桌面上移动，在接收到抓屏指令时对移动后的第一时间编码图像和第二时间编码图像进行抓屏。或者，第一时间编码图像和第二时间编码图像也可以在本地桌面自动移动，直至靠拢在一起。比如，本地设备接收到编码图像移动指令后，可以根据该编码图像移动指令控制第一时间编码图像和
第二时间编码图像在本地桌面移动，直至两者的并列排布距离小于设定阈值时停止移动，然后对移动后的第一时间编码图像和第二时间编码图像进行抓屏，得到第一抓屏图像。
32.示例性的，第一时间编码图像和第二时间编码图像可以是二维码图像。
33.可以理解的是，第一时间编码图像跟随远程桌面系统时间不断更新，第二时间编码图像跟随本地桌面系统时间不断更新。
34.步骤120：对第一抓屏图像进行解码分析，得到远程设备运行目标应用程序时，远程桌面的桌面图像显示到本地桌面的延迟时间。
35.得到第一抓屏图像后，可以对第一抓屏图像进行解码分析，获取第一时间编码图像和第二时间编码图像中的时间信息，其中，第一时间编码图像中包含了在本地桌面显示的远程桌面的桌面图像在远程桌面显示时的时间信息，第二时间编码图像中包含了在本地桌面显示远程桌面的桌面图像时的时间信息，这样，基于解码获得的时间信息可以计算得到远程设备运行目标应用程序时，远程桌面的桌面图像显示到本地桌面的延迟时间。
36.本发明实施例提供的远程桌面延迟检测方法，可以在控制远程桌面对应的远程设备运行目标应用程序的过程中，对本地桌面显示出的第一时间编码图像和第二时间编码图像同时进行抓屏，得到第一抓屏图像；其中，第一时间编码图像可以反映显示到本地桌面的远程桌面的桌面图像在远程桌面上显示时的时间，第二时间编码图像可以反映本地桌面显示远程桌面的桌面图像时的时间，这样，通过在本地桌面对第一时间编码图像和第二时间编码图像同时进行抓屏，得到的第一抓屏图像中可以同时携带远程桌面的桌面图像在远程桌面显示和在本地桌面显示时的时间信息，进而对该第一抓屏图像进行解码分析，便可得到远程设备运行目标应用程序时，远程桌面的桌面图像从远程桌面显示到本地桌面的延迟时间，从而实现了远程桌面的延迟检测，得到的延迟时间能够反映将远程桌面的桌面图像显示到本地桌面的整个链路的延迟。而且，能够对不同应用程序的延迟进行检测。
37.基于图1对应实施例的远程桌面延迟检测方法，在一种示例实施例中，对第一抓屏图像进行解码分析，得到远程设备运行目标应用程序时，远程桌面的桌面图像显示到本地桌面的延迟时间，可以包括：对第一抓屏图像进行解码，获取解码数据中第一时间编码图像对应的第一时间和第二时间编码图像对应的第二时间；确定第一时间和第二时间的时间差，得到第一时间差；基于第一时间差和固有时间差，确定远程设备运行目标应用程序时，远程桌面的桌面图像显示到本地桌面的延迟时间；其中，固有时间差为远程桌面与本地桌面固有的系统时间差。比如，在同一时刻，远程桌面系统时间为12:20，本地桌面系统时间为12:30，则远程桌面与本地桌面固有的系统时间差为10分钟，该10分钟的时间差是两个桌面系统自身的时间差，在计算延迟时间时将该时间差考虑在内，可以避免两个桌面系统自身的时间差对延迟时间的影响。
38.示例性的，可以计算第一时间差和固有时间差的差值，得到远程桌面运行目标应用程序时，远程桌面的桌面图像显示到本地桌面的延迟时间。
39.示例性的，第一抓屏图像可以是第二设定时间段内抓取的抓屏图像，可以对第一抓屏图像中的每个抓屏图像进行解码，根据解码数据中每个抓屏图像对应的第一时间和第二时间计算得到每个抓屏图像的第一时间差，然后计算该第二设定时间段内得到的所有第一时间差的平均值，并计算该平均值与固有时间差的差值，得到远程桌面运行目标应用程序时，远程桌面的桌面图像显示到本地桌面的延迟时间。
40.基于图1对应实施例的远程桌面延迟检测方法，在一种示例实施例中，在控制远程桌面对应的远程设备运行目标应用程序之前还可以包括确定固有时间差的步骤。具体的，可以包括：在远程设备未运行应用程序的情况下，获取第一设定时间段内对第一时间编码图像和第二时间编码图像同时进行抓屏的抓屏图像，得到第二抓屏图像；对第二抓屏图像中的每个抓屏图像进行解码，并根据解码数据确定每个抓屏图像中，第一时间编码图像对应的时间和第二时间编码图像对应的时间之间的时间差，得到每个抓屏图像的第二时间差；计算第二抓屏图像中所有抓屏图像的第二时间差的平均值，得到固有时间差。
41.基于上述各实施例的远程桌面延迟检测方法，在一种示例实施例中，对本地桌面显示的第一时间编码图像和第二时间编码图像同时进行抓屏，得到第一抓屏图像，可以包括：响应于编码图像移动指令，控制第一时间编码图像和第二时间编码图像在本地桌面上移动，直至第一时间编码图像和第二时间编码图像的并列排布距离小于设定阈值；对移动后的第一时间编码图像和第二时间编码图像同时进行抓屏，得到第一抓屏图像。这样，通过将第一时间编码图像和第二时间编码图像移动到并列排布距离小于设定阈值的位置，可以将第一时间编码图像和第二时间编码图像靠拢在一起，提高了抓屏效率，且抓取的抓屏图像数据量较小，提高了对抓屏图像进行解码分析的效率，进而提高了远程桌面延迟检测的效率。
42.基于上述各实施例的远程桌面延迟检测方法，在一种示例实施例中，在控制远程设备运行目标应用程序之前还可以包括确定目标应用程序的步骤。具体的，可以包括：在检测到应用场景测试指令的情况下，确定目标应用程序；通过远程桌面窗口控制远程设备运行目标应用程序，其中，远程桌面窗口显示在本地桌面。
43.可选的，通过远程桌面窗口控制远程设备运行目标应用程序可以包括：启动目标应用程序对应的场景模拟程序，该场景模拟程序用于模拟对目标应用程序的操作；基于场景模拟程序，通过远程桌面窗口控制远程设备中目标应用程序的运行。这样，可以在本地设备上利用场景模拟程序模拟出在远程桌面窗口对目标应用程序执行的操作，不需要人工操作，自动化程度高，提高了远程桌面延迟检测的效率。
44.可选的，在检测到应用场景测试指令的情况下，确定目标应用程序，可以包括：在检测到应用场景测试指令的情况下，在本地桌面显示应用场景选择界面，应用场景选择界面中包括应用程序选择控件；响应于面向应用程序选择控件的选择操作，确定目标应用程序。
45.基于上述各实施例的方法，下面结合图2-图5对本发明实施例提供的远程桌面延迟检测方法作进一步的举例说明。
46.图2示例性示出了本发明实施例提供的远程桌面延迟检测方法的原理示意图，参照图2所示，可以通过测量程序实现远程桌面的延迟检测。例如，可以通过第一测量程序、第二测量程序、第三测量程序和第四测量程序实现远程桌面的延迟检测。
47.其中，第一测量程序运行在本地设备中，随本地桌面系统时间的变化，第一测量程序可以同步获取、实时编码本地桌面系统时间，并将编码后的本地桌面系统时间转换为图形形式，得到第二时间编码图像并显示在本地桌面，供第三测量程序抓取并解码分析。
48.第二测量程序运行在远程设备中，随远程桌面系统时间的变化，第二测量程序可以同步获取、实时编码远程桌面系统时间，并将编码后的远程桌面系统时间转换为图形形
式，得到第一时间编码图像并显示在远程桌面，供第三测量程序抓取并解码分析。
49.第三测量程序运行在本地设备中，可以持续抓取第一测量程序和第二测量程序产生的第一时间编码图像和第二时间编码图像，并对抓取的抓屏图像进行解码分析，输出延迟检测结果。
50.第四测量程序运行在本地设备中，负责自动化测试场景的模拟，是实现应用程序场景模拟的场景模拟程序，能够模拟出不同应用程序场景下的操作，该操作比如可以包括键盘输入、鼠标点击和鼠标移动等其中的至少一种，但不限于此。例如，以目标应用程序是word文档为例，第四测量程序比如可以以相同频率持续进行文字编辑预设时长，比如1分钟，并在编辑预设字符数后换行，每行可以输入相同的字符数等，模拟出对word文档的操作。再比如，以目标应用程序是ppt文档为例，第四测量程序比如可以以相同时间间隔执行翻页操作等，模拟出对ppt文档的操作。又比如，以目标应用程序是图形编辑软件，第四测量程序比如可以控制图形匀速移动、放大、缩小等，模拟出对图形编辑软件的操作。
51.示例性的，通过第四测量程序模拟出的应用程序场景可以包括应用程序窗口的缩放和移动、word文档编辑、ppt翻页、网页浏览、视频播放和版图编辑等其中的至少一种，但不限于此。
52.例如，通过第四测量程序可以模拟出如下的应用程序场景：（1）窗口操作：比如窗口内容为详细列表并铺满窗口，拖动窗口时显示完整内容且不超出屏幕，以预设时间为周期匀速拖动且拖动轨迹为菱形等；（2）word文档编辑：比如可以是全屏模式，初始无内容，文字格式默认，0.1s间隔输入字符，且每行20个字符左右共30行，输入期间不发生滚动等；（3）ppt翻页：比如可以是全屏打开ppt并匀速翻页等；（4）网页浏览：比如打开网页后，持续触发下滚动按键预设次数，持续预设时长，之后以类同的方式触发上滚动按键，如此交替循环；（5）视频播放：比如全屏播放视频，期间无静止画面且画面色彩丰富，持续播放预设时长；（6）版图编辑：比如以设定的时长为间隔，连续缩小第一预设次数，然后连续放大第二预设次数，还可以对版图窗口进行移动。
53.需要说明的是，以上仅为举例说明，并不构成对本发明的限制，通过第四测量程序模拟的应用程序场景并不限于此。
54.基于图2，在应用程序场景模拟时，可以选定目标应用程序，比如选定word文档，远程桌面的桌面图像中则可以包括word文档界面和由第二测量程序产生的第一时间编码图像，则，远程桌面的桌面图像传送过程可以包括：远程桌面上的word文档和第一时间编码图像经过远程桌面端的图形编码后，通过网络传输到本地设备，经本地设备解码后显示到本地桌面。
55.基于此，本发明实施例提供了一种远程桌面延迟检测系统，图3示例性示出了远程桌面延迟检测系统的结构示意图，参照图3所示，该远程桌面延迟检测系统可以包括本地设备310和与本地设备310通信连接的远程设备320。其中，本地设备310上运行本地桌面，远程设备320上运行远程桌面；远程设备320可以用于对远程桌面系统时间进行编码，生成第一时间编码图像，并在远程桌面上显示该第一时间编码图像；本地设备310可以用于对本地桌面系统时间进行编码，生成第二时间编码图像，并在本地桌面上显示该第二时间编码图像；本地设备310还可以根据远程桌面协议在本地桌面显示远程桌面窗口，通过该远程桌面窗口对远程设备320进行控制。
56.例如，图4示例性示出了在本地桌面控制远程桌面的原理示意图，参照图4所示，以在本地桌面控制远程桌面的办公应用程序为例，可以在本地桌面410中显示远程桌面窗口420，该远程桌面窗口420中可以显示出远程设备中的办公应用程序的界面，通过在该远程桌面窗口420中对显示的办公应用程序进行操作，可以控制远程设备中的该办公应用程序运行。
57.在本发明实施例中，本地设备310可以用于在控制远程设备320运行目标应用程序的过程中，对本地桌面显示的第一时间编码图像和第二时间编码图像同时进行抓屏，得到第一抓屏图像，然后对第一抓屏图像进行解码分析，得到远程设备运行目标应用程序时，远程桌面的桌面图像显示到本地桌面的延迟时间。
58.结合图2-图4，图5示例性示出了本发明实施例提供的远程桌面延迟检测方法的流程示意图之二，该远程桌面延迟检测方法可以应用于图5所示的远程桌面延迟检测系统中。参照图5所示，该远程桌面延迟检测方法可以包括如下的步骤501~步骤510。
59.步骤501：本地设备生成第一时间编码图像，并显示在本地桌面。
60.本地设备可以调用第一测量程序，通过第一测量程序对本地桌面系统时间进行编码，得到第一时间编码图像，并将第一时间编码图像显示在本地桌面上。
61.步骤502：远程设备生成第二时间编码图像，并显示在远程桌面。
62.远程设备可以调用第二测量程序，通过第二测量程序对远程桌面系统时间进行编码，得到第二时间编码图像，并在远程桌面上显示该第二时间编码图像。
63.步骤503：在本地桌面显示远程桌面窗口。
64.根据远程桌面协议，远程桌面的桌面图像经编码后，通过网络传输至本地设备，在本地设备解码后显示到本地桌面，此时，本地桌面上可以显示出第一时间编码图像和第二时间编码图像。例如，本地设备可以在本地桌面显示远程桌面窗口，通过远程桌面窗口实时显示远程桌面的桌面图像，并可以通过该远程桌面窗口对远程设备进行控制。
65.步骤504：本地设备和远程设备之间进行系统时间同步，得到固有时间差。
66.在远程设备未运行应用程序的情况下，即在远程桌面中无应用程序打开的情况下，本地设备可以调用第三测量程序，在第一设定时间段内对本地桌面显示的第一时间编码图像和第二时间编码图像进行抓屏，对每个抓屏图像进行解码，从每个抓屏图像的解码数据中获取第一时间编码图像对应的第一时间和第二时间编码图像对应的第二时间，并计算第一时间和第二时间之间的时间差，可以得到该第一设定时间段内所有抓屏图像的第二时间差，然后计算这些第二时间差的平均值，得到固有时间差，即得到远程桌面与本地桌面固有的系统时间差。
67.例如，在第一设定时间段t内，抓屏得到了抓屏图像a1、a2和a3，对抓屏图像a1解码可以得到其中第一时间编码图像对应的时间t1和第二时间编码图像对应的时间t2，进而得到时间差δ1=t
1-t2；同样的，可以分别得到抓屏图像a2和a3对应的时间差δ2和δ3，然后计算δ1、δ2和δ3的平均值，将该平均值作为固有时间差。
68.步骤505：选定目标应用程序。
69.本地设备检测到应用场景测试指令时，可以在本地桌面上显示应用场景选择界面，该应用场景选择界面中可以包括应用程序选择控件，测试人员可以通过对该应用程序选择控件进行操作，选定所需测试的目标应用程序，即可选定测试的应用程序场景。比如，
应用程序选择控件可以以菜单的形式提供可选的应用程序，比如可以包括word、网页浏览、ppt、视频播放等，测试人员可以从中选择当前需要测试的应用程序场景，本地设备可以根据测试人员的选择操作确定目标应用程序。
70.可选的，对于同一个应用程序，可以设置至少一个应用场景，不同的应用场景对应不同的操作，用户可以通过应用程序选择控件从多个应用场景中选定一个应用场景，将该应用场景对应的应用程序确定为目标应用程序。例如，应用程序选择控件以菜单的形式提供了多个可选的应用场景，比如应用场景1、应用场景2和应用场景3共三个应用场景。假设其中的应用场景1对应着ppt应用程序；应用场景2和应用场景3对应着word应用程序，这两个应用场景对word文档有着不同的操作，比如文字输入频率不同、文字格式不同等。若用户通过应用程序选择控件选定了应用场景2，则确定目标应用程序为word应用程序。示例性的，每个应用场景有其对应的场景模拟程序，当选定应用场景，即可选定相应的场景模拟程序。
71.步骤506：本地设备控制远程设备运行目标应用程序。
72.选定目标应用程序后，本地设备可以调用第四测量程序，通过第四测量程序模拟出针对目标应用程序的操作，作用于远程桌面窗口，通过远程桌面窗口控制目标应用程序的运行。例如，选定的目标应用程序为word文档，本地设备可以启动第四测量程序，通过远程桌面窗口打开远程设备中的word文档，并通过第四测量程序中目标应用程序对应的场景模拟程序模拟出对word文档进行编辑的操作，作用于远程桌面窗口，通过远程桌面窗口对远程设备中的word文档进行编辑。
73.示例性的，也可以为每个应用程序对应一个第四测量程序，将该第四测量程序作为该应用场景对应的场景模拟程序。
74.步骤507：本地设备在第二设定时间段内对第一时间编码图像和第二时间编码图像同时进行抓屏。
75.本地设备在控制远程设备运行目标应用程序的过程中，可以利用第三测量程序对本地桌面的第二时间编码图像和通过远程桌面窗口显示到本地桌面的第一时间编码图像同时进行抓屏。
76.步骤508：本地设备对每次抓屏得到的抓屏图像进行解码，根据解码数据计算第一时间差。
77.本地设备对每次抓屏得到的抓屏图像进行解码，从解码数据中获取第一时间编码图像对应的第一时间和第二时间编码图像对应的第二时间，然后计算第一时间和第二时间的时间差，得到该抓屏图像的第一时间差，进而可以得到第二设定时间段内所有抓屏图像各自对应的第一时间差。
78.步骤509：本地设备计算第二设定时间段内得到的所有第一时间差的平均值。
79.步骤510：本地设备计算平均值与固有时间差的差值，得到延迟时间。
80.此时得到的延迟时间，即为本地设备通过远程桌面窗口控制远程设备运行目标应用程序的过程中，远程桌面的桌面图像显示到本地桌面的延迟时间，该延迟时间能够反映远程桌面的桌面图像从远程编码、网络传输、本地解码直至显示到本地桌面的整个链路的延迟，而且得到的是远程设备在运行目标应用程序的场景下，远程桌面的延迟。
81.若需要对其他应用程序场景下的远程桌面延迟进行检测，则可以重新通过步骤
505选定所需检测的目标应用程序，并通过步骤506~步骤510实现该目标应用程序场景下远程桌面的延迟检测。这样，可以针对不同的应用程序场景进行检测，获得不同应用程序场景下的远程桌面的延迟。
82.可以理解的是，在一种可选的实施方式中，固有时间差可以是在远程桌面延迟检测的初始阶段，在远程桌面中无应用程序打开的情况下，进行一次检测即可，在后续的任一应用程序场景下，均可以利用该固有时间差进行延迟时间的计算。在另一种可选的实施方式中，也可以是每次选定目标应用程序前均进行一次固有时间差的检测，将检测得到的固有时间差作为本次检测的目标应用程序场景下的固有时间。
83.本发明实施例提供的远程桌面延迟检测方法，一方面，可以在远程设备和本地设备同时对各自的桌面系统时间进行图形编码，并在本地桌面显示各自编码得到的时间编码图像，然后在本地设备对本地桌面的时间编码图像进行抓屏并解码抓屏图像中的时间信息，基于该时间信息来计算延迟时间，能够获得远程桌面的桌面图像从远程设备编码到显示在本地桌面的整个链路的延迟时间。另一方面，可以针对不同的应用程序进行远程桌面的延迟检测，获得不同应用程序场景下的延迟时间，通过该延迟时间可以表征给定场景下远程桌面的性能，针对性较强，提高了远程桌面数据传输优化及流畅性提高的针对性。而且，本地设备可以模拟不同应用程序场景下，通过远程桌面窗口对远程设备中的应用程序进行控制的操作，不需要测试人员操作，实现了远程桌面延迟的自动化检测，提高了远程桌面延迟检测的效率。
84.下面对本发明提供的远程桌面延迟检测装置进行描述，下文描述的远程桌面延迟检测装置与上文描述的远程桌面延迟检测方法可相互对应参照。
85.图6示例性示出了本发明实施例提供的远程桌面延迟检测装置的结构示意图，参照图6所示，远程桌面延迟检测装置600可以包括：抓屏模块610，用于在控制远程桌面对应的远程设备运行目标应用程序的过程中，对本地桌面显示的第一时间编码图像和第二时间编码图像同时进行抓屏，得到第一抓屏图像；分析模块620，用于对第一抓屏图像进行解码分析，得到远程设备运行目标应用程序时，远程桌面的桌面图像显示到本地桌面的延迟时间；其中，第一时间编码图像是远程设备对远程桌面系统时间进行编码生成的；第二时间编码图像是本地桌面对应的本地设备对本地桌面系统时间进行编码生成的。
86.在一种示例实施例中，分析模块620可以包括：解码单元，用于对第一抓屏图像进行解码，获取解码数据中第一时间编码图像对应的第一时间和第二时间编码图像对应的第二时间；第一确定单元，用于确定第一时间和第二时间的时间差，得到第一时间差；第二确定单元，用于基于第一时间差和固有时间差，确定远程设备运行目标应用程序时，远程桌面的桌面图像显示到本地桌面的延迟时间；其中，固有时间差为远程桌面与本地桌面固有的系统时间差。
87.在一种示例实施例中，远程桌面延迟检测装置600还可以包括：获取模块，用于在远程设备未运行应用程序的情况下，获取第一设定时间段内对第一时间编码图像和第二时间编码图像同时进行抓屏的抓屏图像，得到第二抓屏图像；处理模块，用于对第二抓屏图像中的每个抓屏图像进行解码，并根据解码数据确定每个抓屏图像中，第一时间编码图像对应的时间和第二时间编码图像对应的时间之间的时间差，得到每个抓屏图像的第二时间差；计算模块，用于计算第二抓屏图像中所有抓屏图像的第二时间差的平均值，得到固有时
间差。
88.在一种示例实施例中，抓屏模块610可以包括：第一控制单元，用于响应于编码图像移动指令，控制第一时间编码图像和第二时间编码图像在本地桌面移动，直至第一时间编码图像和第二时间编码图像的并列排布距离小于设定阈值；抓屏单元，用于对移动后的第一时间编码图像和第二时间编码图像同时进行抓屏，得到第一抓屏图像。
89.在一种示例实施例中，远程桌面延迟检测装置600还可以包括：确定模块，用于在检测到应用场景测试指令的情况下，确定目标应用程序；控制模块，用于通过远程桌面窗口控制远程设备运行目标应用程序；其中，远程桌面窗口显示在本地桌面。
90.在一种示例实施例中，控制模块可以包括：启动单元，用于启动目标应用程序对应的场景模拟程序，场景模拟程序用于模拟对目标应用程序的操作；第二控制单元，用于基于场景模拟程序，通过远程桌面窗口控制远程设备中目标应用程序的运行。
91.在一种示例实施例中，确定模块可以包括：显示单元，用于在检测到应用场景测试指令的情况下，在本地桌面显示应用场景选择界面，该应用场景选择界面中包括应用程序选择控件；第三确定单元，用于响应于面向应用程序选择控件的选择操作，确定目标应用程序。
92.图7示例了一种电子设备的结构示意图，如图7所示，该电子设备可以包括：处理器（processor）710、通信接口（communication interface）720、存储器（memory）730和通信总线740，其中，处理器710、通信接口720和存储器730可以通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行上述各方法实施例提供的远程桌面延迟检测方法，该方法比如可以包括：在控制远程桌面对应的远程设备运行目标应用程序的过程中，对本地桌面显示的第一时间编码图像和第二时间编码图像同时进行抓屏，得到第一抓屏图像；对第一抓屏图像进行解码分析，得到远程设备运行目标应用程序时，远程桌面的桌面图像显示到本地桌面的延迟时间；其中，第一时间编码图像是远程设备对远程桌面系统时间进行编码生成的，第二时间编码图像是本地桌面对应的本地设备对本地桌面系统时间进行编码生成的。
93.此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
94.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法实施例所提供的远程桌面延迟检测方法，该方法比如可以包括：在控制远程桌面对应的远程设备运行目标应用程序的过程中，对本地桌面显示的第一时间编码图像和第二时间编码图像同时进行抓屏，得到第一抓屏图像；对第一抓屏图像进行解码分析，得到远程设备运行目标应用程序时，远程桌面的桌面图像显示到本地桌面的延迟时
间；其中，第一时间编码图像是远程设备对远程桌面系统时间进行编码生成的，第二时间编码图像是本地桌面对应的本地设备对本地桌面系统时间进行编码生成的。
95.又一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法实施例所提供的远程桌面延迟检测方法，该方法比如可以包括：在控制远程桌面对应的远程设备运行目标应用程序的过程中，对本地桌面显示的第一时间编码图像和第二时间编码图像同时进行抓屏，得到第一抓屏图像；对第一抓屏图像进行解码分析，得到远程设备运行目标应用程序时，远程桌面的桌面图像显示到本地桌面的延迟时间；其中，第一时间编码图像是远程设备对远程桌面系统时间进行编码生成的，第二时间编码图像是本地桌面对应的本地设备对本地桌面系统时间进行编码生成的。
96.示例性的，计算机可读存储介质比如可以是非暂态计算机可读存储介质。
97.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
98.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
99.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。