远程桌面操作审计方法、装置及设备与流程

1.本技术涉及云计算技术领域，具体涉及远程桌面操作审计方法和装置，电子设备。


背景技术：

2.云服务器的租户可通过远程桌面系统(如workbench，阿里云ecs终端操作系统)来管理其在云服务器的云虚拟主机。云平台向租户或者负责平台安全的人员提供对租户远程操控服务器的行为进行审计的服务，如安全管理员可获知租户对实例(如云虚拟主机)执行了哪些操作，用户可自我证明在实例上执行了哪些操作。
3.目前，对租户远程操控服务器的行为进行审计的主要方式是，通过对远程桌面协议rdp录屏的形式来记录用户通过远程桌面对服务器执行的操作，然后回放录屏画面，供用户审计时查看。其中，一种典型的录屏回放方式是，记录用户通过远程桌面对服务器执行操作的单图层关键帧数据，基于单图层关键帧数据进行定位回放。
4.然而，在实现本发明过程中，发明人发现现有方案至少存在如下问题：1)在对录屏内容进行回放的过程中，如果拖动时间进度条定位播放，则无法基于单图层关键帧数据对敏感操作(如密码)进行打码(马赛克)等处理，导致审计安全性较低；2)无法对用户执行危险命令的审批流等控制交互进行录屏；3)远程桌面系统的rdp屏幕尺寸发生变化时，会导致录屏中断后再重新录制，录屏文件为2个，对外显示的远程桌面操作次数为2次；4)rdp录制只有画面没有声音信息，无法知道当时桌面播放了什么声音。综上所述，如何提升远程桌面操作审计的安全性，录制并回放远程桌面的全量操作信息，避免因调整用户屏幕尺寸导致录制中断而带来的重新录制问题，成为本领域开发人员迫切需要解决的问题。


技术实现要素：

5.本技术提供远程桌面操作审计方法，以解决现有技术存在的审计安全性较低的问题。本技术另外提供远程桌面操作审计装置，电子设备。
6.本技术提供一种远程桌面操作审计方法，包括：
7.录屏装置，用于接收服务器实例的远程桌面数据；将所述远程桌面数据作为增量帧数据存储至本次远程桌面操作的录屏文件；根据多个增量帧数据，生成至少包括上下文远程桌面图层信息的关键帧数据，将所述关键帧数据存储至所述录屏文件；
8.回放服务装置，用于确定录屏回放的目标时间点；获取与目标时间点关联的目标关键帧；根据所述目标关键帧的所述图层信息和相关的增量帧数据，生成与目标时间点对应的远程桌面渲染数据。
9.可选的，还包括：
10.远程桌面模拟装置，用于根据所述远程桌面数据，确定图片数据流通道与图片数据流之间的第一对应关系、图层与图片数据流的合成图片之间的第二对应关系；根据所述第一对应关系和第二对应关系，显示远程桌面操作的模拟画面；
11.远程桌面渲染装置，用于若远程桌面操作的用户屏幕尺寸发生变化，则根据所述
第一对应关系和第二对应关系，生成远程桌面渲染数据。
12.本技术还提供一种远程桌面操作审计方法，包括：
13.接收服务器实例的远程桌面数据；
14.将所述远程桌面数据作为增量帧数据存储至本次远程桌面操作的录屏文件；
15.根据多个增量帧数据，生成至少包括上下文远程桌面图层信息的关键帧数据；
16.将所述关键帧数据存储至所述录屏文件。
17.可选的，还包括：
18.根据所述远程桌面数据，确定图片数据流通道与图片数据流之间的第一对应关系、图层与图片数据流的合成图片之间的第二对应关系；
19.根据所述第一对应关系和第二对应关系，显示远程桌面操作的模拟画面；
20.若远程桌面操作的用户屏幕尺寸发生变化，则根据所述第一对应关系和第二对应关系，生成远程桌面渲染数据。
21.可选的，所述根据多个增量帧数据，生成至少包括上下文远程桌面图层信息的关键帧数据，包括：
22.根据所述第一对应关系和第二对应关系，生成所述关键帧数据。
23.可选的，还包括：
24.创建本次远程桌面操作的模拟器，所述模拟器用于执行所述根据所述远程桌面数据，确定图片数据流通道与图片数据流之间的第一对应关系、图层与图片数据流的合成图片之间的第二对应关系的步骤；执行所述根据所述第一对应关系和第二对应关系，显示远程桌面操作的模拟画面的步骤；执行所述若远程桌面操作的用户屏幕尺寸发生变化，则根据所述第一对应关系和第二对应关系，生成远程桌面渲染数据的步骤。
25.可选的，所述创建本次远程桌面操作的模拟器，包括：
26.获取所述用户屏幕的分辨率；
27.根据所述分辨率，创建用于显示所述模拟画面的画板，所述画板包括多个图层。
28.可选的，还包括：
29.根据上一个关键帧的生成时间信息和上一个关键帧后的增量帧累积量，判断是否生成关键帧数据。
30.可选的，所述远程桌面数据还包括：针对用户执行危险命令的审批交互数据,用户交互数据，声音数据；
31.所述根据多个增量帧数据，生成至少包括上下文远程桌面图层信息的关键帧数据，包括：
32.根据所述多个增量帧数据，生成包括上下文远程桌面图层信息、审批交互信息、用户交互信息和声音信息的关键帧数据。
33.可选的，还包括：
34.在播放所述录屏文件时，确定目标时间点；
35.获取与目标时间点关联的目标关键帧；
36.根据所述目标关键帧的所述图层信息，确定敏感操作的位置信息；
37.根据所述位置信息，对敏感操作打码。
38.可选的，还包括：
39.生成所述关键帧的索引数据；
40.根据所述索引数据，获取与目标时间点关联的目标关键帧。
41.本技术还提供一种远程桌面操作审计方法，包括：
42.获取服务器实例远程桌面的录屏文件，所述录屏文件包括远程桌面的增量帧数据和关键帧数据，所述关键帧数据包括上下文远程桌面图层信息；
43.确定录屏回放的目标时间点；
44.获取与目标时间点关联的目标关键帧；
45.根据所述目标关键帧的所述图层信息和相关的增量帧数据，生成与目标时间点对应的远程桌面渲染数据。
46.本技术还提供一种远程桌面操作审计装置，包括：
47.数据接收单元，用于接收服务器实例的远程桌面数据；
48.增量帧存储单元，用于将所述远程桌面数据作为增量帧数据存储至本次远程桌面操作的录屏文件；
49.关键帧生成单元，用于根据多个增量帧数据，生成至少包括上下文远程桌面图层信息的关键帧数据；
50.关键帧存储单元，用于将所述关键帧数据存储至所述录屏文件。
51.本技术还提供一种电子设备，包括：
52.处理器和存储器；存储器，用于存储实现上述方法的程序，该设备通电并通过所述处理器运行该方法的程序。
53.本技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各种方法。
54.本技术还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各种方法。
55.与现有技术相比，本技术具有以下优点：
56.本技术实施例提供的远程桌面操作审计系统，包括录屏装置和回放服务装置。在录制阶段，用户端连接到服务器实例后，将远程桌面数据分发到用户端浏览器和录屏装置中，录屏装置将收到的远程桌面数据记录到录屏文件中，记录为增量帧，并在适当阶段记录关键帧信息到录屏文件中，关键帧中至少包括远程桌面的上下文图层信息；用户端在会话结束后，结束录屏操作。在回放阶段，可采用顺序播放方式，从录屏文件中获取增量指令信息，渲染到录屏播放器；同时，可采用拖拽播放方式，根据拖拽的时间点，找到相应的关键帧，从关键帧开始进行播放，关键帧中的图层数据可用于基于图层信息的回放画面处理，如对敏感操作进行打码处理时需要确定敏感操作的图层位置等。这样，实现了多图层协议数据的存储和利用，支持用户未来更高级别的审计需要，灵活扩展，如能够在绘制过程中区分敏感操作，可以对于敏感操作进行打码，同时对于管理员又可以审计原有协议；因此，可以有效提升审计安全性。
附图说明
57.图1本技术提供的审计系统实施例的结构示意图；
58.图2本技术提供的审计系统实施例的应用场景示意图；
59.图3本技术提供的审计系统实施例的设备交互示意图；
60.图4本技术提供的审计系统实施例的远程桌面多图层示意图；
61.图5本技术提供的审计系统实施例的基于多图层信息的拖曳播放示意图；
62.图6本技术提供的审计系统实施例的审批流交互示意图。
具体实施方式
63.在下面的描述中阐述了很多具体细节以便于充分理解本技术。但是本技术能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本技术内涵的情况下做类似推广，因此本技术不受下面公开的具体实施的限制。
64.在本技术中，提供了远程桌面操作审计系统、方法和装置，以及电子设备。在下面的实施例中逐一对各种方案进行详细说明。
65.第一实施例
66.请参看图1，其为本技术的远程桌面操作审计系统的实施例的结构示意图。在本实施例中，所述系统包括录屏装置1和回放服务装置2。
67.所述录屏装置和所述回放服务装置均可部署在远程桌面监听备侧。此外，所述系统还可包括回放装置，该装置可部署在审计用户的终端设备侧。
68.请参看图2，其为本技术的远程桌面操作审计系统的实施例的应用场景示意图。在本实施例中，云服务器的租户可通过其个人电脑上的浏览器，以远程桌面方式管理服务器实例。在租户通过远程桌面对服务器实例进行操作的过程中，远程桌面监听设备可将接收到的浏览器与服务器实例之间的远程桌面数据同时分发到远程桌面渲染装置和所述录屏装置。其中，所述渲染装置对远程桌面数据进行渲染，以在租户浏览器中显示远程桌面；所述录屏装置对远程桌面数据进行记录，本实施例提供的系统不仅要记录接收到的远程桌面协议指令(作为增量帧数据)，还要记录包括远程桌面上下文图层信息的关键帧数据，以支持用户未来更高级别的审计需要，灵活扩展，如回放远程桌面时在绘制桌面过程中区分敏感操作(如密码)，可以对于敏感操作进行打码，同时对于审计用户又可以审计原有用户的远程桌面操作。此外，在回放录屏文件时还可加入水印数据，如租户标识、审计用户标识等。
69.请参看图3，其为本技术的远程桌面操作审计系统的实施例的设备交互示意图。在本实施例中，录屏装置用于接收服务器实例的远程桌面数据；将所述远程桌面数据作为增量帧数据存储至本次远程桌面操作的录屏文件；根据多个增量帧数据，生成至少包括上下文远程桌面图层信息的关键帧数据，将所述关键帧数据存储至所述录屏文件；回放装置用于发送针对目标时间点的播放请求；回放服务装置用于获取与目标时间点对应的目标关键帧；根据所述目标关键帧的所述图层信息，生成远程桌面渲染数据；回放装置还用于根据所述渲染数据，从目标关键帧播放远程桌面。
70.所述服务器实例，可以是虚拟机、容器、本地盘裸金属实例等。
71.所述远程桌面数据，包括用户端(如浏览器)和服务器实例之间传输的各种协议数据，包括但不限于远程桌面rdp协议数据(可包括声音数据)，还可包括浏览器协议数据、自定义协议数据。其中，rdp协议数据可包括声音数据、图像数据、视频数据等。所述浏览器协议数据，可包括放大协议、缩小协议、移动协议、静音协议、锁定协议、心跳协议、审批协议、文件上传协议、文件下载协议、键盘协议、音频协议等。所述自定义协议数据，可包括针对用
户执行危险命令的审批交互协议数据、水印协议、局部放大缩小协议、静音协议、移动协议等。具体实施时，可实现各种图像绘制指令算法，如cursor光标图层、copy图层复制、transfer矩形变换、rect绘制矩形、transform图层变形、cfill填充指定区域、arc圆弧函数、clip裁减区域、line线条、鼠标等协议。这样，使得远程桌面数据可包括全量指令数据，以提升审计服务的准确性。
72.租户使用远程桌面操作服务器实例的一次过程对应一个录屏文件。录屏文件的文件名可包括实例id、会话id、会话结束的时间戳、顺序号等。
73.请参看图4，其为本技术的远程桌面操作审计系统的实施例的远程桌面多图层示意图。对于远程桌面而言，可以有三个视角，分别是协议视角、用户视角和录屏视角。在协议视角中，所有的协议(如rdp协议、自定义协议等)都是增量发送的，每条协议指令只有当前协议的数据信息，没有上下文信息，如果只有协议信息，在回放的时候，由于无法找到上下文信息，因此需要从头开始顺序播放，无法从中间时间段开始，即无法拖动时间进度条进行定位播放。在用户(租户或者审计用户)视角中，用户看到的是所有图层协议的叠加，看到的是一张图片，对构成桌面的图层是感知不到的。在录屏视角中，可记录所有的增量协议，同时在一定的时间点进行关键帧提取，记录到录屏文件中。关键帧记录了详细的上下文信息，因此在回放的时候，能够通过最近的关键帧开始回放，不需要从头开始回放。表1示出了本实施例中录屏文件的内容。
74.[0075][0076]
由表1可见，增量帧为原始协议数据。具体实施时，可根据不同的协议类型，区分通道标识、实时画面绘制、通道标识记录。在协议数据解析阶段，对于形成远程桌面的多个图层的图像绘制，主要以图片img指令配合图片内容blob指令为主，每个img指令建立一个数据流，随后blob指令沿流开始传输数据，每个blob指令的图片内容可以是完整图片的一部分(如人像包括头部、上半身、下半身三部分子图片)，收到数据解析后就可按照img指令指定的绘制方式，将图形绘制在指定的图层上,图像结束end指令结束数据流。
[0077]
表1示出的关键帧中至少包括图层信息。其中，所述图层信息包括但不限于：图层标识、图层位置、图层尺寸、图层对应的图像数据。此外，关键帧中还可包括数据流信息(如通道标识、图片数据流等)、声音信息、控制信息、自定义信息(如审批协议数据等)，也可包括浏览器端协议数据(如用户交互数据)。
[0078]
在一个示例中，所述录制装置还用于根据上一个关键帧的生成时间信息和上一个关键帧后的增量帧累积量，判断是否生成关键帧数据。采用这种处理方式，使得同时通过对增量帧的数据量和上一次关键帧时间戳进行双重校验，如果满足一定条件，则可获取所有的图层信息、数据流信息、声音信息、控制信息，然后封装成关键帧记录到录屏文件中。通过从时间和空间两个维度进行双重增加关键帧，可以达到实时审计、快速断点播放的效果。
[0079]
例如，生成关键帧要满足的条件为：在时间方面，每隔30秒且当前指令是sync指令，就增加一帧关键帧；在空间方面，增量帧数据满4g数据且当前指令是sync指令，就增加一帧关键帧。其中，sync指令是服务器指示给定的时间戳，是所有先前操作的当前时间戳，参数为timestamp：有效的服务器相对时间戳，主要用来记录先前指令的时间戳。
[0080]
所述回放装置在发送回放请求时，可在请求中携带目标实例id和会话时间等信息。所述回放装置在发送针对目标时间点的播放请求时，可在请求中携带时间点信息；相应的，所述回放服务装置可从所述播放请求中解析得到目标时间点。
[0081]
在本实施例中，所述回放服务装置在获取与目标时间点对应的目标关键帧时，可采用如下方式实现：根据目标时间点找到此前相近的目标关键帧，根据目标关键帧中的图层信息和目标关键帧到目标时间点之间的增量帧数据，生成与目标时间点对应的远程桌面渲染数据。
[0082]
以表1为例，假设审计用户拖曳的目标时间点对应增量帧5：blob增量帧，其为数据流通道1.3的数据流data2，这时可以定位到相近的关键帧3，关键帧3中包括相关的图层信
息和数据流通道信息。其中，图层信息包括图层标识、位置和尺寸，数据流通道信息包括数据流通道标识(1.3)和数据流(data1)，此时由于获取到图层级和数据流通道级的上下文信息，就能够正常对后续的增量帧4和5进行图片绘制，将data1、data2和data3合成为一张图片，并绘制到图层1中，生成远程桌面渲染数据，显示目标时间点对应的远程桌面。如果关键帧3中没有data1，只有增量帧5中的data3，那么绘制出来的图片就是不完全的，也不知道要绘制到哪个图层中，这样渲染处的远程桌面是不完整的画面。
[0083]
再例如，目标时间点对应表1中的增量帧16：审批流增量帧，其为ssh审批流交互指令，这时可以定位到相近的关键帧14，关键帧14中包括多个图层的信息、声音信息和控制信息。其中，包括图层1和图层2的信息，图层1对应图片a，图层2对应图片b，此时由于获取到图层、声音等上下文信息，就能够正常对后续的增量帧15和16进行图片绘制，将用户执行的高危指令绘制到光标图层中，并在图层1中绘制图片a，在图层2中绘制图片b，根据多图层的图片将渲染出完整的远程桌面。如果关键帧14中没有图层1和图层2的信息，只有增量帧16中的ssh审批流交互指令，那么如图4中rdp协议视角所示，绘制出来的远程桌面没有图片a和图片b，远程桌面就是不完全的。此外，由于关键帧14中还包括声音信息，因此渲染出来的目标时间点对应的远程桌面还可再现租户原来操作时远程桌面播放的声音。
[0084]
在一个示例中，所述录制装置具体用于根据所述审批交互数据、用户交互数据和声音数据中的至少一种数据，生成不仅包括上下文远程桌面图层信息，还可包括审批交互信息、用户交互信息和声音信息的至少一种信息的关键帧数据。在包括全类型的远程桌面数据时，可绘制出包括全量操作信息的远程桌面，可以有效提升审计准确性。
[0085]
图6涉及到的审批协议是自定义协议，当发现用户在执行危险命令时，会发送审批协议到浏览器以及所述录屏装置中，浏览器会根据协议展示对应的审批流交互动作，所述录屏装置则会记录下来审批协议以及后续的加护协议。在进行回放的时候，播放器同样能够对自定义协议进行解析，因此也会弹出对应的审批流动作，这样可以完全的模拟用户当时的操作。在关键帧中可记录上下文的审批交互信息，这样从任一点定位播放时都能够显示审批流交互动作。
[0086]
具体实施时，关键帧中可包括声音数据所在的数据流映射通道信息，还可包括当时声音的帧序号信息。
[0087]
在一个示例中，所述回放服务装置还用于在播放所述录屏文件时，确定目标时间点；获取与目标时间点对应的目标关键帧；根据所述目标关键帧的所述图层信息，确定敏感操作的位置信息；根据所述位置信息，对敏感操作打码。由于本技术实施例提供的系统在对录屏文件回放过程中，对关键帧采用多图层绘制方式，因此如果在绘制过程中发现有敏感操作(如输入密码)，就可以对相应图层的敏感操作区域(如密码输入框)进行打码，这样既保证了审计安全性，又不影响对远程桌面中其它内容的审计。
[0088]
在一个示例中，所述录制装置还用于生成所述关键帧的索引数据；在播放所述录屏文件时，确定目标时间点；根据所述索引数据，获取与目标时间点对应的目标关键帧。如图5所示，将关键帧在录屏文件的位置(如关键帧标识)以及时间戳记录到索引文件中。在播放时，如果是顺序播放，那么关键帧不会有作用。但是，当用户进行拖拽时，可先根据拖拽到的时间戳(即目标时间点)对索引文件进行遍历，找到相近的时间戳索引，然后获取到此前相近的关键帧在录屏文件中的偏移量位置，再根据关键帧偏移量位置，在录屏文件中读取
到关键帧，同时以此读取后续的增量帧，这样回放装置就可以快速定位进行播放。
[0089]
在一个示例中，在对图像进行绘制时，针对连续相似帧图像设置丢弃优先级高标识，如发现图层相对位置是相邻的，则设置丢弃优先级为80％，默认优先级为0％。这样，如果浏览器渲染速度慢时导致流量阻塞，能够主动丢弃优先级高帧，用来保障用户操作的稳定性以及流畅度。
[0090]
具体实施时，也可丢弃声音帧，在收到服务器指令时，通过分析协议类型，如果是声音协议，则设置丢弃优先级为50％。在网络阻塞情况下，发现有协议堆积时，此时会校验并丢弃最高的优先级协议，如果发现还是有积压，则继续按照对阵优先级进一步丢弃。
[0091]
在一个示例中，所述系统还可包括远程桌面模拟装置和远程桌面渲染装置。所述远程桌面模拟装置，用于根据所述远程桌面数据，确定图片数据流通道与图片数据流之间的第一对应关系、图层与图片数据流的合成图片之间的第二对应关系；根据所述第一对应关系和第二对应关系，显示远程桌面操作的模拟画面；所述远程桌面渲染装置，用于若远程桌面操作的用户屏幕尺寸发生变化，则根据所述第一对应关系和第二对应关系，生成远程桌面渲染数据。
[0092]
所述远程桌面模拟装置，又称为模拟器，模拟器和浏览器端可同时显示用户实例的远程桌面。审计用户可通过模拟器，对租户的当前远程桌面操作进行实时审计，显示远程桌面操作的模拟画面，不需要事后才能够审计。
[0093]
具体实施时，可将所述第一对应关系存储在数据流通道映射表中，将第二对应关系存储在图层数据映射表中。映射表中的数据来源于增量帧，通过分析和处理增量帧产生映射表数据。表2和表3分别示出了本实施例中的数据流通道映射表和图层数据映射表。
[0094][0095]
表2、数据流映射表
[0096]
图层id图片9合成图片a(data1 data2 data3)10合成图片b(data4 data5)
…ꢀ
[0097]
表3、图层数据映射表
[0098]
图2中的远程桌面监听设备接收到服务端指令a，同时将指令a分发到所述远程桌面模拟装置以及所述录屏装置中。模拟器收到指令a，通过对指令a进行解析，如果是图片指令，那么更新数据流通道映射表(该映射为所述第一对应关系)，随后blob指令沿流开始传
输数据，收到数据解析后就将按照img指令指定的绘制方式，将图形绘制在指定的图层上,end指令结束数据流，结束同时可将生成的合成图片更新到图层映射表(该映射为所述第二对应关系)中，并释放数据流映射表对应数据，如1.3通道的数据流处理结束后，可删除与1.3通道相关的前3条数据。可见，增量帧是递增连续的，映射表数据是根据算法在不断新增、删除、更新的。
[0099]
需要说明的是，录屏文件和关键帧索引表是存储在磁盘中的文件，而数据流通道映射表和图层数据映射表是临时数据，可存储在内存中，会话结束后就可以清除，后续回放时只要根据录屏文件既可获取到关键帧的多图层信息和数据流信息。
[0100]
在本实施例中，所述录屏装置可根据所述第一对应关系和第二对应关系，生成所述关键帧数据，即在一定的时间点对模拟器进行关键帧提取，通过模拟器映射表来提取出可获取所有的图层信息、数据流信息、声音信息、控制信息，记录到录屏文件中。所述录屏装置收到指令a，此时指令a为增量帧，对指令a进行解析并记录到录屏文件，同时通过对增量帧的数据量和上一次关键帧时间戳进行双重校验如果满足一定条件，则通过模拟器根据数据流映射表、图层数据映射表，能够导出当前时间的所有图层信息以及通道映射关系，然后封装成关键帧a记录到录屏文件中。这样，可以快速获取到关键帧涉及的多图层信息、数据流信息。
[0101]
在本实施例中，模拟器还可记录实时审计时当前最新的声音数据以及声音数据所在的数据流映射通道，所述录屏装置可从模拟器获取这些声音数据，还可获取控制信息，将它们写入关键帧中。此外，录屏文件还可记录所有的声音协议数据。
[0102]
所述远程桌面渲染装置，用于根据接收到的远程桌面数据，生成远程桌面渲染数据，以在用户浏览器中显示远程桌面。本实施例中，通过所述远程桌面模拟装置对租户的当前远程桌面操作进行实时审计，显示远程桌面操作的模拟画面；同时，所述远程桌面渲染装置还可用于若远程桌面操作的用户屏幕尺寸发生变化，则根据所述第一对应关系和第二对应关系，生成远程桌面渲染数据。
[0103]
在现有技术中，用户端浏览器的屏幕尺寸发生变化时，远程桌面会断线，然后进行重新连接，重新连接就会产生新的录屏活动，因此会产生多个录屏文件。在本技术实施例提供的系统中，由于后台有模拟器在运行，模拟器可存储所有协议数据的映射关系，包括所述第一对应关系和第二对应关系、声音信息等，因此改变屏幕大小的时候，和服务器之间的连接不会断开，所有的信息都可以通过模拟器提取出来，一次性渲染到浏览器，这样不会断开连接，因此也不会产生新的录屏文件，更符合用户操作视角。
[0104]
在一个示例中，所述系统还可包括模拟器创建装置，用于创建本次远程桌面操作的模拟器。所述模拟器创建装置，可具体用于获取所述用户屏幕(如浏览器)的分辨率；根据所述分辨率，创建用于显示所述模拟画面(实时审计画面)的画板，所述画板可包括多个图层，如默认图层、光标图层等。
[0105]
具体实施时，可在所述录制装置成功连接云服务器后，创建实时桌面模拟器缓冲区，并创建所述模拟器，以实时监听桌面和浏览器之间的协议数据；在会话结束后，可销毁图层，释放实时桌面模拟器缓冲区。
[0106]
从上述实施例可见，本技术实施例提供的远程桌面操作审计系统，包括录屏装置和回放服务装置。在录制阶段，用户端连接到服务器实例后，将远程桌面数据分发到用户端
浏览器和录屏装置中，录屏装置将收到的远程桌面数据记录到录屏文件中，记录为增量帧，并在适当阶段记录关键帧信息到录屏文件中，关键帧中至少包括远程桌面的上下文图层信息；用户端在会话结束后，结束录屏操作。在回放阶段，可采用顺序播放方式，从录屏文件中获取增量指令信息，渲染到录屏播放器；同时，可采用拖拽播放方式，根据拖拽的时间点，找到相应的关键帧，从关键帧开始进行播放，关键帧中的图层数据可用于基于图层信息的回放画面处理，如对敏感操作进行打码处理时需要确定敏感操作的图层位置等。这样，实现了多图层协议数据的存储和利用，支持用户未来更高级别的审计需要，灵活扩展，如能够在绘制过程中区分敏感操作，可以对于敏感操作进行打码，同时对于管理员又可以审计原有协议；因此，可以有效提升审计安全性。
[0107]
第二实施例
[0108]
在上述的实施例中，提供了一种远程桌面操作审计系统，与之相对应的，本技术还提供一种远程桌面操作审计方法，其执行主体包括但不限于远程桌面监听设备，如服务器。该方法是与上述系统的实施例相对应。由于方法实施例基本相似于系统实施例，所以描述得比较简单，相关之处参见系统实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。
[0109]
本技术另外提供一种远程桌面操作审计方法，包括：
[0110]
步骤1：接收服务器实例的远程桌面数据。
[0111]
步骤2：将所述远程桌面数据作为增量帧数据存储至本次远程桌面操作的录屏文件。
[0112]
步骤3：根据多个增量帧数据，生成至少包括上下文远程桌面图层信息的关键帧数据。
[0113]
步骤4：将所述关键帧数据存储至所述录屏文件。
[0114]
在一个示例中，所述方法还可包括如下步骤：
[0115]
步骤5：根据所述远程桌面数据，确定图片数据流通道与图片数据流之间的第一对应关系、图层与图片数据流的合成图片之间的第二对应关系；
[0116]
步骤6：根据所述第一对应关系和第二对应关系，显示远程桌面操作的模拟画面；
[0117]
步骤7：若远程桌面操作的用户屏幕尺寸发生变化，则根据所述第一对应关系和第二对应关系，生成远程桌面渲染数据。
[0118]
在一个示例中，步骤3可采用如下方式实现：根据所述第一对应关系和第二对应关系，生成所述关键帧数据。
[0119]
在一个示例中，所述方法还可包括如下步骤：
[0120]
创建本次远程桌面操作的模拟器，所述模拟器用于执行所述根据所述远程桌面数据，确定图片数据流通道与图片数据流之间的第一对应关系、图层与图片数据流的合成图片之间的第二对应关系的步骤；执行所述根据所述第一对应关系和第二对应关系，显示远程桌面操作的模拟画面的步骤；执行所述若远程桌面操作的用户屏幕尺寸发生变化，则根据所述第一对应关系和第二对应关系，生成远程桌面渲染数据的步骤。
[0121]
在一个示例中，所述创建本次远程桌面操作的模拟器，可包括如下子步骤：获取所述用户屏幕的分辨率；根据所述分辨率，创建用于显示所述模拟画面的画板，所述画板包括多个图层。
[0122]
在一个示例中，所述方法还可包括如下步骤：根据上一个关键帧的生成时间信息和上一个关键帧后的增量帧累积量，判断是否生成关键帧数据。
[0123]
在一个示例中，所述远程桌面数据还包括：针对用户执行危险命令的审批交互数据,用户交互数据，声音数据；步骤3可采用如下方式实现：根据所述多个增量帧数据，生成包括上下文远程桌面图层信息、审批交互信息、用户交互信息和声音信息的关键帧数据。
[0124]
在一个示例中，所述方法还可包括如下步骤：
[0125]
步骤8：在播放所述录屏文件时，确定目标时间点；
[0126]
步骤9：获取与目标时间点关联的目标关键帧；
[0127]
步骤10：根据所述目标关键帧的所述图层信息，确定敏感操作的位置信息；
[0128]
步骤11：根据所述位置信息，对敏感操作打码。
[0129]
在一个示例中，所述方法还可包括如下步骤：生成所述关键帧的索引数据；根据所述索引数据，获取与目标时间点关联的目标关键帧。
[0130]
第三实施例
[0131]
在上述的实施例中，提供了一种远程桌面操作审计方法，与之相对应的，本技术还提供一种远程桌面操作审计装置。该装置是与上述方法的实施例相对应。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
[0132]
本技术另外提供一种远程桌面操作审计装置，包括：
[0133]
数据接收单元，用于接收服务器实例的远程桌面数据；
[0134]
增量帧存储单元，用于将所述远程桌面数据作为增量帧数据存储至本次远程桌面操作的录屏文件；
[0135]
关键帧生成单元，用于根据多个增量帧数据，生成至少包括上下文远程桌面图层信息的关键帧数据；
[0136]
关键帧存储单元，用于将所述关键帧数据存储至所述录屏文件。
[0137]
可选的，所述装置还可包括：
[0138]
确定映射数据单元，用于根据所述远程桌面数据，确定图片数据流通道与图片数据流之间的第一对应关系、图层与图片数据流的合成图片之间的第二对应关系；
[0139]
显示模拟画面单元，用于根据所述第一对应关系和第二对应关系，显示远程桌面操作的模拟画面；
[0140]
渲染单元，用于若远程桌面操作的用户屏幕尺寸发生变化，则根据所述第一对应关系和第二对应关系，生成远程桌面渲染数据。
[0141]
可选的，所述关键帧生成单元具体用于根据所述第一对应关系和第二对应关系，生成所述关键帧数据。
[0142]
可选的，所述装置还可包括：
[0143]
模拟器创建单元，用于创建本次远程桌面操作的模拟器，所述模拟器用于执行所述根据所述远程桌面数据，确定图片数据流通道与图片数据流之间的第一对应关系、图层与图片数据流的合成图片之间的第二对应关系的步骤；执行所述根据所述第一对应关系和第二对应关系，显示远程桌面操作的模拟画面的步骤；执行所述若远程桌面操作的用户屏幕尺寸发生变化，则根据所述第一对应关系和第二对应关系，生成远程桌面渲染数据的步
骤。
[0144]
可选的，所述模拟器创建单元具体用于获取所述用户屏幕的分辨率；根据所述分辨率，创建用于显示所述模拟画面的画板，所述画板包括多个图层。
[0145]
可选的，所述装置还可包括：
[0146]
关键帧生成判断单元，用于根据上一个关键帧的生成时间信息和上一个关键帧后的增量帧累积量，判断是否生成关键帧数据。
[0147]
可选的，所述远程桌面数据还包括：针对用户执行危险命令的审批交互数据,用户交互数据，声音数据；
[0148]
所述关键帧生成单元具体用于根据所述多个增量帧数据，生成包括上下文远程桌面图层信息、审批交互信息、用户交互信息和声音信息的关键帧数据。
[0149]
可选的，所述装置还可包括：
[0150]
时间确定单元，用于在播放所述录屏文件时，确定目标时间点；
[0151]
关键帧获取单元，用于获取与目标时间点关联的目标关键帧；
[0152]
位置确定单元，用于根据所述目标关键帧的所述图层信息，确定敏感操作的位置信息；
[0153]
打码单元，用于根据所述位置信息，对敏感操作打码。
[0154]
可选的，所述装置还可包括：
[0155]
索引生成单元，用于生成所述关键帧的索引数据；
[0156]
关键帧获取单元，具体用于根据所述索引数据，获取与目标时间点关联的目标关键帧。
[0157]
第四实施例
[0158]
在上述的实施例中，提供了一种远程桌面操作审计系统，与之相对应的，本技术还提供一种远程桌面操作审计方法，其执行主体包括但不限于远程桌面审计用户的终端设备，如个人电脑等。该方法是与上述系统的实施例相对应。由于方法实施例基本相似于系统实施例，所以描述得比较简单，相关之处参见系统实施例的部分说明即可。下述描述的方法实施例仅仅是示意性的。
[0159]
本技术另外提供一种远程桌面操作审计方法，包括：
[0160]
步骤1：获取服务器实例远程桌面的录屏文件。
[0161]
所述录屏文件，可采用实施例二提供的方法生成，包括远程桌面的增量帧数据和关键帧数据，所述关键帧数据包括上下文远程桌面图层信息。
[0162]
在本实施例中，远程桌面的审计用户通过其终端设备向远程桌面监听设备发送针对目标远程桌面操作的回放请求，可在请求中携带目标实例id和会话时间等信息。所述远程桌面监听设备中的回放服务装置将相应的录屏文件发送至审计用户的终端设备，在终端设备侧对录屏文件进行解析及回放，具体处理方式与实施例一中回放服务装置的解析过程相同，此处不再赘述。
[0163]
步骤2：确定录屏回放的目标时间点；
[0164]
步骤3：获取与目标时间点关联的目标关键帧；
[0165]
步骤4：根据所述目标关键帧的所述图层信息和相关的增量帧数据，生成与目标时间点对应的远程桌面渲染数据。
[0166]
第五实施例
[0167]
在上述的实施例中，提供了一种远程桌面操作审计方法，与之相对应的，本技术还提供一种远程桌面操作审计装置。该装置是与上述方法的实施例相对应。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
[0168]
本技术另外提供一种远程桌面操作审计装置，包括：
[0169]
录屏文件获取单元，用于获取服务器实例远程桌面的录屏文件，所述录屏文件包括远程桌面的增量帧数据和关键帧数据，所述关键帧数据包括上下文远程桌面图层信息；
[0170]
时间确定单元，用于确定录屏回放的目标时间点；
[0171]
关键帧获取单元，用于获取与目标时间点关联的目标关键帧；
[0172]
渲染单元，用于根据所述目标关键帧的所述图层信息和相关的增量帧数据，生成与目标时间点对应的远程桌面渲染数据。
[0173]
第六实施例
[0174]
在上述的实施例中，提供了一种远程桌面操作审计方法，与之相对应的，本技术还提供一种电子设备。该设备是与上述方法的实施例相对应。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。
[0175]
本技术另外提供一种电子设备，包括：处理器和存储器。其中，存储器用于存储实现上述方法实施例提供的远程桌面操作审计方法的程序，该终端通电并通过所述处理器运行该方法的程序。
[0176]
本技术虽然以较佳实施例公开如上，但其并不是用来限定本技术，任何本领域技术人员在不脱离本技术的精神和范围内，都可以做出可能的变动和修改，因此本技术的保护范围应当以本技术权利要求所界定的范围为准。
[0177]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0178]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0179]
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0180]
2、本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例
的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。