结合RPA及AI的元素截图方法以及装置与流程

结合rpa及ai的元素截图方法以及装置
技术领域
1.本技术涉及自动化技术领域，尤其涉及一种结合rpa及ai的元素截图方法以及装置。


背景技术：

2.rpa(robotic process automation，机器人流程自动化)是通过特定的“机器人软件”，模拟人在计算机上的操作，按规则自动执行流程任务。
3.ai(artificial intelligence，人工智能)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门技术科学。
4.随着时代的不断发展，一些公司当中需要截图操作的任务越来越多，常规软件的截图的实现方式是采用将当前屏幕进行图像生成。这种方式在rpa流程开发中不适用，其主要原因是开发完的rpa流程需要分发到不同的业务人员电脑上进行rpa的流程作业，而不同的电脑屏幕分辨率不同，会导致截取的图片无法一致，图片不一致会导致后续作业失败，这就导致截图工作不仅操作繁琐，而且浪费了大量的人力与时间。


技术实现要素：

5.本技术提供了一种结合rpa及ai的元素截图方法以及装置，解决了截取的图片在分辨率不同的电脑上不一致的问题，降低了截图工作的操作难度，防止人力与时间的浪费。
6.根据本技术的第一方面，提供了一种结合rpa及ai的元素截图方法，所述方法适用于rpa(robotic process automation，机器人流程自动化)流程开发中，所述方法包括：
7.响应于元素截图事件的触发命令，定位所述元素截图事件的触发区域的元素代码位置信息；
8.根据所述元素代码位置信息，建立所述触发区域的坐标系；
9.根据所述坐标系进行所述触发区域内至少部分区域的截图操作。
10.在本技术的一些实施例中，所述定位所述元素截图事件的触发区域的元素代码位置信息，包括：
11.获取所述触发区域在应用程序中所对应的源代码；
12.根据所述源代码识别所述触发区域所属的应用程序类型；
13.根据所述应用程序类型确定代码的上下级结构信息；
14.基于所述代码的上下级结构信息，定位所述元素截图事件的触发区域的元素代码位置信息。
15.可选地，在本技术的一些实施例中，根据所述源代码识别所述触发区域所属的应用程序类型，包括：
16.基于ai(artificial intelligence，人工智能)技术，提取所述源代码的特征信息，并根据所述源代码的特征信息，识别所述触发区域所属的应用程序类型。
17.在本技术的一些实施例中，根据所述元素代码位置信息，建立所述触发区域的坐
标系，包括：
18.根据所述元素代码位置信息获取所述触发区域的宽度信息和高度信息；
19.根据所述宽度信息和高度信息，以所述触发区域的左上角作为原点，建立所述触发区域的坐标系。
20.在本技术的一些实施例中，所述根据所述坐标系进行所述触发区域内至少部分区域的截图操作，包括：
21.响应于针对所述触发区域内至少部分区域的截图操作，基于所述触发区域的坐标系，获取所述至少部分区域的相对坐标信息；
22.根据所述触发区域的相对坐标信息和所述至少部分区域的相对坐标信息确定所述至少部分区域的位置信息，根据所述至少部分区域的位置信息控制rpa机器人对所述至少部分区域的操作截图。
23.可选地，在本技术的一些实施例中，所述应用程序类型包括网页浏览器类型。
24.根据本技术的第二方面，提供了一种结合rpa及ai的元素截图装置，包括：
25.定位模块，用于响应于元素截图事件的触发命令，定位所述元素截图事件的触发区域的元素代码位置信息；
26.建立模块，用于根据所述元素代码位置信息，建立所述触发区域的坐标系；
27.截图操作模块，用于根据所述坐标系进行所述触发区域内至少部分区域的截图操作。
28.在本技术的一些实施例中，定位模块包括：
29.获取单元，用于获取所述触发区域在应用程序中所对应的源代码；
30.识别单元，用于根据所述源代码识别所述触发区域所属的应用程序类型；
31.确定单元，用于根据所述应用程序类型确定代码的上下级结构信息；
32.定位单元，用于基于所述代码的上下级结构信息，定位所述元素截图事件的触发区域的元素代码位置信息。
33.进一步地，本技术的一些实施例中，识别单元具体用于：
34.基于人工智能ai技术，提取所述源代码的特征信息，并根据所述源代码的特征信息，识别所述触发区域所属的应用程序类型。
35.进一步地，本技术的一些实施例中，所述建立模块具体用于：
36.根据所述元素代码位置信息获取所述触发区域的宽度信息和高度信息；
37.根据所述宽度信息和高度信息，以所述触发区域的左上角作为原点，建立所述触发区域的坐标系。
38.进一步地，本技术的一些实施例中，所述截图操作模块具体用于：
39.响应于针对所述触发区域内至少部分区域的截图操作，基于所述触发区域的坐标系，获取所述至少部分区域的相对坐标信息；
40.根据所述触发区域的相对坐标信息和所述至少部分区域的相对坐标信息确定所述至少部分区域的位置信息，根据所述至少部分区域的位置信息控制rpa机器人对所述至少部分区域的操作截图。
41.本技术的一些实施例中，所述应用程序类型包括网页浏览器类型。
42.根据本技术的第三方面，提供了一种计算机设备，包括：
43.至少一个处理器；以及
44.与所述至少一个处理器通信连接的存储器；其中，
45.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面所述的方法。
46.根据本技术的第四方面，提供一种计算机可读存储介质，所述计算机指令用于使所述计算机执行上述第一方面任一项所述方法。
47.根据本技术的第五方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述第一方面中方法。
48.根据本技术的技术方案，通过定位截图事件的触发区域的元素代码位置信息，建立所述触发区域的坐标系，根据所述坐标系进行所述触发区域内至少部分区域的截图操作，解决了截取的图片在分辨率不同的电脑上不一致的问题，提供元素块内区域截图的能力，解决了之前无法对更小粒度元素截图的需求，支持用户使用拖拽功能框选想要截图的元素，从而可以满足更小粒度元素截图的需求，相较于传统人工处理方法，提高截图作业的效率，降低了人力成本。
49.应当理解，本部分所描述的内容并非旨在标识本技术的实施例的关键或重要特征，也不用于限制本技术的范围。本技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
50.附图用于更好地理解本方案，不构成对本技术的限定。其中：
51.图1为本技术实施例提供的一种结合rpa及ai的元素截图方法的流程图。
52.图2为本技术实施例提供的另一种结合rpa及ai的元素截图方法的流程图。
53.图3为本技术实施例提供的另一种结合rpa及ai的元素截图方法的流程图。
54.图4为本技术实施例提供的另一种结合rpa及ai的元素截图方法的流程图。
55.图5为本技术实施例提供的一种结合rpa及ai的元素截图装置的结构框图。
56.图6为本技术实施例提供的另一种结合rpa及ai的元素截图装置的结构框图。
57.图7为本技术实施例提供的元素截图过程中元素定位程序为浏览器的示例图。
58.图8为本技术实施例提供的元素截图过程中定位到元素块位置的示例图。
59.图9为本技术实施例提供的元素截图过程中以搜索框的左上角作为坐标原点的示例图。
60.图10为本技术实施例提供的元素截图过程中以搜索框的右下角作为坐标原点的示例图。
61.图11为本技术实施例提供的元素截图过程中两顶点所占百分比的示例图。
62.图12为本技术实施例提供的另一种元素截图过程中两顶点所占百分比的示例图。
63.图13本技术实施例提供的一种计算机设备的框图。
具体实施方式
64.以下结合附图对本技术的示范性实施例做出说明，其中包括本技术实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本技术的范围和精神。同
样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
65.需要说明的是，rpa(robotic process automation，机器人流程自动化)通过模拟人工手动操作键鼠，自动处理规则清晰、批量化的高频业务。它适用于企业内具有明确业务规则、结构化输入和输出的操作流程，例如读取邮件、对账汇总、检查文件、生成文件和报告等枯燥、重复、标准化的工作，都可以让rpa机器人代为完成。
66.creator(rpa流程开发软件)是uibot(机器人流程自动化服务平台)的一款低代码rpa流程开发软件，在之前产品就支持元素截图命令来满足在系统网站上进行图片的截图，元素截图不同于常规软件的如即时通讯软件的截图方式，常规软件的截图的实现方式是采用将当前屏幕进行图像生成。这种方式在rpa流程开发中不适用，其主要原因是开发完的rpa流程需要分到不同的业务人员电脑上进行rpa的流程作业，而不同的电脑屏幕分辨率不同，会导致截取的图片无法统一，图片不统一会导致后续作业失败。
67.基于以上问题，本技术提出了一种结合rpa及ai的元素截图方法、装置。本技术基于元素在应用程序系统上的定位，进行准确的目标识别后进行截图，提供元素块内区域截图的能力，解决了现有技术中无法对更小粒度元素截图的需求，其中，rpa可以配置于终端设备，来模拟人在终端设备的操作，其中，该终端设备可以为台式计算机、膝上计算机、平板电脑、智能手机等电子设备。
68.在本技术的描述中，需要理解的是，术语“左上”、“右上”、“左下”、“右下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
69.在本说明书的描述中，参考术语“一种实现方式中”、“示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
70.需要说明的是，在本技术实施例中，术语“元素截图事件”是一种基于元素在系统上的定位，进行准确的目标识别后进行截图的方法；
71.术语“应用程序类型”指的是应用程序按照不同的功能进行分类，例如，应用程序类型包括网页浏览器类型；应用程序类型可大体分为操作系统，程序设计软件和应用软件。
72.术语“触发命令”是指通过接受截图命令实现对于装置的控制。
73.术语“触发区域”指的是在截图的过程中，所要截取的范围。
74.术语“元素代码位置信息”指的是元素代码在源代码中所处的具体位置。
75.术语“源代码”是指一系列人类可读的计算机语言指令。
76.术语“上下级结构信息”指的是用户界面中元素的父子关系，在代码中体现为树形关系。
77.图1为本技术实施例所提供的一种结合rpa及ai的元素截图方法的流程图。需要说明的是，本技术实施例的方法可以适用于rpa流程开发中，如图1所示，该结合rpa及ai的元素截图的实现过程可包括步骤：
78.步骤101，响应于元素截图事件的触发命令，定位元素截图事件的触发区域的元素代码位置信息。
79.需要说明的是，定位元素截图事件的触发区域的元素代码位置信息是通过元素代码定位实现的，其中，元素代码定位包括id(唯一编码)定位法和name(命名)属性定位法。其中，id定位法是通过元素的id属性来定位元素，并且html(标记语言)规定id属性在整个html文档中必须是唯一的，以此保证定位的准确性，通过元素的id属性来定位的前提是元素有id属性；name属性定位法是根据元素name属性来定位，html规定name属性来指定元素名称，因此它的作用更像人名，能够起到识别作用，但是name的属性值在当前文档中可以不是唯一的，通过元素的name属性来定位元素的前提是元素有name属性。
80.作为一种示例，当用户下达截图事件的触发命令时，此时元素有id属性，通过人工智能ai技术利用id定位法确定目标元素块的元素代码位置信息；
81.作为另一种示例，当用户下达截图事件的触发命令时，此时元素有name属性，通过人工智能ai技术利用name属性定位法确定目标元素块元素代码位置信息。
82.步骤102，根据元素代码位置信息，建立触发区域的坐标系。
83.需要说明的是，通过设置坐标系实现坐标相对定位，通过设置坐标原点结合坐标定位截图的方法，识别当前用户的截图范围的相对坐标点，保证了能够实现对截图事件的定位与提取，支持用户根据需求对截图的范围进行选择，满足了元素截图的需求。
84.其中，需要说明的是，该坐标系包括平面直角坐标系和平面极坐标系。平面直角坐标系通过互相垂直且有公共原点的两条数轴构成平面直角坐标系，两条数轴分别置于水平位置与垂直位置，取向右与向上的方向分别为两条数轴的正方向；平面极坐标系在平面内由极点、极轴和极径组成的坐标系。在平面上取一定点o，称为极点，由o出发的一条射线ox，称为极轴。
85.在本技术实施例中，坐标系可以采用平面直角坐标系。例如，在定位出元素截图事件的触发区域的元素代码位置信息之后，可根据元素代码位置信息，建立该触发区域的平面直角坐标系，比如，以触发区域的左上角作为原点，触发区域的宽度方向为坐标横轴方向，触发区域的高度方向为坐标纵轴方向，以建立该触发区域的平面直角坐标系。
86.在本技术实施例中，坐标系可以采用平面极坐标系。例如，在定位出元素截图事件的触发区域的元素代码位置信息之后，可根据元素代码位置信息，建立该触发区域的平面极坐标系，比如，以触发区域的左上角作为极点，触发区域的宽度方向为坐标极轴方向，以此为基础建立该触发区域的平面极坐标系。
87.步骤103，根据坐标系进行触发区域内至少部分区域的截图操作。
88.可选地，在建立该触发区域的坐标系之后，可以基于坐标系能够准确定位到用户想对该触发区域内任意区域的截图操作，从而基于定位到的用户的截图操作可以实现对触发区域内更小粒度区域的截图功能，解决了现有技术中无法对更小粒度元素截图的需求。
89.根据本技术实施例的结合rpa及ai的元素截图方法，当接收到元素截图事件的触发命令时，通过定位触发区域的元素代码位置信息，解决了截取的图片在分辨率不同的电脑上不一致的问题，降低了截图工作的操作难度，增加了自动化程度，降低了人力与时间的浪费，通过设置坐标系实现利用相对定位的方法进行截图操作，实现元素块内区域截图的能力，解决了之前无法对更小粒度元素截图的需求，支持用户根据需求对截图的范围进行
选择，满足了元素截图的需求，利用人工智能ai技术使本技术相较于传统人工处理方法，提高截图作业的效率，降低了人力成本，降低了出错概率。
90.需要说明的是，为了能够准确的定位元素截图事件触发区域的元素代码位置信息，可通过获取在应用程序中所对应的源代码进行定位。可选的，如图2所示，所述定位元素截图事件的触发区域的元素代码位置信息的实现过程可包括步骤：
91.步骤201，获取触发区域在应用程序中所对应的源代码。
92.可选地，应用程序类型包括网页浏览器类型。
93.其中，源代码是指未编译的按照一定的程序设计语言规范书写的文本文件，是一系列人类可读的计算机语言指令。
94.步骤202，根据源代码识别触发区域所属的应用程序类型。
95.其中，应用程序类型可分为操作系统，程序设计软件和应用软件。
96.作为一种实现方式，当creator接收到元素截图事件的触发命令时，creator定位元素截图事件的触发区域的元素代码位置信息，例如，当需要对word(文本)文档中的内容进行截图处理的时候，creator需要在当前桌面中识别到用户当前元素定位程序的是word文档。
97.可选地，基于人工智能ai技术对所述源代码进行自然语言处理nlp，以提取源代码的特征信息，并根据源代码的特征信息，识别触发区域所属的应用程序类型。
98.步骤203，根据应用程序类型确定代码的上下级结构信息。
99.其中，上一级代码通常增加一个或多个字符以扩展分级代码，而下一级代码作为子级代码含有相关类的进一步分级的细节信息，同时表明了它与上一级类，即父类的分级或从属关系的信息。
100.步骤204，基于代码的上下级结构信息，定位元素截图事件的触发区域的元素代码位置信息。
101.在一种实现方式中，当确定代码的上下架结构信息后，可通过抓取ui代码，随后通过ui分析进行结构分析，进行识别元素块的快的识别。最终实现定位元素截图事件的触发区域的元素代码位置信息。
102.本技术实施例的结合rpa及ai的元素截图方法，当需要定位元素截图事件的触发区域的元素代码位置信息时，通过获取触发区域在应用程序中所对应的源代码，根据源代码确定的应用程序类型，通过应用程序类型确定代码的上下级结构信息，定位元素截图事件的触发区域的元素代码位置信息，所以元素截图采取的方式为基于元素在代码上的定位，进行准确的目标识别后进行截图，实现了基于代码层的定位而确定界面元素定位，解决了截取的图片在分辨率不同的电脑上不一致的问题，让后续的流程作业减少范围，如提取截图中的文字，提升效率。
103.需要说明的是，为了能够提供元素块内区域截图的能力，可基于触发区域的坐标系来实现，因此需要建立针对该触发区域的坐标系。可选地，如图3所示，所述根据元素代码位置信息，建立触发区域的坐标系的实现方式可包括步骤：
104.步骤301，根据元素代码位置信息获取触发区域的宽度信息和高度信息。
105.在一种实现方式中，当确定元素代码位置信息后，如图7和图8所示，例如，假若识别到用户当前元素定位程序的是浏览器时，根据元素代码位置信息确定触发区域的范围以
及触发区域的宽度信息和高度信息，即得出触发区域的宽度值和高度值。
106.步骤302，根据宽度信息和高度信息，以触发区域的左上角作为原点，建立触发区域的坐标系。
107.需要说明的是，当获取触发区域的宽度信息和高度信息后，触发区域内作为原点的位置可以很多，可以将触发区域的左上角作为原点，或者，可以将触发区域的右下角作为原点。在一种实现方式中，如图9所示，根据触发区域的宽度信息和高度信息建立坐标系，并且以触发区域的左上角作为原点，其中右侧为x轴正方向，下侧为y轴正方向。在另一种实现方式中，如图10所示，根据触发区域的宽度信息和高度信息建立坐标系，并且以触发区域的右下角作为原点，其中左侧为x轴正方向，上侧为y轴正方向。
108.本技术实施例的结合rpa及ai的元素截图方法，当需要在元素块内区域截图时，先通过元素代码位置信息获取触发区域的宽度信息和高度信息，可选地，以触发区域的左上角作为原点，建立坐标系，确定用户操作截图区域，实现在用户操作截图区域内进一步定位，提供元素块内区域截图的能力，解决了之前无法对更小粒度元素截图的需求。
109.需要说明的是，为了能够进行触发区域内至少部分区域的截图操作，可根据触发区域的坐标系，获取至少部分区域的相对坐标信息。可选地，如图4所示，所述根据坐标系进行触发区域内至少部分区域的截图操作的实现过程可包括步骤：
110.步骤401，响应于针对触发区域内至少部分区域的截图操作，基于触发区域的坐标系，获取至少部分区域的相对坐标信息。
111.需要说明的是，获取至少部分区域的相对坐标信息可以是至少部分区域的两组对角线的双顶点，在一种实现方式中，至少部分区域的相对坐标信息可以是至少部分区域左上角顶点坐标和右下角顶点坐标；在另一种实现方式中，至少部分区域的相对坐标信息可以是至少部分区域左下顶点坐标和右上顶点坐标。
112.步骤402，根据所述触发区域的相对坐标信息和所述至少部分区域的相对坐标信息确定所述至少部分区域的位置信息，根据所述至少部分区域的位置信息控制rpa机器人对至少部分区域的操作截图。
113.需要说明的是，确定至少部分区域的位置信息需要取该至少部分区域的两个对角线顶点的坐标，至少部分区域内两组对角线的双顶点均可以利用，比如，利用至少部分区域左上角顶点坐标和右下角顶点坐标来获取该至少部分区域的相对坐标信息，或者，利用至少部分区域左下顶点坐标和右上顶点坐标来获取该至少部分区域的相对坐标信息。
114.在一种实现方式中，如图11所示，当利用至少部分区域左上角顶点坐标和右下角顶点坐标来确定改至少部分区域的位置信息时，将左上顶点坐标的x轴取值与触发区域的宽度信息的比值进行百分化处理，并且将左上顶点坐标的y轴取值与触发区域的高度信息的比值进行百分化处理，以此得到左上顶点坐标的百分化取值；将右下顶点坐标的x轴取值与触发区域的宽度信息的比值进行百分化处理，并且将右下顶点坐标的y轴取值与触发区域的高度信息的比值进行百分化处理，得到右下顶点坐标的百分化取值。其中，左上顶点坐标的百分化取值和右下顶点坐标的百分化取值为该至少部分区域的位置信息。
115.在另一种实现方式中，如图12所示，当利用至少部分区域左下角顶点坐标和右上角顶点坐标来确定改至少部分区域的位置信息时，将左下顶点坐标的x轴取值与触发区域的宽度信息的比值进行百分化处理，并且将左下顶点坐标的y轴取值与触发区域的高度信
息的比值进行百分化处理，以此得到左下顶点坐标的百分化取值；将右上顶点坐标的x轴取值与触发区域的宽度信息的比值进行百分化处理，得到右上顶点坐标的的y轴取值与触发区域的高度信息的比值进行百分化处理，以此得到右上顶点坐标的百分化取值。其中，左下顶点坐标的百分化取值和右上顶点坐标的百分化取值为该至少部分区域的位置信息。
116.举例而言，当确定至少部分区域的相对坐标信息时，识别出当前用户的截图范围的左上角相对坐标点和右下角相对坐标点，根据左上角相对坐标点和右下角相对坐标点构建平面矩形，当用户操作确定以后，元素截图即可支持元素内平面矩形的截图处理，提供元素块内区域截图的能力，解决了之前无法对更小粒度元素截图的需求，支持用户拖拽框选想要截图的元素，满足了的元素截图的需求。
117.本技术实施例的结合rpa及ai的元素截图方法，通过触发区域的坐标系，获取至少部分区域的相对坐标信息，通过控制rpa机器人对至少部分区域的操作截图，实现了在元素块内更小粒度元素区域截图的能力，解决了之前无法对更小粒度元素截图的需求，支持用户根据需求对截图的范围进行选择，实现了不同尺寸的元素截图要求。
118.在本技术的一些实施例中，元素截图的具体流程如下列示例：
119.作为一种示例，如图7所示，当需要对浏览器中的内容进行截图处理的时候，creator需要在当前桌面中识别到用户当前元素定位程序的是浏览器。
120.随后基于代码的上下级结构信息，定位元素截图事件的触发区域的元素代码位置信息，如图8所示，当creator识别到用户当前元素定位程序的是浏览器时，通过抓取ui代码，进行结构分析，并且进行识别元素块的块的识别，
121.以识别到的元素块，左上角作为坐标原点(0，0)进行坐标相对定位，再结合坐标定位截图的方法，识别当前用户的截图范围的左上角相对坐标点和右下角相对坐标点，如图9所示，以搜索框的左上角作为坐标原点(0,0)进行相对定位，如图10和图11所示，用户操作截图区域，记录用户操作的区域的左上角坐标(540，0)和右下角坐标(640，100)，进一步求出左上顶点坐标的百分化取值(540/1020*100％，0)和右下顶点坐标的百分化取值(640/1020*100％，100/100*100％)，当用户操作确定以后，元素截图即可支持元素内平面矩形的截图处理。
122.本技术实施例的结合rpa及ai的元素截图装置，通过采用定位元素代码的方式确定元素代码位置信息，提供元素块内区域截图的能力，解决了之前无法对更小粒度元素截图的需求，确定元素代码位置信息后建立坐标系，设立坐标原点，再结合坐标定位截图的方法，识别当前用户的截图范围中的坐标值，通过采用相对定位的方法，支持用户拖拽框选想要截图的元素，满足的元素截图的需求，解决了截取的图片在分辨率不同的电脑上不一致的问题，降低了截图工作的操作难度，增加了自动化程度，降低了人力与时间的浪费。
123.为了实现上述实施例，本技术还提出了一种结合rpa及ai的元素截图装置。
124.图5为一种结合rpa及ai的元素截图装置的结构框图。如图5所示，该结合rpa及ai的元素截图装置可以包括：定位模块510、建立模块520和截图操作模块530。
125.其中，定位模块510，用于响应于元素截图事件的触发命令，定位元素截图事件的触发区域的元素代码位置信息。
126.建立模块520，用于根据元素代码位置信息，建立触发区域的坐标系。在一种实现方式中，建立模块520根据元素代码位置信息获取触发区域的宽度信息和高度信息；根据宽
度信息和高度信息，以触发区域的左上角作为原点，建立触发区域的坐标系。
127.截图操作模块530，用于根据坐标系进行触发区域内至少部分区域的截图操作。在一种实现方式中，响应于针对触发区域内至少部分区域的截图操作，基于触发区域的坐标系，获取至少部分区域的相对坐标信息；根据所述触发区域的相对坐标信息和所述至少部分区域的相对坐标信息确定所述至少部分区域的位置信息，根据所述至少部分区域的位置信息控制rpa机器人对至少部分区域的操作截图。
128.本技术实施例的结合rpa及ai的元素截图方法，当接收到元素截图事件的触发命令时，通过采用定位元素代码的方式确定元素代码位置信息，提供元素块内区域截图的能力，解决了之前无法对更小粒度元素截图的需求，确定元素代码位置信息后建立坐标系，设立坐标原点，再结合坐标定位截图的方法，识别当前用户的截图范围中的坐标值，通过采用相对定位的方法，支持用户拖拽框选想要截图的元素，满足的元素截图的需求，解决了截取的图片在分辨率不同的电脑上不一致的问题。
129.在本技术的一些实施例中，如图6所示，图6是本技术另一个实施例的结合rpa及ai的元素截图装置的结构框图，该结合rpa及ai的元素截图装置中定位模块610包括，获取单元611、识别单元612、确定单元613和定位单元614。
130.其中，获取单元611，用于获取触发区域在应用程序中所对应的源代码。
131.识别单元612，用于根据源代码识别触发区域所属的应用程序类型。在一种实现方式中，识别单元612基于人工智能ai技术，提取源代码的特征信息，并根据源代码的特征信息，识别触发区域所属的应用程序类型。
132.其中，应用程序类型包括网页浏览器类型。
133.确定单元613，用于根据应用程序类型确定代码的上下级结构信息。
134.定位单元614，用于基于代码的上下级结构信息，定位元素截图事件的触发区域的元素代码位置信息。
135.本技术实施例的结合rpa及ai的元素截图装置，当需要定位元素截图事件的触发区域的元素代码位置信息是，先通过获取触发区域在应用程序中所对应的源代码，根据源代码确定的应用程序类型，再根据应用程序类型确定代码的上下级结构信息，定位元素截图事件的触发区域的元素代码位置信息，实现了基于代码层的定位而确定界面元素定位，解决了截取的图片在分辨率不同的电脑上不一致的问题，让后续的流程作业减少范围，如提取截图中的文字，提升效率。
136.其中，图6中610
‑
630和图5中520
‑
530具有相同功能和结构。
137.基于本技术的实施例，本技术还提供了一种计算机设备，至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行前述任一实施例的数据脱敏方法。
138.基于本技术的实施例，本技术还提供了一种计算机可读存储介质，其中，计算机指令用于使计算机执行根据本技术实施例提供的前述任一实施例的数据脱敏方法。
139.图13示出了可以用来实施本技术的实施例的示例计算机设备的示意性框图。计算机设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。本文所示的部件、它们
的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本技术的实现。
140.如图13所示，设备1300包括计算单元1301，其可以根据存储在只读存储器(rom)1302中的计算机程序或者从存储单元1308加载到随机访问存储器(ram)1303中的计算机程序，来执行各种适当的动作和处理。在ram 1303中，还可存储设备1300操作所需的各种程序和数据。计算单元1301、rom 1302以及ram 1303通过总线1304彼此相连。输入/输出(i/o)接口1305也连接至总线1304。
141.设备1300中的多个部件连接至i/o接口1305，包括：输入单元1306，例如键盘、鼠标等；输出单元1307，例如各种类型的显示器、扬声器等；存储单元1308，例如磁盘、光盘等；以及通信单元1309，例如网卡、调制解调器、无线通信收发机等。通信单元1309允许设备1300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
142.计算单元1301可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1301的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元1301执行上文所描述的各个方法和处理，例如结合rpa及ai的元素截图方法。例如，在一些实施例中，数据脱敏方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1308。在一些实施例中，计算机程序的部分或者全部可以经由rom 1302和/或通信单元1309而被载入和/或安装到设备1300上。当计算机程序加载到ram 1303并由计算单元1301执行时，可以执行上文描述的数据脱敏方法的一个或多个步骤。备选地，在其他实施例中，计算单元1301可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据脱敏方法。
143.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
144.用于实施本技术的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
145.在本技术的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计
算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd
‑
rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
146.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
147.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、互联网和区块链网络。
148.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端
‑
服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务("virtual private server"，或简称"vps")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
149.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本技术结合rpa及ai的元素截图方法以及装置的技术方案所期望的结果，本文在此不进行限制。
150.上述具体实施方式，并不构成对本技术保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本技术的精神和原则之内所作的修改、等同替换和改进等，均应包含在本技术保护范围之内。