流程自动化文件生成方法与流程

1.本说明书实施例涉及计算机技术领域，特别涉及一种流程自动化文件生成方法。


背景技术：

2.机器人流程自动化(rpa，roboticprocessautomation)是一种应用计算机技术和自动化程序完成各类企业办公需求，实现企业数字化转型的有效技术，目前被广泛运用在银行、保险、医疗、电商和物流等行业。
3.现有技术中，机器人流程自动化的实现，一般在rpa开发平台通过编写代码或者拖拽可视化组件方式，串联目标任务场景的操作路径，完成流程自动化脚本开发，使得脚本可以自动地完成预期操作。然而，该方法开发效率低。因此，亟需一种有效的方案以解决上述问题。


技术实现要素：

4.有鉴于此，本说明书施例提供了一种流程自动化文件生成方法。本说明书一个或者多个实施例同时涉及一种流程自动化文件生成装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
5.根据本说明书实施例的第一方面，提供了一种流程自动化文件生成方法，包括：
6.获取用户针对目标任务的操作流程视频；
7.对所述操作流程视频中的多个视频帧进行检测，得到各视频帧对应的操作位置信息和页面可操作区域；
8.基于所述各视频帧对应的操作位置信息和页面可操作区域，确定多个初始操作；
9.根据各初始操作分别对应的关联视频帧变化程度，从所述多个初始操作中筛选出目标操作；
10.基于所述目标操作对应的操作顺序，生成所述目标任务对应的目标流程自动化文件。
11.根据本说明书实施例的第二方面，提供了一种流程自动化文件生成装置，包括：
12.获取模块，被配置为获取用户针对目标任务的操作流程视频；
13.检测模块，被配置为对所述操作流程视频中的多个视频帧进行检测，得到各视频帧对应的操作位置信息和页面可操作区域；
14.第一确定模块，被配置为基于所述各视频帧对应的操作位置信息和页面可操作区域，确定多个初始操作；
15.筛选模块，被配置为根据各初始操作分别对应的关联视频帧变化程度，从所述多个初始操作中筛选出目标操作；
16.生成模块，被配置为基于所述目标操作对应的操作顺序，生成所述目标任务对应的目标流程自动化文件。
17.根据本说明书实施例的第三方面，提供了一种计算设备，包括：
18.存储器和处理器；
19.所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述流程自动化文件生成方法的步骤。
20.根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述流程自动化文件生成方法的步骤。
21.根据本说明书实施例的第五方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述流程自动化文件生成方法的步骤。
22.本说明书提供了一种流程自动化文件生成方法，获取用户针对目标任务的操作流程视频；对所述操作流程视频中的多个视频帧进行检测，得到各视频帧对应的操作位置信息和页面可操作区域；基于所述各视频帧对应的操作位置信息和页面可操作区域，确定多个初始操作；根据各初始操作分别对应的关联视频帧变化程度，从所述多个初始操作中筛选出目标操作；基于所述目标操作对应的操作顺序，生成所述目标任务对应的目标流程自动化文件。通过视频理解的方式，得到用户操作路径，可以有效降低流程自动化文件生成的开发门槛，减少流程自动化文件生成的开发运维成本，提高流程自动化文件生成的开发效率，通过检测操作位置信息和页面可操作区域，可以有效避免流程自动化文件失效的问题，例如元素微调，页面变化和分辨率变化等。
附图说明
23.图1是本说明书一个实施例提供的一种流程自动化文件生成系统下流程自动化文件生成的处理流程图；
24.图2是本说明书一个实施例提供的另一种流程自动化文件生成系统的框架图；
25.图3是本说明书一个实施例提供的一种流程自动化文件生成方法的流程图；
26.图4a是本说明书一个实施例提供的一种流程自动化文件生成方法中对视频帧进行检测的流程图；
27.图4b是本说明书一个实施例提供的另一种流程自动化文件生成方法的流程图；
28.图4c是本说明书一个实施例提供的一种流程自动化文件生成方法中确定目标操作的流程图；
29.图5是本说明书一个实施例提供的一种流程自动化文件生成方法的处理过程流程图；
30.图6是本说明书一个实施例提供的一种流程自动化文件生成装置的结构示意图；
31.图7是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
32.在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
33.在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地
表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
34.应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
35.首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
36.机器人流程自动化(rpa，roboticprocessautomation)，通过程序自动地完成拟人操作，例如打开网页，点击按钮，输入信息等，实现办公自动化。
37.光学字符识别(ocr，optical character recognition)，是一种有效的文字检测或文字识别技术。
38.自动操作路径：完成一件任务时的操作顺序和内容，例如“先输入文本，再点击查询按钮”。
39.视频理解：输入一段视频，通过计算机程序和算法理解视频内容，例如在什么时间点发生了什么事情。
40.页面元素检测：得到网页或客户端的元素位置和尺寸，元素包括标题，图标，按钮，输入框，选择框和选择区域等。
41.鼠标检测跟踪：通过视觉算法定位视频中移动的鼠标位置。
42.机器人流程自动化是一种应用计算机技术和自动化程序完成各类企业办公需求，实现企业数字化转型的有效技术，目前被广泛运用在银行、保险、医疗、电商和物流等行业。
43.现有技术中，机器人流程自动化的实现，一般在rpa开发平台通过编写代码或者拖拽可视化组件方式，串联目标任务场景的操作路径，完成流程自动化脚本开发，使得脚本可以自动地完成预期操作。设计好的脚本可以模拟人的操作，实现打开浏览器、打开网站、点击按钮、点击图标、输入信息和鼠标移动等动作，进而完成信息查询、文件上传、信息填写和表格整理等日常办公事务。rpa可以替代人完成大量重复简单的任务，使得人们可以投入更多时间进行创造性的工作，进一步地，企业或者公司也由于rpa获得了数字化转型并提高了办公效率。
44.rpa的开发步骤，一般是rpa专业开发人员熟悉特定的任务场景后，将点击按钮、点击图标和输入信息等动作，按照顺序编写成操作路径，进而转化为操作并串联组成自动化脚本，最后通过调试运行使得rpa机器人可以在目标场景自动化操作并实现预期效果。
45.然而，上述方法，需要开发人员需要具备一定的专业能力，往往需要通过专业培训才能胜任rpa的开发；且任务场景发生变更或者新增任务场景时，这样的开发流程又需要重新一次，带来较高的开发和维护成本，费时费力；页面元素样式、位置发生微调，页面分辨率变化时，普通的记录坐标或者基于页面语言的页面元素定位方法失效。
46.例如，基于鼠标位置、鼠标点击和键盘输入等用户操作事件，记录操作路径，类似于按键精灵，通过计算机系统记录用户操作具体信息，从而得到操作路径。该方法可以获取用户操作路径，并将操作路径转换为可执行脚本，让计算机自动重复的执行特定任务。但该方法只能获得简单的操作位置，无法理解用户操作的具体内容，也不能适应页面分辨率变
化，页面元素微调和页面微调等，一旦任务场景发生微调，这种记录方法就会立刻失效。
47.因此，本说明书提供了一种流程自动化文件生成方法，获取用户针对目标任务的操作流程视频；对所述操作流程视频中的多个视频帧进行检测，得到各视频帧对应的操作位置信息和页面可操作区域；基于所述各视频帧对应的操作位置信息和页面可操作区域，确定多个初始操作；根据各初始操作分别对应的关联视频帧变化程度，从所述多个初始操作中筛选出目标操作；基于所述目标操作对应的操作顺序，生成所述目标任务对应的目标流程自动化文件。通过视频理解的方式，得到用户操作路径，可以有效降低流程自动化文件生成的开发门槛，减少流程自动化文件生成的开发运维成本，提高流程自动化文件生成的开发效率，通过检测操作位置信息和页面可操作区域，可以有效避免流程自动化文件失效的问题，例如元素微调，页面变化和分辨率变化等。
48.在本说明书中，提供了一种流程自动化文件生成方法，本说明书同时涉及一种流程自动化文件生成装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。
49.参见图1，图1示出了本说明书一个实施例提供的一种流程自动化文件生成系统下流程自动化文件生成的处理流程图。
50.客户端：向服务端发送用户针对目标任务的操作流程视频。
51.服务端：获取用户针对目标任务的操作流程视频；对所述操作流程视频中的多个视频帧进行检测，得到各视频帧对应的操作位置信息和页面可操作区域；基于所述各视频帧对应的操作位置信息和页面可操作区域，确定多个初始操作；根据各初始操作分别对应的关联视频帧变化程度，从所述多个初始操作中筛选出目标操作；基于所述目标操作对应的操作顺序，生成所述目标任务对应的目标流程自动化文件；将所述目标流程自动化文件发送至客户端。
52.客户端：接收服务端发送的目标流程自动化文件。
53.通过视频理解的方式，得到用户操作路径，可以有效降低流程自动化文件生成的开发门槛，减少流程自动化文件生成的开发运维成本，提高流程自动化文件生成的开发效率，通过检测操作位置信息和页面可操作区域，可以有效避免流程自动化文件失效的问题，例如元素微调，页面变化和分辨率变化等。
54.上述为本实施例的一种目标流程自动化文件系统的示意性方案。需要说明的是，该目标流程自动化文件系统的技术方案与下述的目标流程自动化文件方法的技术方案属于同一构思，目标流程自动化文件系统的技术方案未详细描述的细节内容，均可以参见下述目标流程自动化文件方法的技术方案的描述。
55.本说明书实施例提供的一个或多个实施例，可以应用于各种线上任务执行场景，例如启动数据页面、打开目标文章等场景。在一个实际应用中，特别适用于基于鼠标操作的线上任务执行的场景中。
56.参见图2，图2示出了本说明书一个实施例提供的另一种流程自动化文件生成系统的框架图，该系统可以包括服务器202以及多个终端204。多个终端204之间通过服务器202可以建立通信连接。在在线交互场景中，服务器202用来在多个终端204之间提供目标流程自动化文件服务，多个终端204可以分别作为发送端或接收端，通过服务器202实现实时通信。
57.用户通过终端204可与服务器202进行交互以接收其他终端204发送的数据，或将数据发送至其他终端204等。在在线交互场景中，可以是用户通过终端204向服务器202发送针对目标任务的操作流程视频，服务器202将针对目标任务的操作流程视频推送至可以进行流程自动化文件生成的客户端中。
58.其中，终端204与服务器202之间通过网络建立连接。网络为终端与服务器之间提供了通信链路的介质。网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端204所传输的数据可能需要经过编码、转码、压缩等处理之后才发布至服务器202。
59.终端204可以为浏览器、app(application，应用程序)、或网页应用如h5(hypertext markup language5，超文本标记语言第5版)应用、或轻应用(也被称为小程序，一种轻量级应用程序)或云应用等，终端204可以基于服务器提供的相应服务的sdk(software development kit，软件开发工具包)，如基于rtc(实时通信)sdk开发获得等。终端204可以部署在电子设备中，需要依赖设备运行或者设备中的某些app而运行等。电子设备例如可以具有显示屏并支持信息浏览等，如可以是个人移动终端如手机、平板电脑、个人计算机等。在电子设备中通常还可以配置各种其它类应用，例如人机对话类应用、模型训练类应用、文本处理类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱终端、社交平台软件等。
60.服务器202可以包括提供各种服务的服务器，例如为多个终端提供流程自动化文件生成服务的服务器，又如为终端上使用的模型提供支持的用于后台训练的服务器，又如对终端供应的用户针对目标任务的操作流程视频进行处理的服务器等。
61.需要说明的是，服务器202可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。服务器也可以是云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(contentdeliverynetwork，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。
62.值得说明的是，本说明书实施例中提供的方法一般由服务器执行，但是，在本说明书的其它实施例中，终端也可以与服务器具有相似的功能，从而执行本说明书实施例所提供的流程自动化文件生成方法。在其它实施例中，本说明书实施例所提供的流程自动化文件生成方法还可以是由终端与服务器共同执行。
63.此外，本说明书所涉及的与用户相关的信息(包括但不限于用户设备信息、用户个人信息等)和与用户相关的数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
64.参见图3，图3示出了根据本说明书一个实施例提供的一种流程自动化文件生成方法的流程图，具体包括以下步骤。
65.步骤302：获取用户针对目标任务的操作流程视频。
66.具体地，目标任务是指需要生成流程自动化文件的任务，如信息查询、文件上传、信息填写和表格整理等。操作流程视频是指用户执行目标任务的操作过程对应的视频，如用户在设备上执行目标任务的屏幕录制视频。
67.实际应用中，获取用户针对目标任务的操作流程视频的方式有多种，例如，可以是用户向执行主体发送针对目标任务的操作流程视频的获取指令，相应地，执行主体在接收到该获取指令后，开始对目标任务的操作流程视频进行获取；也可以是执行主体每隔预设时长，自动获取针对目标任务的操作流程视频，例如，经过预设时长后，具有流程自动化文件生成功能的服务器自动获取指定存取区域内针对目标任务的操作流程视频；或者经过预设时长后，具有流程自动化文件生成功能的终端自动获取存储于本地的针对目标任务的操作流程视频。本说明书对获取针对目标任务的操作流程视频的方式不作任何限定。
68.步骤304：对所述操作流程视频中的多个视频帧进行检测，得到各视频帧对应的操作位置信息和页面可操作区域。
69.具体地，视频帧是指视频的最基本单位，是组成视频的图像，即操作流程视频由一帧一帧的视频帧组成。操作位置信息是指视频帧中表征进行操作的位置对应的信息。页面可操作区域是指视频帧呈现的页面中，能够被执行点击、播放、触发等操作的区域。
70.实际应用中，对于操作流程视频中的多个视频帧进行两种检测，操作位置检测和页面可操作区域检测：按照预设的操作位置检测策略，对操作流程视频中的多个视频帧分别进行操作位置检测，确定各视频帧对应的操作位置信息；按照预设的页面可操作区域检测策略，对操作流程视频中的多个视频帧分别进行页面可操作区域检测，确定各视频帧对应的页面可操作区域。
71.需要说明的是，针对多个视频帧中的每个视频帧，可以同时进行操作位置检测和页面可操作区域检测，也可以先进行操作位置检测，再进行页面可操作区域检测，还可以先进行页面可操作区域检测，再进行操作位置检测。本说明书对此不作限定。
72.在本说明书一个可实现的实施例中，可以将操作流程视频中的多个视频帧通过显示设备进行显示，由用户或人员用操作标识标注出视频帧中的操作位置，以及用区域标识标注出视频帧中的页面可操作区域，相应地，执行设备基于操作标识和区域标识识别出各视频帧对应的操作位置信息和页面可操作区域。如此，基于人机交互，基于人工的标注，可以使识别到的操作位置信息和页面可操作区域更加精准。
73.在本说明书另一个可实现的实施例中，所述对所述操作流程视频中的多个视频帧进行检测，得到各视频帧对应的操作位置信息和页面可操作区域，具体是实现过程可以如下：
74.从所述操作流程视频中获取多个视频帧；
75.利用预设鼠标图像库，对第一视频帧中的鼠标进行检测，得到所述第一视频帧对应的操作位置信息，其中，所述第一视频帧为所述多个视频帧中的任一个；
76.对所述第一视频帧的页面内容进行检测，得到所述第一视频帧对应的页面可操作区域。
77.具体地，预设鼠标图像库中存储有各种常见的鼠标图案以及不同分辨率下的鼠标图案。页面内容是指视频帧呈现的页面中的文字、控件、图像等。
78.实际应用中，为了提高检测的精准度和效率，可以对操作流程视频进行分帧处理，将得到操作流程视频中的所有视频帧作为获取的多个视频帧。也可以按照预设采样间隔，对操作流程视频进行间隔采样抽帧，将采样得到的视频帧作为获取的多个视频帧。
79.通常情况下，操作流程视频的帧率为20-30帧/秒，即一秒钟包含20-30帧视频帧，
如果间隔采样为5帧，那么一秒钟可以取出4-6张视频帧，每张视频帧的时间间隔为0.25s-0.16s。优选地，预设采样间隔是3帧。
80.在获取了多个视频帧之后，进一步地，针对当前视频帧，基于图像模板匹配算法，以窗口滑动方式计算当前视频帧中每个窗口与预设鼠标图像库中的鼠标图像的相似度，然后根据相似度最大的窗口确定鼠标位置，即操作位置信息。然后对当前视频帧的页面内容进行检测，得到页面可操作区域。遍历所有的视频帧，得到各视频帧对应的操作位置信息。
81.预设鼠标图像库的构建方式可以为：收集有各种常见的鼠标图案，并通过尺度变换模拟不同分辨率下鼠标图案的变化，以此建立鼠标图案模板库。
82.可选地，所述页面内容包括页面元素；所述页面可操作区域携带有页面元素信息；相应地，所述对所述第一视频帧的页面内容进行检测，得到所述第一视频帧对应的页面可操作区域，具体实现过程可以如下：
83.对所述第一视频帧的页面元素进行定位，确定元素位置信息和元素类型；
84.根据所述元素位置信息和所述元素类型，从所述第一视频帧中提取所述页面元素信息。
85.具体地，页面元素可以是页面的标题、图标、按钮、输入框、选择框和选择区域等元素，每个视频帧中可以有至少一个页面元素。元素位置信息包括页面元素的位置和大小(尺寸)等信息。元素类型是指页面元素的类型，包括按钮、图标、输入框、选择框等，又分为图像和文本两种类型。页面元素信息，包括页面元素的区域和位置等。页面元素信息表征页面元素的内容，包括图像信息和文字信息。
86.实际应用中，对某个视频帧的页面内容进行检测时，先对该视频帧的页面元素进行定位：采用基于卷积神经网络的目标检测器，例如centernet，对视频帧的页面元素进行定位，获取元素位置信息和元素类型。进一步地，根据元素位置信息和元素类型，从第一视频帧中提取页面元素信息。遍历各视频帧，得到各视频帧中的页面元素信息。如此，可以提高获取的页面元素信息的精准度和效率。
87.可选地，所述根据所述元素位置信息和所述元素类型，从所述第一视频帧中提取所述页面元素信息，具体实现过程可以如下：
88.根据所述元素类型，确定信息提取策略；
89.按照所述信息提取策略，从所述第一视频帧中所述元素位置信息对应的区域，提取所述页面元素信息。
90.具体地，信息提取策略是指提取页面元素信息的方案、方法等。
91.实际应用中，在确定了元素位置信息和元素类型之后，可以根据元素类型，确定页面元素信息的信息类型，进而获取信息类型对应的信息提取策略：若元素类型为按钮、图标等，则页面元素信息的信息类型为图像信息，则获取图像信息提取策略；若元素类型为输入框、选择框、文本、链接等，则页面元素信息的信息类型为文字信息，则获取文字信息提取策略。
92.然后针对每个页面元素，按照图像信息提取策略或图像信息提取策略，从视频帧中元素位置信息对应的区域，提取页面元素信息。
93.例如，若页面元素信息的信息类型为图像信息，根据元素位置和大小在视频帧上抠图即可。若页面元素信息的信息类型为文字信息，则可以通过ocr获得文字信息：根据元
素位置和大小在视频帧上抠图即可，然后将扣取的元素图像输入至文本检测器，如基于图像分割的dbnet，定位文本位置得到文本图像，然后将文本图像输入至文本识别模型，如卷积递归神经网络(crnn，convolutional recurrent neural network)，从而得到文本信息。
94.如此，针对不同类型的元素类型，采用不同的信息提取策略，能够满足对不同页面元素的页面元素信息提取，在提高提取效率的同时，扩大了使用维度。
95.可选地，所述页面内容包括操作文本；所述页面可操作区域携带有操作文本信息；相应地，所述对所述第一视频帧的页面内容进行检测，得到所述第一视频帧对应的页面可操作区域，具体实现过程可以如下：
96.根据所述操作位置信息，确定文本检测范围；
97.从所述第一视频帧中的文本检测范围内，提取所述操作文本信息。
98.具体地，操作文本是指能够被点击、修改等操作的文本，如文章的标题，点击标题可以查看文章的详细内容。文本检测范围是指可操作文本的区域。操作文本信息是指操作文本表征的具体文本内容。
99.实际应用中，可以先对操作文本进行定位，由于操作文本一般出现在操作位置的附近，可以根据操作位置信息进行操作文本的定位，即确定文本检测范围。然后，从视频帧的文本检测范围内，获取操作文本信息。如此，可以提高获取操作文本信息的效率，由于仅基于操作位置信息，确定文本检测范围，只对被可能会被操作的操作文本进行操作文本信息提取，而不是对视频帧中的所有操作文本进行操作文本信息提取，减少了数据处理量，降低数据处理压力，从而可以有效地提高流程自动化文件生成的效率。
100.例如，在鼠标(操作位置信息)附近通过ocr技术检测文本位置(文本检测范围)。然后通过ocr技术在文本位置出识别文本，识别出的文本即为操作文本信息。
101.需要说明的是，在页面可操作区域携带有操作文本信息和页面元素信息的情况下，由于页面元素中一般是包含文本的，因此页面元素信息和操作文本信息是部分重复的，通过两者之间位置、大小等方面的相似性，去除重复的页面元素信息和操作文本信息，确定最终的页面可操作区域。
102.需要说明的是，由于操作流程视频中鼠标有连续移动的特点，如果前一视频帧检测到鼠标的置信度高于一定阈值，则优先在上一视频帧的鼠标附近继续进行检测，而不是对视频帧进行全图检测，可以加速鼠标检测效率，即操作位置信息识别效率。
103.参见图4a，图4a示出了本说明书一个实施例提供的一种流程自动化文件生成方法中对视频帧进行检测的流程图，在对当前视频帧进行检测时，对当前视频帧进行页面元素识别定位ocr文本提取(页面元素信息)；根据前一视频帧的操作位置信息和当前视频帧，进行ocr识别定位鼠标附近文本，具体地，基于前一视频帧的操作位置信息，确定当前视频帧的操作位置信息，进而基于当前视频帧的操作位置信息，进行ocr识别定位鼠标附近文本(操作文本信息)；对操作文本信息和页面元素信息，去重复，得到页面可操作区域。
104.步骤306：基于所述各视频帧对应的操作位置信息和页面可操作区域，确定多个初始操作。
105.实际应用中，在获得了各视频帧对应的操作位置信息和页面可操作区域，进一步地，基于操作位置信息和页面可操作区域，识别多个视频帧对应的初始操作。
106.可选地，可以直接将根据各视频帧对应的操作位置信息和页面可操作区域确定的
多个操作作为初始操作。如此，可以提高确定初始操作的准确性。
107.可选地，还可以对根据各视频帧对应的操作位置信息和页面可操作区域确定的多个操作进行处理，得到初始操作。也即所述基于所述各视频帧对应的操作位置信息和页面可操作区域，确定多个初始操作，具体实现过程可以如下：
108.基于所述各视频帧分别对应的操作位置信息和页面可操作区域，确定多个备选操作；
109.根据所述各视频帧的排列顺序，对所述多个备选操作进行去重处理，得到多个初始操作。
110.具体地，备选操作是指根据各视频帧对应的操作位置信息和页面可操作区域确定的操作。排列顺序是指各视频帧在操作流程视频中的先后顺序。
111.实际应用中，先根据各视频帧对应的操作位置信息和页面可操作区域，识别多个视频帧对应的多个备选操作。由于操作流程视频的连续性，一个真实的操作在操作流程视频中呈现为一段连续的相同操作，例如一个用户操作如“点击搜索按钮”，可以对应多个“点击搜索按钮”的备选操作。为了保证初始操作的精确性，需要按照各视频帧的排列顺序，对多个备选操作中重复的备选操作进行去重处理，得到多个初始操作。
112.在本说明书一个或多个可选的实施例中，所述基于所述各视频帧分别对应的操作位置信息和页面可操作区域，确定多个备选操作，具体实现过程可以如下：
113.根据第一视频帧对应的操作位置信息，识别所述第一视频帧对应的操作是否位于所述第一视频帧对应的页面可操作区域内，其中，所述第一视频帧为任一视频帧；
114.若是，则确定所述第一视频帧对应一个备选操作；
115.若否，则确定所述第一视频帧不对应备选操作。
116.实际应用中，针对每个视频帧，根据当前视频帧对应的操作位置信息，确定操作位置，并判断操作位置是否落在当前视频的页面可操作区域内，即操作若是是否落在当前视频的页面可操作区域内，则说明该视频帧对应一个备选操作，若否，则说明该视频帧显示的内容不是一个操作过程。遍历各视频帧，得到多个备选操作。如此，可以快速高效地确定出备选操作。
117.在本说明书一个或多个可选的实施例中，所述根据所述各视频帧的排列顺序，对所述多个备选操作进行去重处理，得到多个初始操作，具体实现过程可以如下：
118.根据所述各视频帧的排列顺序，确定相邻的多个目标视频帧的相似度，其中，所述目标视频帧为对应有备选操作的视频帧；
119.在所述相似度大于预设相似度阈值的情况下，对所述多个目标视频帧对应的备选操作进行去重处理，得到多个初始操作。
120.实际应用中，对于对应有备选操作的目标视频帧，可以根据各目标视频帧的顺序，计算相邻或相连的多个目标视频帧的相似度，得到多个相似度。然后将各相似度分别与预设相似度阈值进行比较，若相似度大于预设相似度阈值，则说明该相似度对应的备选操作相同，需要进行去重处理。在对所有的备选操作进行去重处理后，得到多个初始操作。如此，通过目标视频帧的相似度，进行去重，可以提高去重处理的精确度，进而提高初始操作的精确度。
121.在本说明书一个或多个可选的实施例中，所述页面可操作区域携带有页面元素信
息；所述确定相邻的多个目标视频帧的相似度，具体实现过程可以如下：
122.针对相邻的第一目标视频帧和第二目标视频帧，根据所述第一目标视频帧对应的第一操作位置信息和所述第二目标视频帧对应的第二操作位置信息，确定位置距离，和/或，根据所述第一目标视频帧对应的第一页面元素信息和所述第二目标视频帧对应的第二页面元素信息，确定元素相似度；
123.根据所述位置距离和/或所述元素相似度，确定所述第一目标视频帧与所述第二目标视频帧的相似度。
124.具体地，第一目标视频帧和第二目标视频帧为相邻的两个目标视频帧。位置距离是指操作位置之间的距离。元素相似度是指页面上元素的相似程度，表征页面的相似程度。
125.实际应用中，针对相邻的第一目标视频帧和第二目标视频帧，可以根据第一目标视频帧对应的第一操作位置信息中的操作位置，和第二目标视频帧对应的第二操作位置信息中的操作位置，计算两个操作位置之间的位置距离。用位置距离表征第一目标视频帧与所述第二目标视频帧的相似度。如此，可以提高确定相似度的效率。
126.针对相邻的第一目标视频帧和第二目标视频帧，还可以计算第一目标视频帧对应的第一页面元素信息，与第二目标视频帧对应的第一页面元素信息之间的元素相似度。用元素相似度表征第一目标视频帧与所述第二目标视频帧的相似度。可以提高确定相似度的效率。
127.针对相邻的第一目标视频帧和第二目标视频帧，还可以根据第一目标视频帧对应的第一操作位置信息中的操作位置，和第二目标视频帧对应的第二操作位置信息中的操作位置，计算两个操作位置之间的位置距离，并计算第一目标视频帧对应的第一页面元素信息，与第二目标视频帧对应的第一页面元素信息之间的元素相似度。用位置距离和元素相似度表征第一目标视频帧与所述第二目标视频帧的相似度。可以提高确定相似度的准确率。
128.在本说明书一个或多个可选的实施例中，所述页面元素信息包括页面元素文本和页面元素图像；相应地，所述根据所述第一目标视频帧对应的第一页面元素信息和所述第二目标视频帧对应的第二页面元素信息，确定元素相似度，具体实现过程可以如下：
129.根据所述第一目标视频帧对应的第一页面元素文本和所述第二目标视频帧对应的第二页面元素文本，计算文本相似度，和/或，根据所述第一目标视频帧对应的第一页面元素图像和所述第二目标视频帧对应的第二页面元素图像，计算图像相似度；
130.根据所述文本相似度和/或所述图像相似度，确定所述第一目标视频帧与所述第二目标视频帧的元素相似度。
131.具体地，页面元素文本是指页面中的文本类型的元素，如标题。页面元素图像是指页面中的图像类型的元素，如按钮、图片等。
132.实际应用中，在确定元素相似度时，可以根据第一目标视频帧对应的第一页面元素文本，和第二目标视频帧对应的第一页面元素文本，计算两个页面元素文本之间的文本相似度。用文本相似度表征第一目标视频帧与所述第二目标视频帧的元素相似度。如此，可以提高确定元素相似度的效率。
133.在确定元素相似度时，也可以根据第一目标视频帧对应的第一页面元素图像，和第二目标视频帧对应的第一页面元素图像，计算两个页面元素图像之间的图像相似度。用
图像相似度表征第一目标视频帧与所述第二目标视频帧的元素相似度。如此，可以提高确定元素相似度的效率。
134.在确定元素相似度时，还根据第一目标视频帧对应的第一页面元素文本，和第二目标视频帧对应的第一页面元素文本，计算两个页面元素文本之间的文本相似度，并根据第一目标视频帧对应的第一页面元素图像，和第二目标视频帧对应的第一页面元素图像，计算两个页面元素图像之间的图像相似度。用文本相似度和图像相似度表征第一目标视频帧与所述第二目标视频帧的元素相似度。可以提高确定元素相似度的准确率。
135.例如，通过相似度确定相同的备选操作：计算时序相邻操作元素的位置距离相似度(位置距离)、元素文本相似度(文本相似度)和图像相似度，根据这3个相似度综合判断时序相邻的两个备选操作是否为相同操作，实现合并连续的备选操作，即去重处理。
136.步骤308：根据各初始操作分别对应的关联视频帧变化程度，从所述多个初始操作中筛选出目标操作。
137.具体地，关联视频帧是指与该初始操作相关联的视频帧。关联视频帧变化程度是指关联视频之间的差异程度。
138.实际应用中，在确定了多个初始操作的情况下，还需要对各初始操作进行有效性验证。由于在进行一个有效的操作的过程中，操作前和操作后的页面会存在一定的变化，因此，针对每个初始操作，可以根据当前初始操作对应的关联视频帧变化程度，确定当前初始操作是否为有效操作，也即目标操作。若关联视频帧变化程度大于预设变化程度，则当前初始操作为目标操作，反之，当前初始操作为无效操作。
139.可选地，在所述根据各初始操作分别对应的关联视频帧变化程度，从所述多个初始操作中筛选出目标操作之前，还包括：
140.将与指定视频帧相邻的预设数目视频帧，确定为指定初始操作对应的多个关联视频帧，其中，所述指定视频帧为所述指定初始操作的操作时间对应的视频帧，所述指定初始操作为任一初始操作。
141.实际应用中，针对多个初始操作中的任一初始操作，根据当前初始操作的操作时间对应的指定视频帧，获取与指定视频帧相邻的预设数目视频帧，将所述预设数目视频帧确定为当前初始操作对应的多个关联视频帧。基于操作时间确定关联视频帧，可以提高关联视频帧的准确率。
142.可选地，在所述根据各初始操作分别对应的关联视频帧变化程度，从所述多个初始操作中筛选出目标操作之前，还包括：将指定初始操作的操作时间前的视频帧和操作时间点后的n个视频帧为关联视频帧，其中，所述指定初始操作为任一初始操作。
143.在本说明书一个或多个可选的实施例中，所述关联视频帧包括参考视频帧和至少一个验证视频帧；相应地，所述根据各初始操作分别对应的关联视频帧变化程度，从所述多个初始操作中筛选出目标操作，具体实现过程可以如下：
144.针对第一初始操作，根据所述第一初始操作对应的参考视频帧和至少一个验证视频帧，确定所述参考视频帧分别与各验证视频帧的差异度，其中，所述第一初始操作为任一初始操作，所述差异度表征所述变化程度；
145.在所述差异度超过预设差异度阈值的情况下，确定所述第一初始操作为目标操作。
146.具体地，参考视频帧可以为初始操作的操作时间对应的视频帧，也可以为指定视频帧的前一个视频帧，其中，指定视频帧为初始操作的操作时间对应的视频帧。验证视频帧为指定视频帧的后n个视频帧，n为正整数。
147.实际应用中，针对每个初始操作，根据当前初始操作的操作时间，选取操作时间对应的指定视频帧或指定视频帧的前一个视频帧作为锚点视频帧(参考视频帧)，选取操作时间后的一段时间内的所有视频帧作为判别视频帧(验证视频帧)，即将指定视频帧的后n个视频帧确定为验证视频帧。确定并比较参考视频帧和每个验证视频帧的差异度，例如页面元素变化数量、新增页面元素、页面布局变化和页面切换等，通过以上页面差异性计算得到页面变化程度，即差异度，然后判断差异度是否大于预设差异度阈值，若是，则当前初始操作为有效操作，即目标操作，若否，则当前初始操作为无效操作。遍历所有初始操作，得到多个目标操作。
148.如此，通过参考视频帧分别与各验证视频帧的差异度，识别初始操作中的目标操作，可以提高确定的目标操作的可靠性，进而提高流程自动化文件生成的准确性。
149.步骤310：基于所述目标操作对应的操作顺序，生成所述目标任务对应的目标流程自动化文件。
150.具体地，目标流程自动化文件是指能够自动化实现目标任务的执行流程的文件，如rpa脚本。
151.实际应用中，在得到了目标操作之后，按照目标操作对应的操作顺序，将各目标操作串联起来，得到目标任务对应的目标流程自动化文件。
152.参见图4b，图4b是本说明书一个实施例提供的另一种流程自动化文件生成方法的流程图。对获取的视频(针对目标任务的操作流程视频)间隔采样抽帧，得到多个视频帧；对多个视频帧逐帧做页面元素检测(可操作区域检测)，并将页面元素抠图输入至ocr识别模型，识别其中包含的文本内容，得到页面可操作区域；逐帧做鼠标检测(操作位置信息检测)，根据鼠标(操作位置信息对应的操作)是否落在可操作区域(可操作的页面元素)，输出疑似操作(备选操作)并将其放入至一个队列；重复页面元素检测和鼠标检测直至最后一个视频帧，得到一个疑似操作队列，包含n个疑似操作(备选操作)；计算操作页面元素的位置距离、文本相似度和图像相似度，根据位置距离、文本相似度和图像相似度合并连续且相同的疑似操作，即合并相同操作，得到m个相同操作，即多个初始操作；针对每个初始操作前后的页面变化程度(关联视频帧变化程度)，判断操作是否有效，即是否为目标操作，得到k个有效操作(目标操作)；按照顺序串联所有的有效操作，得到操作路径；将操作路径映射为rpa执行脚本(目标流程自动化文件)，完成rpa流程开发。
153.参见图4c，图4c是本说明书一个实施例提供的一种流程自动化文件生成方法中确定目标操作的流程图。针对每个初始操作，根据当前初始操作的操作时间，选取操作时间前的页面作为锚点页面(anchor frame)，选取操作时间点后的一段时间内的所有页面作为判别页面列表。判断列表是否为空，若否，则从列表中取出一个判别页面，比较锚点页面和该判别页面的差异性，例如页面元素变化数量，新增页面元素，页面布局变化和页面切换等，通过以上页面差异性计算页面变化程度，然后判断页面变化程度是否大于阈值，若是，则判断为有效操作，若否，则返回判断列表是否为空的步骤。若判断列表为空，则未找到前后变化，判断为无效操作。
154.本说明书提供了一种流程自动化文件生成方法，获取用户针对目标任务的操作流程视频；对所述操作流程视频中的多个视频帧进行检测，得到各视频帧对应的操作位置信息和页面可操作区域；基于所述各视频帧对应的操作位置信息和页面可操作区域，确定多个初始操作；根据各初始操作分别对应的关联视频帧变化程度，从所述多个初始操作中筛选出目标操作；基于所述目标操作对应的操作顺序，生成所述目标任务对应的目标流程自动化文件。通过视频理解的方式，得到用户操作路径，可以有效降低流程自动化文件生成的开发门槛，减少流程自动化文件生成的开发运维成本，提高流程自动化文件生成的开发效率，通过检测操作位置信息和页面可操作区域，可以有效避免流程自动化文件失效的问题，例如元素微调，页面变化和分辨率变化等。
155.此外，本方法只需要操作流程视频作为输入，无需其他任何形式输入，就可以还原视频中用户的操作路径，可以有效提高开发效率，降低开发维护难度；基于图像信息和文本信息的检测识别，可以有效地缓解常规自动操作路径面临的问题，例如元素调整，页面变化和分辨率变化时，流程自动化文件失效的问题；通过卷积神经网络目标检测器定位常规页面元素，如按钮，输入框和选择区域等，通过检测鼠标后将鼠标附近区域输入ocr模型定位文本，并结合二者实现页面可操作区域检测。
156.下述结合附图5，以本说明书提供的流程自动化文件生成方法在实际场景中的应用为例，对所述流程自动化文件生成方法进行进一步说明。其中，图5示出了本说明书一个实施例提供的一种流程自动化文件生成方法的处理过程流程图，具体包括以下步骤。
157.步骤502：获取用户针对目标任务的操作流程视频，对从操作流程视频中获取多个视频帧。
158.步骤504：利用预设鼠标图像库，对第一视频帧中的鼠标进行检测，得到第一视频帧对应的操作位置信息，其中，第一视频帧为多个视频帧中的任一个。
159.步骤506：对第一视频帧的页面元素进行定位，确定元素位置信息和元素类型；根据元素类型，确定信息提取策略；按照信息提取策略，从第一视频帧中元素位置信息对应的区域，提取页面元素信息。
160.步骤508：根据操作位置信息，确定文本检测范围；从第一视频帧中的文本检测范围内，提取操作文本信息。
161.步骤510：根据第一视频帧对应的操作位置信息，识别第一视频帧对应的操作是否位于第一视频帧对应的页面可操作区域内，其中，第一视频帧为任一视频帧；若是，则确定第一视频帧对应一个备选操作。
162.步骤512：根据各视频帧的排列顺序，针对相邻的第一目标视频帧和第二目标视频帧，根据第一目标视频帧对应的第一操作位置信息和第二目标视频帧对应的第二操作位置信息，确定位置距离。
163.步骤514：根据各视频帧的排列顺序，针对相邻的第一目标视频帧和第二目标视频帧，根据第一目标视频帧对应的第一页面元素信息和第二目标视频帧对应的第二页面元素信息，确定元素相似度。
164.可选地，页面元素信息包括页面元素文本和页面元素图像；
165.根据第一目标视频帧对应的第一页面元素信息和第二目标视频帧对应的第二页面元素信息，确定元素相似度，包括：
166.根据第一目标视频帧对应的第一页面元素文本和第二目标视频帧对应的第二页面元素文本，计算文本相似度，和/或，根据第一目标视频帧对应的第一页面元素图像和第二目标视频帧对应的第二页面元素图像，计算图像相似度；
167.根据文本相似度和/或图像相似度，确定第一目标视频帧与第二目标视频帧的元素相似度。
168.步骤516：根据位置距离和元素相似度，确定第一目标视频帧与第二目标视频帧的相似度；在所述相似度大于预设相似度阈值的情况下，对所述多个目标视频帧对应的备选操作进行去重处理，得到多个初始操作。
169.步骤518：将与指定视频帧相邻的预设数目视频帧，确定为指定初始操作对应的多个关联视频帧，其中，指定视频帧为指定初始操作的操作时间对应的视频帧，指定初始操作为任一初始操作。
170.步骤520：针对第一初始操作，根据第一初始操作对应的参考视频帧和至少一个验证视频帧，确定参考视频帧分别与各验证视频帧的差异度，其中，第一初始操作为任一初始操作，差异度表征变化程度。
171.步骤522：在差异度超过预设差异度阈值的情况下，确定第一初始操作为目标操作；基于目标操作对应的操作顺序，生成目标任务对应的目标流程自动化文件。
172.本说明书提供了一种流程自动化文件生成方法，通过视频理解的方式，得到用户操作路径，可以有效降低流程自动化文件生成的开发门槛，减少流程自动化文件生成的开发运维成本，提高流程自动化文件生成的开发效率，通过检测操作位置信息和页面可操作区域，可以有效避免流程自动化文件失效的问题，例如元素微调，页面变化和分辨率变化等。
173.与上述方法实施例相对应，本说明书还提供了流程自动化文件生成装置实施例，图6示出了本说明书一个实施例提供的一种流程自动化文件生成装置的结构示意图。如图6所示，该装置包括：
174.获取模块602，被配置为获取用户针对目标任务的操作流程视频；
175.检测模块604，被配置为对所述操作流程视频中的多个视频帧进行检测，得到各视频帧对应的操作位置信息和页面可操作区域；
176.第一确定模块606，被配置为基于所述各视频帧对应的操作位置信息和页面可操作区域，确定多个初始操作；
177.筛选模块608，被配置为根据各初始操作分别对应的关联视频帧变化程度，从所述多个初始操作中筛选出目标操作；
178.生成模块610，被配置为基于所述目标操作对应的操作顺序，生成所述目标任务对应的目标流程自动化文件。
179.可选地，所述装置还包括第二确定模块，被配置为：
180.将与指定视频帧相邻的预设数目视频帧，确定为指定初始操作对应的多个关联视频帧，其中，所述指定视频帧为所述指定初始操作的操作时间对应的视频帧，所述指定初始操作为任一初始操作。
181.可选地，所述关联视频帧包括参考视频帧和至少一个验证视频帧；
182.所述筛选模块608，还被配置为：
183.针对第一初始操作，根据所述第一初始操作对应的参考视频帧和至少一个验证视频帧，确定所述参考视频帧分别与各验证视频帧的差异度，其中，所述第一初始操作为任一初始操作，所述差异度表征所述变化程度；
184.在所述差异度超过预设差异度阈值的情况下，确定所述第一初始操作为目标操作。
185.可选地，所述第一确定模块606，还被配置为：
186.基于所述各视频帧分别对应的操作位置信息和页面可操作区域，确定多个备选操作；
187.根据所述各视频帧的排列顺序，对所述多个备选操作进行去重处理，得到多个初始操作。
188.可选地，所述第一确定模块606，还被配置为：
189.根据第一视频帧对应的操作位置信息，识别所述第一视频帧对应的操作是否位于所述第一视频帧对应的页面可操作区域内，其中，所述第一视频帧为任一视频帧；
190.若是，则确定所述第一视频帧对应一个备选操作。
191.可选地，所述第一确定模块606，还被配置为：
192.根据所述各视频帧的排列顺序，确定相邻的多个目标视频帧的相似度，其中，所述目标视频帧为对应有备选操作的视频帧；
193.在所述相似度大于预设相似度阈值的情况下，对所述多个目标视频帧对应的备选操作进行去重处理，得到多个初始操作。
194.可选地，所述页面可操作区域携带有页面元素信息；
195.所述第一确定模块606，还被配置为：
196.针对相邻的第一目标视频帧和第二目标视频帧，根据所述第一目标视频帧对应的第一操作位置信息和所述第二目标视频帧对应的第二操作位置信息，确定位置距离，和/或，根据所述第一目标视频帧对应的第一页面元素信息和所述第二目标视频帧对应的第二页面元素信息，确定元素相似度；
197.根据所述位置距离和/或所述元素相似度，确定所述第一目标视频帧与所述第二目标视频帧的相似度。
198.可选地，所述页面元素信息包括页面元素文本和页面元素图像；
199.所述第一确定模块606，还被配置为：
200.根据所述第一目标视频帧对应的第一页面元素文本和所述第二目标视频帧对应的第二页面元素文本，计算文本相似度，和/或，根据所述第一目标视频帧对应的第一页面元素图像和所述第二目标视频帧对应的第二页面元素图像，计算图像相似度；
201.根据所述文本相似度和/或所述图像相似度，确定所述第一目标视频帧与所述第二目标视频帧的元素相似度。
202.可选地，所述检测模块604，还被配置为：
203.从所述操作流程视频中获取多个视频帧；
204.利用预设鼠标图像库，对第一视频帧中的鼠标进行检测，得到所述第一视频帧对应的操作位置信息，其中，所述第一视频帧为所述多个视频帧中的任一个；
205.对所述第一视频帧的页面内容进行检测，得到所述第一视频帧对应的页面可操作
区域。
206.可选地，所述页面内容包括页面元素；所述页面可操作区域携带有页面元素信息；
207.所述检测模块604，还被配置为，包括：
208.对所述第一视频帧的页面元素进行定位，确定元素位置信息和元素类型；
209.根据所述元素位置信息和所述元素类型，从所述第一视频帧中提取所述页面元素信息。
210.可选地，所述检测模块604，还被配置为：
211.根据所述元素类型，确定信息提取策略；
212.按照所述信息提取策略，从所述第一视频帧中所述元素位置信息对应的区域，提取所述页面元素信息。
213.可选地，所述页面内容包括操作文本；所述页面可操作区域携带有操作文本信息；
214.所述检测模块604，还被配置为：
215.根据所述操作位置信息，确定文本检测范围；
216.从所述第一视频帧中的文本检测范围内，提取所述操作文本信息。
217.本说明书提供了一种流程自动化文件生成装置，通过视频理解的方式，得到用户操作路径，可以有效降低流程自动化文件生成的开发门槛，减少流程自动化文件生成的开发运维成本，提高流程自动化文件生成的开发效率，通过检测操作位置信息和页面可操作区域，可以有效避免流程自动化文件失效的问题，例如元素微调，页面变化和分辨率变化等。
218.上述为本实施例的一种流程自动化文件生成装置的示意性方案。需要说明的是，该流程自动化文件生成装置的技术方案与上述的流程自动化文件生成方法的技术方案属于同一构思，流程自动化文件生成装置的技术方案未详细描述的细节内容，均可以参见上述流程自动化文件生成方法的技术方案的描述。
219.图7示出了根据本说明书一个实施例提供的一种计算设备的结构框图。该计算设备700的部件包括但不限于存储器710和处理器720。处理器720与存储器710通过总线730相连接，数据库750用于保存数据。
220.计算设备700还包括接入设备740，接入设备740使得计算设备700能够经由一个或多个网络760通信。这些网络的示例包括公用交换电话网(pstn，public switched telephone network)、局域网(lan，local area network)、广域网(wan，wide area network)、个域网(pan，personal area network)或诸如因特网的通信网络的组合。接入设备740可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(nic，network interface controller))中的一个或多个，诸如ieee802.11无线局域网(wlan，wireless local area network)无线接口、全球微波互联接入(wi-max，worldwide interoperability for microwave access)接口、以太网接口、通用串行总线(usb，universal serial bus)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc，near field communication)接口，等等。
221.在本说明书的一个实施例中，计算设备700的上述部件以及图7中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图7所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其
他部件。
222.计算设备700可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或pc的静止计算设备。计算设备700还可以是移动式或静止式的服务器。
223.其中，处理器720用于执行如下计算机可执行指令，该计算机可执行指令被处理器执行时实现上述流程自动化文件生成方法的步骤。
224.上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的流程自动化文件生成方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述流程自动化文件生成方法的技术方案的描述。
225.本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述流程自动化文件生成方法的步骤。
226.上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的流程自动化文件生成方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述流程自动化文件生成方法的技术方案的描述。
227.本说明书一实施例还提供一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述流程自动化文件生成方法的步骤。
228.上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的技术方案与上述的流程自动化文件生成方法的技术方案属于同一构思，计算机程序的技术方案未详细描述的细节内容，均可以参见上述流程自动化文件生成方法的技术方案的描述。
229.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
230.所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。
231.需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。
232.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部
分，可以参见其它实施例的相关描述。
233.以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。