流程自动化文件生成方法与流程

技术特征：
1.一种流程自动化文件生成方法，包括：获取用户针对目标任务的操作流程视频；对所述操作流程视频中的多个视频帧进行检测，得到各视频帧对应的操作位置信息和页面可操作区域；基于所述各视频帧对应的操作位置信息和页面可操作区域，确定多个初始操作；根据各初始操作分别对应的关联视频帧变化程度，从所述多个初始操作中筛选出目标操作；基于所述目标操作对应的操作顺序，生成所述目标任务对应的目标流程自动化文件。2.根据权利要求1所述的方法，所述根据各初始操作分别对应的关联视频帧变化程度，从所述多个初始操作中筛选出目标操作之前，还包括：将与指定视频帧相邻的预设数目视频帧，确定为指定初始操作对应的多个关联视频帧，其中，所述指定视频帧为所述指定初始操作的操作时间对应的视频帧，所述指定初始操作为任一初始操作。3.根据权利要求1或2所述的方法，所述关联视频帧包括参考视频帧和至少一个验证视频帧；所述根据各初始操作分别对应的关联视频帧变化程度，从所述多个初始操作中筛选出目标操作，包括：针对第一初始操作，根据所述第一初始操作对应的参考视频帧和至少一个验证视频帧，确定所述参考视频帧分别与各验证视频帧的差异度，其中，所述第一初始操作为任一初始操作，所述差异度表征所述变化程度；在所述差异度超过预设差异度阈值的情况下，确定所述第一初始操作为目标操作。4.根据权利要求1所述的方法，所述基于所述各视频帧对应的操作位置信息和页面可操作区域，确定多个初始操作，包括：基于所述各视频帧分别对应的操作位置信息和页面可操作区域，确定多个备选操作；根据所述各视频帧的排列顺序，对所述多个备选操作进行去重处理，得到多个初始操作。5.根据权利要求4所述的方法，所述基于所述各视频帧分别对应的操作位置信息和页面可操作区域，确定多个备选操作，包括：根据第一视频帧对应的操作位置信息，识别所述第一视频帧对应的操作是否位于所述第一视频帧对应的页面可操作区域内，其中，所述第一视频帧为任一视频帧；若是，则确定所述第一视频帧对应一个备选操作。6.根据权利要求4或5所述的方法，所述根据所述各视频帧的排列顺序，对所述多个备选操作进行去重处理，得到多个初始操作，包括：根据所述各视频帧的排列顺序，确定相邻的多个目标视频帧的相似度，其中，所述目标视频帧为对应有备选操作的视频帧；在所述相似度大于预设相似度阈值的情况下，对所述多个目标视频帧对应的备选操作进行去重处理，得到多个初始操作。7.根据权利要求6所述的方法，所述页面可操作区域携带有页面元素信息；所述确定相邻的多个目标视频帧的相似度，包括：
针对相邻的第一目标视频帧和第二目标视频帧，根据所述第一目标视频帧对应的第一操作位置信息和所述第二目标视频帧对应的第二操作位置信息，确定位置距离，和/或，根据所述第一目标视频帧对应的第一页面元素信息和所述第二目标视频帧对应的第二页面元素信息，确定元素相似度；根据所述位置距离和/或所述元素相似度，确定所述第一目标视频帧与所述第二目标视频帧的相似度。8.根据权利要求7所述的方法，所述页面元素信息包括页面元素文本和页面元素图像；所述根据所述第一目标视频帧对应的第一页面元素信息和所述第二目标视频帧对应的第二页面元素信息，确定元素相似度，包括：根据所述第一目标视频帧对应的第一页面元素文本和所述第二目标视频帧对应的第二页面元素文本，计算文本相似度，和/或，根据所述第一目标视频帧对应的第一页面元素图像和所述第二目标视频帧对应的第二页面元素图像，计算图像相似度；根据所述文本相似度和/或所述图像相似度，确定所述第一目标视频帧与所述第二目标视频帧的元素相似度。9.根据权利要求1所述的方法，所述对所述操作流程视频中的多个视频帧进行检测，得到各视频帧对应的操作位置信息和页面可操作区域，包括：从所述操作流程视频中获取多个视频帧；利用预设鼠标图像库，对第一视频帧中的鼠标进行检测，得到所述第一视频帧对应的操作位置信息，其中，所述第一视频帧为所述多个视频帧中的任一个；对所述第一视频帧的页面内容进行检测，得到所述第一视频帧对应的页面可操作区域。10.根据权利要求9所述的方法，所述页面内容包括页面元素；所述页面可操作区域携带有页面元素信息；所述对所述第一视频帧的页面内容进行检测，得到所述第一视频帧对应的页面可操作区域，包括：对所述第一视频帧的页面元素进行定位，确定元素位置信息和元素类型；根据所述元素位置信息和所述元素类型，从所述第一视频帧中提取所述页面元素信息。11.根据权利要求10所述的方法，所述根据所述元素位置信息和所述元素类型，从所述第一视频帧中提取所述页面元素信息，包括：根据所述元素类型，确定信息提取策略；按照所述信息提取策略，从所述第一视频帧中所述元素位置信息对应的区域，提取所述页面元素信息。12.根据权利要求9-11任意一项所述的方法，所述页面内容包括操作文本；所述页面可操作区域携带有操作文本信息；所述对所述第一视频帧的页面内容进行检测，得到所述第一视频帧对应的页面可操作区域，包括：根据所述操作位置信息，确定文本检测范围；从所述第一视频帧中的文本检测范围内，提取所述操作文本信息。
13.一种计算设备，包括：存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至12任意一项所述流程自动化文件生成方法的步骤。14.一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现权利要求1至12任意一项所述流程自动化文件生成方法的步骤。

技术总结
本说明书实施例提供流程自动化文件生成方法，所述流程自动化文件生成方法包括：获取用户针对目标任务的操作流程视频；对所述操作流程视频中的多个视频帧进行检测，得到各视频帧对应的操作位置信息和页面可操作区域；基于所述各视频帧对应的操作位置信息和页面可操作区域，确定多个初始操作；根据各初始操作分别对应的关联视频帧变化程度，从所述多个初始操作中筛选出目标操作；基于所述目标操作对应的操作顺序，生成所述目标任务对应的目标流程自动化文件。可以有效降低流程自动化文件生成的开发门槛，减少流程自动化文件生成的开发运维成本，提高流程自动化文件生成的开发效率，可以有效避免流程自动化文件失效的问题。可以有效避免流程自动化文件失效的问题。可以有效避免流程自动化文件失效的问题。


技术研发人员：熊紫华 郭胜 方珂 晋欢欢 林水镜 韩冰
受保护的技术使用者：浙江网商银行股份有限公司
技术研发日：2022.10.31
技术公布日：2023/1/31