使用截屏图像进行序列提取的制作方法

技术特征：
1.一种用于使用截屏图像进行序列提取以生成机器人过程自动化工作流的方法，所述方法包括：使用处理器来捕获由用户对应用执行的步骤的多个截屏；将所述截屏存储在存储器中；通过将动作随机聚类成任意预定义数目的群集，来从所捕获的所述截屏中确定动作群集，其中相同动作的不同变型的截屏在所述群集中被标记；从所述群集中提取序列，并且从所述群集中丢弃所述屏幕上的后续事件；以及基于所提取的所述序列来生成自动化工作流。2.根据权利要求1所述的方法，其中所述捕获包括：模板化以查找多个词和针对所述多个词中的每个词的对应位置，以在形成模板时进行聚类。3.根据权利要求2所述的方法，其中所述模板化利用阈值指示所述多个词。4.根据权利要求3所述的方法，其中所述阈值包括：大约70％。5.根据权利要求1所述的方法，其中所述捕获包括：自适应参数调谐以迭代所述模板并针对后续迭代调谐所述捕获。6.根据权利要求1所述的方法，其中所述捕获包括：利用粒子群优化的随机采样。7.根据权利要求1所述的方法，其中所述捕获包括：对包含二进制特征向量的细节进行聚类，所述二进制特征向量指示模板项的存在。8.根据权利要求1所述的方法，其中所述捕获包括：通过学习屏幕的稀疏表示并调谐群集粒度的新颖性。9.根据权利要求1所述的方法，其中所述提取包括前向链路估计，所述前向链路估计利用前向链路预测模块来考虑每个事件并将未来事件与每个事件链接。10.根据权利要求1所述的方法，其中所述提取包括图形表示，其中每个图节点与在所述聚类时发现的屏幕类型相对应。11.根据权利要求10所述的方法，其中所述图的边表示每个事件和与事件链接的事件。12.根据权利要求1所述的方法，其中所述聚类利用光学字符识别(ocr)数据来提取词和位置对。13.一种用于使用截屏图像进行序列提取以生成机器人过程自动化工作流的系统，所述系统包括：处理器，被配置为捕获由用户对应用执行的步骤的多个截屏；以及存储器模块，可操作地耦接到所述处理器并被配置为存储所述截屏；所述处理器还被配置为：通过将动作随机聚类成任意预定义数目的群集，来从所捕获的所述截屏中确定动作群集，其中相同动作的不同变型的截屏在所述群集中被标记；从所述群集中提取序列，并且从所述群集中丢弃所述屏幕上的后续事件；以及基于所提取的所述序列来生成自动化工作流。14.根据权利要求13所述的系统，其中所述捕获包括：模板化以查找多个词和针对所述多个词中的每个词的对应位置，以在形成模板时进行聚类。15.根据权利要求13所述的系统，其中所述捕获包括：自适应参数调谐以迭代所述模板并针对后续迭代调谐所述捕获。
16.根据权利要求13所述的系统，其中所述捕获包括：对包含二进制特征向量的细节进行聚类，所述二进制特征向量指示模板项的存在。17.根据权利要求13所述的系统，其中所述捕获包括：通过学习屏幕的稀疏表示并调谐群集粒度的新颖性。18.根据权利要求13所述的系统，其中所述提取包括前向链路估计，所述前向链路估计利用前向链路预测模块来考虑每个事件并将未来事件与所述每个事件链接。19.根据权利要求13所述的系统，其中所述提取包括图形表示，其中每个图节点与在所述聚类时发现的屏幕类型相对应。20.一种非暂态计算机可读介质，包括记录在所述非暂态计算机可读介质上并能够由处理器运行的计算机程序产品，所述计算机程序产品包括用于通过实现如下步骤的使用截屏图像进行序列提取以生成机器人过程自动化工作流的程序代码指令，所述步骤包括：使用处理器来捕获由用户对应用执行的步骤的多个截屏；将所述截屏存储在存储器中；通过将动作随机聚类成任意预定义数目的群集，来从所捕获的所述截屏中确定动作群集，其中相同动作的不同变型的截屏在所述群集中被标记；从所述群集中提取序列，并且从所述群集中丢弃所述屏幕上的后续事件；以及基于所提取的所述序列来生成自动化工作流。

技术总结
公开了用于使用截屏图像进行序列提取以生成机器人过程自动化工作流的系统和方法。该系统和方法包括：使用处理器来捕获由用户对应用执行的步骤的多个截屏；将截屏存储在存储器中；通过将动作随机聚类成任意预定义数目的群集，来从所捕获的截屏中确定动作群集，其中相同动作的不同变型的截屏在群集中被标记；从群集中提取序列，并且从群集中丢弃屏幕上的后续事件；以及基于所提取的序列来生成自动化工作流。流。流。


技术研发人员：C
受保护的技术使用者：尤帕斯公司
技术研发日：2020.09.30
技术公布日：2022/2/6