基于边缘技术的界面识别方法与流程

1.本发明涉及图像识别技术领域，具体涉及基于边缘技术的界面识别方法。


背景技术：

2.rpa(robotic process automation)机器人流程自动化，是一种能够模拟人类来执行重复性任务的解决方案。rpa可实现统筹安排、自动化业务处理，并提升业务工作流处理效率。用户只需通过图形方式显示的计算机操作界面对rpa软件进行动态设定即可。借助rpa(robotic process automation)可以提高工作效率、节省成本、大程度降低出錯率、节省时间、并从重复性的后台任务中解放劳动力。rpa机器人已经在银行、保险、证券、电商、物流、财务、人事、it运维、系统预警等方面具有广泛的应用。
3.目前，企业为应对内部部分业务在远程桌面或虚拟机等环境执行的情况，需要在rpa平台基础能力上开展基于图像设备技术、界面识别技术的研究。然而，现有的图像识别技术主要采用的模式是集中式识别，终端获取的图像需要传输到服务器识别，部署成本高，识别效率低。


技术实现要素：

4.为了弥补现有技术中存在的不足，本发明提供了基于边缘技术的界面识别方法，能够实现rpa平台的本地化图像识别，提升机器人界面识别的效率。
5.为了达到上述目的，本发明采用的技术方案如下：
6.基于边缘技术的界面识别方法，包括以下步骤：
7.s1、使用浏览器访问应用程序界面；
8.s2、抓取所述应用程序界面的ui元素并建立知识库；
9.s3、通过反复学习形成元素识别模型；
10.s4、将所述元素识别模型内置于rpa的执行器中。
11.进一步的，步骤s1中，所述浏览器为chrome、ie。
12.进一步的，步骤s2中，ui元素包括输入框、按钮、选择框。
13.进一步的，步骤s3中，辅以ocr文字识别作为元素锚点和标记。
14.进一步的，步骤s3中，通过缩放比例、灰度化等参数调整，精简所述元素识别模型的大小。
15.相对于现有技术，本发明具有以下有益技术效果：
16.本发明通过机器反复学习形成自有的元素识别模型，然后将该元素识别模型以应用模块的方式内置于rpa的执行器中，能够充分利用执行终端的cpu/gpu资源，实现类边缘技术的识别能力，大大降低了图像识别服务的部署成本，提升机器人界面识别的效率。
附图说明
17.图1是本发明所述的基于边缘技术的界面识别方法的流程图。
具体实施方式
18.在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
19.实施例1
20.基于边缘技术的界面识别方法，包括以下步骤：
21.s1、使用浏览器访问应用程序界面；浏览器可以为chrome、ie或其他。
22.s2、抓取应用程序界面的ui元素并建立知识库；ui元素包括输入框、按钮、选择框或其他。
23.s3、通过反复学习形成元素识别模型；辅以ocr文字识别作为元素锚点和标记，以增加元素识别的置信度；通过缩放比例、灰度化等参数调整，精简元素识别模型的大小。
24.s4、将元素识别模型以应用模块的方式内置于rpa的执行器中。
25.本发明改变界面识别的方法后，无需部署图像识别服务器，知识库存储于本地，通过反复使用，不断强化模型，并通过ocr和锚点元素标记等来提高模型的准确率。通过缩放比例和灰度化参数变化改变类边缘技术参数，模型大小缩减为原来的1.8％，实现了本地识别的目的，加快响应并缩小了模型，比之前的部署方案更有优势。
26.以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但是凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。


技术特征：
1.基于边缘技术的界面识别方法，其特征在于，包括以下步骤：s1、使用浏览器访问应用程序界面；s2、抓取所述应用程序界面的ui元素并建立知识库；s3、通过反复学习形成元素识别模型；s4、将所述元素识别模型内置于rpa的执行器中。2.根据权利要求1所述的基于边缘技术的界面识别方法，其特征在于：步骤s1中，所述浏览器为chrome、ie。3.根据权利要求2所述的基于边缘技术的界面识别方法，其特征在于：步骤s2中，ui元素包括输入框、按钮、选择框。4.根据权利要求3所述的基于边缘技术的界面识别方法，其特征在于：步骤s3中，辅以ocr文字识别作为元素锚点和标记。5.根据权利要求4所述的基于边缘技术的界面识别方法，其特征在于：步骤s3中，通过缩放比例、灰度化等参数调整，精简所述元素识别模型的大小。

技术总结
本发明提供了一种基于边缘技术的界面识别方法，包括以下步骤：S1、使用浏览器访问应用程序界面；S2、抓取所述应用程序界面的UI元素并建立知识库；S3、通过反复学习形成元素识别模型；S4、将所述元素识别模型内置于RPA的执行器中。本发明提供的基于边缘技术的界面识别方法，能够实现RPA平台的本地化图像识别，提升机器人界面识别的效率。器人界面识别的效率。器人界面识别的效率。


技术研发人员：严宇平 林俊 陈立翼 蔡徽 赵永发 李华军
受保护的技术使用者：广东电网有限责任公司
技术研发日：2022.01.11
技术公布日：2022/4/29