网页可交互元素识别方法、装置、存储介质以及电子设备与流程
本申请涉及人工智能、智能体和网页自动化处理等,尤其涉及一种网页可交互元素识别方法、装置、介质以及电子设备。
背景技术:
1、随着大语言模型的快速发展,基于llm构建的ai智能体已被广泛应用于浏览器自动化任务中,例如自动表单填写、网页信息采集、自动化测试等。该类智能体的典型工作模式为:通过浏览器自动化框架获取当前页面的可交互元素列表,将该列表作为上下文输入llm,由llm理解页面结构并决策下一步交互操作,再通过浏览器自动化框架执行点击、输入等动作,从而实现与网页的自主交互。
2、在上述工作模式中,网页可交互元素识别是整个前置环节的核心任务。所谓可交互元素识别,是指从网页dom树中识别出用户可实际操作的ui控件,例如按钮、链接、输入框、下拉菜单、选项卡或开关等,并为其生成可供智能体在后续交互中精准指代的标识。由于智能体的交互决策完全依赖于该识别结果,因此识别结果的准确性、精简性以及跨页面更新的稳定性,直接决定了智能体的任务成功率与运行效率。
技术实现思路
1、本申请提供了一种网页可交互元素识别方法、装置、介质和电子设备,能够提高网页中可交互元素识别的准确性、召回率及跨快照引用的稳定性,从而提升智能体的任务成功率与上下文经济性。
2、根据本申请的第一方面,提供了网页可交互元素识别方法,所述方法包括:
3、响应于从智能体接收到针对目标网页的元素识别请求,获取所述目标网页的dom树并确定所述dom树中dom节点的节点描述信息;其中,所述节点描述信息包括:节点标签信息、视觉样式信息、几何边界信息、绘制顺序信息、可访问性语义信息和交互行为信息;
4、从所述dom树的根节点开始对所述dom节点进行遍历,将当前遍历到的dom节点作为当前节点,并基于所述节点标签信息、所述视觉样式信息、所述可访问性语义信息和所述交互行为信息中的至少一项对当前节点进行可交互性检测,得到候选节点;
5、基于所述几何边界信息与所述绘制顺序信息对所述候选节点进行遮挡检测得到被遮挡节点和无遮挡节点,并将所述无遮挡节点和存在元素类型子节点的被遮挡节点确定为目标节点;
6、基于所述目标节点的可访问性语义和所述节点标签信息为所述目标节点生成语义键和引用标识,并将所述目标节点及其对应的引用标识反馈给所述智能体,以供所述智能体基于所述引用标识对所述目标网页下达交互操作指令。
7、根据本申请的第二方面,提供了网页可交互元素识别装置,所述装置包括:
8、节点信息获取模块,用于响应于从智能体接收到针对目标网页的元素识别请求,获取所述目标网页的dom树并确定所述dom树中dom节点的节点描述信息;其中,所述节点描述信息包括:节点标签信息、视觉样式信息、几何边界信息、绘制顺序信息、可访问性语义信息和交互行为信息;
9、候选节点确定模块,用于从所述dom树的根节点开始对所述dom节点进行遍历,将当前遍历到的dom节点作为当前节点,并基于所述节点标签信息、所述视觉样式信息、所述可访问性语义信息和所述交互行为信息中的至少一项对当前节点进行可交互性检测,得到候选节点;
10、目标节点确定模块,用于基于所述几何边界信息与所述绘制顺序信息对所述候选节点进行遮挡检测得到被遮挡节点和无遮挡节点,并将所述无遮挡节点和存在元素类型子节点的被遮挡节点确定为目标节点;
11、识别结果反馈模块,用于基于所述目标节点的可访问性语义和所述节点标签信息为所述目标节点生成语义键和引用标识,并将所述目标节点及其对应的引用标识反馈给所述智能体,以供所述智能体基于所述引用标识对所述目标网页下达交互操作指令。
12、根据本申请的第三方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请实施例所述的网页可交互元素识别方法。
13、根据本申请的第四方面,本申请实施例提供了一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器运行的计算机程序,所述处理器执行所述计算机程序时实现如本申请实施例所述的网页可交互元素识别方法。
14、根据本申请的第五方面,本申请实施例提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如本申请实施例所述的网页可交互元素识别方法。
15、本申请技术方案,获取并融合节点标签信息、视觉样式信息、可访问性语义信息和交互行为信息对dom节点进行可交互性检测,在可访问性树节点缺失的场景下能够通过其它信号通道实现有效补充,降低漏报率,同时通过可访问性语义信息保持对语义层面交互控件的识别能力。基于几何边界信息与绘制顺序信息对候选节点进行遮挡检测,并将存在元素类型子节点的被遮挡节点确定为目标节点,以使被遮挡的容器节点内部交互在遮挡检测中被予以保留。基于目标节点的可访问性语义和节点标签信息生成语义键和引用标识,使引用标识的分配依据节点固有的语义身份而非遍历顺序或临时编号,页面重渲染后同一逻辑元素的引用标识不发生漂移。有效提高了可交互元素识别的准确性、召回率及跨快照引用的稳定性,提升了智能体在网页上的端到端任务成功率与上下文经济性。
16、应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
1.一种网页可交互元素识别方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述基于所述节点标签信息、所述视觉样式信息、所述可访问性语义信息和所述交互行为信息中的至少一项对当前节点进行可交互性检测,得到候选节点,包括:
3.根据权利要求2所述的方法,其特征在于,所述基于所述检测信息子项所指示的可交互置信度,为所述检测信息子项确定在可交互性检测过程中的使用优先级,包括:
4.根据权利要求2所述的方法,其特征在于,所述采用所述使用优先级对应的检测信息子项依次对当前节点进行可交互性检测,包括:
5.根据权利要求2所述的方法,其特征在于,所述采用所述使用优先级对应的检测信息子项依次对当前节点进行可交互性检测,还包括:
6.根据权利要求2所述的方法,其特征在于,所述采用所述使用优先级对应的检测信息子项依次对当前节点进行可交互性检测,还包括:
7.根据权利要求1所述的方法,其特征在于,所述基于所述目标节点的可访问性语义和所述节点标签信息为所述目标节点生成语义键和引用标识,包括:
8.根据权利要求1所述的方法,其特征在于,在根据所述可访问性语义信息中所述目标节点的语义角色、所述可见文本名称及所述祖先角色链生成所述目标节点的语义键之后,所述方法还包括:
9.根据权利要求1所述的方法,其特征在于,在所述将所述目标节点及其对应的引用标识反馈给所述智能体之后,所述方法还包括:
10.一种网页可交互元素识别装置,其特征在于,所述装置包括:
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-9中任一项所述的网页可交互元素识别方法。
12.一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-9中任一项所述的网页可交互元素识别方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com