用户界面元素定位方法、装置、终端设备及存储介质与流程
本技术实施例涉及计算机领域,尤其涉及一种用户界面元素定位方法、装置、终端设备及存储介质。
背景技术:
1、在进行ui(user interface,用户界面)测试时往往需要进行元素定位,元素定位是指通过特定方法在用户界面中准确识别并定位目标元素(如按钮、输入框、链接等),以便后续进行自动化操作或验证,目前一般都是通过脚本或者图像识别的方式进行元素定位。
2、然而,在通过脚本进行元素定位时,一旦ui发生修改时,需要重新编写脚本,适用性较差,而通过图像识别的方式进行元素定位时虽然能够适配不同的ui,但定位的精确度较差。
技术实现思路
1、本技术提供了一种用户界面元素定位方法、装置、终端设备及存储介质,本技术通过发明实施例通过融合图片定位,文字定位以及语义定位的方式对用户界面中的元素进行定位,提高了对元素进行定位的精确度,解决了现有技术中无法在降低工作量的同时提高元素定位精度的技术问题。
2、第一方面,本技术提供了一种用户界面元素定位方法,所述方法包括:
3、确定当前待定位的一个目标元素对应的目标名称信息,确定与所述目标名称信息相对应的目标图像信息,所述目标元素为需要进行元素定位的目标用户界面中的元素;
4、以所述目标名称信息的语义信息、所述目标图像信息和所述目标名称信息为定位依据,按各个所述定位依据的预设排序依次在所述目标用户界面中定位所述目标元素,直至基于任意一个所述定位依据定位成功或基于全部所述定位依据定位失败。
5、上述,本技术提供了一种用户界面元素定位方法,当需要在目标用户界面中定位目标元素时,终端设备在确定待定位的目标元素对应的目标名称信息以及与目标名称信息相对应的目标图像信息后,则以目标名称信息的语义信息、目标图像信息和目标名称信息为定位依据,按各个定位依据的预设排序依次在目标用户界面中定位目标元素。本技术通过结合图片定位,文字定位以及语义定位的方式对用户界面中的元素进行定位,提高了对元素进行定位的精确度,且适配范围广,灵活性强,同时能够降低开发者进行适配以及维护的工作量,解决了现有技术中无法在降低工作量的同时提高元素定位精度的技术问题。
6、其中,所述预设排序依次为所述目标图像信息、所述目标名称信息以及所述目标名称信息的语义信息;或,所述预设排序依次为所述目标图像信息、所述目标名称信息的语义信息以及所述目标名称信息;或,所述预设排序依次为所述目标名称信息、所述目标图像信息以及所述目标名称信息的语义信息。
7、本技术的预设排序中,预设排序的前两位可以是目标图像信息和目标名称信息的任意组合,而语义信息则固定设置在预设排序的末尾。其中目标图像信息和目标名称信息能直接匹配物理特征,覆盖大部分的明确场景,避免语义解析的高延迟。当目标图像信息和目标名称信息均定位失败时,通过语义信息更高的歧义容忍度和意图理解能力,能够覆盖前两个定位依据无法处理的边缘场景,实现最终匹配。本技术中定位依据的预设排序设置方式能够在效率、鲁棒性、扩展性上达到最优平衡。
8、其中,在所述定位依据为所述目标图像信息的情况下,根据所述目标图像信息在目标用户界面中定位目标元素,包括:
9、识别并定位所述目标用户界面中的图像语义单元,所述图像语义单元为具有独立语义含义的最小视觉单位;
10、将所述目标图像信息与每个所述图像语义单元进行匹配;
11、在存在与所述目标图像信息相匹配的目标图像语义单元的情况下,基于所述目标图像语义单元的位置确定与所述目标名称信息相对应的目标元素的位置。
12、上述,本技术通过将目标图像信息与目标用户界面中的图像语义单元进行图像匹配的方式,直接基于像素级特征匹配,无需依赖元素属性信息,可绕过动态变化的属性,提高了对图标元素进行定位的精准性,同时在页面结构发生变化时,也不需要频繁维护更新定位代码,减少维护成本。
13、其中,在所述定位依据为所述目标名称信息的情况下,根据所述目标名称信息在目标用户界面中定位目标元素,包括:
14、识别并定位所述目标用户界面中的文字语义单元,所述文字语义单元为具有独立语义含义的最小文字单位;
15、将所述目标名称信息与每个所述文字语义单元进行匹配;
16、在存在与所述目标图像信息相匹配的目标文字语义单元的情况下,基于所述目标文字语义单元的位置确定与所述目标名称信息相对应的目标元素的位置。
17、上述,本技术通过将目标名称信息与目标用户界面中的文字语义单元进行匹配的方式,利用元素的文本属性进行定位,具有定位效率高以及定位精确性高的特点。
18、其中,在所述定位依据为所述目标名称信息的语义信息的情况下,根据所述目标名称信息的语义信息在目标用户界面中定位目标元素,包括:
19、获取与所述目标用户界面相对应的目标界面图像;
20、识别所述目标界面图像中的图标元素,以及提取所述图标元素的视觉特征;
21、根据所述目标名称信息的语义信息与所述图标元素的视觉特征之间的关联关系,在所述图标元素中确定与所述语义信息相对应的目标元素;
22、输出所述目标元素在所述目标界面图像中的位置。
23、上述,通过利用融合视觉和语义等多维度信息进行元素定位的方式,能够解决传统方法难以处理的模糊定位需求,提高元素定位的成功率,同时能够降低人工维护成本。
24、其中,所述根据所述目标名称信息的语义信息与所述图标元素的视觉特征之间的关联关系,在所述图标元素中确定与所述语义信息相对应的目标元素,包括:
25、将所述目标名称信息的语义信息和所述图标元素的视觉特征映射到同一关联空间中进行对齐,得到与所述语义信息对应的语义特征向量以及与所述图标元素的视觉特征对应的视觉特征向量;
26、计算所述语义特征向量与每个所述图标元素的视觉特征对应的视觉特征向量之间的关联强度;
27、基于所述关联强度在所述图标元素中筛选出候选图标元素;
28、基于所述语义特征向量和所述候选图标元素的视觉特征向量进行融合推理,在所述候选图标元素中确定出与所述语义信息相对应的目标元素。
29、上述,通过语义-视觉跨模态对齐与语义视觉联合推理机制,实现了从“单一特征匹配”到“多模态协同推理”的升级,可突破传统基于关键词或固定属性的匹配局限,实现对模糊语义的精准推理,提高对目标元素进行定位的成功率。
30、其中,所述确定与所述目标名称信息相对应的目标图像信息,包括:
31、在图标数据库中检索与所述目标名称信息相对应的目标图像信息,所述图标数据库包括不同的图像信息及其对应的名称信息。
32、本技术通过设置图标数据库的方式,用户可以通过配置图标数据库中的图像信息的方式拓展图片匹配的适用范围,灵活性强。
33、第二方面,本技术提供了一种用户界面元素定位装置,所述装置包括:
34、信息确定模块,用于确定当前待定位的一个目标元素对应的目标名称信息,确定与所述目标名称信息相对应的目标图像信息,所述目标元素为需要进行元素定位的目标用户界面中的元素;
35、元素定位模块,用于以所述目标名称信息的语义信息、所述目标图像信息和所述目标名称信息为定位依据,按各个所述定位依据的预设排序依次在所述目标用户界面中定位所述目标元素,直至基于任意一个所述定位依据定位成功或基于全部所述定位依据定位失败。
36、第三方面,本技术提供了一种终端设备,所述终端设备包括处理器以及存储器;
37、所述存储器用于存储计算机程序,并将所述计算机程序传输给所述处理器;
38、所述处理器用于根据所述计算机程序中的指令执行如第一方面所述的用户界面元素定位方法。
39、第四方面,本技术提供了一种存储计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的用户界面元素定位方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com