车机界面的跳转图构建方法及装置与流程
本技术涉及数据处理,特别涉及一种车机界面的跳转图构建方法及装置。
背景技术:
1、车载信息娱乐系统做自动化测试时,需要先拿到被测应用每个页面(page)上的可交互元素,比如按钮、图标、可输入的文本框,以及页面和页面之间的跳转关系。基于这些内容可以构建出“界面元素知识库”和“页面状态跳转图”,供测试用例自动生成、界面巡检和回放使用。
2、相关技术中,“界面元素知识库”和“页面状态跳转图”的构建主要采用以下两种做法:一是通用android界面自动化框架,如uiautomator、appium,其常见实现做法是把xml控件树直接打印到命令的标准输出,然后把结果直接吐到屏幕上、再由调用方从屏幕上读;另一种是人工编写或录制页面对象,由测试人员手工维护界面元素的定位方式和页面之间的跳转关系,机器只负责按人写好的脚本来点。
3、然而,相关技术中,无论是通用自动化框架还是人工实现,在多屏车机的持续动画场景下均易采不到界面,采集到的元素缺乏稳定且可理解的标识,部分场景下界面上的残缺元素也会污染知识库、降低识别准确率,且二者都难以遍历所有元素,存在覆盖盲区,在车机图标语义识别上的鲁棒性也存在不足,亟待解决。
技术实现思路
1、本技术提供一种车机界面的跳转图构建方法及装置,以解决相关技术中“界面元素知识库”和“页面状态跳转图”的构建方法,在多屏车机的持续动画场景下均易采不到界面,采集到的元素缺乏稳定且可理解的标识,部分场景下界面上的残缺元素也会污染知识库、降低识别准确率,且二者都难以遍历所有元素,存在覆盖盲区,在车机图标语义识别上的鲁棒性也存在不足等问题。
2、本技术第一方面实施例提供一种车机界面的跳转图构建方法,包括以下步骤:从第一内存读取至少一个车机界面的控件层级信息对应的控件树,根据所述控件树识别至少一个所述车机界面中满足预设完整条件的可用界面元素;根据与所述可用界面元素关联的至少一个所述车机界面的到达路径和页面跳转信息,构建至少一个所述车机界面对应的初始页面状态跳转图;基于所述初始页面状态跳转图,从所述可用界面元素中筛选出未交互界面元素,基于所述未交互界面元素在定向触发动作下的触发结果,确定所述未交互界面元素对应的补充页面跳转信息,根据所述初始页面状态跳转图和所述补充页面跳转信息生成至少一个所述车机界面的最终页面状态跳转图。
3、通过上述技术手段,本技术实施例可以通过读取完整稳定的控件树,对车机界面中的可用界面元素进行统一自动采集,可以有效提升动态页面的元素采集成功率,得到可用界面元素对应的页面状态跳转图;进一步地,本技术实施例可以筛选出未交互界面元素,通过定向触发动作补充未交互界面元素对应的页面跳转信息,实现所有车机界面元素的遍历,以保证最终生成的最终页面状态跳转图的完整性。
4、可选地,在本技术的一个实施例中,所述根据所述控件树识别至少一个所述车机界面中满足预设完整条件的可用界面元素,包括:基于所述控件树对应的车机界面图像,确定所述车机界面图像中的多个界面元素;在所述界面元素对应的第一边长小于第一尺寸阈值且第二边长与所述第一边长的比值大于预设形状阈值,或者所述界面元素的边界与目标边界之间满足预设重合条件且所述界面元素的尺寸小于所述车机界面图像中参照元素的等比尺寸时,确定所述界面元素为不满足所述预设完整条件的不可用界面元素;根据所述至少一个所述车机界面中除却所述不可用界面元素之外的界面元素,确定所述可用界面元素。
5、通过上述技术手段,本技术实施例可以基于控件树对应的车机界面图象确定多个界面元素,通过从控件树和车机界面图象进行双重校验,提升本技术在复杂车机环境下识别的准确性,再根据预设的完整条件判断该界面元素是否为不可用界面元素,从而得到剩下可用的界面元素,保证了在后续步骤中对可用界面元素操作的安全性与执行有效性。
6、可选地,在本技术的一个实施例中,在基于所述初始页面状态跳转图,从所述可用界面元素中筛选出未交互界面元素之前,还包括:基于所述可用界面元素,生成所述可用界面元素对应的第一图像和第二图像,其中,所述第一图像用于表征包含界面元素标记的全局界面图像,所述第二图像为界面元素对应的局部界面图像;根据所述第一图像和所述第二图像的语义识别结果中的目标结构化数据块,确定所述可用界面元素的属性信息,以根据所述属性信息生成至少一个所述车机界面对应的元素知识库,基于所述初始页面状态跳转图和预先构建的元素知识库,从所述可用界面元素中筛选出未交互界面元素。
7、通过上述技术手段,本技术实施例可以截取每个可用界面元素对应的全局界面图象和局部界面图象进行语义识别,再根据图像中语义识别结果中的目标结构化数据块确定该可用界面元素的属性信息,有效保障了元素及其属性信息的识别准确性,再构建元素知识库并从可用界面元素中筛选出未交互界面元素,避免了残缺图像带来的误识别,大幅提高了构建的知识库的可靠性。
8、可选地,在本技术的一个实施例中,所述根据所述第一图像和所述第二图像的语义识别结果中的目标结构化数据块,确定所述可用界面元素的属性信息,包括:在所述目标结构化数据块中的目标字段不存在的情况下,检测所述目标结构化数据块对应的推理字段;根据所述推理字段补正所述目标字段,以根据补正后的目标字段确定所述属性信息。
9、通过上述技术手段,本技术实施例可以在目标字段不存在的情况下检测目标结构化数据块对应的推理字段,显著提升了识别鲁棒性与容错性,然后根据推理字段补正目标字段,再将二者结合验证,便于确定属性信息,保证属性信息的连贯性与逻辑的一致性。
10、可选地,在本技术的一个实施例中,所述根据所述属性信息生成至少一个所述车机界面对应的元素知识库,包括:构建所述可用界面元素的表征标识和身份标识;根据所述可用界面元素对应的表征标识、唯一身份标识和所述属性信息,生成至少一个所述车机界面对应的元素知识库。
11、通过上述技术手段,本技术实施例可以构建可用界面元素的表征标识和身份标识,保证了元素标识的唯一性与数据的一致性,在此基础上再结合属性信息生成元素知识库,可以有效提升元素知识库的检索效率与可靠性。
12、本技术第二方面实施例提供一种车机界面的跳转图构建装置,包括:识别模块,用于从第一内存读取至少一个车机界面的控件层级信息对应的控件树,根据所述控件树识别至少一个所述车机界面中满足预设完整条件的可用界面元素;构建模块,用于根据与所述可用界面元素关联的至少一个所述车机界面的到达路径和页面跳转信息,构建至少一个所述车机界面对应的初始页面状态跳转图;生成模块,用于基于所述初始页面状态跳转图,从所述可用界面元素中筛选出未交互界面元素,基于所述未交互界面元素在定向触发动作下的触发结果,确定所述未交互界面元素对应的补充页面跳转信息,根据所述初始页面状态跳转图和所述补充页面跳转信息生成至少一个所述车机界面的最终页面状态跳转图。
13、通过上述技术手段,本技术实施例可以通过读取完整稳定的控件树,对车机界面中的可用界面元素进行统一自动采集,可以有效提升动态页面的元素采集成功率,得到可用界面元素对应的页面状态跳转图;进一步地,本技术实施例可以筛选出未交互界面元素,通过定向触发动作补充未交互界面元素对应的页面跳转信息,实现所有车机界面元素的遍历,以保证最终生成的最终页面状态跳转图的完整性。
14、可选地,在本技术的一个实施例中,所述识别模块,包括:第一确定单元,用于基于所述控件树对应的车机界面图像,确定所述车机界面图像中的多个界面元素;第二确定单元,用于在所述界面元素对应的第一边长小于第一尺寸阈值且第二边长与所述第一边长的比值大于预设形状阈值,或者所述界面元素的边界与目标边界之间满足预设重合条件且所述界面元素的尺寸小于所述车机界面图像中参照元素的等比尺寸时,确定所述界面元素为不满足所述预设完整条件的不可用界面元素;第三确定单元,用于根据所述至少一个所述车机界面中除却所述不可用界面元素之外的界面元素,确定所述可用界面元素。
15、通过上述技术手段,本技术实施例可以基于控件树对应的车机界面图象确定多个界面元素,通过从控件树和车机界面图象进行双重校验,提升本技术在复杂车机环境下识别的准确性,再根据预设的完整条件判断该界面元素是否为不可用界面元素,从而得到剩下可用的界面元素,保证了在后续步骤中对可用界面元素操作的安全性与执行有效性。
16、可选地,在本技术的一个实施例中,所述生成模块,包括:第一生成单元,用于基于所述可用界面元素,生成所述可用界面元素对应的第一图像和第二图像,其中,所述第一图像用于表征包含界面元素标记的全局界面图像,所述第二图像为界面元素对应的局部界面图像;筛选单元,用于根据第所述一图像和所述第二图像的语义识别结果中的目标结构化数据块,确定所述可用界面元素的属性信息,以根据所述属性信息生成至少一个所述车机界面对应的元素知识库,基于所述初始页面状态跳转图和预先构建的元素知识库,从所述可用界面元素中筛选出未交互界面元素。
17、通过上述技术手段,本技术实施例可以截取每个可用界面元素对应的全局界面图象和局部界面图象进行语义识别,再根据图像中语义识别结果中的目标结构化数据块确定该可用界面元素的属性信息,有效保障了元素及其属性信息的识别准确性,再构建元素知识库并从可用界面元素中筛选出未交互界面元素,避免了残缺图像带来的误识别,大幅提高了构建的知识库的可靠性。
18、可选地,在本技术的一个实施例中,所述生成模块,包括:检测单元,用于在所述目标结构化数据块中的目标字段不存在的情况下,检测所述目标结构化数据块对应的推理字段;补正单元,用于根据所述推理字段补正所述目标字段,以根据补正后的目标字段确定所述属性信息。
19、通过上述技术手段,本技术实施例可以在目标字段不存在的情况下检测目标结构化数据块对应的推理字段,显著提升了识别鲁棒性与容错性,然后根据推理字段补正目标字段,再将二者结合验证,便于确定属性信息,保证属性信息的连贯性与逻辑的一致性。
20、可选地,在本技术的一个实施例中,所述生成模块,包括:构建单元,用于构建所述可用界面元素的表征标识和身份标识;第二生成单元,用于根据所述可用界面元素对应的表征标识、唯一身份标识和所述属性信息,生成至少一个所述车机界面对应的元素知识库。
21、通过上述技术手段,本技术实施例可以构建可用界面元素的表征标识和身份标识,保证了元素标识的唯一性与数据的一致性,在此基础上再结合属性信息生成元素知识库,可以有效提升元素知识库的检索效率与可靠性。
22、本技术第三方面实施例提供一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如上述实施例所述的车机界面的跳转图构建方法。
23、本技术第四方面实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储计算机程序,该程序被处理器执行时实现如上的车机界面的跳转图构建方法。
24、本技术第五方面实施例提供一种计算机程序产品,包括计算机程序,所述计算机程序被执行时,以用于实现如上的车机界面的跳转图构建方法。
25、本技术实施例可以从内存读取控件树,遍历至少一个车机界面中满足预设完整条件的可用界面元素,根据其相关联的至少一个车机界面的到达路径和页面跳转信息生成至少一个车机界面的最终页面状态跳转图,由此实现了通过读取完整稳定的控件树,对车机界面中的可用界面元素进行统一自动采集,可以有效提升动态页面的元素采集成功率,得到可用界面元素对应的页面状态跳转图;进一步地,本技术实施例可以筛选出未交互界面元素,通过定向触发动作补充未交互界面元素对应的页面跳转信息,实现所有车机界面元素的遍历,以保证最终生成的最终页面状态跳转图的完整性。由此,解决了相关技术中“界面元素知识库”和“页面状态跳转图”的构建方法,在多屏车机的持续动画场景下均易采不到界面,采集到的元素缺乏稳定且可理解的标识,部分场景下界面上的残缺元素也会污染知识库、降低识别准确率,且二者都难以遍历所有元素,存在覆盖盲区,在车机图标语义识别上的鲁棒性也存在不足等问题。
26、本技术附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本技术的实践了解到。本技术附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本技术的实践了解到。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com