一种基于人工智能的车机HMI点测比对方法、系统、电子设备及存储介质与流程

摘要: 本发明涉及汽车电子测试,尤其是涉及一种基于人工智能的车机hmi点测比对方法、装置、电子设备及存储介质。背景技术:1、随着智能网联汽车的快速发展,车机系统的功能日...
一种基于人工智能的车机HMI点测比对方法、系统、电子设备及存储介质与流程

本发明涉及汽车电子测试,尤其是涉及一种基于人工智能的车机hmi点测比对方法、装置、电子设备及存储介质。

背景技术:

1、随着智能网联汽车的快速发展,车机系统的功能日益复杂,用户界面的迭代速度不断加快。传统的车机ui测试主要依赖人工目视检测,存在效率低下、主观性强、覆盖不全、难以实现7×24小时持续测试等问题。

2、目前也出现了一些采用机械臂加高清摄像头的硬件点测方案,利用机械臂点触车机的用户界面,高清摄像头捕获用户界面ui的跳转和界面的内容。然而机械臂点触车机用户界面前,需要对机械臂进行大量的调试,且需要机械臂具备足够的灵活性和准确性,因此机械臂的要求较高,机械臂的价格直线上升,测试成本高昂。而且发送指令到机械臂点击,再到高清摄像头捕捉拍摄,每一个步骤完成后才能进行下一步骤,导致控制信号传输不连续,每一次发送指令到执行期间都存在数百毫秒-秒级(设备精度相关)延时。这对仪表盘等实时更新动态变化的测试,并不能达到精准收集变化图像的目的,容易产生测试结果误差。

技术实现思路

1、本发明的目的在于提供:

2、基于人工智能的车机hmi点测比对方法、装置、电子设备及存储介质,以解决车机系统检测成本高昂、精度不佳的技术问题。

3、术语说明:

4、除非另有定义,否则本文所有科技术语具有的涵义与所属领域技术人员通常理解的涵义相同。除非另有说明,本文全文引用的所有专利、专利发明、公开材料通过引用方式整体并入本文。如果本文对术语有多个定义,以本章的定义为准。

5、应理解,上述简述和下文的详述为示例性且仅用于解释,而不对本发明的主题作任何限制。在本发明中,除非另有具体说明,否则使用单数时也包括复数。还应注意,除非另有说明,否则所用“或”、“或者”表示“和/或”。此外,所用术语“包括”以及其它形式,例如“包含”、“含”和“含有”并非限制性。

6、第一方面,本发明提供了:一种基于人工智能的车机hmi点测比对方法,包括如下步骤:

7、校验测试脚本与当前车机软硬件版本的兼容性;

8、获取车机屏幕截图并进行验证,记录测试任务每一步骤的验证结果;

9、对于每一验证通过的验证结果,先由传统算法比对并进行评分,再通过ai视觉语义分析,计算置信度后,给出最终判断结果。

10、进一步地,校验测试脚本与当前车机软硬件版本的兼容性具体为:

11、根据通过终端上传的车机的软件版本和硬件版本,匹配测试脚本,若存在匹配结果,表明匹配成功,反之表明测试脚本与当前车机软硬件版本不兼容。

12、进一步地,获取车机屏幕截图并进行验证包括如下步骤:

13、通过终端获取车机的屏幕截图;

14、通过云调度中枢识别截图的ui元素,根据ui元素判断截图界面下的操纵类型,生成操作指令;

15、通过终端执行操作指令,获取操作指令的执行结果和后续的屏幕截图;

16、对执行结果和截图进行验证;

17、循环直到完成测试任务的全部步骤。

18、进一步地,传统算法对截图进行比对具体为:

19、将截图和预期基线图片预处理;

20、对截图进行结构相似性指数分析、特征点匹配分析、颜色分布分析、边缘结构分析;

21、加权融合后计算综合评分c1。

22、进一步地,ai视觉语义分析对截图进行比对具体为:

23、提取包括视觉特征、文本特征、布局特征的多模态特征;

24、语义理解与推理;

25、根据多模态特征计算ai置信度c2。

26、进一步地,根据综合评分c1和ai置信度c2,计算最终置信度cf,

27、若cf≥0.90且c1≥0.85且c2≥0.88,表明测试通过;

28、若cf≤0.10且c1≤0.70或c2≤0.65;表明测试不通过;

29、若0.10

30、进一步地,通过云调度中枢控制测试任务在不同状态的自动迁移:

31、失败:失败后重新执行测试任务,直到测试任务完成;

32、暂停:测试任务测试过程中停止,根据后续情况继续执行或者取消任务,若测试任务取消的,则结束;

33、部分完成:重新执行失败项,直到测试任务完成;

34、全部完成:则结束。

35、第二方面,本发明提供了:一种基于人工智能的车机hmi点测比对系统,包括硬件子系统和软件子系统,其中硬件子系统包括:

36、终端,能够采集和输出数据,并执行上述的基于人工智能的车机hmi点测比对方法;

37、服务器,用于架构软件子系统;

38、软件子系统包括边缘智能代理层、云原生云调度中枢层、数据智能平台层和智能脚本基线制作工厂工具层,

39、边缘智能代理层,被部署于车机设备侧,用于轻量级数据采集、设备控制;

40、云原生云调度中枢层,即云调度中枢,包含资源调度器、多模态测试引擎、智能比对服务的核心服务,执行上述的基于人工智能的车机hmi点测比对方法;

41、数据智能平台层,用于提供质量数据聚合、分析、可视化与协同功能,包括数字看板、预测性分析、智能报告生成;

42、智能脚本基线制作工厂工具层包括智能脚本生成器和基线图片生成器,用于智能测试用例规划:

43、智能脚本生成器,用于通过录制用户操作生成可执行的测试脚本;

44、基线图片生成器,用于根据设计师设计稿,分析设计稿的元数据。

45、第三方面,本发明提供了:一种电子设备,包括至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述的基于人工智能的车机hmi点测比对方法。

46、第四方面,本发明提供了:一种存储有计算机指令的非瞬时计算机可读存储介质,计算机指令用于使计算机执行上述的基于人工智能的车机hmi点测比对方法。

47、本发明的有益效果为:

48、1.智能化程度高:通过多模态大模型实现接近人类的测试理解与执行能力,采用单一接入式设备,通过usb、wi-fi、网口连接方式连接至车机系统,进行系统内点击测试,截图比对。无需机械臂,高速摄像机等高成本设备。达到低延时,轻量化,低成本,高准确度的点击测试效果,显著降低脚本维护成本。

49、2.测试精度高:ai增强的视觉语义差分比传统像素比对更能理解ui缺陷的本质,大幅降低误报率。毫秒级响应截图比对,极大提高测试精度及准确性,有效避免了机械臂+高清摄像方案的高延时问题。且相对于机械臂点击动作,通过系统内组件识别,提高了点击精度,避免不同机械臂的点击误差。

50、3.资源利用率高:云原生架构实现测试资源的弹性调度与共享,支持高并发测试,提升设备利用率。场景适应性强:支持从研发实验室到生产线的全场景覆盖,具备在线/离线双模工作能力。

51、4.可扩展性好:模块化设计便于功能扩展,可集成更多ai能力(如异常行为预测、智能测试用例生成)。

52、5.测试效率提升:采用云原生架构实现测试资源的弹性调度与高并发处理,支持大规模、多车型并行测试。相比传统人工测试,效率提升5-10倍;相比传统自动化测试,脚本维护工作量降低70%以上。

53、6.测试覆盖率提升:支持7×24小时不间断测试,ui测试覆盖率可达95%以上。

54、7.缺陷检出率提升:构建“全息化”质量评估体系,融合ui视觉、性能指标、系统日志进行多维度关联分析,精准定位问题。通过多维度关联分析,可发现传统方法难以察觉的隐性缺陷,缺陷检出率提升30%以上。

55、9.标准化程度高:实现车机ui测试的“零脚本维护”或低维护,通过多模态大模型理解ui与需求,自动生成、执行测试用例。推动测试流程、用例、报告的标准化,形成可复用的测试资产。