一种智能座舱系统的性能测试方法、装置、系统及车辆与流程

本发明涉及智能座舱测试，具体涉及一种智能座舱系统的性能测试方法、装置、系统及车辆。

背景技术：

1、随着汽车产业向电动化、网联化与智能化持续演进，车辆智能座舱系统已成为车辆人机交互的核心载体，智能座舱系统通常集成语言交互、触控显示、多媒体娱乐及各类车载应用程序（application，app）生态，在产品的研发与量产阶段，必须对系统的冷热启动时间、应用程序点击响应时间、界面切换延迟等关键动态性能指标进行系统性测试。

2、目前，行业内主流的自动化测试方案高度依赖复杂的机械物理硬件，比如通过在车内副驾座椅滑轨上搭建机架支撑组件和水平滑台组件，并利用多轴机器人带动触笔进行物理点击，配合压力传感器和定位相机完成测试，可知，系统高度依赖驱动电机、多轴机器人等复杂硬件，硬件部署成本高昂且结构冗余，物理台架通常需要与实车座椅滑轨进行刚性连接及繁琐的物理对位，在实车动态行驶测试（比如颠簸路况）中，机械臂的运动极易受车身震动影响而产生物理惯性偏移，导致触笔点击位置失真，且存在划伤车机显示屏的安全隐患，且现有机械方案计算“响应时间”通常以“机械臂下发点击动作”为起点，以“工业相机检测到像素整体变化”为终点，此类粗粒度的检测难以捕捉复杂用户界面（userinterface，ui）内部的语义级状态突变，无法精准验证多任务并发状态下各个app的真实响应耗时，难以满足现阶段智能座舱精细化测试的需求。

技术实现思路

1、本发明提供了一种智能座舱系统的性能测试方法、装置、系统及车辆，以解决物理点击测试无法满足智能座舱精细化测试需求的问题。

2、第一方面，本发明提供了一种智能座舱系统的性能测试方法，应用于智能座舱系统的性能测试系统，所述性能测试系统包括视频采集装置和控制单元，所述控制单元与智能座舱系统建立底层通信链路，所述视频采集装置的采集视野覆盖车机屏幕的完整显示区域，所述方法包括：根据预设的测试用例，通过控制单元向智能座舱系统发送操作指令序列，并同步触发所述视频采集装置对所述车机屏幕的画面进行录制，得到视频流；在测试用例执行结束后，对所述视频流中的图像帧进行语义解析，识别各图像帧中用户界面元素的属性信息，并基于所述属性信息将图像帧序列转换为按时间排序的语义状态序列；对所述语义状态序列进行关键帧提取，得到操作起始帧和响应完成帧；计算所述操作起始帧和响应完成帧各自对应的时间戳之差，得到响应时长指标，基于所述响应时长指标、智能座舱系统的资源负载和各关键帧所对应的用户界面元素属性信息，生成智能座舱系统的性能测试报告。

3、本发明提供的智能座舱系统的性能测试方法，根据预设的测试用例，向智能座舱系统发送操作指令序列，并同步触发视频采集装置对车机屏幕的画面进行录制，得到视频流，在测试用例执行结束后，对视频流中的图像帧进行语义解析，识别各图像帧中用户界面元素的属性信息，并基于属性信息将图像帧序列转换为按时间排序的语义状态序列，对语义状态序列进行关键帧提取，得到操作起始帧和响应完成帧，计算操作起始帧和响应完成帧各自对应的时间戳之差，得到响应时长指标，基于响应时长指标、智能座舱系统的资源负载和各关键帧所对应的用户界面元素属性信息，生成智能座舱系统的性能测试报告，通过软件指令注入配合视觉后验分析，相较于物理触控模拟，大幅缩减了硬件测试成本，增加车机屏幕的寿命，且将视频流解析为具有业务含义的语义状态序列，并提取关键帧，精准捕捉关键节点，极大提升了响应时间量化测试的精度。

4、在一种可选的实施方式中，所述对所述视频流中的图像帧进行语义解析，识别各图像帧中用户界面元素的属性信息，包括：将所述视频流按照预设帧率拆分得到图像帧序列；对图像帧序列中图像帧进行图像预处理，所述图像预处理包括分辨率归一化、畸变校正、亮度补偿；调用预训练的深度学习模型对图像帧进行语义解析，输出图像帧中用户界面元素的属性信息，所述属性信息至少包括元素类别、置信度和业务语义标签，所述业务语义标签用于表征各图像帧在测试用例执行过程中所处的业务阶段。

5、本发明按预设帧率拆分视频流实现帧数据标准化，预处理消除画面畸变、亮度差异带来的识别干扰，以及依托深度学习模型提取ui元素属性，借助业务语义标签标定测试业务阶段，提升界面状态识别一致性与解析精度，降低环境干扰造成的误识别，为后续构建语义状态序列、提取交互关键帧提供可靠底层数据支撑。

6、在一种可选的实施方式中，对所述语义状态序列进行关键帧提取，得到操作起始帧，包括：将所述语义状态序列中，在操作指令下发后首次出现操作反馈语义状态的图像帧确定为操作起始帧，所述操作反馈语义状态为车机界面在响应操作指令后产生的视觉反馈信号所对应的语义阶段。

7、本发明以操作指令下发后的首次界面视觉反馈作为起始判定依据，贴合座舱交互真实响应逻辑，避免以触控点击时刻判定带来的时序偏差。

8、在一种可选的实施方式中，所述方法还包括：若在连续的多个帧图像中均存在操作反馈语义状态，从多个帧图像中选择时间戳最早且对应置信度达到预设阈值的帧图像，作为操作起始帧。

9、在一种可选的实施方式中，对所述语义状态序列进行关键帧提取，得到响应完成帧，包括：将所述语义状态序列中，已呈现目标内容区域且所述目标内容区域在连续预设数量的图像帧内满足预设稳定性条件的首个图像帧，确定为响应完成帧，所述稳定性条件通过计算目标内容区域在相邻图像帧的像素差平方和以及结构相似性指数进行判定。

10、本发明基于界面语义状态结合多帧稳定性校验提取响应完成帧，区别于传统仅依赖全局像素变化的判定方式，依托ui语义识别确保目标界面功能区域完整渲染，再通过像素差平方和、结构相似性指数双重指标校验画面稳定性，有效规避加载动画、画面抖动造成的误判，杜绝单帧判定误差，精准锁定座舱界面稳定可用时刻，大幅提升关键帧提取精度与测试结果可靠性。

11、在一种可选的实施方式中，所述目标内容区域为在车机界面内易发生状态突变且与测试用例相关的区域，将所述语义状态序列中，已出现目标内容区域且所述目标内容区域在连续若干图像帧内满足预设稳定性条件的图像帧，确定为响应完成帧，包括：计算当前图像帧中目标内容区域与上一图像帧的第一像素差平方和以及第一结构相似性指数；若所述第一像素差平方和超出第一预设阈值且所述第一结构相似性指数低于第二预设阈值，确定目标内容区域出现界面突变状态；计算后续相邻图像帧中目标内容区域对应的第二像素差平方和以及第二结构相似性指数；当连续多次相邻图像帧中目标内容区域对应的第二像素差平方和低于第三预设阈值和第二结构相似性指数高于第四预设阈值，判定满足稳定性条件；将当前图像帧确定为响应完成帧。

12、在一种可选的实施方式中，在将当前图像帧确定为响应完成帧之前，所述方法还包括：将所述当前图像帧输入至预训练的深度学习模型中，输出所述当前图像帧对应的用户界面元素的属性信息，所述属性信息至少包括元素类别、置信度和语义标签；若所述当前图像帧包括目标内容区域的语义标签，且置信度达到预设阈值，将当前图像帧确定为响应完成帧。

13、在一种可选的实施方式中，所述方法还包括：监测控制单元和智能座舱系统的通信链路状态；若检测到控制指令无响应，重新发送控制指令；若检测到控制指令连续预设数量次无响应，或检测到通信链路为断开状态，或智能座舱系统的资源负载处于异常状态，启动应急处理操作。

14、第二方面，本发明提供了一种智能座舱系统的性能测试装置，应用于智能座舱系统的性能测试系统，所述性能测试系统包括视频采集装置和控制单元，所述控制单元与智能座舱系统建立底层通信链路，所述视频采集装置的采集视野覆盖车机屏幕的完整显示区域，所述装置包括：指令发送模块，用于根据预设的测试用例，通过控制单元向智能座舱系统发送操作指令序列，并同步触发所述视频采集装置对所述车机屏幕的画面进行录制，得到视频流；语义解析模块，用于在测试用例执行结束后，对所述视频流中的图像帧进行语义解析，识别各图像帧中用户界面元素的属性信息，并基于所述属性信息将图像帧序列转换为按时间排序的语义状态序列；关键帧提取模块，用于对所述语义状态序列进行关键帧提取，得到操作起始帧和响应完成帧；性能测试模块，用于计算所述操作起始帧和响应完成帧各自对应的时间戳之差，得到响应时长指标，基于所述响应时长指标、智能座舱系统的资源负载和各关键帧所对应的用户界面元素属性信息，生成智能座舱系统的性能测试报告。

15、第三方面，本发明提供了一种智能座舱系统的性能测试系统，所述系统包括视频采集装置、控制单元和视频分析单元，所述视频采集装置的采集视野覆盖车机屏幕的完整显示区域，所述控制单元与智能座舱系统建立底层通信链路，其中：控制单元根据预设的测试用例，向智能座舱系统发送操作指令序列，并同步触发所述视频采集装置对所述车机屏幕的画面进行录制，得到视频流；视频分析单元，用于在测试用例执行结束后，对所述视频流中的图像帧进行语义解析，识别各图像帧中用户界面元素的属性信息，并基于所述属性信息将图像帧序列转换为按时间排序的语义状态序列；视频分析单元，用于对所述语义状态序列进行关键帧提取，得到操作起始帧和响应完成帧；视频分析单元，用于计算所述操作起始帧和响应完成帧各自对应的时间戳之差，得到响应时长指标，基于所述响应时长指标、智能座舱系统的资源负载和各关键帧所对应的用户界面元素属性信息，生成智能座舱系统的性能测试报告。

16、在一种可选的实施方式中，所述视频采集装置设置在调节支架中的滑动支架组件上，通过滑动支架组件的调节使视频采集装置正对车机屏幕的显示中心，且其采集视野覆盖所述车机屏幕的完整显示区域；所述调节支架还包括稳定件组件，所述稳定件组件与滑动支架组件配合，对车机屏幕进行稳固夹持。

17、在一种可选的实施方式中，所述稳定件组件包括固定器，所述固定器分布在车机屏幕的四个方位，用于固定车机屏幕。

18、第四方面，本发明提供了一种车辆，该车辆包括上述第三方面或其对应的任一实施方式的智能座舱系统。

19、第五方面，本发明提供了一种电子设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的智能座舱系统的性能测试方法。

20、第六方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的智能座舱系统的性能测试方法。

21、第七方面，本发明提供了一种计算机程序产品，包括计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的智能座舱系统的性能测试方法。

22、本发明具有以下技术效果：

23、本发明提供的智能座舱系统的性能测试方法，根据预设的测试用例，向智能座舱系统发送操作指令序列，并同步触发视频采集装置对车机屏幕的画面进行录制，得到视频流，在测试用例执行结束后，对视频流中的图像帧进行语义解析，识别各图像帧中用户界面元素的属性信息，并基于属性信息将图像帧序列转换为按时间排序的语义状态序列，对语义状态序列进行关键帧提取，得到操作起始帧和响应完成帧，计算操作起始帧和响应完成帧各自对应的时间戳之差，得到响应时长指标，基于响应时长指标、智能座舱系统的资源负载和各关键帧所对应的用户界面元素属性信息，生成智能座舱系统的性能测试报告，通过软件指令注入配合视觉后验分析，相较于物理触控模拟，大幅缩减了硬件测试成本，增加车机屏幕的寿命，且将视频流解析为具有业务含义的语义状态序列，并提取关键帧，精准捕捉关键节点，极大提升了响应时间量化测试的精度。