人机界面的测试方法及测试系统与流程

本发明涉及人机界面领域。更具体地，本发明涉及一种人机界面的测试方法、人机界面的测试系统、实施该测试方法的电子设备、执行该测试方法的计算机可读存储介质、以及实施该测试方法的计算机程序产品。

背景技术：

1、随着汽车电子技术的智能化水平的不断提升，车辆的人机界面(hmi)作为用户与车辆之间进行信息交互的关键环节，其复杂度和多样性也日益增强。车辆的hmi系统通常包括仪表盘显示器、中央控制显示屏、指示灯、语音反馈器件等多个部件，这些部件协同工作，为用户提供实时信息反馈并接收操作指令。为确保这些部件在各种工况下的功能可靠性和一致性，hmi测试成为整车开发过程中的一个重要环节。

2、目前，hmi测试主要存在以下问题：一方面，依赖测试人员操作hmi并人工观察hmi的测试结果，这不仅效率低下，且容易受人为主观因素的影响，测试一致性和功能覆盖率难以保证；另一方面，需要大量人工编程和调试工作，并且需要对每个hmi部件进行标定，例如通过图像学习建立显示屏内容的基准模板库，或者通过人工编程定义声音反馈的触发条件等，增加了测试时间以及测试系统的维护成本。

3、因此，如何减少hmi的测试过程中的人工干预，提升测试过程的自动化和智能化，是亟需解决的问题。

技术实现思路

1、本发明的目的就在于解决上述现有技术中存在的问题，提供一种人机界面的测试方法及相应的测试系统，以成本经济且可靠的方式，实现人机界面测试的自动化和智能化。

2、为此，根据本发明的一方面，提供了一种人机界面的测试方法，所述测试方法包括：接收测试用例，所述测试用例包括动作列表，所述动作列表包括多个动作指令以及所述多个动作指令的测试输入顺序；基于所述测试用例，通过第一大语言模型生成供测试部件进行测试的可执行指令集；使所述测试部件响应于所述可执行指令集对被测器件的所述人机界面进行测试；采集所述测试用例的测试结果，基于所述测试结果确定是否通过所述测试用例。

3、根据上述技术构思，本发明可进一步包括任何一个或多个如下的可选形式。

4、在某些可选形式中，所述测试用例包括所述多个动作指令的预期结果，其中，基于所述测试结果确定是否通过所述测试用例包括：比较所述测试结果与所述预期结果是否一致并生成第一比较结果；响应于所述第一比较结果为一致，确定通过所述测试用例；响应于所述第一比较结果为不一致，确定不通过所述测试用例。

5、在某些可选形式中，响应于所述第一比较结果为一致，确定通过所述测试用例之后，以及/或者响应于所述第一比较结果为不一致，确定不通过所述测试用例之后，所述测试方法包括：基于所述第一比较结果对所述第一大语言模型进行优化。

6、在某些可选形式中，响应于所述第一比较结果为不一致，确定不通过所述测试用例之后，所述测试方法包括：修改所述测试用例并重新进行所述测试方法。

7、在某些可选形式中，基于所述测试结果确定是否通过所述测试用例包括：通过第二大语言模型对所述测试结果识别和解析，并生成测试报告，并且所述测试方法包括：比较所述测试报告与所述测试结果是否一致并生成第二比较结果；基于所述第二比较结果为一致计算所述第二大语言模型对所述测试结果的识别准确率，以及/或者基于所述第二比较结果为不一致计算所述第二大语言模型对所述测试结果的识别准确率；基于所述识别准确率对所述第二大语言模型进行优化，其中，所述第一大语言模型包括文本大语言模型，和/或所述第二大语言模型包括多模态大语言模型。

8、在某些可选形式中，在接收测试用例之前，所述测试方法包括：对所述第一大语言模型和/或所述第二大语言模型进行预配置，其中，对所述第一大语言模型和/或所述第二大语言模型进行预配置包括：收集第一数据集和/或第二数据集；对所述第一数据集和/或所述第二数据集进行预处理；将经预处理的所述第一数据集和/或所述第二数据集分别输入至所述第一大语言模型和/或所述第二大语言模型，以分别对所述第一大语言模型和/或所述第二大语言模型进行预训练；并且/或者确定与所述第一大语言模型对应的第一提示词和/或与所述第二大语言模型对应的第二提示词；基于所述第一提示词和/或所述第二提示词分别对所述第一大语言模型和/或所述第二大语言模型进行微调。

9、在某些可选形式中，所述测试用例以自然语言进行描述，其中，所述自然语言包括文字、图像、视频中的至少一者。

10、根据本发明的另一方面，提供了一种人机界面的测试系统，所述测试系统包括：接收模块，所述接收模块配置成接收测试用例，所述测试用例包括动作列表，所述动作列表包括多个动作指令以及所述多个动作指令的测试输入顺序；生成模块，所述生成模块配置成基于所述测试用例通过第一大语言模型生成供测试部件进行测试的可执行指令集；执行模块，所述执行模块配置成使所述测试部件响应于所述可执行指令集对被测器件的所述人机界面进行测试；采集模块，所述采集模块配置成采集所述测试用例的测试结果；确定模块，所述确定模块配置成基于所述测试结果确定是否通过所述测试用例。

11、在某些可选形式中，所述测试用例包括所述多个动作指令的预期结果，其中，所述确定模块配置成：比较所述测试结果与所述预期结果是否一致并生成第一比较结果；响应于所述第一比较结果为一致，确定通过所述测试用例；响应于所述第一比较结果为不一致，确定不通过所述测试用例，以及/或者其中，所述确定模块配置成：通过第二大语言模型对所述测试结果进行识别和解析，并生成测试报告，以及其中，所述测试系统包括计算模块，所述计算模块配置成：比较所述测试报告与所述测试结果是否一致并生成第二比较结果；基于所述第二比较结果为一致计算所述第二大语言模型对所述测试结果的识别准确率，以及/或者基于所述第二比较结果为不一致计算所述第二大语言模型对所述测试结果的识别准确率；基于所述识别准确率对所述第二大语言模型进行优化。

12、在某些可选形式中，所述测试系统包括预配置模块，所述预配置模块配置成对所述第一大语言模型和/或所述第二大语言模型进行预配置。

13、在某些可选形式中，所述测试系统包括上位机、实时机和测试设备，所述实时机与所述上位机通信连接，所述测试设备与所述上位机和所述实时机通信连接，其中，所述接收模块、所述生成模块、所述确定模块、所述计算模块、所述预配置模块集成于所述上位机，所述执行模块集成于所述实时机，所述采集模块、所述测试部件集成于所述测试设备。

14、在某些可选形式中，所述测试部件包括机械臂，所述采集模块包括摄像机和/或录音机。

15、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括存储器、处理器和存储在所述存储器上并可由所述处理器执行的指令，其中，所述处理器执行所述指令时实施上述的人机界面的测试方法。

16、根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质具有存储在其上的计算机可执行指令，所述计算机可执行指令用于执行上述的人机界面的测试方法。

17、根据本发明的另一方面，提供了一种计算机程序产品，包括计算机可执行指令，所述计算机可执行指令被至少一个处理器执行时实施上述的人机界面的测试方法。

18、根据本发明的人机界面的测试方法及相应的测试系统，通过大语言模型将测试用例转换为可执行指令集，无需人工手动编程和调试，使得测试过程可以按动作列表自动执行，减少人为干预和操作错误。通过自动生成可执行指令集，测试部件可以快速响应，缩短测试周期，提高测试过程的自动化和智能化。通过自动采集测试结果，可以快速判断被测器件的人机界面的表现是否符合预期，以及时调整和优化测试方案。