一种车载助手测试方法、系统、设备及存储介质与流程

本发明涉及智能助手，具体而言，涉及一种车载助手测试方法、系统、设备及存储介质。

背景技术：

1、systemagent超级助手，是一类能够接收用户指令、自主规划并调用工具以完成指定任务的人工智能系统。以车载场景为例，用户在车内说出导航到上海最高的楼后，systemagent需自动调用地图导航工具获取目的地位置和路线信息，并以语音形式向用户反馈结果。在systemagent的研发过程中，每次模型版本迭代均需通过大量测试用例评估其工具调用的召回率和成功率、任务编排的合理性以及端对端链路的完整性，从而为模型优化提供数据依据。

2、当前对systemagent的测试普遍采用人工模式。测试人员逐条手动输入指令并监控执行过程，随后依据主观经验逐一核验工具调用和回复内容是否符合预期。随着systemagent功能的扩展，测试用例规模从百级增长至千级乃至万级，手工测试模式的效率瓶颈日益突出：单条测试从执行到核验耗时较长，全量回归测试的周期无法匹配模型快速迭代的节奏。同时，人工核验缺少统一的量化标准，不同测试人员对同一测试结果的判定可能存在差异，测试结果缺乏客观性和可对比性，无法为模型优化提供可靠的数据支撑。

3、为解决上述问题，业内开始引入局部的自动化手段，例如采用自动化脚本批量发起测试请求，或通过日志采集工具收集运行日志。但是，这些局部自动化手段相互独立、缺乏衔接，难以在测试用例生成、测试执行、数据采集分析、结果评价输出各环节之间形成数据驱动的衔接关系，即无法构成一个信息流贯通各环节的测试闭环。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种车载助手测试方法、系统、设备及存储介质，以解决局部自动化手段相互独立、缺乏衔接，难以在测试用例生成、测试执行、数据采集分析、结果评价输出各环节之间形成数据驱动的衔接关系，即无法构成一个信息流贯通各环节的测试闭环的问题。

2、为了实现上述目的，第一方面，本发明实施例提供一种车载助手测试方法，方法包括：获取待测试数据，所述待测试数据包括至少一个对话指令和目标结果；所述目标结果包括目标拒识状态、目标自主代理模式、目标调用工具以及目标回复内容；将所述对话指令发送给车载助手，以使所述车载助手执行所述对话指令并返回对应的回复内容，生成测试记录；其中，每一所述对话指令对应一具有事件标识的对话交互事件，所述车载助手执行所述对话指令时调用预设的模拟工具并返回对应的回复内容；根据所述事件标识从所述测试记录中解析出每个对话指令的评测数据；所述评测数据包括实际拒识状态、实际自主代理模式、实际调用工具和所述回复内容；基于所述目标结果对所述评测数据进行规则校验和语义校验，得到评价判定结果。

3、在本实施例中，通过获取到由对话指令和目标结果组成的待测试数据，以便于将对话指令发给车载助手后，车载助手执行对话指令后根据预设的模拟工具返回对应的回复内容，以此作为一次对话交互事件并具有对应的事件标识，而多个对话交互事件就组成了测试记录，以便于根据事件标识从测试记录重提取出每个事件的评测数据，从而有助于基于目标结果分别对评测数据进行规则校验和语义校验，从多维度校验和语义校验上分别得出评测数据的测结果。如此，通过将对话指令与目标结果预先配对并贯穿测试执行与校验、以事件标识贯通测试记录与数据解析、以规则校验和语义校验双维度互补评判同一个评测数据，实现了对话指令的输入、测试记录的输出、数据解析和结果评价之间的数据驱动衔接，从而构成信息流贯通各环节的测试闭环。

4、在一些实施例中，所述预设的模拟工具通过以下方式配置得到，包括：获取预设数据库中各工具的入参数据结构和出参数据结构；根据所述入参数据结构和所述出参数据结构构建所述预设的模拟工具，所述预设的模拟工具用于按照所述出参数据结构规定的字段格式生成模拟返回结果。

5、如此设置，通过基于各工具的入参数据结构和出参数据结构构建模拟工具，使模拟工具能够按照出参数据结构规定的字段格式生成与真实工具返回结果格式一致的模拟返回结果，使得车载助手在处理对话指令过程中调用工具时接收到的响应与调用真实工具时无异，从而在不依赖真实工具的情况下完成测试执行全流程。

6、在一些实施例中，所述根据所述事件标识从所述测试记录中解析出每个对话指令的评测数据，包括：从所述测试记录中提取所述车载助手的运行日志和端侧日志；将所述运行日志与所述端侧日志按所述事件标识进行关联，得到每个对话指令的所述运行日志和所述端侧日志；从所述运行日志和所述端侧日志中，按预设解析规则提取与所述目标结果对应的字段，得到每个对话指令的评测数据。

7、如此设置，通过事件标识将运行日志和端侧日志进行关联对齐，使得每一个对话交互事件的服务端处理过程和终端接收过程的数据能够精确对应，再按预设解析规则提取出与目标结果各维度对应的实际字段，从而将散乱的非结构化日志转化为结构化的评测数据，为后续的规则校验和语义校验提供可直接比对的数据。

8、在一些实施例中，所述基于所述目标结果对所述评测数据进行规则校验和语义校验，得出评价判定结果，包括：将所述评测数据中的实际拒识状态、实际自主代理模式、实际调用工具以及所述回复内容，分别与所述目标结果中的目标拒识状态、目标自主代理模式、目标调用工具以及目标回复内容进行比对，得到多维度校验结果；对所述评测数据与所述目标结果进行语义校验，得到所述评测数据是否通过测试的判定结果以及对应的原因；根据所述多维度校验结果、所述评测数据是否通过测试的判定结果以及对应的原因，得到所述评价判定结果。

9、如此设置，通过将评测数据中各项实际字段与目标结果中对应的目标字段逐一比对，实现了对拒识状态、自主代理模式、工具调用、回复内容四个维度的确定性判定，覆盖所有可精确比对的客观维度，使得判定结果确定无歧义，无需依赖人工经验做主观判断。

10、在一些实施例中，所述对所述评测数据与所述目标结果进行语义校验，得到所述评测数据是否通过测试的判定结果以及对应的原因；包括：将所述评测数据中的实际回复内容、实际调用工具与所述目标回复内容提交给预设的评估模型，得到语义校验得分和对应的原因；其中，在所述语义校验得分大于等于预设分值的情况下，确定所述评测数据通过测试；在所述语义校验得分小于预设分值的情况下，确定所述评测数据未通过测试。

11、如此设置，通过评估模型对实际回复内容在语义层面是否满足目标回复内容的要求进行量化评判并给出原因说明，弥补了规则校验在复杂语义场景下仅靠关键词匹配可能产生误判的缺陷，规则校验和语义校验互补运行，覆盖了从精确比对到语义理解的全维度评判需求。

12、在一些实施例中，所述将所述评测数据中的实际回复内容、实际调用工具与所述目标回复内容提交给预设的评估模型，得到语义校验得分和对应的原因，包括：获取定向检查内容；将所述定向检查内容加入所述目标回复内容，得到定向回复内容；将所述评测数据中的实际回复内容、实际调用工具与所述定向回复内容提交给预设的评估模型，得到语义校验得分和对应的原因。

13、如此设置，通过在目标回复内容中追加定向检查内容，使得评估模型在评判时能够优先关注特定上下文问题的检查要求，对于存在已知错误倾向的特定测试用例能够实现更加精准的定向评判，避免了通用判定规则在处理特殊边界情况时的遗漏。

14、在一些实施例中，所述将所述对话指令发送给车载助手，包括：将所述对话指令合成为音频；将所述音频以文件形式发送给所述车载助手；或，将所述音频播放给所述车载助手所在的终端。

15、如此设置，通过合成音频文件实现在云端路径上的驱动测试，通过真实音频灌测实现在终端路径上的驱动测试，使得测试执行可灵活适配云端纯软件环境和终端实体设备环境。

16、第二方面，本发明实施例提供一种车载助手测试系统，所述系统包括：获取模块，用于获取待测试数据，所述待测试数据包括至少一个对话指令和目标结果；所述目标结果包括目标拒识状态、目标自主代理模式、目标调用工具以及目标回复内容；解析模块，用于将所述对话指令发送给车载助手，以使所述车载助手执行所述对话指令并返回对应的回复内容，生成测试记录；其中，每一所述对话指令对应一具有事件标识的对话交互事件，所述车载助手执行所述对话指令时调用预设的模拟工具并返回对应的回复内容；根据所述事件标识从所述测试记录中解析出每个对话指令的评测数据；所述评测数据包括实际拒识状态、实际自主代理模式、实际调用工具和实际回复内容；测试模块，用于基于所述目标对所述评测数据进行规则校验和语义校验，得到评价判定结果。

17、第三方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器可执行所述计算机程序以实现如第一方面所述的车载助手测试方法。

18、第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的车载助手测试方法。

19、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。