虚拟仿真测试评估方法及系统与流程

摘要: 本技术涉及智能决策系统测试验证,尤其涉及一种面向智能决策组件的虚拟仿真测试评估方法及系统,可应用于自动驾驶车辆、智能移动机器人、四足机器人及无人机等智能装备中决...
虚拟仿真测试评估方法及系统与流程

本技术涉及智能决策系统测试验证,尤其涉及一种面向智能决策组件的虚拟仿真测试评估方法及系统,可应用于自动驾驶车辆、智能移动机器人、四足机器人及无人机等智能装备中决策组件的性能测试与评估。

背景技术:

1、智能决策组件是自动驾驶车辆、机器人等智能装备的核心模块,负责基于环境感知信息实时生成目标检测、路径规划、避障控制及行为决策等指令。为确保其在真实复杂工况下的安全可靠性,需在部署前进行充分测试验证。虚拟仿真测试因其低成本、高复现性的优势,已成为智能决策组件研发验证的重要手段。

2、然而,现有虚拟仿真测试技术仍存在明显不足。场景仿真方面,当前系统多依赖预设固定场景,环境参数调节维度单一且彼此独立(如降雨量和道路湿滑度分别独立设置),无法反映暴雨导致路面附着系数下降、光照降低导致传感器噪声增大等真实物理耦合效应,也难以生成极端与长尾工况,导致决策组件在复杂环境下的性能评估存在盲区。测试方法方面,现有系统多采用静态数据回放或简单随机扰动方式,无法在测试执行过程中主动、有向地施加动态扰动以探测决策组件的性能边界,更缺乏对组件在持续扰动下性能退化轨迹的量化分析手段。测试流程方面,场景生成、测试执行与性能评估相互割裂,评估结果无法自动反馈至场景生成环节以指导针对性加密测试,测试迭代依赖人工经验,效率低下。接口标准化方面,现有系统多为算法类组件或硬件类组件分别开发专用接口,缺少软硬件统一的标准化接入方案,导致不同形态决策组件的测试结果缺乏可比性。上述缺陷综合导致测试效率低、场景覆盖不充分、能力边界刻画不精确,难以满足智能决策系统高质量研发验证的需求。

技术实现思路

1、本技术目的在于解决现有智能决策组件虚拟仿真测试中存在的至少一个上述技术问题,提供一种面向智能决策组件的虚拟仿真测试评估方法及系统;通过构建具备跨维度物理耦合建模能力的场景仿真模块,实现多环境参数之间的联动调节以生成高逼真复杂工况;通过设置扰动注入与响应比对逻辑,在测试执行过程中主动施加动态扰动并量化决策组件的性能退化轨迹;通过建立评估模块至任务配置模块的闭环反馈链路,在临界失效阈值附近自动加密生成测试场景,实现有向迭代测试;通过设置接口适配模块实现算法类与硬件类决策组件的标准化统一接入。本发明旨在为智能决策组件提供测试覆盖更广、自动化程度更高、评估结果更精确的标准化测试评估解决方案。

2、为达上述目的,本技术所提供的虚拟仿真测试评估方法,具体包括:根据预存的跨维度耦合映射关系生成由多个环境参数维度定义的环境条件、虚拟载具以及搭载于虚拟载具的虚拟传感器构成的虚拟测试场景;将所述虚拟传感器的输出数据分流为未施加扰动的第一数据流和施加有扰动强度序列的第二数据流后分别输入目标智能决策组件;采集所述智能决策组件对应输出的第一响应数据和第二响应数据,根据所述第一响应数据与所述第二响应数据之间的差异生成偏差演化序列;根据所述偏差演化序列确定所述智能决策组件在扰动作用下的临界失效阈值,并将所述临界失效阈值映射至多个环境参数维度所张成的参数空间,得到所述智能决策组件的能力边界;根据所述临界失效阈值生成参数采样坐标集合,以所述参数采样坐标集合更新所述虚拟测试场景以执行下一轮测试;其中,所述跨维度耦合映射关系用于在任一环境参数维度发生变化时联动更新与所述环境参数维度存在物理耦合关系的其他环境参数维度;所述参数采样坐标集合中位于所述临界失效阈值周边区域的采样点密度高于远离该阈值的区域。

3、在本技术一实施例中,可选的,根据预存的跨维度耦合映射关系生成由多个环境参数维度定义的环境条件、虚拟载具以及搭载于虚拟载具的虚拟传感器构成的虚拟测试场景包括:响应于目标环境参数维度的调节量,查询所述跨维度耦合映射关系以确定与所述目标环境参数维度存在物理关联的从属维度;根据所述调节量以及对应的传导映射函数计算所述从属维度的联动调节量,同步更新所述目标环境参数维度和所述从属维度的环境参数值;所述跨维度耦合映射关系中各环境参数维度的数值在归一化数值空间内进行耦合计算后,反解为各维度对应的实际量纲参数值。

4、在本技术一实施例中,可选的,将所述虚拟传感器的输出数据分流为未施加扰动的第一数据流和施加有扰动强度序列的第二数据流后分别输入目标智能决策组件包括:按照所述扰动强度序列中的各离散扰动强度值,分别对所述虚拟传感器在对应时序位点输出的原始数据施加预设扰动,生成与各离散扰动强度值对应的第二数据流;将同一时序位点下未施加扰动的原始输出数据作为第一数据流,所述第一数据流与所述第二数据流在时间上保持同步且内容上同源;将所述第一数据流和所述第二数据流后分别输入目标智能决策组件。

5、在本技术一实施例中,可选的,根据所述第一响应数据与所述第二响应数据之间的差异生成偏差演化序列包括:计算同一时序位点下所述第一响应数据与所述第二响应数据之间的偏差度量值;根据所述扰动强度序列中各离散值的递增顺序通过各时序位点的偏差度量值获得所述偏差演化序列。

6、在本技术一实施例中,可选的,所述扰动强度序列为非等步长序列,按扰动强度由低到高包含多个连续区间,低扰动强度区间内的步长值大于高扰动强度区间内的步长值,且所述序列在预估的临界失效阈值所对应的扰动强度位置处配置有最小步长区间。

7、在本技术一实施例中,可选的,计算同一时序位点下所述第一响应数据与所述第二响应数据之间的偏差度量值包括:为同一时序位点下的所述第一数据流与所述第二数据流配置相同的帧序号和时间戳标记;基于所述帧序号和所述时间戳标记对所述第一响应数据和所述第二响应数据进行时序对齐后,再计算对应时序位点的偏差度量值。

8、在本技术一实施例中,可选的,根据所述偏差演化序列确定所述智能决策组件在扰动作用下的临界失效阈值包括:以所述扰动强度序列中各离散值为自变量、以所述偏差演化序列中对应的偏差度量值为因变量进行曲线拟合,得到所述智能决策组件的性能衰减曲线;根据所述性能衰减曲线中曲率变化率最大的位置确定拐点,根据所述拐点所对应的扰动强度值获得所述临界失效阈值。

9、在本技术一实施例中,可选的,根据所述临界失效阈值生成参数采样坐标集合包括:将所述临界失效阈值在所述参数空间中的位置作为基准点,按照单位参数空间内的采样点数量与距所述基准点的距离成反比的规则生成所述参数采样坐标集合。

10、在本技术一实施例中,可选的,将所述临界失效阈值映射至多个环境参数维度所张成的参数空间,得到所述智能决策组件的能力边界之后还包括:根据所述能力边界在多维度参数空间中绘制能力边界等值面;将所述参数空间中位于所述能力边界等值面第一侧的区域划分为高风险区域、将位于所述能力边界等值面上的区域划分为临界区域、将位于所述能力边界等值面第二侧的区域划分为低风险区域;生成所述参数采样坐标集合时,所述高风险区域的单位空间采样点数量高于所述临界区域,所述临界区域的单位空间采样点数量高于所述低风险区域。

11、在本技术一实施例中,可选的,将所述虚拟传感器的输出数据分流为未施加扰动的第一数据流和施加有扰动强度序列的第二数据流后分别输入目标智能决策组件之前还包括:识别所述智能决策组件所采用的通信协议类型,并将所述通信协议转换为内部标准协议;将待传输的数据通过所述内部标准协议转换后以统一的预设帧结构进行封装,所述预设帧结构包含帧序号字段、数据源标识字段和有效载荷字段。

12、本技术还提供一种虚拟仿真测试评估系统,所述系统包括:场景仿真模块,用于根据预存的跨维度耦合映射关系生成虚拟测试场景,所述虚拟测试场景由多个环境参数维度定义的环境条件以及搭载于虚拟载具的虚拟传感器构成,所述跨维度耦合映射关系用于在任一环境参数维度发生变化时联动更新与该环境参数维度存在物理耦合关系的其他环境参数维度;接口适配模块,用于将目标智能决策组件接入所述系统;数据采集模块,用于将所述虚拟传感器的输出数据分流为未施加扰动的第一数据流和施加有扰动强度序列的第二数据流,分别输入所述目标智能决策组件,并采集所述智能决策组件对应输出的第一响应数据和第二响应数据,根据所述第一响应数据与所述第二响应数据之间的差异生成偏差演化序列;评估模块,用于根据所述偏差演化序列确定所述智能决策组件在扰动作用下的临界失效阈值,并将所述临界失效阈值映射至所述多个环境参数维度所张成的参数空间,得到所述智能决策组件的能力边界;任务配置模块,用于根据所述临界失效阈值生成参数采样坐标集合,并以所述参数采样坐标集合驱动所述场景仿真模块更新所述虚拟测试场景以执行下一轮测试,其中所述参数采样坐标集合中位于所述临界失效阈值周边区域的采样点密度高于远离该阈值的区域。

13、本技术还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法。

14、本技术还提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述方法的计算机程序。

15、本技术还提供一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现上述方法的步骤。

16、本技术的有益技术效果在于:场景仿真模块通过预存跨维度耦合映射关系响应单维度调节量联动更新从属维度参数,使虚拟场景中多环境因素的演化遵循真实物理规律,解决了传统仿真中环境参数独立设置导致场景失真的问题,显著提升了测试场景的逼真度与工况覆盖能力;数据采集模块通过向智能决策组件同步输入同源的未扰动数据流与扰动数据流并比对两路响应的偏差演化序列,将扰动注入从传统的静态数据增强或离线噪声添加提升至在线测试过程中的主动式有向探测,能够精准量化决策组件的性能退化速率,克服了传统方法仅能给出离散工况点评估结果而无法刻画连续性能衰减轨迹的缺陷;评估模块将临界失效阈值映射至参数空间生成能力边界表征,并通过闭环反馈链路驱动任务配置模块在边界区域以高于远离边界区域的采样密度自动生成增量测试任务,使测试资源聚焦于决策组件的性能薄弱区域,从根本上改变了传统线性测试中场景生成与评估相互独立、加密测试依赖人工判断的低效模式,实现了从“被动接受测试”到“主动搜索边界”的测试范式转变;接口适配模块通过协议转换与格式标准化实现算法类与硬件类决策组件的统一接入与同一测试序列下的并列对比,为解决不同形态决策组件评估结果横向可比性差的技术难题提供了架构支撑。上述效果的协同作用使本发明具备测试覆盖广、自动化程度高、能力边界刻画精确的突出优势,能够有效提升智能决策系统的研发验证效率与部署安全性。