视觉-语言-动作模型的测试方法、设备、介质及产品与流程

本技术涉及人工智能，尤其涉及一种视觉-语言-动作模型的测试方法、设备、介质及产品。

背景技术：

1、随着自动驾驶技术的快速发展，视觉-语言-动作（vla）模型作为智能驾驶系统的核心组件，被广泛应用于复杂交通环境下的感知-推理-决策一体化处理。现有模型测试方法主要依赖静态图像扰动或预设场景库，通过对图像、文本嵌入单模态或视觉语言联合施加扰动生成对抗样本，检验模型抗输入噪声能力；或是依托法规、事故案例、专家经验搭建场景库，借助仿真平台生成工况完成模型测试。

2、然而，上述方法大多围绕输入层噪声或人工设定场景展开，测试场景与模型实际决策逻辑关联较弱，难以覆盖动态交通中的关键推理过程，导致测试覆盖率不足。

技术实现思路

1、本技术实施例提供一种视觉-语言-动作模型的测试方法、设备、介质及产品，以解决上述技术问题。该方案围绕待测试模型的决策逻辑构建与之对应的推理链路，并在此基础上形成具有层次扩展能力的衍生链路，使测试过程能够更贴近模型在动态交通场景中的实际推理与决策过程，从而提升测试场景与模型决策逻辑的一致性。

2、第一方面，本技术实施例提供一种视觉-语言-动作模型的测试方法，方法包括：

3、基于待测试模型的决策逻辑生成初始推理链路，初始推理链路包括多个推理节点；

4、采用预设衍生策略基于初始推理链路生成多条目标衍生推理链路；

5、根据预设映射关系将各目标衍生推理链路转换为对应的测试场景，以采用测试场景对待测试模型进行测试，测试场景包括与推理节点对应的场景参数。

6、在一个可能的实施例中，生成初始推理链路，包括：

7、获取待测试模型决策逻辑的多个目标决策节点和多源历史驾驶信息；

8、基于多源历史驾驶信息对多个目标决策节点进行排序，以生成初始推理链路，其中，不同驾驶场景对应不同的初始推理链路。

9、在一个可能的实施例中，多个推理节点包括环境感知节点、行为预测节点、安全评估节点、行为决策节点、轨迹规划节点；

10、预设衍生策略包括推理分支衍生、节点顺序衍生、决策参数衍生、对象组合衍生、环境条件衍生中的至少一种。

11、在一个可能的实施例中，生成目标衍生推理链路，包括以下步骤中的至少一项：

12、在初始推理链路中新增判断推理节点，以生成多条推理分支；

13、修改初始推理链路的决策参数边界阈值或环境条件；

14、调整初始推理链路的推理节点的执行顺序；

15、新增或删减初始推理链路的参与者对象。

16、在一个可能的实施例中，预设映射关系包括各推理节点与场景变量之间的映射关系，还包括：

17、根据预设映射关系确定目标衍生推理链路中各推理节点对应的场景变量集合；

18、基于各推理节点间的逻辑依赖关系确定各场景变量间的关联规则。

19、在一个可能的实施例中，关联规则包括启用条件、数值联动关系、互斥约束关系，转换为测试场景，包括：

20、基于关联规则和由场景变量集合组成的语义场景描述文本，对各推理节点对应的场景变量进行赋值，以得到各推理节点对应的场景参数。

21、在一个可能的实施例中，还包括：

22、按照各目标衍生推理链路的复杂度对测试场景进行等级划分，以生成梯度化测试场景，梯度化测试场景包括基础场景、分支决策场景、边界条件场景、多对象交互场景、复杂环境场景中的至少两种。

23、在一个可能的实施例中，还包括：

24、获取待测试模型的输出结果；

25、基于输出结果进行模型推理鲁棒性评估，模型推理鲁棒性评估包括推理链一致性评估、推理结果与行为决策一致性评估、不同复杂度场景下的鲁棒性衰减评估。

26、在一个可能的实施例中，还包括：

27、将包含场景参数的测试场景输入预设仿真工具中进行场景建模，预设仿真工具用于根据场景参数构建虚拟交通环境并时序推演，生成虚拟传感器图像、驾驶语义指令作为待测试模型的输入。

28、在一个可能的实施例中，还包括：

29、对预设仿真工具输出的视觉图像添加视觉扰动，并对语义指令添加文本扰动，以得到多模态对抗场景，视觉扰动包括图像噪声、光照偏移、画面模糊，文本扰动包括语义歧义、模糊任务描述。

30、在一个可能的实施例中，还包括：

31、获取待测试模型在安全评估节点和轨迹规划节点的推理输出结果；

32、根据推理输出结果调整输入预设仿真工具的场景参数，以生成针对性对抗子场景。

33、在一个可能的实施例中，还包括：

34、对各目标衍生推理链路进行逻辑校验，逻辑校验包括时序冲突校验、条件互斥校验、语义矛盾校验。

35、在一个可能的实施例中，还包括：

36、采用预训练强化学习模型基于初始推理链路生成多条目标衍生推理链路，预训练强化学习模型是以模型推理鲁棒性评估结果作为奖励信号，迭代训练得到的。

37、在一个可能的实施例中，还包括：

38、采用预设图神经网络对目标衍生推理链路中各推理节点和待选场景变量进行图结构建模，以使预设图神经网络输出目标衍生推理链路中各推理节点对应的场景变量集合。

39、在一个可能的实施例中，生成初始推理链路之后，还包括：

40、通过预设专家工具对初始推理链路进行逻辑合理性校验，以识别违背真实驾驶逻辑的不合理推理链路，并对不合理推理链路执行修正或剔除处理，预设专家工具包括交通法规库、标准驾驶规则库、驾驶专家经验库。

41、第二方面，本技术实施例提供一种电子设备，设备包括：存储器，处理器；

42、存储器存储计算机执行指令；

43、处理器执行存储器存储的计算机执行指令，使得处理器执行上述提供的方法。

44、第三方面，本技术实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现上述提供的方法。

45、第四方面，本技术实施例提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述提供的方法。

46、本技术实施例提供一种视觉-语言-动作模型的测试方法、设备、介质及产品，通过基于待测试模型的决策逻辑生成包含多个推理节点的初始推理链路，以模型自身决策逻辑搭建推理链路，让后续所有测试场景均精准对应模型真实推理路径。采用预设衍生策略基于初始推理链路生成多条目标衍生推理链路，直接改造推理链条本身，主动制造边界、冲突、复杂决策路径，挖掘输入扰动无法暴露的推理薄弱点。依靠标准化衍生策略自动生成海量差异化推理链路，成倍扩充测试用例规模，提升测试完备度。衍生变换可控制场景复杂度，能够定量观测模型推理性能随场景复杂度升高的衰减程度，进而实现鲁棒性量化评价。根据预设映射关系将各目标衍生推理链路转换为包括与推理节点对应的场景参数的测试场景，能够使测试场景的构建与模型内部推理过程相对应，进而更准确地覆盖动态交通中的关键推理过程，实现对视觉-语言-动作模型鲁棒性和推理稳定性的分层量化评估和精准故障溯源。