基于动作先验与视觉语言候选验证的目标检测校准方法及系统

本发明提供一种基于动作先验与视觉语言候选验证的目标检测校准方法及系统，涉及多模态人工智能。

背景技术：

1、目标检测器通常针对输入图像输出多个候选，每个候选至少包括候选区域、预测类别和原始检测置信度，并通过统一置信度阈值过滤低置信候选。在智能驾驶场景中，不同类别对减速、制动、停车、让行、绕行、保持车道、变道或风险提示等受控设备动作的影响不同。对于样本较少但与安全动作关联较强的类别，统一阈值可能在后处理阶段过滤掉基础检测器已经产生但置信度偏低的候选。

2、按照类别降低阈值或放大检测置信度只能对同一类别的候选施加近似相同的调整，难以区分真实目标与误检目标。将低置信候选交给额外模型复核时，如果额外模型直接生成自由文本、重新生成候选框或重新预测类别，则会产生文本格式波动、解析链路复杂、候选标识难以对应以及计算路径不可控等问题。对全部候选调用视觉语言模型还会增加推理开销。

3、因此，需要一种推理期数据处理机制：先把类别与受控设备动作的关联转化为可查询的动作先验，据此确定需要复核的既有候选；再将每个待验证候选与视觉语言输入一一关联，在指定回答位置读取预定肯定含义和否定含义的输出词元分数并形成连续实例真实性分数；最后在不重新训练基础检测器、且不由视觉语言模型生成新候选的条件下，对既有候选执行校准。

技术实现思路

1、本发明提供一种基于动作先验与视觉语言候选验证的目标检测校准方法及系统，旨在解决统一检测阈值不能体现类别对受控设备动作的不同影响、类别级降阈值同时引入误检、自由文本复核难以形成稳定连续分数、全量视觉语言调用计算开销较大以及二级分数缺乏顺序数据依赖的问题。

2、本发明获取基础目标检测器在最终过滤前产生的既有候选，并为目标类别查询预先形成的动作相关性先验映射。根据原始检测置信度和动作先验确定救援候选。针对每个救援候选构造带有候选定位信息的视觉语言输入，在文本指令结束后的首个生成位置读取预先固定的肯定词元集合和否定词元集合的分数，采用固定聚合函数得到肯定侧分数和否定侧分数，以二者之差形成实例真实性分数。仅当实例真实性分数达到验证阈值时保留救援候选，并沿用基础检测器的候选区域和预测类别输出结果。

3、具体技术方案为：

4、基于动作先验与视觉语言候选验证的目标检测校准方法，由至少一个处理器执行，包括以下步骤：

5、s1.获取输入图像，并在按照基础保留阈值执行最终过滤前，取得原始检测置信度不低于候选采集阈值的、由基础目标检测器针对所述输入图像生成的既有候选集合，其中，所述候选采集阈值记为，所述基础保留阈值记为，满足，每个既有候选包括候选区域、预测类别和位于零至一闭区间内的原始检测置信度；

6、s2.根据所述预测类别查询预先建立的动作相关性先验映射，获得对应的动作相关性先验，其中，所述动作相关性先验映射表示目标类别与预设受控设备动作集合之间的关联程度，所述动作相关性先验位于零至一的闭区间内；

7、s3.按照计算第i个既有候选对应的类别有效阈值，其中，为所述类别有效阈值，为非负调整系数，为所述预测类别对应的动作相关性先验；

8、s4.将原始检测置信度  满足的既有候选确定为救援候选，以使所述动作相关性先验直接控制进入视觉语言验证的候选集合，并为每个所述救援候选生成救援候选记录，所述救援候选记录至少包括候选标识、输入图像标识、候选区域、预测类别、原始检测置信度和对应的动作相关性先验；

9、s5.针对每个所述救援候选，构造与该救援候选的候选标识一一关联的视觉语言输入，所述视觉语言输入包括定位该救援候选的候选区域视觉信息以及用于在预定肯定输出与预定否定输出之间进行选择的文本指令；

10、s6.将所述视觉语言输入输入视觉语言模型，在所述文本指令结束后的首个生成位置且在生成后续自由文本之前，从所述视觉语言模型输出层的分数向量中读取推理前固定、非空且互不相交的肯定词元集合和否定词元集合中各词元标识对应的下一词元未归一化分数或对数概率，采用推理前固定的聚合函数分别获得肯定侧分数和否定侧分数，并以所述肯定侧分数减去所述否定侧分数获得与该救援候选对应的连续实例真实性分数；

11、s7.仅在所述连续实例真实性分数达到预设实例验证阈值时保留与所述连续实例真实性分数对应的救援候选，并将原始检测置信度达到所述基础保留阈值的既有候选与被保留的救援候选合并，输出校准后的候选集合；

12、其中，将所述基础目标检测器产生的候选区域和预测类别分别作为所述校准后的候选集合中的候选区域和预测类别，不利用所述视觉语言模型的输出生成、更新或回归候选区域和预测类别。

13、进一步的，按照部署前固定的执行顺序，在确定所述救援候选之前对原始检测置信度不低于所述候选采集阈值的既有候选执行非极大值抑制；或者，在获得所述校准后的候选集合之后对所述校准后的候选执行非极大值抑制。

14、进一步的，s2中预先建立所述动作相关性先验映射包括：分别取得目标类别c与所述预设受控设备动作集合中各受控设备动作的关联值；按照计算所述目标类别的动作相关性先验，其中，为部署前固定的非负动作权重且至少一个所述动作权重大于零，norm 为将加权结果映射至零至一闭区间的部署前固定的非减归一化函数，所述加权和针对受控设备动作索引m从1累加至m，m 为所述预设受控设备动作集合中的动作总数；并以目标类别标识为键关联存储所述动作相关性先验；

15、取得所述关联值包括：针对每个目标类别构造包含类别名称、离线预设场景描述和多个候选受控设备动作的指令；将所述指令输入经任务适配的语言模型以生成结构化数据；从所述结构化数据中分别读取与各候选受控设备动作对应的动作相关性字段，以获得各关联值，将可解析的字段值截断至零至一闭区间，并在所述字段值无法解析时采用预设默认值；

16、所述预设受控设备动作集合包括减速、制动、停车、让行、绕行、保持车道、变道和风险提示中的至少一种；所述动作相关性先验的计算输入包括目标类别与所述受控设备动作之间的关联值，且不包括目标类别的样本出现频率和当前既有候选的原始检测置信度。

17、进一步的，s5中所述候选区域视觉信息包括以下至少一种候选定位图像：按照所述候选区域从所述输入图像裁剪得到的候选裁剪图、在所述输入图像中对所述候选区域进行标记得到的标记场景图以及包含所述候选区域的上下文裁剪图；或者，所述候选区域视觉信息包括未标记的完整场景图与至少一种所述候选定位图像的组合。

18、s5中所述文本指令包括所述预测类别并要求仅输出所述预定肯定输出或所述预定否定输出，且所述文本指令不包括当前既有候选的原始检测置信度；

19、s6中所述肯定词元集合和所述否定词元集合分别仅包含一个能够在所述首个生成位置出现的词元标识，所述聚合函数将对应词元标识的下一词元未归一化分数或对数概率作为所述肯定侧分数或所述否定侧分数。

20、进一步的，s7中所述预设实例验证阈值为零，以使所述肯定侧分数不低于所述否定侧分数时保留对应的救援候选；

21、s6中对全部所述救援候选按照输入图像、候选区域尺寸或模型输入长度进行分组，将同一组救援候选对应的视觉语言输入组成输入张量批次，并分批输入所述视觉语言模型。

22、本发明提供的基于动作先验与视觉语言候选验证的目标检测校准系统，用于实现所述的基于动作先验与视觉语言候选验证的目标检测校准；所述系统包括：

23、基础检测模块，用于在按照基础保留阈值执行最终过滤前，以候选采集阈值获取基础目标检测器针对输入图像生成的既有候选集合，其中，所述候选采集阈值记为，所述基础保留阈值记为，满足，每个既有候选包括候选区域、预测类别和位于零至一闭区间内的原始检测置信度；

24、动作先验存储与查询模块，用于存储表示目标类别与预设受控设备动作集合之间关联程度的动作相关性先验映射，并根据所述预测类别查询位于零至一闭区间内的动作相关性先验；

25、候选救援模块，用于按照计算第i个既有候选对应的类别有效阈值，并将原始检测置信度足 的既有候选确定为救援候选，其中，为非负调整系数，为所述预测类别对应的动作相关性先验；所述候选救援模块还用于执行救援候选构造，所述救援候选构造包括为每个所述救援候选生成救援候选记录，所述救援候选记录至少包括候选标识、输入图像标识、候选区域、预测类别、原始检测置信度和对应的动作相关性先验；

26、输入构造模块，用于基于所述救援候选记录，针对每个所述救援候选构造与该救援候选的候选标识一一关联的视觉语言输入，所述视觉语言输入包括定位该救援候选的候选区域视觉信息以及用于在预定肯定输出与预定否定输出之间进行选择的文本指令；

27、二元词元评分模块，用于在所述文本指令结束后的首个生成位置且在生成后续自由文本之前，从视觉语言模型输出层的分数向量中读取推理前固定、非空且互不相交的肯定词元集合和否定词元集合中各词元标识对应的下一词元未归一化分数或对数概率，采用推理前固定的聚合函数分别获得肯定侧分数和否定侧分数，并以所述肯定侧分数减去所述否定侧分数获得与该救援候选对应的连续实例真实性分数；

28、融合决策模块，用于仅在所述连续实例真实性分数达到预设实例验证阈值时保留与所述连续实例真实性分数对应的救援候选，并将原始检测置信度达到所述基础保留阈值的既有候选与被保留的救援候选合并；

29、输出模块，用于输出校准后的候选集合，将所述基础目标检测器产生的候选区域和预测类别分别作为所述校准后的候选集合中的候选区域和预测类别，且不利用所述视觉语言模型的输出生成、更新或回归候选区域和预测类别。

30、其中，所述候选救援模块用于将原始检测置信度位于的既有候选送入基础保留路径，将原始检测置信度位于的既有候选送入救援验证路径，并将在所述既有候选集合内、原始检测置信度低于的既有候选送入抑制路径；

31、其中，所述基础检测模块和所述动作先验存储与查询模块部署于第一计算单元，所述二元词元评分模块部署于设有图形处理器或人工智能加速器的第二计算单元，并通过所述候选标识在所述第一计算单元与所述第二计算单元之间关联同一救援候选的视觉语言输入和连续实例真实性分数；

32、所述基础目标检测器为二维目标检测器，所述基础目标检测器和所述视觉语言模型在执行目标检测校准时保持模型参数固定。

33、进一步的，还包括调度与审计模块，所述调度与审计模块用于建立候选标识、候选区域、预测类别、视觉语言输入和连续实例真实性分数之间的对应记录，并按照候选区域尺寸或模型输入长度将全部救援候选划分为多个组，按照同一组中的最大图像尺寸、最大文本长度或最大模型输入长度对视觉语言输入进行填充，生成用于标识有效输入位置的掩码，并组成输入张量批次。

34、本发明具有的技术效果：

35、动作先验直接限定进入视觉语言验证的候选集合，实例真实性评分针对同一既有候选进行确认，形成明确的顺序数据依赖。受限词元评分避免依赖自由文本解析，并提供可由固定词元配置和固定聚合函数计算的数值化接口；候选区域和预测类别由基础检测器继承，便于接入既有检测、跟踪和规划接口；候选可按图像、区域尺寸或输入长度分批处理，并通过填充和有效位置掩码保持批次张量一致。