面向预期功能安全的抗干扰视觉跟踪系统、方法及智能驾驶系统与流程

本发明涉及预期功能安全与视觉目标跟踪，尤其涉及一种面向预期功能安全的抗干扰视觉跟踪系统、方法及智能驾驶系统。

背景技术：

1、在预期功能安全（sotif）框架中，自动驾驶感知系统在夜间、强光源等场景下易出现性能下降，属于典型的性能局限与触发条件问题。现有基于transformer的视觉跟踪器通过自注意力机制进行目标匹配，并依赖分类置信度更新模板库。但在实际部署中，强光源干扰易导致注意力被高亮背景劫持，且模板更新机制缺乏对感知质量的有效校验，可能使系统进入不安全状态。

2、目前主流的transformer跟踪框架（如procontext等）采用自注意力机制进行目标和搜索区域的特征交互。同时，这些方法通常仅依赖分类置信度分数来决定是否将当前帧的目标特征更新到动态模板库中。

3、现有跟踪系统存在以下与预期功能安全直接相关的不足：

4、（1）注意力机制的光斑误导问题：传统自注意力机制对像素强度敏感，高亮背景噪声获得更高注意力权重，导致目标丢失，属于感知系统的已知不安全场景；

5、（2）模板更新的置信度欺骗问题：单一依赖分类置信度，在强光干扰下易出现高置信度、低质量的模板更新，导致误差累积，使感知系统在后续帧中持续处于功能不足状态。

6、以上背景技术内容的公开仅用于辅助理解本技术的构思及技术方案，其并不必然会给出技术教导。

技术实现思路

1、本发明的目的是提供一种面向预期功能安全的抗干扰视觉跟踪系统、方法及智能驾驶系统，本发明能够提升预期功能安全性，降低感知系统在夜间场景下的功能不足风险。

2、为达到上述目的，本发明采用的技术方案如下：

3、一种面向预期功能安全的抗干扰视觉跟踪系统，包括：

4、动态模板库，其被配置为存储当前有效目标模板对应的主干模板特征和辅助结构模板特征；

5、特征提取网络，其被配置对当前搜索区域图像进行处理，以得到主干搜索特征和辅助结构搜索特征；

6、语义校准单元，其被配置为确定所述辅助结构模板特征和辅助结构搜索特征之间的结构一致性矩阵；

7、多头注意力计算模块，其被配置为以主干模板特征作为目标参照，以主干搜索特征作为待匹配对象，并且将结构一致性矩阵作为偏置项注入注意力得分计算中以得到校准后的注意力特征，注意力得分计算为对当前搜索区域图像与当前有效目标模板的匹配计算；

8、双因子门控判别器，其被配置为对校准后的注意力特征进行目标位置回归与分类以得到分类置信度与深层特征向量，以及计算深层特征向量的特征响应强度，所述双因子门控判别器还被配置为在判断所述分类置信度和特征响应强度满足预设的条件时，输出更新信号以使当前帧搜索区域图像中跟踪目标对应的特征更新至所述动态模板库中。

9、进一步地，承前所述的任一技术方案或多个技术方案的组合，若分类置信度和特征响应强度满足以下双重门控逻辑条件，则双因子门控判别器输出更新信号：若满足且，或者满足且，则更新动态模板库，否则不更新动态模板库，其中，为预设的第一置信度阈值，为预设的第二置信度阈值，为预设的基础活性阈值，为预设的严格结构阈值，。

10、进一步地，承前所述的任一技术方案或多个技术方案的组合，所述语义校准单元被配置为基于计算余弦相似度算法计算辅助结构模板特征和辅助结构搜索特征之间的结构一致性矩阵（）：

11、；

12、其中，表示结构一致性矩阵的第个元素，表示辅助结构模板特征中第

i个空间位置所对应的模板支路向量，表示辅助结构搜索特征中第

j个空间位置所对应的搜索支路向量，表示向量的范数。

13、进一步地，承前所述的任一技术方案或多个技术方案的组合，所述语义校准单元包括结构匹配器，所述结构匹配器包括特征归一化层和相似度度量算子，所述特征归一化层对所述辅助结构模板特征执行归一化操作以得到模板支路向量，以及对所述辅助结构搜索特征执行归一化操作以得到搜索支路向量；

14、所述相似度度量算子被配置为基于计算余弦相似度算法计算模板支路向量和搜索支路向量之间的结构一致性矩阵。

15、进一步地，承前所述的任一技术方案或多个技术方案的组合，所述语义校准单元还包括偏置注入接口，所述偏置注入接口的输入端与所述结构匹配器的输出端连接，所述偏置注入接口的输出端与所述多头注意力计算模块中的矩阵加法节点连接。

16、进一步地，承前所述的任一技术方案或多个技术方案的组合，所述多头注意力计算模块通过以下方式将结构一致性矩阵叠加到所述图像特征以得到校准后的注意力特征：

17、；

18、其中，表示激活函数运算，t表示矩阵转置，表示自适应调节因子，为结构一致性矩阵，q为根据主干搜索特征生成的查询向量，k为根据主干模板特征生成的键向量，v为主干模板特征生成的值向量，d为所述图像特征中的特征维度标量。

19、进一步地，承前所述的任一技术方案或多个技术方案的组合，q、k、v的计算公式如下：

20、

；

21、

；

22、

；

23、其中，为多头注意力计算模块内部的查询投影参数矩阵，为多头注意力计算模块内部的键投影参数矩阵，为多头注意力计算模块内部的值投影参数矩阵。

24、进一步地，承前所述的任一技术方案或多个技术方案的组合，所述双因子门控判别器包括跟踪头模块；

25、所述跟踪头模块被配置为对校准后的注意力特征进行目标位置回归与分类以得到分类置信度与深层特征向量，以及通过以下方式计算深层特征向量的特征响应强度：；其中，为深层特征向量，为深层特征向量的总通道数，为深层特征向量在第个通道上的激活数值。

26、进一步地，承前所述的任一技术方案或多个技术方案的组合，所述双因子门控判别器还包括逻辑校验器，所述逻辑校验器被配置为接收所述跟踪头模块输出的分类置信度与特征响应强度，并且执行分类置信度与特征响应强度的非对称双阈值门控逻辑判断以确定是否更新所述动态模板库。

27、进一步地，承前所述的任一技术方案或多个技术方案的组合，所述特征提取网络包括transformer主干网络和辅助特征映射模块；

28、其中，所述transformer主干网络被配置为接收并处理当前搜索区域图像以得到所述主干搜索特征，所述transformer主干网络还被配置为将其编码器输出的中间层图像特征输出至所述辅助特征映射模块；

29、所述辅助特征映射模块被配置为以所述中间层图像特征为输入，基于多层感知机投影网络得到辅助结构搜索特征并输出至所述语义校准单元。

30、根据本发明的另一方面，提供了一种面向预期功能安全的抗干扰视觉跟踪方法，基于如上任一技术方案或多个技术方案的组合所述的面向预期功能安全的抗干扰视觉跟踪系统，包括以下步骤：

31、采用特征提取网络从当前搜索区域图像中提取主干搜索特征和辅助结构搜索特征；

32、采用语义校准单元确定所述辅助结构模板特征和辅助结构搜索特征之间的结构一致性矩阵；

33、采用多头注意力计算模块，以主干模板特征作为目标参照，以主干搜索特征作为待匹配对象，并且将结构一致性矩阵作为偏置项注入注意力得分计算中以得到校准后的注意力特征，注意力得分计算为对当前搜索区域图像与当前有效目标模板的匹配计算；

34、采用双因子门控判别器对校准后的注意力特征进行目标位置回归与分类以得到分类置信度与深层特征向量，以及计算深层特征向量的特征响应强度，所述双因子门控判别器还被配置为在判断所述分类置信度和特征响应强度满足预设的条件时，输出更新信号以使当前帧搜索区域图像中跟踪目标对应的特征更新至所述动态模板库中。

35、根据本发明的另一方面，提供了一种智能驾驶系统，基于如上任一技术方案或多个技术方案的组合所述的面向预期功能安全的抗干扰视觉跟踪系统。

36、本发明提供的技术方案带来的有益效果如下：

37、a. 提升预期功能安全能力：有效抑制强光源干扰导致的注意力漂移，降低感知系统在夜间场景下的功能不足风险；

38、b. 增强模板更新可靠性：引入特征响应强度作为正交校验维度，能够避免高置信度噪声污染模板库，支撑sotif对系统状态监控的要求；

39、c. 提升暗弱目标召回率：对结构完整但外观模糊的目标保持跟踪能力，扩展感知系统的安全运行范围。