一种基于多模态融合的行为感知与异常决策方法及系统

本发明涉及图像识别，具体涉及一种基于多模态融合的行为感知与异常决策方法及系统。

背景技术：

1、目前，高速公路收费主要依赖出入口和主线门架的单点抓拍。服务区长期处于“看得到进出、看不到过程”的监管盲区。现有技术缺乏针对服务区复杂场景下各类隐蔽异常违规行为的全局综合稽核机制，具体表现在以下几个稽核环节：

2、首先，防篡改身份核验维度单一。现有系统高度依赖单一车牌识别，无法将车头深层纹理与挂车特征进行跨域强绑定，导致无法甄别货运车辆在盲区内的“脱挂换挂”或套牌等逃费行为。其次，内部监控缺乏时序交互理解能力。现有监控不具备动作语义分析能力，无法自动提取人员与车辆之间的持续空间交互特征，难以自动预警和抓拍“倒载倒货”等隐蔽违规装卸行为。最后，特种货运车辆超限缺乏多模态联合校验。针对车辆运输车（如轿运车），纯视觉方案在密集遮挡时极易漏检导致载量清点错误，且传统的2d监控无法实现高精度的三维外廓尺寸无感测量，难以实现精准的超限管控。

3、综上，现有技术难以对服务区内货运车辆的异常行为进行精准闭环监管，亟需一种基于多模态融合的行为感知与异常决策方法及系统。

技术实现思路

1、为了解决上述现有技术难以对服务区内货运车辆的异常行为进行精准闭环监管的技术问题，本发明提供了一种基于多模态融合的行为感知与异常决策方法及系统，所采用的技术方案具体如下：

2、本发明的一个实施例提供了一种基于多模态融合的行为感知与异常决策方法，该方法包括以下步骤：

3、获取货运车辆驶入服务区时的驶入身份指纹，所述身份指纹至少包括基于视觉图像提取的货运车辆的车头标识特征和前挡风玻璃的高维纹理特征；

4、在所述货运车辆驻留服务区期间，若货运车辆与外部交互对象之间存在空间接近状态，则利用交互状态机持续评估所述空间接近状态的驻留时长，确定是否存在异常装卸货行为；

5、当货运车辆为预设的特种货运车辆时，联合视觉计数提取的实际装载量与激光雷达点云拟合提取的三维空间几何尺寸，进行所述特种货运车辆的超限判定；

6、获取货运车辆驶出服务区时的驶出身份指纹，将所述驶出身份指纹与所述驶入身份指纹进行一致性比对，判定是否存在车辆篡改异常。

7、进一步地，获取所述货运车辆的前挡风玻璃的高维纹理特征，包括：

8、利用图像分割模型对所述车头区域图像进行掩码分割，获得前挡风玻璃区域；

9、对所述前挡风玻璃区域的内部图像，通过像素灰度分析提取透光率分布特征，利用目标检测提取年检标志位置特征，以及利用边缘检测提取雨刮器停靠角度特征；

10、将提取到的所述透光率分布特征、年检标志位置特征及雨刮器停靠角度特征进行融合，生成前挡风玻璃的高维纹理特征向量。

11、进一步地，所述图像分割模型采用包含编码器与解码器的网络结构，并通过跳跃连接将所述编码器提取的多尺度特征图与所述解码器对应层级上采样后的特征图在通道维度上进行拼接融合；

12、所述图像分割模型基于二分类交叉熵损失与dice损失的加权组合进行网络训练。

13、进一步地，当货运车辆为包含挂车的车辆时，所述身份指纹还包括挂车车尾特征；

14、其中，所述挂车车尾特征通过对货运车辆的尾部图像进行文本识别提取得到；

15、相应地，将所述驶出身份指纹与所述驶入身份指纹进行一致性比对，还包括：检测车头与挂车的组合状态是否发生变更，以及两者的挂车车尾特征是否一致。

16、进一步地，判定货运车辆与外部交互对象之间是否存在空间接近状态，包括：

17、获取所述货运车辆的第一边界框与所述外部交互对象的第二边界框；

18、计算所述第一边界框的尺寸参数，并根据所述尺寸参数生成动态接近阈值；

19、计算所述第一边界框与所述第二边界框之间的相对空间距离；

20、若所述相对空间距离小于或等于所述动态接近阈值，或所述第一边界框与所述第二边界框存在重叠区域，则判定所述货运车辆与所述外部交互对象之间存在空间接近状态。

21、进一步地，所述若货运车辆与外部交互对象之间存在空间接近状态，则利用交互状态机持续评估所述空间接近状态的驻留时长，确定是否存在异常装卸货行为，包括：

22、当首次判定存在空间接近状态时，记录起始时间并开始驻留时长计时；

23、当持续判定存在空间接近状态时，累加所述驻留时长；

24、当未判定存在空间接近状态时，触发容忍倒计时：若在预设的容忍阈值内重新判定存在空间接近状态，则恢复所述驻留时长的累加；若超出所述容忍阈值，则重置所述驻留时长计时；

25、当累加的所述驻留时长达到预设的异常判定阈值时，确定存在异常装卸货行为。

26、进一步地，所述当货运车辆为预设的特种货运车辆时，联合视觉计数提取的实际装载量与激光雷达点云拟合提取的三维空间几何尺寸，进行所述特种货运车辆的超限判定，包括：

27、利用视觉检测模型对所述特种货运车辆装载的货物进行目标检测与实例计数，得到所述实际装载量；

28、获取所述特种货运车辆的三维点云数据，在预设的三维感兴趣区域内剔除地面点云后，对剩余点云进行空间聚类与包围盒拟合，提取所述特种货运车辆的三维空间几何尺寸；

29、将所述实际装载量与预设的装载数量限值进行比对，并将所述三维空间几何尺寸与预设的几何尺寸限值进行比对；

30、若所述实际装载量超出所述装载数量限值，或所述三维空间几何尺寸超出所述几何尺寸限值，则判定所述特种货运车辆存在超限行为。

31、进一步地，所述将所述驶出身份指纹与所述驶入身份指纹进行一致性比对，判定是否存在车辆篡改异常，包括：

32、在所述驶出身份指纹与所述驶入身份指纹的车头标识特征一致的情况下，获取所述驶入身份指纹与所述驶出身份指纹中对应的高维纹理特征向量；

33、计算两个高维纹理特征向量之间的余弦相似度分数；

34、若所述余弦相似度分数低于预设的相似度阈值，则判定存在车辆篡改异常。

35、本发明的另一个实施例提供了一种基于多模态融合的行为感知与异常决策系统，包括处理器和存储器，所述处理器用于处理存储在所述存储器中的指令，以实现一种基于多模态融合的行为感知与异常决策方法。

36、本发明提供了一种基于多模态融合的行为感知与异常决策方法及系统，通过将多模态感知手段与时空逻辑分析深度融合，构建了覆盖货运车辆“驶入-驻留-测算-驶出”全业务流程的服务区全局稽核机制，与现有技术相比，具备以下显著的有益效果：

37、构建多维身份强绑定闭环，有效防范“脱挂换挂”等身份篡改逃费。本发明通过在车辆驶入时提取车头标识特征和前挡风玻璃的高维纹理特征构建身份指纹，并在驶出时进行严密的一致性比对。该特征打破了现有技术高度依赖单一车牌识别的局限，实现了车辆身份的多维度深层绑定。有效克服了车牌易被遮挡或伪造的缺陷，能够精准甄别货运车辆在服务区盲区内的“脱挂换挂”或“换卡套牌”等隐蔽逃费行为，大幅提升了车辆身份核验的抗篡改能力，保障了通行费收益。

38、引入时序交互状态机，实现“倒载倒货”等隐蔽动作的精准识别。本发明通过在车辆驻留期间判定货运车辆与外部交互对象之间的空间接近状态，并利用交互状态机持续评估该空间接近状态的驻留时长。该技术手段使系统具备了动作语义的时序理解能力，克服了传统视频监控仅能进行简单移动侦测、无法理解业务逻辑的不足。通过将空间维度的“距离”与时间维度的“持续性”结合，系统能够自动滤除偶发干扰，精准识别并抓拍“倒载倒货”等持续性违规装卸货行为，彻底消除了服务区内部业务过程的监管盲区。

39、实现视觉与雷达的多模态联合校验，提升特种车辆超限管控精度。本发明针对特种货运车辆，联合视觉计数提取的实际装载量与激光雷达点云拟合提取的三维空间几何尺寸进行全面的超限判定。该特征充分发挥了视觉语义与三维空间点云的互补优势，有效克服了纯视觉方案在面对密集遮挡时极易漏检错算的缺陷，同时也打破了传统2d监控无法进行三维外廓尺寸高精度测量的技术瓶颈。无需人工干预即可实现对特种车辆载量与空间尺寸的高精度、非接触式联合校验，显著提高了超限管控的准确率与自动化水平。