基于图像分类的机场安检智能监控系统及方法与流程

摘要: 本发明涉及机场安检智能监控,尤其涉及基于图像分类的机场安检智能监控系统及方法。背景技术:1、民航运输网络的不断完善使得民航出行客流量逐年增长,机场安检作为民航安...
基于图像分类的机场安检智能监控系统及方法与流程

本发明涉及机场安检智能监控,尤其涉及基于图像分类的机场安检智能监控系统及方法。

背景技术:

1、民航运输网络的不断完善使得民航出行客流量逐年增长,机场安检作为民航安全防护的核心环节,所承担的安全管控压力持续增大。传统机场安检流程中,随身行李的危险物品识别依赖安检员人工判读x射线透视图像,旅客异常行为甄别、安检员操作合规性检查依赖现场人员值守和事后回溯监控录像,人工判读的稳定性易受工作时长、精神状态等因素影响,在客流高峰时段容易出现漏检、错检的情况,且事后回溯的监管模式无法在异常事件发生的第一时间进行干预,存在一定的安全管控滞后性。同时,人工安检模式下所有安检数据仅能通过人工记录留存,无法形成结构化的安检事件档案,后续安全排查、事件回溯的效率较低。

2、目前已有的部分智能安检辅助系统,多仅针对单一安检场景或单模态数据进行处理,多数仅实现了x射线行李图像的危险物品自动识别功能,未覆盖安检通道全流程的多维度数据采集,也未将旅客行为数据、安检员操作数据与行李检测数据进行关联整合,不同模态的安检数据相互独立,无法形成完整的安检事件链路。部分融合多模态数据的安检系统,在数据预处理阶段未针对安检场景的图像特征进行优化,低光照环境下的可见光图像、存在散斑噪声的x射线图像未经过针对性增强处理,后续特征提取的准确性受影响;特征提取阶段也未对安检场景的重点关注区域进行针对性强化,行李重叠遮挡、旅客局部动作的特征容易被弱化,导致危险物品识别、异常行为识别的准确性不足。还有部分系统的风险预警仅依据单一项检测结果触发,未对同一旅客的全流程安检数据进行关联分析,容易出现因单一检测结果误差导致的误报,也无法对多维度的安全风险进行综合研判,预警信息的参考性不足。

3、随着民航安全管控要求的不断提升,现有安检系统已经无法满足全流程、多维度、实时性的安全管控需求,需要一套能够覆盖安检全场景、整合多模态安检数据、实现异常事件实时检测与综合风险研判的智能监控系统,补齐现有安检模式的管控短板,适配日益增长的客流量和不断提升的安全管控标准。

技术实现思路

1、本发明提出的基于图像分类的机场安检智能监控系统及方法,以解决上述现有技术中提到的问题。

2、为了实现上述目的,本发明采用了如下技术方案:一种基于图像分类的机场安检智能监控系统,包括以下模块:

3、多视角安检图像采集模块,包含分区域布设的可见光采集设备与x射线透视采集设备,所有设备采用统一时间戳同步采集旅客面部、行李、安检操作三类安检图像;

4、安检图像多级预处理模块,配置有暗通道低照度增强子模块和非局部均值噪声抑制子模块,所述暗通道低照度增强子模块对可见光图像进行光照补偿、纹理增强,所述非局部均值噪声抑制子模块对x射线图像进行散斑噪声抑制、灰度拉伸,输出多模态安检图像;

5、多任务安检特征提取模块,配置有预训练的深度残差骨干网络和双向特征金字塔,将预处理后可见光与x射线图像沿通道拼接,通过多下采样阶段提取安检场景初级纹理、安检物品中级轮廓和安检异常行为高级语义特征;

6、安检场景自适应注意力增强模块,配置有通道注意力单元和空间注意力单元,所述通道注意力单元通过全局池化和全连接层生成通道权重,所述空间注意力单元通过卷积生成空间重要性图,输出注意力增强后的安检特征图;

7、多分支安检异常检测模块,配置有危险物品图像分类分支、旅客异常行为识别分支、安检操作合规性检测分支,各分支采用独立锚框与分类回归头,并行输出危险物品类别及边界框、异常行为类别及行为时序、操作违规类别及发生时间;

8、安检事件多源关联分析模块,将同一旅客在预设时间窗口内的危险物品检测、异常行为识别和操作合规性检测结果按旅客身份标识进行跨模态时序对齐和事件关联,生成安检事件档案;

9、安检风险综合评估与预警模块,根据安检事件档案中各维度检测结果置信度、预设风险分级权重,通过加权融合生成综合安检风险指数,当综合安检风险指数超过预设分级安全阈值时,触发对应级别预警,将旅客安检事件档案推送至安检值班终端。

10、进一步的,还包括:所述多视角安检图像采集模块中增设多光谱成像采集单元,所述多光谱成像采集单元包括近红外线阵扫描相机、短波红外线阵扫描相机,采用俯视视角与x射线透视成像同步采集行李的近红外、短波红外光谱反射图像,所述安检图像多级预处理模块还设置有多光谱融合子模块,所述多光谱融合子模块对同一行李的近红外光谱图像、短波红外光谱图像、x射线透视图像进行像素级配准,通过加权拉普拉斯金字塔融合生成多光谱融合增强行李图像。

11、进一步的,还包括:在所述安检场景自适应注意力增强模块中增设跨模态协同注意力单元,所述跨模态协同注意力单元将可见光特征图与x射线特征图通过独立线性投影映射至公共语义嵌入空间,通过跨模态交叉注意力机制建立逐像素关联,生成跨模态关联增强的多通道安检特征图。

12、进一步的,所述多分支安检异常检测模块中危险物品图像分类分支采用级联双阶段检测架构:第一阶段通过轻量级候选区域生成网络对x射线图像快速扫描生成嫌疑区域提议集合,第二阶段将嫌疑区域映射至双向特征金字塔各层提取特征向量,通过全连接层分类子网络进行细粒度种类识别,输出危险物品类别标签及置信度分数。

13、进一步的,所述安检事件多源关联分析模块以旅客人脸识别特征向量为跨模态关联键,将摄像机组采集的旅客面部图像经预训练人脸识别网络提取人脸特征嵌入后,与行李x射线图像对应时隙的行李条码或射频标签关联绑定,沿安检通道空间拓扑序列,将旅客在入口区、行李传送区、开包复检区、通过区依次触发的各模态事件按时间戳拼接为安检事件时间线,当某一模态事件在预设关联时窗内缺失时,生成数据缺失告警,标记该旅客安检档案为不完整状态。

14、进一步的,所述安检风险综合评估与预警模块的综合安检风险指数,由危险物品威胁等级分值与检测置信度的乘积、异常行为风险权重与识别置信度的乘积、操作违规严重程度分值与检测置信度的乘积三个分量之和经归一化处理后得到,各分量分别乘以对应的安检场景风险调节因子,所述调节因子根据当前通道旅客流量密度、航班时刻类型和安全威胁等级动态调整。

15、进一步的,所述多分支安检异常检测模块的旅客异常行为识别分支对可见光图像序列执行基于三维卷积神经网络和双向长短期记忆网络的时空双流行为识别,三维卷积支路以连续预设帧数图像堆叠为输入提取短时时空运动特征,双向长短期记忆支路以人体骨架关键点坐标时间序列为输入提取长时时序动态特征,两路特征融合后经分类器输出异常行为类别,所述异常行为类别包括拒绝安检配合、强行冲闯通道、藏匿物品传递、异常徘徊逗留、与安检员肢体冲突。

16、进一步的,一种基于图像分类的机场安检智能监控方法,包括以下步骤:

17、s1、通过部署于安检通道各区域的多组可见光摄像机组和多视角x射线行李透视成像设备组以统一时间戳同步采集旅客面部可见光图像、行李x射线图像和安检员操作行为可见光图像,构建多维度安检场景图像数据集;

18、s2、对可见光图像执行低照度增强和纹理增强,对x射线图像执行散斑噪声抑制和灰度拉伸,输出预处理后多模态安检图像;

19、s3、将预处理后可见光与x射线图像沿通道拼接输入预训练的深度残差骨干网络和双向特征金字塔,从多下采样阶段提取安保场景初级纹理、物品中级轮廓和异常行为高级语义特征,构建多尺度安检特征图集合;

20、s4、通过通道注意力对危险物品轮廓和异常行为通道自适应加权并通过空间注意力对行李重叠区域和旅客关键区域聚焦增强,输出强化后安检特征图;

21、s5、将强化后安检特征图输入多分支检测模块,由危险物品分类、异常行为识别和操作合规性检测三个分支并行输出危险物品类别及边界框、异常行为类别及行为时序和操作违规类别及时间戳;

22、s6、将同一旅客在预设时间窗口内的各分支检测结果按身份标识进行跨模态时序对齐和事件关联,生成包含旅客身份、危险物品信息、行为特征和操作完整性的多维安检事件档案;

23、s7、根据安检事件档案各维度检测置信度和预设风险分级权重加权融合生成综合安检风险指数,超预设安全阈值时触发预警并将旅客安检事件档案推送至安检值班终端。

24、进一步的,步骤s5中所述危险物品分类分支对x射线图像采用级联双阶段检测:第一阶段通过轻量级候选区域网络快速扫描生成嫌疑区域提议集合,第二阶段将嫌疑区域映射至双向特征金字塔提取区域特征并由全连接层分类子网络进行细粒度种类识别,输出包括管制刀具、枪支器械、爆炸物组件、易燃液体容器和压缩气体罐在内的危险物品类别标签,训练分类子网络时采用在线难例挖掘策略对物品重叠遮挡对应的难分类嫌疑区域加权重采样。

25、进一步的,步骤s6中所述跨模态时序对齐以旅客人脸识别特征向量为关联键,将摄像机组采集的旅客面部图像经预训练人脸识别网络提取人脸特征嵌入后与行李x射线图像对应时隙的行李条码或射频标签关联绑定,沿安检通道空间拓扑序列将旅客在入口区、行李传送区、开包复检区和通过区依次触发的各模态事件按时间戳拼接为连贯的安检事件时间线,当任一模态事件在预设关联时窗内缺失时,自动标记该旅客安检档案为不完整状态并将其基线风险等级提升一个级别后进入步骤s7评估。

26、与现有的技术相比,本发明的有益效果是:

27、本系统通过覆盖安检通道入口区、行李传送区、旅客通过区的多模态图像同步采集,可实现安检流程中旅客、行李、安检员三类主体的全维度数据采集,能够完整覆盖安检场景的所有管控要素,避免单一数据来源导致的管控盲区。针对安检场景的可见光图像和x射线图像采用对应的预处理方案,可提升低光照下可见光图像的纹理清晰度,降低x射线图像的散斑噪声干扰,为后续的特征提取提供质量更稳定的输入图像。采用多尺度特征提取结合自适应注意力增强的方案,可同时保留不同层级的安检场景特征,还能针对性强化危险物品、异常行为相关的特征通道,以及行李重叠区域、旅客关键区域的特征权重,弱化无关区域的特征干扰,提升后续异常检测的准确性。

28、多分支检测架构中三类检测分支共享骨干权重,可降低整体的计算开销,同时各分支采用独立的检测头,可适配不同类型检测任务的需求,并行处理的模式也可保障三类检测任务的实时性,无需分步骤处理提升处理延迟。将同一旅客的全流程安检数据按身份标识进行跨模态时序对齐,可形成完整的安检事件链路,避免不同模态数据相互独立导致的信息割裂,也能及时识别安检流程中的数据缺失情况,保障安检档案的完整性。综合多维度检测结果进行加权融合生成风险指数,可避免单一项检测结果误差导致的误报,还能根据安检场景的实际情况动态调整各维度的权重,适配不同客流、不同安全等级下的管控需求,预警信息附带完整的旅客安检事件档案,可辅助安检值班人员快速核实异常情况,缩短异常事件的响应时间。

29、增设多光谱采集融合方案后,可利用不同材质在红外波段的差异化光谱吸收特性,辅助区分外观相似的危险品和日常物品,降低同形异质物品的分类误差。增设跨模态协同注意力单元后,可实现可见光行为数据和x射线行李数据的特征对齐,进一步提升多模态数据的关联准确性。采用级联双阶段的危险物品检测架构,可在保障检测速度的前提下提升细粒度物品分类的准确性。采用时空双流的行为识别方案,可同时捕捉短时运动特征和长时时序特征,提升异常行为识别的准确性。