基于AI的安检图像智能识别系统的制作方法

本发明涉及图像识别，尤其涉及基于ai的安检图像智能识别系统。

背景技术：

1、安检场景中，违禁品检测是保障公共安全的重要环节。现有安检图像识别系统通常采用单视角或双视角x光图像作为输入，依赖单一模态图像所携带的物质特征信息进行判断。单一模态图像对材质相近但类别不同的物品区分能力有限，在遮挡、叠加等复杂场景下识别准确率下降。

2、此外，现有系统的输出结果通常为”违禁品／非违禁品”的二元判定，缺乏对识别结果可信程度的量化表达。当模型面对训练数据覆盖不足的物品形态时，系统无法主动提示安检人员进行人工复核，存在漏检风险。

技术实现思路

1、本发明的目的在于：为了解决上述问题，而提出的基于ai的安检图像智能识别系统。

2、为了实现上述目的，本发明采用了如下技术方案：

3、基于ai的安检图像智能识别系统，包括：

4、多模态融合模块，用于获取对同一被检物品同步采集的多模态安检图像并输入至多模态融合网络中进行像素级融合处理，输出融合安检图像；

5、多尺度检测模块，用于将所述融合安检图像输入至多尺度特征提取网络中进行目标检测与识别，输出包含目标边界框、物品类别标签和原始置信度分数的多尺度检测结果；

6、不确定性量化模块，用于在推理阶段保持所述多尺度特征提取网络中的dropout层处于激活状态，对所述融合安检图像执行次前向传播，基于组检测结果中同一目标的类别概率的方差计算认知不确定性，基于组检测结果中边界框各坐标分量的方差计算定位不确定性，并对所述认知不确定性与所述定位不确定性加权求和获取不确定性评分；

7、分级决策模块，用于将各检测结果的所述原始置信度分数与所述不确定性评分进行联合判定，将检测结果划分为高可信检出、中等可信检出和低可信检出三个等级，生成分级识别结果。

8、优选地，所述多模态安检图像包括透射x光图像、背散射x光图像、太赫兹图像和可见光图像，所述多模态融合网络的输入层接收尺寸为的图像张量，其中表示图像高度，表示图像宽度，表示四个模态通道；在输入所述多模态融合网络之前，对四类图像的像素值分别进行z-score标准化处理。

9、优选地，所述多模态融合网络为基于注意力机制的卷积神经网络，包含编码器和解码器，其中所述编码器对四个模态通道分别提取特征后通过注意力模块计算各模态在不同空间位置的权重系数，所述解码器通过上采样层和卷积层将加权后的特征映射重建为融合图像。

10、优选地，所述多尺度特征提取网络采用特征金字塔结构，包含主干网络和检测头，所述主干网络通过多层卷积和池化操作生成多个尺度的特征图，所述检测头在每个尺度的特征图上并行执行目标检测。

11、优选地，所述认知不确定性的计算公式为：

12、；

13、其中，为第次前向传播获得的目标类别概率，为次前向传播类别概率的平均值；

14、所述定位不确定性的计算公式为：

15、；

16、其中，为第次前向传播获得的边界框的第个坐标分量，为第个坐标分量在次前向传播中的平均值。

17、优选地，所述在加权求和之前，分别对和进行基于极差的均值归一化，将二者统一映射至区间；所述不确定性评分的计算公式为：

18、；

19、其中，和为权重系数，，，。

20、优选地，所述联合判定的分级规则为：

21、当所述原始置信度分数高于第一阈值且所述不确定性评分低于第二阈值时，将该检测结果认定为高可信检出；

22、当所述原始置信度分数处于所述第一阈值与第三阈值之间，或所述原始置信度分数高于所述第一阈值且所述不确定性评分不低于所述第二阈值时，将该检测结果认定为中等可信检出；

23、当所述原始置信度分数低于所述第三阈值时，将该检测结果认定为低可信检出；

24、其中，所述第一阈值大于所述第三阈值，所述第二阈值小于所述第四阈值。

25、优选地，所述对于不确定性评分高于所述第四阈值的检测结果，即使其原始置信度分数高于所述第一阈值，仍将该检测结果归入中等可信检出等级。

26、优选地，所述还包括：获取安检人员对中等可信检出结果和低可信检出结果执行人工复核后生成的反馈数据，所述反馈数据包括正样本、修正样本和负样本；基于所述反馈数据与原有训练数据集合并后的数据集，对所述多模态融合网络和所述多尺度特征提取网络进行增量训练，更新网络参数；其中，增量训练的学习率设定为初始训练学习率的十分之一至五分之一。

27、综上所述，由于采用了上述技术方案，本发明的有益效果是：

28、1、本发明通过将四类安检图像进行像素级融合，使融合安检图像同时携带金属和有机物的多维物质特征信息，弥补了单一模态图像信息不足导致的材质相近物品难以区分的缺陷。

29、2、本发明通过将人工复核反馈数据与原有训练数据合并进行增量训练，并针对难例库中的易混淆类别进行针对性数据增强，多模态融合网络和多尺度特征提取网络对新型违禁品形态及易混淆物品的判别能力随运行积累持续提升。

1.基于ai的安检图像智能识别系统，其特征在于，包括：

2.根据权利要求1所述的基于ai的安检图像智能识别系统，其特征在于，多模态安检图像包括透射x光图像、背散射x光图像、太赫兹图像和可见光图像，所述多模态融合网络的输入层接收尺寸为的图像张量，其中表示图像高度，表示图像宽度，表示四个模态通道；在输入所述多模态融合网络之前，对四类图像的像素值分别进行z-score标准化处理。

3.根据权利要求1所述的基于ai的安检图像智能识别系统，其特征在于，多模态融合网络为基于注意力机制的卷积神经网络，包含编码器和解码器，其中所述编码器对四个模态通道分别提取特征后通过注意力模块计算各模态在不同空间位置的权重系数，所述解码器通过上采样层和卷积层将加权后的特征映射重建为融合图像。

4.根据权利要求1所述的基于ai的安检图像智能识别系统，其特征在于，多尺度特征提取网络采用特征金字塔结构，包含主干网络和检测头，所述主干网络通过多层卷积和池化操作生成多个尺度的特征图，所述检测头在每个尺度的特征图上并行执行目标检测。

5.根据权利要求1所述的基于ai的安检图像智能识别系统，其特征在于，认知不确定性的计算公式为：

6.根据权利要求1所述的基于ai的安检图像智能识别系统，其特征在于，在加权求和之前，分别对和进行基于极差的均值归一化，将二者统一映射至区间；所述不确定性评分的计算公式为：

7.根据权利要求1所述的基于ai的安检图像智能识别系统，其特征在于，联合判定的分级规则为：

8.根据权利要求7所述的基于ai的安检图像智能识别系统，其特征在于，对于不确定性评分高于所述第四阈值的检测结果，即使其原始置信度分数高于所述第一阈值，仍将该检测结果归入中等可信检出等级。

9.根据权利要求1所述的基于ai的安检图像智能识别系统，其特征在于，还包括：获取安检人员对中等可信检出结果和低可信检出结果执行人工复核后生成的反馈数据，所述反馈数据包括正样本、修正样本和负样本；基于所述反馈数据与原有训练数据集合并后的数据集，对所述多模态融合网络和所述多尺度特征提取网络进行增量训练，更新网络参数；其中，增量训练的学习率设定为初始训练学习率的十分之一至五分之一。