用于安检图像的物品检测方法及物品检测装置与流程

本发明涉及计算机视觉与智能安检，具体而言，涉及一种用于安检图像的物品检测方法及物品检测装置。

背景技术：

1、航空行李安检是保障民航安全的关键环节，其检测效率与准确率直接关系到机场的通行能力及公共安全。目前，x光安检图像违禁品检测主要依赖人工判读或传统的自动化辅助检测系统。然而，随着全球客流的持续增长以及违禁品形态的多样化、隐蔽化，现有技术在面对复杂安检场景时逐渐暴露出诸多局限性。

2、相关技术中的安检流程，安检员需长时间注视x光屏幕，对行李内部的物品进行人工识别。由于x光图像具有透视叠加、色彩编码复杂（有机物、无机物、混合物）等特点，且经常面临行李物品堆积、严重遮挡的情况，安检员极易产生视觉疲劳，导致注意力下降，不仅使得漏检率（尤其是针对小型违禁品如微型刀具、隐蔽电池等）居高不下，而且不同安检员的判读标准存在差异，难以保证检测的一致性和客观性。

3、另一种检测方式，基于深度学习的目标检测算法被广泛应用于机场/地铁等需要进行行李检测场景，然而，这些基于卷积神经网络的算法主要依赖局部感受野，在捕获图像全局上下文信息方面存在先天不足，在x光图像中，违禁品（如芯片、微型电池等）往往占据极少的像素比例，且容易与背景杂物混淆，传统目标检测算法容易忽略这些小目标特征；同时，遮挡问题严重，行李内物品常存在多层重叠，导致目标特征不完整，容易出现检测框定位不准或漏检。

4、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本发明实施例提供了一种用于安检图像的物品检测方法及物品检测装置，以至少解决相关技术在安检场景下，采用基于深度学习的目标检测算法，容易忽略小目标特征，漏检率高的技术问题。

2、根据本发明实施例的一个方面，提供了一种用于安检图像的物品检测方法，包括：将获取的至少一张安检图像输入至前端轻量化检测网络模型，其中，所述前端轻量化检测网络模型通过混合粒度剪枝策略获得，所述前端轻量化检测网络模型包括：特征提取器和颈部网络，所述特征提取器用于提取所述安检图像的全局多尺度特征，以聚焦可疑违禁品区域，所述颈部网络用于对所述可疑违禁品区域进行目标感知，输出包含图像块的多个候选框以及各个候选框的置信度；筛选低于预设阈值的置信度对应的第一类候选框，将该第一类候选框的图像块输入至后端多模态大模型，由所述后端多模态大模型识别所述图像块中可疑违禁品的类别、形态特征以及属性信息，生成自然语言文本；对于大于等于预设阈值的置信度对应的第二类候选框，生成该第二类候选框的结构化检测信息；聚合所述第一类候选框对应图像块的自然语言文本以及所述第二类候选框的结构化检测信息，输出物品安检报告。

3、可选地，所述特征提取器包括：基于transformer架构的视觉骨干网络，其中，所述视觉骨干网络引入层次化特征提取机制和移动窗口自注意力机制，所述层次化特征提取机制用于通过堆叠多个阶段，逐步下采样所述安检图像，生成全局多尺度特征图，所述移动窗口自注意力机制用于将所述安检图像划分为不重叠的窗口，在每个窗口内部计算自注意力机制，将窗口划分进行偏移，使得不同窗口之间的信息进行交互，以初步筛选所述安检图像的可疑区域；卷积块注意力单元，包括由通道注意力模块和空间注意力模块，其中，所述通道注意力模块用于聚合所述安检图像的全局信息以重新校准每个通道的权重，得到特征图，每个通道负责检测不同的图像特征；所述空间注意力模块用于关注所述特征图中的空间位置，结合初步筛选所述安检图像的可疑区域，输出包含可疑区域的空间注意力图。

4、可选地，所述颈部网络包括：特征金字塔网络，在将所述空间注意力图输入至所述特征金字塔网络后，由所述特征金字塔网络的特征融合路径进行多尺度特征融合，并由检测头输出所有可疑违禁品区域的边界框坐标及对应的置信度。

5、可选地，在训练所述前端轻量化检测网络模型时，包括：对多源公开数据集中的安检图像进行整合，并通过联邦学习框架获取合作对象安检现场采集的实际过检图像，对所述实际过检图像进行脱敏处理后，进行图像标注处理，以构建包含预设标注信息的安检图像数据集，其中，所述安检图像数据集中包含多张双视角图像，每张安检图像包含需要识别的各类目标；对所述安检图像数据集按固定比例划分为训练集、验证集和测试集，并对所述训练集实施随机数据增强处理，并构建多对安检图像-违禁品描述的文本对，其中，所述数据增强处理包括水平翻转、颜色调整和噪声添加；在初始化所述前端轻量化检测网络模型的架构后，采用所述训练集进行训练，采用复合损失函数进行评估，每个训练轮次后，在验证集上计算损失，监控所述前端轻量化检测网络模型的性能参数，在所述性能参数符合要求的情况下，停止训练，得到训练完毕的所述前端轻量化检测网络模型。

6、可选地，所述复合损失函数包括：坐标损失子函数，用于定义预测候选框中心点和宽高的回归误差；交并比损失子函数iou，用于优化预测候选框与真实标注框的交并比值；置信度损失子函数，用于使用二元交叉熵关联所述前端轻量化检测网络模型输出的候选框的置信度与实际定位精度，目标置信度值为预测候选框与真实标注框的交并比值；分类损失子函数，对于特定分类的违禁品的检测，采用单类前景二元交叉熵损失。

7、可选地，所述混合粒度剪枝策略包括：以l1范数为准则，对所述前端轻量化检测网络模型内所有二维卷积层和全连接层的权重进行全局重要度排序，剪除重要度低于预设重要度阈值的权重，完成全局非结构化剪枝；在全局非结构化剪枝基础上，对冗余的卷积通道进行结构性移除，完成局部通道级结构化剪枝。

8、可选地，所述后端多模态大模型通过如下方式进行调整：在所述后端多模态大模型注意力模块中注入低秩适配器，利用所述低秩适配器使用预先构建图像-文本配对数据集进行模型微调。

9、可选地，在将获取的至少一张安检图像输入至前端轻量化检测网络模型之前，还包括：在物品进入安检台或者安检通道后，采集至少一张原始安检图像，其中，所述安检图像的类型至少包括：x光图像；对所述原始安检图像进行标准化预处理，生成统一格式的所述安检图像，其中，所述标准化预处理包括下述至少之一：图像尺寸归一化、噪声去除及对比度增强。

10、根据本发明实施例的另一方面，还提供了一种用于安检图像的物品检测方法，包括：将获取的至少一张x光安检图像输入至前端轻量化检测网络模型，其中，所述前端轻量化检测网络模型通过混合粒度剪枝策略获得，在所述前端轻量化检测网络中，采用基于transformer架构的视觉骨干网络进行特征提取，并将提取到的全局多尺度特征输入至卷积注意力单元，以聚焦可疑违禁品区域，利用颈部网络进行多尺度融合，采用检测头输出包含图像块的多个候选框以及各个候选框的置信度；对于置信度数值大于等于预设置信度阈值的候选框，标记为高置信度结果，保留该候选框的边界框坐标及置信度数值、可疑违禁品的类别信息和形态特征，得到结构化检测信息；对于置信度数值小于预设置信度阈值的候选框，标记为低置信度结果，并将低置信度结果对应的候选框对应的图像块输入至后端多模态大模型，由所述后端多模态大模型识别所述图像块中可疑违禁品的类别、形态特征以及属性信息，生成自然语言文本；聚合所述低置信度结果对应图像块的自然语言文本以及所述高置信度结果对应图像块的结构化检测信息，输出物品安检报告。

11、根据本发明实施例的另一方面，还提供了一种用于安检图像的物品检测装置，包括：安检图像输入单元，用于将获取的至少一张安检图像输入至前端轻量化检测网络模型，其中，所述前端轻量化检测网络模型通过混合粒度剪枝策略获得，所述前端轻量化检测网络模型包括：特征提取器和颈部网络，所述特征提取器用于提取所述安检图像的全局多尺度特征，以聚焦可疑违禁品区域，所述颈部网络用于对所述可疑违禁品区域进行目标感知，输出包含图像块的多个候选框以及各个候选框的置信度；后端大模型识别单元，用于筛选低于预设阈值的置信度对应的第一类候选框，将该第一类候选框的图像块输入至后端多模态大模型，由所述后端多模态大模型识别所述图像块中可疑违禁品的类别、形态特征以及属性信息，生成自然语言文本；高置信度候选框信息生成单元，用于对于大于等于预设阈值的置信度对应的第二类候选框，生成该第二类候选框的结构化检测信息；物品安检报告输出单元，用于聚合所述第一类候选框对应图像块的自然语言文本以及所述第二类候选框的结构化检测信息，输出物品安检报告。

12、可选地，所述特征提取器包括：基于transformer架构的视觉骨干网络，其中，所述视觉骨干网络引入层次化特征提取机制和移动窗口自注意力机制，所述层次化特征提取机制用于通过堆叠多个阶段，逐步下采样所述安检图像，生成全局多尺度特征图，所述移动窗口自注意力机制用于将所述安检图像划分为不重叠的窗口，在每个窗口内部计算自注意力机制，将窗口划分进行偏移，使得不同窗口之间的信息进行交互，以初步筛选所述安检图像的可疑区域；卷积块注意力单元，包括由通道注意力模块和空间注意力模块，其中，所述通道注意力模块用于聚合所述安检图像的全局信息以重新校准每个通道的权重，得到特征图，每个通道负责检测不同的图像特征；所述空间注意力模块用于关注所述特征图中的空间位置，结合初步筛选所述安检图像的可疑区域，输出包含可疑区域的空间注意力图。

13、可选地，所述颈部网络包括：特征金字塔网络，在将所述空间注意力图输入至所述特征金字塔网络后，由所述特征金字塔网络的特征融合路径进行多尺度特征融合，并由检测头输出所有可疑违禁品区域的边界框坐标及对应的置信度。

14、可选地，用于安检图像的物品检测装置在训练所述前端轻量化检测网络模型时，包括：图像整合单元，用对多源公开数据集中的安检图像进行整合，并通过联邦学习框架获取合作对象安检现场采集的实际过检图像，对所述实际过检图像进行脱敏处理后，进行图像标注处理，以构建包含预设标注信息的安检图像数据集，其中，所述安检图像数据集中包含多张双视角图像，每张安检图像包含需要识别的各类目标；数据集划分单元，用于对所述安检图像数据集按固定比例划分为训练集、验证集和测试集，并对所述训练集实施随机数据增强处理，并构建多对安检图像-违禁品描述的文本对，其中，所述数据增强处理包括水平翻转、颜色调整和噪声添加；模型训练单元，用于在初始化所述前端轻量化检测网络模型的架构后，采用所述训练集进行训练，采用复合损失函数进行评估，每个训练轮次后，在验证集上计算损失，监控所述前端轻量化检测网络模型的性能参数，在所述性能参数符合要求的情况下，停止训练，得到训练完毕的所述前端轻量化检测网络模型。

15、可选地，所述复合损失函数包括：坐标损失子函数，用于定义预测候选框中心点和宽高的回归误差；交并比损失子函数iou，用于优化预测候选框与真实标注框的交并比值；置信度损失子函数，用于使用二元交叉熵关联所述前端轻量化检测网络模型输出的候选框的置信度与实际定位精度，目标置信度值为预测候选框与真实标注框的交并比值；分类损失子函数，对于特定分类的违禁品的检测，采用单类前景二元交叉熵损失。

16、可选地，所述混合粒度剪枝策略包括：以l1范数为准则，对所述前端轻量化检测网络模型内所有二维卷积层和全连接层的权重进行全局重要度排序，剪除重要度低于预设重要度阈值的权重，完成全局非结构化剪枝；在全局非结构化剪枝基础上，对冗余的卷积通道进行结构性移除，完成局部通道级结构化剪枝。

17、可选地，用于安检图像的物品检测装置在调整所述后端多模态大模型时，包括：低秩适配器注入模块，用于在所述后端多模态大模型注意力模块中注入低秩适配器，利用所述低秩适配器使用预先构建图像-文本配对数据集进行模型微调。

18、可选地，用于安检图像的物品检测装置还包括：安检图像采集单元，用于在将获取的至少一张安检图像输入至前端轻量化检测网络模型之前，在物品进入安检台或者安检通道后，采集至少一张原始安检图像，其中，所述安检图像的类型至少包括：x光图像；图像预处理单元，用于对所述原始安检图像进行标准化预处理，生成统一格式的所述安检图像，其中，所述标准化预处理包括下述至少之一：图像尺寸归一化、噪声去除及对比度增强。

19、根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述任意一项的用于安检图像的物品检测方法。

20、根据本发明实施例的另一方面，还提供了一种电子设备，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述任意一项的用于安检图像的物品检测方法。

21、根据本发明实施例的另一方面，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的用于安检图像的物品检测方法的步骤。

22、在本公开中，将获取的至少一张安检图像输入至前端轻量化检测网络模型，其中，前端轻量化检测网络模型通过混合粒度剪枝策略获得，前端轻量化检测网络模型包括：特征提取器和颈部网络，特征提取器用于提取安检图像的全局多尺度特征，以聚焦可疑违禁品区域，颈部网络用于对可疑违禁品区域进行目标感知，输出包含图像块的多个候选框以及各个候选框的置信度；筛选低于预设阈值的置信度对应的第一类候选框，将该第一类候选框的图像块输入至后端多模态大模型，由后端多模态大模型识别图像块中可疑违禁品的类别、形态特征以及属性信息，生成自然语言文本；对于大于等于预设阈值的置信度对应的第二类候选框，生成该第二类候选框的结构化检测信息；聚合第一类候选框对应图像块的自然语言文本以及第二类候选框的结构化检测信息，输出物品安检报告。

23、在本公开中，可以通过特征提取器（采用transformer架构）与颈部网络实现安检图像中小目标和遮挡目标的有效检测，同时通过混合粒度剪枝策略缩小前端轻量化检测网络模型，满足边缘设备的实时性要求，缩短推理时长；另外，本发明可通过前端轻量化检测+后端多模态大模型分析的大小模型协同机制，对低置信度的候选区域进行深度语义分析与文本描述生成，显著降低漏检率并提高检测的可解释性，从而解决相关技术在安检场景下，采用基于深度学习的目标检测算法，容易忽略小目标特征，漏检率高的技术问题。