危险品检测方法和装置与流程

1.本发明涉及图像检测技术领域，尤其是涉及一种危险品检测方法和装置。


背景技术：

2.随着社会的发展，旅游和运输业变得越来越普遍。通常在物品或者旅客运输时，需要对该物品或该旅客随身的包裹进行检测。然而会有不法分子趁机在该待检测件中夹藏一些违禁物品，在客流量大的时候，逐一开箱检测无疑耗费过多时间，所以一般通过辐射成像的方法对物品和包裹进行成像，然后由预设的危险品识别模型进行检测。
3.传统的检测技术中，由于物品的堆叠以及包裹中不同品类物品摆放复杂，造成物品间的相互遮挡，致使夹藏的违禁物品的成像轮廓与该违禁品的实际轮廓特征不一致，而现有的危险品识别模型并不具有特征识别的功能，导致现有的检测方法准确程度差、效率低。


技术实现要素：

4.本发明的目的在于提供一种危险品检测方法和装置，以提升危险品检测的准确程度和效率。
5.第一方面，本发明实施例提供了一种危险品检测方法，其中，包括：获取安检对象的透视图像；对该透视图像进行预处理，得到该安检对象的预处理图像；将该预处理图像输入预先训练好的危险品识别模型，输出该预处理图像中的兴趣区域；该兴趣区域为满足预设特征要求的区域；基于该兴趣区域，确定该安检对象是否包含危险品，得到检测结果。
6.结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，将该预处理图像输入预先训练好的危险品识别模型，输出该预处理图像中的兴趣区域；该兴趣区域为满足预设特征要求的区域的步骤包括：将该预处理图像输入预先训练好的危险品识别模型中，输出该预处理图像的特征金字塔；根据该特征金字塔，确定该预处理图像中的兴趣区域。
7.结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，该基于该兴趣区域，确定该安检对象是否包含危险品，得到检测结果的步骤包括：基于非极大值抑制算法对该兴趣区域内的检测框以及该检测框对应的预设标注信息进行筛选，确定该安检对象是否包含危险品，得到检测结果；该预设标注信息包括危险品品类和位置。
8.结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，该危险品识别模型通过下述方式训练得到：获取预设的训练集数据；该训练集数据包括：带有该预设标注信息的原始图像和合成图像；该合成图像用于指示样品的透视图像和该透视图像背景的组合图像；根据该训练集数据训练预设的初始神经网络，直至满足预设的训练结束条件，得到训练好的该危险品识别模型。
9.结合第一方面的第三种可能的实施方式，本发明实施例提供了第一方面的第四种
可能的实施方式，其中，根据该训练集数据训练预设的初始神经网络，直至满足预设的训练结束条件，得到训练好的该危险品识别模型的步骤包括：基于该样品的尺寸，设置该初始神经网络的兴趣区域的参数；基于该初始神经网络，对该原始图像和该合成图像进行特征提取，得到训练集特征金字塔；根据该训练集特征金字塔，生成该训练集特征金字塔对应的训练集兴趣区域；基于预设的分类器对该训练集兴趣区域进行分类，得到该训练集数据的预测值；该预测值包括：该训练集兴趣区域的位置坐标和该训练集兴趣区域对应的该预设标注信息的物品品类概率向量；根据该预测值和该训练集兴趣区域的真实值计算该危险品识别模型的损失值；根据该损失值调整该初始神经网络的参数，并继续对参数调整后的网络进行训练，直到满足预设的训练结束条件，得到训练好的该危险品识别模型。
10.结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，基于预设的分类器对该训练集兴趣区域进行分类，得到该训练集数据的预测值之后，该方法还包括：基于非极大值抑制算法对该预测值进行筛选，得到预设数量的该预测值。
11.结合第一方面的第五种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，该方法还包括：获取预设的测试集数据；该测试集数据包括：带有该预设标注信息的原始图像和合成图像；该合成图像用于指示样品的透视图像和该透视图像背景的组合图像；根据该测试集数据测试该危险品识别模型，直至满足预设的训练结束条件，得到经过测试的该危险品识别模型。
12.结合第一方面的第六种可能的实施方式，本发明实施例提供了第一方面的第七种可能的实施方式，其中，该根据该测试集数据测试该危险品识别模型，直至满足预设的训练结束条件，得到经过测试的该危险品识别模型的步骤之后，该方法还包括：基于该危险品识别模型收集该测试集数据中的错误数据；该错误数据用于指示该测试集数据在测试该危险品识别模型后，得到不符合预设训练结果的数据；根据该错误数据训练该危险品识别模型，直至满足预设的训练结束条件，得到经过调整的该危险品识别模型。
13.结合第一方面，本发明实施例提供了第一方面的第八种可能的实施方式，其中，该对该透视图像进行预处理，得到该安检对象的预处理图像的步骤包括：将该透视图像的空白区域进行剪裁，得到中间待检测图像；将该中间待检测图像进行缩放，得到该预处理图像。
14.第一方面，本发明实施例提供了一种危险品检测装置，其中，包括：图像获取模块，用于获取安检对象的透视图像；图像预处理模块，用于对该透视图像进行预处理，得到该安检对象的预处理图像；兴趣区域确定模块，用于将该预处理图像输入预先训练好的危险品识别模型，输出该预处理图像中的兴趣区域；该兴趣区域为满足预设特征要求的区域；检测结果确定模块，用于基于该兴趣区域，确定该安检对象是否包含危险品，得到检测结果。
15.本发明实施例带来了以下有益效果：
16.本发明提供的一种危险品检测方法和装置，其中，包括：获取安检对象的透视图像；对该透视图像进行预处理，得到该安检对象的预处理图像；将该预处理图像输入预先训练好的危险品识别模型，输出该预处理图像中的兴趣区域；该兴趣区域为满足预设特征要求的区域；基于该兴趣区域，确定该安检对象是否包含危险品，得到检测结果。该方法通过预设模型快速确定图像的兴趣区域，而兴趣区域为满足预设特征要求的区域，从而确定图
像的特征，提升了危险品检测的准确程度和效率。
17.本实施例公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
18.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
19.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1为本发明实施例提供的一种危险品检测方法的流程示意图；
21.图2为本发明实施例提供的另一种危险品检测方法的流程示意图；
22.图3为本发明实施例提供了一种危险品检测装置的结构示意图；
23.图4为本发明实施例提供的一种电子设备的结构示意图。
24.图标：31-图像获取模块；32-图像预处理模块；33-兴趣区域确定模块；34-检测结果确定模块；41-存储器；42-处理器；43-总线；44-通信接口。
具体实施方式
25.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.现有技术中，由于物品的堆叠以及包裹中不同品类物品摆放复杂，造成物品间的相互遮挡，致使夹藏的违禁物品的成像轮廓与该违禁品的实际轮廓特征不一致，而现有的危险品识别模型并不具有特征识别的功能，导致现有的检测方法准确程度差、效率低。
27.基于此，本发明实施例提供了一种危险品检测方法和装置，该技术可以缓解上述技术问题，该技术可以提升危险品检测的准确程度和效率。为便于对本发明实施例进行理解，首先对本发明实施例所公开的一种危险品检测方法进行详细介绍。
28.实施例1
29.如图1所示，为本发明实施例提供的一种危险品检测方法的流程示意图。
30.如图1所见，该方法包括以下步骤：
31.步骤s101：获取安检对象的透视图像。
32.在本实施例中，通过x光成像设备对该安检对象的进行成像，从而获得该安检对象的x光透视图像。
33.步骤s102：对该透视图像进行预处理，得到该安检对象的预处理图像。
34.在本实施例中，对该透视图像进行预处理，得到该安检对象的预处理图像的步骤包括：首先，将该透视图像的空白区域进行剪裁，得到中间待检测图像。然后，将该中间待检测图像根据预设的缩放因子进行缩放，使得不同机型获得的待检测透视图像中同种物品的
像素大小不变。这里，上述预处理过程在去除该透视图像空白区域的同时对该透视图像的尺寸进行一定的缩放，使该透视图像中物品的尺寸保持在合理的范围。
35.步骤s103：将该预处理图像输入预先训练好的危险品识别模型，输出该预处理图像中的兴趣区域；该兴趣区域为满足预设特征要求的区域。
36.在本实施例中，将该预处理图像输入预先训练好的危险品识别模型，该危险品识别模型通过确定该预处理图像的特征金字塔，从而基于该特征金字塔得到该预处理图像中的兴趣区域。
37.步骤s104：基于该兴趣区域，确定该安检对象是否包含危险品，得到检测结果。
38.这里，由于该兴趣区域内含有检测框以及该检测框对应的预设标注，从而基于极大值抑制算法确定该检测框以及该检测框对应的预设标注中是否包含危险品，得到检测结果。
39.本发明实施例提供的一种危险品检测方法，其中，包括：获取安检对象的透视图像；对该透视图像进行预处理，得到该安检对象的预处理图像；将该预处理图像输入预先训练好的危险品识别模型，输出该预处理图像中的兴趣区域；该兴趣区域为满足预设特征要求的区域；基于该兴趣区域，确定该安检对象是否包含危险品，得到检测结果。该方法通过预设模型快速确定图像的兴趣区域，而兴趣区域为满足预设特征要求的区域，从而确定图像的特征，提升了危险品检测的准确程度和效率。
40.实施例2
41.在图1所示方法的基础上，本发明还提供了另一种危险品检测方法。图2为本发明实施例提供的另一种危险品检测方法的流程示意图，如图2所见，该方法包括以下步骤：
42.步骤s201：获取安检对象的透视图像。
43.步骤s202：对该透视图像进行预处理，得到该安检对象的预处理图像。
44.其中，该预处理图像的格式为jpeg格式。
45.这里，对该安检对象的预处理图像中每张图片进行随机的空间变换和噪音添加，形成新的图片加入到图片数据集中，提高数据的数量和数据的多样性。
46.步骤s203：将该预处理图像输入预先训练好的危险品识别模型中，输出该预处理图像的特征金字塔。
47.其中，使用cnn网络提取图片特征：将预处理图像输入训练好的神经网络中，神经网络进行前向计算，最后一个卷积层和池化层输出图片的特征矩阵fi，i表示卷积神经网络第i层得到的特征矩阵，然后从最上层的特征矩阵fi开始，向下进行上采样，得到特征矩阵将和第i层特征f
i-1
进行特征融合，得到该特征矩阵作为卷积神经网络第i-1层的特征，该特征同时包含了更底层的信息和更高层的抽象信息。对f
i-1
进行下采样，和f
i-2
融合，得到同样可得从最上层的特征矩阵fi开始，想上进行下采样，得到特征矩阵f
i 1
，f
i 2
,经过以上的上采样和下采样，得到预处理图像的特征金字塔
48.在本实施例中，该危险品识别模型通过下述步骤a1-a2训练得到：
49.步骤a1：获取预设的训练集数据；该训练集数据包括：带有该预设标注信息的原始图像和合成图像；该合成图像用于指示样品的透视图像和该透视图像背景的组合图像。
50.这里，使用x光安检机对大量安检对象进行扫描，得到一定数量的图像样本数据，该样本数据包括含有危险品的样品数据和不含有危险品的样品数据。对安检对象中的物品进行单独扫描成像，得到每个物品的单独图像，使用图片合成算法，将物品的单独图片和大量的背景图片进行组合，生成丰富的合成数据。
51.步骤a2：根据该训练集数据训练预设的初始神经网络，直至满足预设的训练结束条件，得到训练好的该危险品识别模型。
52.在本实施例中，上述步骤a2具体通过下述步骤b1-b6实现：
53.步骤b1：基于该样品的尺寸，设置该初始神经网络的兴趣区域的参数。
54.步骤b2：基于该初始神经网络，对该原始图像和该合成图像进行特征提取，得到训练集特征金字塔。
55.步骤b3：根据该训练集特征金字塔，生成该训练集特征金字塔对应的训练集兴趣区域。
56.步骤b4：基于预设的分类器对该训练集兴趣区域进行分类，得到该训练集数据的预测值；该预测值包括：该训练集兴趣区域的位置坐标和该训练集兴趣区域对应的该预设标注信息的物品品类概率向量。
57.在其中一种可能的实施方式中，在上述步骤b4之后，该方法还包括：基于非极大值抑制算法对该预测值进行筛选，得到预设数量的该预测值。
58.步骤b5：根据该预测值和该训练集兴趣区域的真实值计算该危险品识别模型的损失值。
59.这里，使用预设的损失函数值在该危险品识别模型上进行反向传播。使用批梯度下降算法更新模型的参数，直到所有训练集数据均循环一遍。
60.步骤b6：根据该损失值调整该初始神经网络的参数，并继续对参数调整后的网络进行训练，直到满足预设的训练结束条件，得到训练好的该危险品识别模型。
61.这里，是把训练集数据分为预设数量的批次的数据，每次在一批数据上，进行上述步骤b1-步骤b6，即：在一批数据上得到训练集数据的特征金字塔，得到预测值和损失值，进行一次模型参数调整。
62.在其中一种可能的实施方式中，在上述步骤b6之后，该方法还包括下述步骤b7-步骤b8：
63.步骤b7：获取预设的测试集数据；该测试集数据包括：带有该预设标注信息的原始图像和合成图像；该合成图像用于指示样品的透视图像和该透视图像背景的组合图像。
64.步骤b8：根据该测试集数据测试该危险品识别模型，直至满足预设的训练结束条件，得到经过测试的该危险品识别模型。
65.在另一种可能的实施方式中，在上述步骤b8之后，该方法还包括下述步骤b9-步骤b10：
66.步骤b9：基于该危险品识别模型收集该测试集数据中的错误数据；该错误数据用于指示该测试集数据在测试该危险品识别模型后，得到不符合预设训练结果的数据。
67.步骤b10：根据该错误数据训练该危险品识别模型，直至满足预设的训练结束条件，得到经过调整的该危险品识别模型。
68.步骤s204：根据该特征金字塔，确定该预处理图像中的兴趣区域。
69.步骤s205：基于该兴趣区域，确定该安检对象是否包含危险品，得到检测结果。
70.在其中的一种实施方式中，基于该兴趣区域，确定该安检对象是否包含危险品，得到检测结果的步骤包括：基于非极大值抑制算法对该兴趣区域内的检测框以及该检测框对应的预设标注信息进行筛选，确定该安检对象是否包含危险品，得到检测结果；该预设标注信息包括危险品品类和位置。
71.这里，使用边框预测网络和分类网络在特征图上预测物体的边框和类别：由于预处理图像的特征金字塔中包含了不同层级的尺寸不一的特征，底层的特征感受野较小，包含原始图片中更具体的细小的信息，例如线条的边缘、角点等，有利于检测尺寸小的物体，高层的特征感受野大，表示更抽象的语义特征，有利于检测大尺寸的物体，同时高层的抽象特征经过上采样融合入低层的特征，进一步提高小尺寸物体的检测性能。使用边框预测网络和分类网络在特征金字塔的每一层特征上分别进行边框的检测和分类，得到大量的候选框集合。
72.本发明实施例提供的一种危险品检测方法，其中，包括：获取安检对象的透视图像；对该透视图像进行预处理，得到该安检对象的预处理图像；将该预处理图像输入预先训练好的危险品识别模型中，输出该预处理图像的特征金字塔；根据该特征金字塔，确定该预处理图像中的兴趣区域；基于该兴趣区域，确定该安检对象是否包含危险品，得到检测结果。该方法通过预设模型快速确定图像的特征金字塔，根据该特征金字塔确定预处理图像的兴趣区域，进一步提升了危险品检测的准确程度和效率。
73.实施例3
74.本发明实施例还提供一种危险品检测装置，如图3所示，为本发明实施例提供了一种危险品检测装置的结构示意图，包括：
75.图像获取模块31，用于获取安检对象的透视图像。
76.图像预处理模块32，用于对所述透视图像进行预处理，得到所述安检对象的预处理图像。
77.兴趣区域确定模块33，用于将所述预处理图像输入预先训练好的危险品识别模型，输出所述预处理图像中的兴趣区域；所述兴趣区域为满足预设特征要求的区域。
78.检测结果确定模块34，用于基于所述兴趣区域，确定所述安检对象是否包含危险品，得到检测结果。
79.其中，上述图像获取模块31、图像预处理模块32、兴趣区域确定模块33以及检测结果确定模块34依次相连。
80.在其中一种实施方式中，上述兴趣区域确定模块33还用于将该预处理图像输入预先训练好的危险品识别模型中，输出该预处理图像的特征金字塔；根据该特征金字塔，确定该预处理图像中的兴趣区域。
81.在其中一种实施方式中，上述检测结果确定模块34还用于基于非极大值抑制算法对该兴趣区域内的检测框以及该检测框对应的预设标注信息进行筛选，确定该安检对象是否包含危险品，得到检测结果；该预设标注信息包括危险品品类和位置。
82.在其中一种实施方式中，所述装置还包括：危险识模型生成模块；该危险识模型用于生成模块用于获取预设的训练集数据；该训练集数据包括：带有该预设标注信息的原始图像和合成图像；该合成图像用于指示样品的透视图像和该透视图像背景的组合图像；根
据该训练集数据训练预设的初始神经网络，直至满足预设的训练结束条件，得到训练好的该危险品识别模型。
83.在其中一种实施方式中，上述危险识模型生成模块还用于根据该训练集数据训练预设的初始神经网络，直至满足预设的训练结束条件，得到训练好的该危险品识别模型的步骤包括：基于该样品的尺寸，设置该初始神经网络的兴趣区域的参数；基于该初始神经网络，对该原始图像和该合成图像进行特征提取，得到训练集特征金字塔；根据该训练集特征金字塔，生成该训练集特征金字塔对应的训练集兴趣区域；基于预设的分类器对该训练集兴趣区域进行分类，得到该训练集数据的预测值；该预测值包括：该训练集兴趣区域的位置坐标和该训练集兴趣区域对应的该预设标注信息的物品品类概率向量；根据该预测值和该训练集兴趣区域的真实值计算该危险品识别模型的损失值；根据该损失值调整该初始神经网络的参数，并继续对参数调整后的网络进行训练，直到满足预设的训练结束条件，得到训练好的该危险品识别模型。
84.在其中一种实施方式中，上述危险识模型生成模块还用于基于非极大值抑制算法对该预测值进行筛选，得到预设数量的该预测值。
85.在其中一种实施方式中，上述危险识模型生成模块还用于获取预设的测试集数据；该测试集数据包括：带有该预设标注信息的原始图像和合成图像；该合成图像用于指示样品的透视图像和该透视图像背景的组合图像；根据该测试集数据测试该危险品识别模型，直至满足预设的训练结束条件，得到经过测试的该危险品识别模型。
86.在其中一种实施方式中，上述危险识模型生成模块还用于基于该危险品识别模型收集该测试集数据中的错误数据；该错误数据用于指示该测试集数据在测试该危险品识别模型后，得到不符合预设训练结果的数据；根据该错误数据训练该危险品识别模型，直至满足预设的训练结束条件，得到经过调整的该危险品识别模型。
87.在其中一种实施方式中，上述图像预处理模块32还用于将该透视图像的空白区域进行剪裁，得到中间待检测图像；将该中间待检测图像进行缩放，得到该预处理图像。
88.本发明实施例提供的危险品检测装置，与上述实施例提供的危险品检测方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
89.实施例4
90.本实施例提供了一种电子设备，包括处理器和存储器，该存储器存储有能够被该处理器执行的计算机可执行指令，该处理器执行该计算机可执行指令以实现危险品检测方法的步骤。
91.本实施例提供了一种计算机可读存储介质，其中存储有计算机程序，该计算机程序被处理器执行时实现危险品检测方法的步骤。
92.参见图4所示的一种电子设备的结构示意图，该电子设备包括：存储器41、处理器42，存储器41中存储有可在处理器42上运行的计算机程序，处理器执行计算机程序时实现上述危险品检测方法提供的步骤。
93.如图4所示，该设备还包括：总线43和通信接口44，处理器42、通信接口44和存储器41通过总线43连接；处理器42用于执行存储器41中存储的可执行模块，例如计算机程序。
94.其中，存储器41可能包含高速随机存取存储器(ram，random access memory)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口44(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
95.总线43可以是isa总线、pci总线或eisa总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
96.其中，存储器41用于存储程序，处理器42在接收到执行指令后，执行程序，前述本发明任一实施例揭示危险品检测装置所执行的方法可以应用于处理器42中，或者由处理器42实现。处理器42可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器42中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器42可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现成可编程门阵列(field-programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器41，处理器42读取存储器41中的信息，结合其硬件完成上述方法的步骤。
97.进一步地，本发明实施例还提供了一种机器可读存储介质，该机器可读存储介质存储有机器可执行指令，该机器可执行指令在被处理器42调用和执行时，机器可执行指令促使处理器42实现上述危险品检测方法。
98.本发明实施例提供的电子设备和计算机可读存储介质具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
99.另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
100.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。