安检机检测模型及其训练数据生成方法、装置与流程

1.本技术涉及安检机技术领域，尤其涉及一种安检机检测模型及其训练数据生成方法、装置、存储介质和计算机设备。


背景技术：

2.安全检查是发现和消除事故隐患、落实安全措施、预防事故发生的重要手段。近年来，x光机已广泛应用于地铁站、机场等公共场所进行安检。安检人员主要是用肉眼查看x光安检摄像头拍摄的图像，容易导致漏检和误检。为了提高效率，也出现了可基于深度学习建立安检机检测模型，通过安检机检测模型实现自动检测。但安检机检测模型是由数据驱动的，训练集的数量和质量将决定检测的精度，传统的训练数据生成方法无法保证安检机检测模型的小目标检测效果。


技术实现要素：

3.本技术的目的旨在至少能解决上述的技术缺陷之一，特别是传统技术中的训练图像难以帮助安检机检测模型提高小目标检测效果的技术缺陷。
4.第一方面，本技术实施例提供了一种安检机检测模型的训练数据生成方法，包括：
5.获取第一背景物品、第一注入物品的高低能数据；
6.分别将第一背景物品的高低能数据和第一注入物品的高低能数据输入目标安检机对应的特征提取模型，得到第一背景物品的高阶物质特征和第一注入物品的高阶物质特征；高阶物质特征用于反映物品两个以上的物质属性；
7.对第一背景物品、第一注入物品的高阶物质特征进行融合，得到融合特征；
8.将融合特征输入目标安检机对应的特征还原模型，得到注入后物品的高低能数据；注入后物品为将第一注入物品融合到第一背景物品的结果；
9.根据注入后物品的高低能数据，得到第一原始图像；
10.对第一原始图像进行着色，得到第一训练图像。
11.在其中一个实施例中，在得到多个第一训练图像后，训练数据生成方法，还包括：
12.获取第二背景物品、第二注入物品的高低能成像；
13.对于一组第二背景物品、第二注入物品的高低能成像在相同位置的像素点，根据该组像素点的像素值和注入映射表，查询该组像素点的像素值对应的像素值，根据查询到的像素值确定第二训练图像在相同位置的像素点的像素值，得到第二训练图像；其中，注入映射表用于反映第一背景物品、第一注入物品的高低能成像中各像素点的像素值与对应的第一训练图像中相同位置的像素点的像素值之间的映射关系。
14.在其中一个实施例中，对第一原始图像进行着色，包括：
15.选择目标安检机对应的着色方式，对第一原始图像进行着色。
16.在其中一个实施例中，在得到第一训练图像后，还包括：
17.对第一训练图像进行数据增强，得到多个第三训练图像。
18.在其中一个实施例中，数据增强的方式包括以下任意一种：
19.对第一训练图像中的物品进行几何变换；
20.对第一训练图像中的物品进行色彩变换。
21.第二方面，本技术实施例提供了一种安检机检测模型，包括依次连接的骨干网络、特征融合网络和检测网络，安检机检测模型是利用上述任一实施例中的训练数据生成方法得到的训练集训练得到的。
22.在其中一个实施例中，特征融合网络的尾部配置了asff模块。
23.第三方面，本技术实施例提供了一种安检机检测模型的训练数据生成装置，包括：
24.高低能数据获取模块，用于获取第一背景物品、第一注入物品的高低能数据；
25.特征提取模块，用于分别将第一背景物品的高低能数据和第一注入物品的高低能数据输入目标安检机对应的特征提取模型，得到第一背景物品的高阶物质特征和第一注入物品的高阶物质特征；高阶物质特征用于反映物品两个以上的物质属性；
26.特征融合模块，用于对第一背景物品、第一注入物品的高阶物质特征进行融合，得到融合特征；
27.特征还原模块，用于将融合特征输入目标安检机对应的特征还原模型，得到注入后物品的高低能数据；注入后物品为将第一注入物品融合到第一背景物品的结果；
28.成像模块，用于根据注入后物品的高低能数据，得到第一原始图像；
29.着色模块，用于对第一原始图像进行着色，得到第一训练图像。
30.第四方面，本技术实施例提供了一种存储介质，存储介质中存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例中的训练数据生成方法的步骤。
31.第五方面，本技术实施例提供了一种计算机设备，包括一个或多个处理器，以及存储器，存储器中存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时，执行上述任一实施例中的训练数据生成方法的步骤。
32.从以上技术方案可以看出，本技术实施例具有以下优点：
33.基于上述任一实施例，利用专门适配于目标安检机的特征提取模型分别对第一背景物品和第一注入物品的高低能数据进行特征提取，得到更能反映物品在目标安检机中对x射线的吸收特性的高阶物质特征，再将第一背景物品和第一注入物品的高阶物质特征进行融合，得到反映注入后物品的高阶物质特征的融合特征，最后将融合特征还原为高低能数据，对注入后物品的高低能数据进行成像、着色，得到第一训练图像。该方法以高阶物质特征反映物质的吸收特性，使得背景物品和注入物品的融合更接近实际场景所采集到的成像，低成本且高效地生成可用于提高小目标检测效果的训练数据。
附图说明
34.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
35.图1为本技术实施例提供的安检机检测模型的训练数据生成方法的流程示意图；
36.图2为本技术实施例提供的安检机检测模型的训练数据生成装置的模块结构图；
37.图3为本技术实施例提供的计算机设备的内部结构图。
具体实施方式
38.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
39.第一方面，本技术实施例提供了一种安检机检测模型的训练数据生成方法，请参阅图1，包括步骤s102至步骤s112。
40.s102，获取第一背景物品、第一注入物品的高低能数据。
41.可以理解，目前，大部分安检机都是基于双能模型进行成像的，即安检机对物品发射连续能谱的x射线，由于物品的物质组成不同，其对x射线高能段和低能段的衰减作用也不同，基于扫描时采集到的高能数据和低能数据所得到的成像可有效将不同种类，不同厚度的物质有效的区分开来。而高低能数据即包括高能数据和低能数据。
42.在安检领域，为了生成包含违禁物品的训练图像，会采用tip技术(threat image projection，危险品注入)模拟在背景物品注入违禁物品的方式生成训练图像，背景物品可以为公文包、手提箱、书包等。而用于生成训练图像的背景物品、注入物品的扫描数据可以为日常安检中采集得到的，也可以是为了生成训练图像专门选取特定物品送入安检机中进行扫描得到的。第一背景物品即为存在相应的高低能数据的背景物品，第一注入物品即为存在相应的高低能数据的小目标注入物品(即体积较小的违禁物品)。
43.s104，分别将第一背景物品的高低能数据和第一注入物品的高低能数据输入目标安检机对应的特征提取模型，得到第一背景物品的高阶物质特征和第一注入物品的高阶物质特征。高阶物质特征用于反映物品两个以上的物质属性。
44.传统的tip技术直接将注入物品和背景物品的高低能数据进行融合，或者仅考虑物品的单一物质属性，由于小目标的体积较小，简单的融合方式容易导致小目标与背景物品中的其他物品混淆，最后融合所生成的训练图像与实际场景中小目标物品放置于背景物品中对应的成像相差较大，对于模型的而言，该种方式生成的训练图像在提高小目标检测效果的层面上学习价值不高。为了解决该问题，本技术中所生成的训练图像只能用于训练特定的安检机，即目标安检机。结合物质在目标安检机中对x射线的吸收特性，建立目标安检机对应的特征提取模型。特征提取模型可以通过对物品的高低能数据进行解析提取，得到反映物质唯一性的高阶物质特征。高阶物质特征可反映两个以上的物质属性，物质属性为对x射线的吸收存在影响的属性，如密度、线性衰减系数等。高低能数据可以反映物质对x射线的吸收情况，可以通过获取不同物品的高低能数据并实际测试物品的高阶物质特征，可建立起高低能数据与高阶物质特征之间的对应关系，特征提取模型通过对多组不同种类的物品的对应关系进行学习，即可完成训练，实现准确的特征提取。高阶物质特征可以从两个以上的维度反映物质对x射线的吸收特性，使得第一注入物品与第一背景物品中的其他物品区分度更高，与实际场景更加贴合，且保证基于不同的待选背景物品和待选注入物品的组合所生成的训练图像均有独特性，使最后生成的训练图像有利于提高小目标检测效
果。
45.s106，对第一背景物品、第一注入物品的高阶物质特征进行融合，得到融合特征。
46.而传统技术中的tip技术是直接将高低能数据进行融合，实现将注入物品注入到背景物品中，而本实施例是以高阶物质特征表征第一注入物品和第一背景物品，因此，应当从特征层面将这两个物品进行融合。该步骤可以由特征融合模型实现，将第一注入物品注入第一背景物品所得到的物品称为注入后物品，融合特征即为注入后物品的高阶物质特征。将第一注入物品和第一背景物品的高阶物质特征输入到特征融合模型即可得到注入后物品的高阶物质特征。
47.构建特征融合模型的方式有很多，可以根据实际情况进行选择，例如可以是分别对一组背景物品和注入物品进行扫描，并分别提取出这一组背景物品和注入物品的高阶物质特征，再将注入物品实际置入背景物品中再进行扫描，提取出置入后的物品高阶物质特征，从而可以建立起一组背景物品和注入物品与注入后物品的高阶物质特征之间的对应关系。通过对多组数据的学习，即可构建出用于融合高阶物质特征的特征融合模型。
48.s108，将融合特征输入目标安检机对应的特征还原模型，得到注入后物品的高低能数据。注入后物品为将第一注入物品融合到第一背景物品的结果。
49.可以理解，注入后物品即为模拟将第一注入物品放置于第一背景物品内部所得到的结果。例如，第一背景物品为a背包，第一注入物品为b违禁物品，注入后物品即为模拟出的装有b违禁物品的a背包。为了对扫描物品进行成像，仍需要将高阶物质特征还原为高低能数据。与特征提取模型类似的，特征提取模型建立了高低能数据与高阶物质特征之间的对应关系，而特征还原模型相当于特征提取模型的反向运算，将高阶物质特征还原为高低能数据。因此特征还原模型也需要考虑物质在目标安检机中对x射线的吸收特性，不同的目标安检机都有差异化的特征提取模型和特征还原模型。
50.s110，根据注入后物品的高低能数据，得到第一原始图像。
51.可以理解，第一原始图像即为模拟对注入后物品进行扫描所得到的灰度成像。利用物品的高低能数据进行成像的方法是本领域较为成熟的技术，在此不再赘述。
52.s112，对第一原始图像进行着色，得到第一训练图像。
53.可以理解，由于灰度图像的直观程度不足，安检机需要对基于高低能数据生成的灰度图像进行伪彩色着色，即根据每个像素点的灰度值，给予特定的彩色信息。安检人员所观测到的即为伪彩色的扫描成像。在伪彩色着色时，由于材料相近似的物品在灰度图像中的灰度值处于特定范围。因此，可基于灰度值对物品进行分类，如有机物、无机物和混合物，每个种类对应一种颜色，同一种类的物品以颜色深浅不同进行区分。不同安检机对颜色的选择、各颜色对应的灰度范围的划分可能不相同，因此，在进行着色时，可选择与目标安检机相同的着色方式进行着色。基于此，输入安检机检测模型的图像也为伪彩色着色的图像，因此，在得到第一原始图像后，将其伪彩色着色处理即可得到用于对安检机检测模型进行训练的第一训练图像，且该安检机检测模型专门适用于目标安检机。另外，值得一提的是，基于本实施例中的方法，通过不同第一背景物品与第一注入物品的随机组合，以及改变注入位置、注入数量等，即可得到大量包含第一训练图像的训练集。
54.基于本实施例中的训练数据生成方法，利用专门适配于目标安检机的特征提取模型分别对第一背景物品和第一注入物品的高低能数据进行特征提取，得到更能反映物品在
目标安检机中对x射线的吸收特性的高阶物质特征，再将第一背景物品和第一注入物品的高阶物质特征进行融合，得到反映注入后物品的高阶物质特征的融合特征，最后将融合特征还原为高低能数据，对注入后物品的高低能数据进行成像、着色，得到第一训练图像。该方法以高阶物质特征反映物质的吸收特性，使得背景物品和注入物品的融合更接近实际场景所采集到的成像，低成本且高效地生成可用于提高小目标检测效果的训练数据。
55.由于第一训练图像的生成需要依赖较多模型，为了进一步丰富训练集并加快数据生成速度，在利用图1中的方法得到一定数量的第一训练图像后，可以在第一训练图像的基础上生成第二训练图像。具体而言，在其中一个实施例中，在得到多个第一训练图像后，训练数据生成方法，还包括：
56.(1)获取第二背景物品、第二注入物品的高低能成像。
57.可以理解，高低能成像为基于物品的高低能数据成像并进行伪着色后的图像，第二背景物品和第二注入物品即是用来生成第二训练图像的素材，第二背景物品和第二注入物品不需要原始的高低能数据，只要有高低能成像即可。第二背景物品和第二注入物品的高低能成像可以是在日常安检过程中收集到的，也可以是为了生成训练数据专门扫描的。
58.(2)对于一组第二背景物品、第二注入物品的高低能成像相同位置的像素点，根据该组像素点的像素值和注入映射表，查询对应的像素值，根据查询到的像素值确定第二训练图像在相同位置的像素点的像素值，得到第二训练图像。
59.可以理解，生成第二训练图像的思路是不直接对第二背景物品、第二注入物品进行融合，而是通过查表的方式利用第一训练图像的融合成果。具体而言，注入映射表用于反映第一背景物品、第一注入物品的高低能成像中各像素点的像素值与对应的第一训练图像中各像素点的像素值之间的映射关系。例如，第一背景物品a1、第一注入物品b1利用图1中的方法生成了对应的第一训练图像c1。第一训练图像c1中(x,y)位置的像素点的像素值相当于是由第一背景物品a1中(x,y)位置的像素点的像素值与第一注入物品b1(x,y)位置的像素点的像素值调和得到的。
60.由于该调和均是基于图1中的流程实现的，各组第一背景物品、第一注入物品的调和方式类似，可以拟合出背景物品和注入物品同一像素点的像素值如何映射到对应的第一训练图像同一像素点的像素值，即总结所有得到的融合结果与素材图像之间的对应关系，可以得到注入映射表，用数学表达式表达即为：p
tip
＝f
map
(p
roi
，p
back
)，其中，p
tip
为第一训练图像任意一个位置的像素点的像素值，p
roi
为第一注入物品相同位置的像素点的像素值p
back
为第一背景物品相同位置的像素点的像素值，f
map
()即代表注入映射表。
61.在得到一定数量的第一训练图像后，输入一组来自第二背景物品、第二注入物品的像素值，即可查询到一个像素值，该像素值即反映与该组第二背景物品、第二注入物品类似的第一背景物品、第一注入物品融合所得到的图像在与该组像素值相同位置像素点的像素值。根据所查询到的像素值确定第二训练图像在相同位置的像素点的坐标值，再对第二训练图像每个像素点重复，即可得到第二训练图像。相当于利用了基于图1中的方法所生成的第一训练图像来实现对第二背景物品和第二注入物品的融合，在不需要增加过多额外计算的基础上，实现批量增强，低成本地实现对样本集的进一步扩展。
62.另外，值得一提的是，有些情况下，第一训练图像和高低能成像的色彩格式可能不同，在这种情况下，应先将第二背景物品、第二注入物品的高低能成像的色彩格式与第一训
练图像同步。如第一训练图像为便于着色的hsv格式，高低能成像为便于展示的rgb格式，先将第二背景物品、第二注入物品的高低能成像转换为hsv格式，再利用上述查表方式得到hsv格式的第二训练图像。如果有展示需要的话，也可以进一步将hsv格式的第一训练图像、第二训练图像转换为rgb格式。
63.在其中一个实施例中，在得到第一训练图像后，还包括：对第一训练图像进行数据增强，得到多个第三训练图像。可以理解，除了上一实施例中基于第一训练图像进行样本集扩展的方式以外，还可以采用简单的数据增强的方式，例如，对第一训练图像中的物品进行几何变换，即改变第一训练图像中的物品的摆放位置、角度等。又如，对第一训练图像中的物品进行色彩变换，着色所得到的第一训练图像，可以根据物品颜色的种类以及深浅进行区分，因此，改变颜色也相当于改变了物品的吸收特性，生成了一个新的训练图像。但值得一提的是，这里的色彩变换仅限于深浅变换，不能发生种类变换，例如不能将原本是混合物对应的颜色的物品变换为有机物的颜色。
64.本技术实施例提供了一种安检机检测模型，包括依次连接的骨干网络、特征融合网络和检测网络，安检机检测模型是利用上述任一实施例中的训练数据生成方法得到的训练集训练得到的。可以理解，经典的深度学习模型包括依次连接的骨干网络(backbone)、特征融合网络(neck)和检测网络(head)。将安检机的扫描成像输入安检机检测模型，最终将输出对违规物品的检测结果。利用专为目标安检机生成的训练图像而训练得到的安检机检测模型可以大大提高小目标检测效果。
65.在其中一个实施例中，为了方便将安检机检测模型部署于目标安检机，骨干网络可以选用深度和宽度可任意调整的网络结构。
66.在其中一个实施例中，特征融合网络的尾部配置了asff(adaptively spatial feature fusion，自适应特征融合)模块。由于安检成像为透射成像，多个物品可能存在重叠，小体积的物品更易被其他物品遮挡，为了进一步提高对小目标的检测效果。结合此数据特点在在特征融合网络的尾部接入asff模块，学习不同层特征图之间的联系来解决特征金字塔内部的不一致性问题，并几乎没有引入推理开销。
67.应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
68.本技术实施例提供了一种安检机检测模型的训练数据生成装置，请参阅图2，包括高低能数据获取模块210、特征提取模块220、特征融合模块230、特征还原模块240、成像模块250以及着色模块260。高低能数据获取模块210用于获取第一背景物品、第一注入物品的高低能数据。特征提取模块220用于分别将第一背景物品的高低能数据和第一注入物品的高低能数据输入目标安检机对应的特征提取模型，得到第一背景物品的高阶物质特征和第一注入物品的高阶物质特征。高阶物质特征用于反映物品两个以上的物质属性。特征融合模块230用于对第一背景物品、第一注入物品的高阶物质特征进行融合，得到融合特征。特征还原模块240用于将融合特征输入目标安检机对应的特征还原模型，得到注入后物品的
高低能数据。注入后物品为将第一注入物品融合到第一背景物品的结果。成像模块250用于根据注入后物品的高低能数据，得到第一原始图像。着色模块260用于对第一原始图像进行着色，得到第一训练图像。
69.在其中一个实施例中，训练数据生成装置还包括样本扩展模块。样本扩展模块用于获取第二背景物品、第二注入物品的高低能成像；对于一组第二背景物品、第二注入物品的高低能成像在相同位置的像素点，根据该组像素点的像素值和注入映射表，查询该组像素点的像素值对应的像素值，根据查询到的像素值确定第二训练图像在相同位置的像素点的像素值，得到第二训练图像；其中，注入映射表用于反映第一背景物品、第一注入物品的高低能成像中各像素点的像素值与对应的第一训练图像中相同位置的像素点的像素值之间的映射关系。
70.在其中一个实施例中，着色模块260用于选择目标安检机对应的着色方式，对第一原始图像进行着色。
71.在其中一个实施例中，样本扩展模块用于对第一训练图像进行数据增强，得到多个第三训练图像。
72.关于训练数据生成装置的具体限定可以参见上文中对于训练数据生成方法的限定，在此不再赘述。上述训练数据生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。需要说明的是，本技术实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
73.本技术实施例提供了一种存储介质，存储介质中存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例中的训练数据生成方法的步骤。
74.本技术实施例提供了一种计算机设备，包括一个或多个处理器，以及存储器，存储器中存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时，执行上述任一实施例中的训练数据生成方法的步骤。
75.示意性地，如图3所示，图3为本技术实施例提供的一种计算机设备的内部结构示意图，该计算机设备300可以被提供为一服务器。参照图3，计算机设备300包括处理组件302，其进一步包括一个或多个处理器，以及由存储器301所代表的存储器资源，用于存储可由处理组件302的执行的指令，例如应用程序。存储器301中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件302被配置为执行指令，以执行上述任意实施例的训练数据生成方法。
76.计算机设备300还可以包括一个电源组件303被配置为执行计算机设备300的电源管理，一个有线或无线网络接口304被配置为将计算机设备300连接到网络，和一个输入输出(i/o)接口305。计算机设备300可以操作基于存储在存储器301的操作系统，例如windows server tm、mac os xtm、unix tm、linux tm、free bsdtm或类似。
77.本领域技术人员可以理解，图3中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
78.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
79.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。
80.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。