目标检测网络训练及检测方法、装置、终端及存储介质与流程

1.本技术涉及图像识别技术领域，特别是涉及一种目标检测网络训练及检测方法、装置、终端及存储介质。


背景技术：

2.x光安检机正广泛应用于铁路、机场、码头、政府机关、物流等需要安全检查的重要场所，随着计算机技术和智能图像处理技术的发展，利用目标检测算法辅助安检员识别危险品可以有效地提高安检效率，还能减少由于安检员的视觉疲劳而造成的漏报和误报问题。根据不同的场景需求，x光安检机使用的射线源不完全相同，而不同的射线源成像的物体颜色也会有所差异，对于现有检测技术而言，很难有效地将不同射线源成像的图片适配于同一个算法，这就要求目标检测算法能够适用于不同射线源x光安检机的危险品检测任务。


技术实现要素：

3.本技术主要解决的技术问题是提供一种目标检测网络训练及检测方法、装置、终端及存储介质，解决现有技术中目标检测网络难以对不同射线源对应的扫描图像进行危险品检测的问题。
4.为解决上述技术问题，本技术采用的第一个技术方案是：提供一种目标检测网络训练方法，目标检测网络训练方法包括：获取源域图像集和目标域图像集，源域图像集包括多张标注有目标真实信息以及第一真实域分类标签和第二真实域分类标签的第一扫描图像；目标域图像集包括多张标注有第一真实域分类标签和第二真实域分类标签且未标注目标信息的第二扫描图像；第一扫描图像和第二扫描图像分别基于不同的射线源扫描；通过构建的初始检测网络对第一扫描图像和第二扫描图像分别进行检测，得到第一扫描图像的目标预测信息、第一预测域分类标签、第二预测域分类标签以及第二扫描图像的第一预测域分类标签和第二预测域分类标签；基于同一第一扫描图像的目标预测信息与标注的目标真实信息、同一第一扫描图像的第一预测域分类标签与标注的第一真实域分类标签和第二预测域分类标签与标注的第二真实域分类标签以及同一第二扫描图像的第一预测域分类标签与标注的第一真实域分类标签和第二预测域分类标签与标注的第二真实域分类标签标签构建损失函数；基于损失函数对初始检测网络进行迭代训练，得到目标检测网络。
5.其中，构建初始检测网络的步骤包括：基于初始目标检测网络、初始图像特征域分类网络和初始目标特征域分类网络构建初始检测网络；其中，初始目标检测网络包括顺次连接的初始特征提取模块、初始特征聚合模块和初始目标预测模块；初始特征提取模块与初始图像特征域分类网络连接，初始特征聚合模块与初始目标特征域分类网络连接。
6.其中，基于损失函数对初始检测网络进行迭代训练，得到目标检测网络，包括：基于损失函数对初始检测网络中的初始目标检测网络、初始图像特征域分类网络和初始目标特征域分类网络中的权重进行修正，得到目标检测网络、图像特征域分类网络和目标特征
域分类网络；去除图像特征域分类网络和目标特征域分类网络，保留目标检测网络。
7.其中，第一扫描图像和第二扫描图像为不同射线源的x射线对应的扫描图像；目标预测信息包括目标预测位置和目标预测类别；通过构建的初始检测网络对第一扫描图像和第二扫描图像分别进行检测，得到第一扫描图像的目标预测信息、第一预测域分类标签、第二预测域分类标签以及第二扫描图像的第一预测域分类标签和第二预测域分类标签，之前还包括：将第一扫描图像和第二扫描图像的尺寸调整至第一预设尺寸；并对第一扫描图像和第二扫描图像进行归一化处理，得到对应的预处理扫描图像。
8.其中，初始特征提取模块与初始图像特征域分类网络之间设置有第一梯度反转层；和/或初始特征聚合模块与初始目标特征域分类网络之间设置有第二梯度反转层。
9.其中，通过构建的初始检测网络对第一扫描图像和第二扫描图像分别进行检测，得到第一扫描图像的目标预测信息、第一预测域分类标签、第二预测域分类标签以及第二扫描图像的第一预测域分类标签和第二预测域分类标签，包括：通过初始特征提取模块对预处理扫描图像进行特征提取，得到对应的图像特征；通过初始图像特征域分类网络对图像特征进行域适应，得到预处理扫描图像的第一预测域分类标签。
10.其中，初始特征提取模块包括多个顺次连接的特征提取层，最后一个特征提取层与初始图像特征域分类网络连接；初始特征提取模块对预处理扫描图像进行特征提取，得到对应的图像特征，包括：最后一个特征提取层对上一特征提取层输出的特征图进行特征提取，得到图像特征。
11.其中，初始图像特征域分类网络包括顺次连接的第一图像特征提取单元和第二图像特征提取单元、池化层和全连接层；其中，第一图像特征提取单元包括级联的第一卷积层和第一激活函数层，第二图像特征提取单元为多个且顺次连接，第二图像特征提取单元包括级联的第二卷积层和第二激活函数层；初始图像特征域分类网络对图像特征进行域适应，得到预处理扫描图像的第一预测域分类标签，包括：通过第一卷积层对图像特征进行特征提取后，得到第一特征图；通过第一激活函数层对第一特征图进行非线性激活处理，得到第二特征图；将最后一个第二图像特征提取单元中的第二卷积层对应的特征图与之前至少一个第二图像特征提取单元中的第二卷积层对应的特征图进行融合，得到第三特征图；最后一个第二图像特征提取单元中的第二激活函数层对第三特征图进行非线性激活处理，得到第四特征图；通过池化层对第四特征图的尺寸进行调节；全连接层基于尺寸调节后的第四特征图，确定第一扫描图像/第二扫描图像的第一预测域分类标签。
12.其中，第二卷积层包括至少两个卷积核，第二卷积层为深度可分离卷积层。
13.其中，初始图像特征域分类网络对图像特征进行域适应，得到预处理扫描图像的第一预测域分类标签，还包括：将第一特征图的尺寸调节至第二预设尺寸。
14.其中，池化层包括全局平均池化层和全局最大池化层；通过池化层对第四特征图的尺寸进行调节，包括：全局平均池化层对第四特征图进行尺寸调节，得到第五特征图；全局最大池化层对第四特征图进行尺寸调节，得到第六特征图；全连接层基于尺寸调节后的第四特征图，确定第一扫描图像/第二扫描图像的第一预测域分类标签，包括：全连接层对第五特征图和第六特征图进行特征融合，确定第一扫描图像/第二扫描图像的第一预测域分类标签。
15.其中，通过构建的初始检测网络对第一扫描图像和第二扫描图像分别进行检测，
得到第一扫描图像的目标预测信息、第一预测域分类标签、第二预测域分类标签以及第二扫描图像的第一预测域分类标签和第二预测域分类标签，还包括：初始特征聚合模块对图像特征进行特征聚合，得到目标特征；初始目标特征域分类网络对目标特征进行域适应，得到预处理扫描图像的第二预测域分类标签。
16.其中，初始特征聚合模块对图像特征进行特征聚合，得到目标特征，包括：通过初始特征聚合模块对图像特征进行尺寸调节，得到多个尺寸不同的特征图；将多个特征图进行特征融合，得到第一扫描图像/第二扫描图像对应的目标特征。
17.其中，初始目标特征域分类网络包括级联的第一目标特征提取单元、第二目标特征提取单元和第三目标特征提取单元；第一目标特征提取单元包括级联的第一特征提取层和第一激活层，第二目标特征提取单元包括级联的第二特征提取层和第二激活层，第三特征提取单元包括级联的第三特征提取层和输出层；初始目标特征域分类网络对目标特征进行域适应，得到预处理扫描图像的第二预测域分类标签，包括：通过第一目标特征提取单元中的第一特征提取层对第一扫描图像/第二扫描图像对应的目标特征进行特征提取，得到第一目标特征图；通过第一激活层对第一目标特征图进行非线性激活，得到第二目标特征图；通过最后一个第二目标特征提取单元中的第二特征提取层对应的目标特征图与之前至少一个第二目标特征提取单元中的第二特征提取层对应的目标特征图进行融合，得到第三目标特征图；通过最后一个第二目标特征提取单元中的第二激活层对第三目标特征图进行非线性激活处理，得到第四目标特征图；通过第三特征提取单元中的第三特征提取层对第四目标特征图进行特征提取，得到第五目标特征图；输出层基于第五目标特征图确定第一扫描图像/第二扫描图像的第二预测域分类标签。
18.其中，第二特征提取层包括至少两个卷积核，第二特征提取层为深度可分离卷积层。
19.其中，通过构建的初始检测网络对第一扫描图像和第二扫描图像分别进行检测，得到第一扫描图像的目标预测信息、第一预测域分类标签、第二预测域分类标签以及第二扫描图像的第一预测域分类标签和第二预测域分类标签，还包括：初始目标预测模块对第一扫描图像/第二扫描图像对应的目标特征进行目标检测，得到预处理扫描图像中包含目标的目标预测信息。
20.其中，基于同一第一扫描图像的目标预测信息与标注的目标真实信息、同一第一扫描图像的第一预测域分类标签与标注的第一真实域分类标签和第二预测域分类标签与标注的第二真实域分类标签以及同一第二扫描图像的第一预测域分类标签与标注的第一真实域分类标签和第二预测域分类标签与标注的第二真实域分类标签标签构建损失函数，包括：损失函数为：
[0021][0022]
式中：l
det
为目标检测网络的目标信息损失函数；为图像特征域分类网络的域分类标签损失函数；为目标特征域分类网络的域分类标签损失函数；λ为加权系数。
[0023]
其中，基于同一第一扫描图像的目标预测信息与标注的目标真实信息、同一第一扫描图像的第一预测域分类标签与标注的第一真实域分类标签和第二预测域分类标签与标注的第二真实域分类标签以及同一第二扫描图像的第一预测域分类标签与标注的第一
真实域分类标签和第二预测域分类标签与标注的第二真实域分类标签标签构建损失函数，包括：图像特征域分类网络的域分类标签损失函数为：
[0024][0025]
式中：为图像特征域分类网络的域分类标签损失函数；m为第一扫描图像和第二扫描图像的总数量；n 1为第一预测域分类标签的总数量；imc是符号函数，当第m个扫描图像的第一真实域分类标签等于c时，该函数取值为1，否则取值为0，为第m个扫描图像属于类别c的预测概率，其中，第一预测域分类标签表示该扫描图像属于源域图像集还是属于目标域图像集。
[0026]
其中，基于同一第一扫描图像的目标预测信息与标注的目标真实信息、同一第一扫描图像的第一预测域分类标签与标注的第一真实域分类标签和第二预测域分类标签与标注的第二真实域分类标签以及同一第二扫描图像的第一预测域分类标签与标注的第一真实域分类标签和第二预测域分类标签与标注的第二真实域分类标签标签构建损失函数，包括：目标特征域分类网络的域分类标签损失函数为：
[0027][0028]
式中，为目标特征域分类网络的域分类标签损失函数；表示第m个扫描图像的目标特征域分类网络输出的结果中在坐标处预测为第二预测域类别标签的概率。
[0029]
其中，通过构建的初始检测网络对第一扫描图像和第二扫描图像分别进行检测，得到第一扫描图像的目标预测信息、第一预测域分类标签、第二预测域分类标签以及第二扫描图像的第一预测域分类标签和第二预测域分类标签，之前还包括：对初始检测网络中的初始目标检测网络进行预训练。
[0030]
其中，对初始检测网络中的初始目标检测网络进行预训练，包括：通过初始目标检测网络对第一扫描图像进行检测，得到第一扫描图像的目标预测信息；通过第一扫描图像的同一目标对应的目标预测信息与目标真实信息构建初始损失函数；基于初始损失函数对初始目标检测网络进行预训练。
[0031]
为解决上述技术问题，本技术采用的第二个技术方案是：提供一种目标检测方法，目标检测方法包括：获取待检测图像；待检测图像包括至少一个目标对象；对待检测图像进行预处理，得到预处理图像；通过目标检测网络对预处理图像进行目标检测，得到目标对象的目标对象信息；其中，目标检测网络是通过上述目标检测网络训练方法得到。
[0032]
其中，目标对象信息包括目标位置和目标类别；对待检测图像进行预处理，得到预处理图像，包括：将待检测图像的尺寸调整至预设尺寸；并对待检测图像进行归一化处理，得到对应的预处理图像。
[0033]
为解决上述技术问题，本技术采用的第三个技术方案是：提供一种训练装置，训练装置包括：样本获取模块，用于获取源域图像集和目标域图像集，源域图像集包括多张标注有目标真实信息以及第一真实域分类标签和第二真实域分类标签的第一扫描图像；目标域图像集包括多张标注有第一真实域分类标签和第二真实域分类标签且未标注目标信息的第二扫描图像；第一扫描图像和第二扫描图像分别基于不同的射线源扫描；预测模块，用于
通过构建的初始检测网络对第一扫描图像和第二扫描图像分别进行检测，得到第一扫描图像的目标预测信息、第一预测域分类标签、第二预测域分类标签以及第二扫描图像的第一预测域分类标签和第二预测域分类标签；函数构建模块，用于基于同一第一扫描图像的目标预测信息与标注的目标真实信息、同一第一扫描图像的第一预测域分类标签与标注的第一真实域分类标签和第二预测域分类标签与标注的第二真实域分类标签以及同一第二扫描图像的第一预测域分类标签与标注的第一真实域分类标签和第二预测域分类标签与标注的第二真实域分类标签标签构建损失函数；处理模块，用于基于损失函数对初始检测网络进行迭代训练，得到目标检测网络。
[0034]
为解决上述技术问题，本技术采用的第四个技术方案是：提供一种目标检测装置，目标检测装置包括：图像获取模块，用于获取待检测图像；待检测图像包括至少一个目标对象；预处理模块，用于对待检测图像进行预处理，得到预处理图像；检测模块，用于通过目标检测网络对预处理图像进行目标检测，得到目标对象的目标对象信息；其中，目标检测网络是通过上述目标检测网络训练方法得到。
[0035]
为解决上述技术问题，本技术采用的第五个技术方案是：提供一种终端，该终端包括存储器、处理器以及存储于存储器中并在处理器上运行的计算机程序，处理器用于执行程序数据以实现上述图像质量评估方法中的步骤。
[0036]
为解决上述技术问题，本技术采用的第六个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述图像质量评估方法中的步骤。
[0037]
本技术的有益效果是：区别于现有技术的情况，提供的一种目标检测网络训练及检测方法、装置、终端及存储介质，目标检测网络训练方法包括：获取源域图像集和目标域图像集，源域图像集包括多张标注有目标真实信息以及第一真实域分类标签和第二真实域分类标签的第一扫描图像；目标域图像集包括多张标注有第一真实域分类标签和第二真实域分类标签且未标注目标信息的第二扫描图像；第一扫描图像和第二扫描图像分别基于不同的射线源扫描；通过构建的初始检测网络对第一扫描图像和第二扫描图像分别进行检测，得到第一扫描图像的目标预测信息、第一预测域分类标签、第二预测域分类标签以及第二扫描图像的第一预测域分类标签和第二预测域分类标签；基于同一第一扫描图像的目标预测信息与标注的目标真实信息、同一第一扫描图像的第一预测域分类标签与标注的第一真实域分类标签和第二预测域分类标签与标注的第二真实域分类标签以及同一第二扫描图像的第一预测域分类标签与标注的第一真实域分类标签和第二预测域分类标签与标注的第二真实域分类标签标签构建损失函数；基于损失函数对初始检测网络进行迭代训练，得到目标检测网络。本技术通过初始检测网络对源域图像集和目标域图像集中包含的扫描图像进行预测，并基于第一扫描图像和第二扫描图像分别对应的第一预测域分类标签和第二预测域分类标签与第一扫描图像和第二扫描图像分别对应的第一真实域分类标签和第二真实域分类标签训练初始检测网络，节约了对第二扫描图像的真实信息标注的时间成本和人力成本，得到的目标检测网络可以对不同射线源采集的扫描图像进行危险品检测，使目标检测网络的适用范围更广。
附图说明
[0038]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0039]
图1是本技术提供的目标检测网络训练方法的流程示意图；
[0040]
图2是本技术提供的目标检测网络训练方法一具体实施例的流程示意图；
[0041]
图3是图2提供的目标检测网络训练方法中步骤s203一具体实施例的流程示意图；
[0042]
图4是本技术提供的目标检测网络训练方法一具体实施例的结构框图；
[0043]
图5是本技术提供的初始目标检测网络一具体实施例的结构框图；
[0044]
图6是本技术提供的初始图像特征域分类网络一具体实施例的结构框图；
[0045]
图7是本技术提供的初始目标特征域分类网络一具体实施例的结构框图；
[0046]
图8是本技术提供的第二卷积层或第二特征提取层一具体实施例的结构框图；
[0047]
图9是本技术提供的目标检测方法的流程示意图；
[0048]
图10是本技术提供的目标检测方法一具体实施例的流程示意图；
[0049]
图11是本技术提供的目标检测网络训练装置的示意框图；
[0050]
图12是本技术提供的目标检测装置的示意框图；
[0051]
图13是本技术提供的终端一实施方式的示意框图；
[0052]
图14是本技术提供的计算机可读存储介质一实施方式的示意框图。
具体实施方式
[0053]
下面结合说明书附图，对本技术实施例的方案进行详细说明。
[0054]
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本技术。
[0055]
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
[0056]
为使本领域的技术人员更好地理解本技术的技术方案，下面结合附图和具体实施方式对本技术所提供的一种目标检测网络训练方法和目标检测方法做进一步详细描述。
[0057]
请参阅图1，图1是本技术提供的目标检测网络训练方法的流程示意图。本实施例中提供一种目标检测网络训练方法，该目标检测网络训练方法包括如下步骤。
[0058]
s11：获取源域图像集和目标域图像集。
[0059]
具体地，源域图像集包括多张标注有目标真实信息以及第一真实域分类标签和第二真实域分类标签的第一扫描图像；目标域图像集包括多张标注有第一真实域分类标签和第二真实域分类标签且未标注目标信息的第二扫描图像。第一扫描图像和第二扫描图像为不同射线源对应的x射线的扫描图像。本实施例中，基于不同射线源是指电压、电流不同或能量光谱不同，x射线的穿透力不同，得到的扫描图像不同。目标真实信息包括目标真实位置和目标真实类别。
[0060]
s12：通过构建的初始检测网络对第一扫描图像和第二扫描图像分别进行检测，得到第一扫描图像的目标预测信息、第一预测域分类标签、第二预测域分类标签以及第二扫描图像的第一预测域分类标签和第二预测域分类标签。
[0061]
具体地，基于初始目标检测网络、初始图像特征域分类网络和初始目标特征域分类网络构建初始检测网络；其中，初始目标检测网络包括顺次连接的初始特征提取模块、初始特征聚合模块和初始目标预测模块；初始特征提取模块与初始图像特征域分类网络连接，初始特征聚合模块与初始目标特征域分类网络连接。其中，初始特征提取模块与初始图像特征域分类网络之间设置有第一梯度反转层；和/或初始特征聚合模块与初始目标特征域分类网络之间设置有第二梯度反转层。
[0062]
在一实施例中，将第一扫描图像和第二扫描图像的尺寸调整至第一预设尺寸；并对第一扫描图像和第二扫描图像进行归一化处理，得到对应的预处理扫描图像。
[0063]
在一实施例中，通过初始特征提取模块对预处理扫描图像进行特征提取，得到对应的图像特征；通过初始图像特征域分类网络对图像特征进行域适应，得到预处理扫描图像的第一预测域分类标签。
[0064]
在一实施例中，初始特征提取模块包括多个顺次连接的特征提取层，最后一个特征提取层与初始图像特征域分类网络连接；最后一个特征提取层对上一特征提取层输出的特征图进行特征提取，得到图像特征。
[0065]
在一实施例中，初始图像特征域分类网络包括顺次连接的第一图像特征提取单元和第二图像特征提取单元、池化层和全连接层；其中，第一图像特征提取单元包括级联的第一卷积层和第一激活函数层，第二图像特征提取单元为多个且顺次连接，第二图像特征提取单元包括级联的第二卷积层和第二激活函数层；通过第一卷积层对图像特征进行特征提取后，得到第一特征图；通过第一激活函数层对第一特征图进行非线性激活处理，得到第二特征图；将最后一个第二图像特征提取单元中的第二卷积层对应的特征图与之前至少一个第二图像特征提取单元中的第二卷积层对应的特征图进行融合，得到第三特征图；最后一个第二图像特征提取单元中的第二激活函数层对第三特征图进行非线性激活处理，得到第四特征图；通过池化层对第四特征图的尺寸进行调节；全连接层基于尺寸调节后的第四特征图，确定第一扫描图像/第二扫描图像的第一预测域分类标签。其中，第二卷积层包括至少两个卷积核，第二卷积层为深度可分离卷积层。优选的，将第一特征图调节至第二预设尺寸。
[0066]
在一实施例中，池化层包括全局平均池化层和全局最大池化层。全局平均池化层对第四特征图进行尺寸调节，得到第五特征图；全局最大池化层对第四特征图进行尺寸调节，得到第六特征图；全连接层对第五特征图和第六特征图进行特征融合，确定第一扫描图像/第二扫描图像的第一预测域分类标签。
[0067]
在一实施例中，初始特征聚合模块对图像特征进行特征聚合，得到目标特征；初始目标特征域分类网络对目标特征进行域适应，得到预处理扫描图像的第二预测域分类标签。具体地，通过初始特征聚合模块对图像特征进行尺寸调节，得到多个尺寸不同的特征图；将多个特征图进行特征融合，得到第一扫描图像/第二扫描图像对应的目标特征。
[0068]
在一实施例中，初始目标特征域分类网络包括级联的第一目标特征提取单元、第二目标特征提取单元和第三目标特征提取单元；第一目标特征提取单元包括级联的第一特
征提取层和第一激活层，第二目标特征提取单元包括级联的第二特征提取层和第二激活层，第三特征提取单元包括级联的第三特征提取层和输出层；通过第一目标特征提取单元中的第一特征提取层对第一扫描图像/第二扫描图像对应的目标特征进行特征提取，得到第一目标特征图；通过第一激活层对第一目标特征图进行非线性激活，得到第二目标特征图；通过最后一个第二目标特征提取单元中的第二特征提取层对应的目标特征图与之前至少一个第二目标特征提取单元中的第二特征提取层对应的目标特征图进行融合，得到第三目标特征图；通过最后一个第二目标特征提取单元中的第二激活层对第三目标特征图进行非线性激活处理，得到第四目标特征图；通过第三特征提取单元中的第三特征提取层对第四目标特征图进行特征提取，得到第五目标特征图；输出层基于第五目标特征图确定第一扫描图像/第二扫描图像的第二预测域分类标签。其中，第二特征提取层包括至少两个卷积核，第二特征提取层为深度可分离卷积层。
[0069]
在一实施例中，初始目标预测模块对第一扫描图像/第二扫描图像对应的目标特征进行目标检测，得到预处理扫描图像中包含目标的目标预测信息。
[0070]
s13：基于同一第一扫描图像的目标预测信息与标注的目标真实信息、同一第一扫描图像的第一预测域分类标签与标注的第一真实域分类标签和第二预测域分类标签与标注的第二真实域分类标签以及同一第二扫描图像的第一预测域分类标签与标注的第一真实域分类标签和第二预测域分类标签与标注的第二真实域分类标签标签构建损失函数。
[0071]
具体地，损失函数为：
[0072][0073]
式中：l
det
为目标检测网络的目标信息损失函数；为图像特征域分类网络的域分类标签损失函数；为目标特征域分类网络的域分类标签损失函数；λ为加权系数。
[0074]
在一实施例中，图像特征域分类网络的域分类标签损失函数为：
[0075][0076]
式中：为图像特征域分类网络的域分类标签损失函数；m为第一扫描图像和第二扫描图像的总数量；n 1为第一预测域分类标签的总数量；i
mc
是符号函数，当第m个扫描图像的第一真实域分类标签等于c时，该函数取值为1，否则取值为0，为第m个扫描图像属于类别c的预测概率，其中，第一预测域分类标签表示该扫描图像属于源域图像集还是属于目标域图像集。
[0077]
在一实施例中，目标特征域分类网络的域分类标签损失函数为：
[0078][0079]
式中，为目标特征域分类网络的域分类标签损失函数；表示第m个扫描图像的目标特征域分类网络输出的结果中在坐标处预测为第二预测域类别标签的概率。
[0080]
s14：基于损失函数对初始检测网络进行迭代训练，得到目标检测网络。
[0081]
具体地，基于损失函数对初始检测网络中的初始目标检测网络、初始图像特征域分类网络和初始目标特征域分类网络中的权重进行修正，得到目标检测网络、图像特征域
分类网络和目标特征域分类网络；去除图像特征域分类网络和目标特征域分类网络，保留目标检测网络。
[0082]
在一实施例中，在步骤s12之前，对初始检测网络中的初始目标检测网络进行预训练。具体地，通过初始目标检测网络对第一扫描图像进行检测，得到第一扫描图像的物品预测信息；通过第一扫描图像的物品预测信息与目标真实信息之间的损失值对初始目标检测网络进行预训练。
[0083]
本实施例提供的目标检测网络训练方法包括：源域图像集包括多张标注有目标真实信息以及第一真实域分类标签和第二真实域分类标签的第一扫描图像；目标域图像集包括多张标注有第一真实域分类标签和第二真实域分类标签且未标注目标信息的第二扫描图像；第一扫描图像和第二扫描图像分别基于不同的射线源扫描；通过构建的初始检测网络对第一扫描图像和第二扫描图像分别进行检测，得到第一扫描图像的目标预测信息、第一预测域分类标签、第二预测域分类标签以及第二扫描图像的第一预测域分类标签和第二预测域分类标签；基于同一第一扫描图像的目标预测信息与标注的目标真实信息、同一第一扫描图像的第一预测域分类标签与标注的第一真实域分类标签和第二预测域分类标签与标注的第二真实域分类标签以及同一第二扫描图像的第一预测域分类标签与标注的第一真实域分类标签和第二预测域分类标签与标注的第二真实域分类标签标签构建损失函数；基于损失函数对初始检测网络进行迭代训练，得到目标检测网络。本技术通过初始检测网络对源域图像集和目标域图像集中包含的扫描图像进行预测，并基于第一扫描图像和第二扫描图像分别对应的第一预测域分类标签和第二预测域分类标签与第一扫描图像和第二扫描图像分别对应的第一真实域分类标签和第二真实域分类标签训练初始检测网络，节约了对第二扫描图像的真实信息标注的时间成本和人力成本，得到的目标检测网络可以对不同射线源采集的扫描图像进行危险品检测，使目标检测网络的适用范围更广。
[0084]
请参阅图2，图2是本技术提供的目标检测网络训练方法一具体实施例的流程示意图。本实施例中提供一种目标检测网络训练方法，该目标检测网络训练方法包括如下步骤。
[0085]
s201：获取源域图像集和目标域图像集。
[0086]
具体地，源域图像集包括多张标注有目标的目标真实信息、第一真实域分类标签和第二真实域分类标签的第一扫描图像；目标域图像集包括多张标注有第一真实域分类标签和第二真实域分类标签且未标注目标的目标真实信息的第二扫描图像；第一扫描图像和第二扫描图像中的目标相同且基于不同的射线源采集。其中，源域图像集中包含的第一扫描图像均为已经标注了目标的目标真实信息的图像。其中，目标真实信息包括目标真实位置和目标真实类别。其中，第一扫描图像和第二扫描图像是通过x光安检机采集的扫描图像，第一扫描图像和第二扫描图像的射线源不同。其中，扫描得到第一扫描图像和第二扫描图像的射线源可以为电压、电流不同或能量光谱不同的x射线，x射线的穿透力不同，得到的扫描图像不同。。
[0087]
在一具体实施例中，通过不同射线源扫描同一目标或不同目标，得到至少两张不同的扫描图像，对其中一张扫描图像进行标注，将标注的扫描图像作为第一扫描图像，标注第一扫描图像中包含的所有目标的目标真实信息，以及第一扫描图像的第一真实域分类标签和第二真实域分类标签。将其它射线源得到的扫描图像作为第二扫描图像，不标注第二扫描图像中包含目标的目标真实信息，标注第二扫描图像的第一真实域分类标签和第二真
实域分类标签。
[0088]
标注了目标真实信息、第一真实域分类标签、第二真实域分类标签的第一扫描图像为源数据；标注了第一真实域分类标签、第二真实域分类标签的第二扫描图像为目标数据。在本实施例中，第一扫描图像和第二扫描图像中包含的危险品作为目标。例如，当第一扫描图像和第二扫描图像包含小刀时，则标注目标真实类别为刀具。
[0089]
在一可选实施例中，源数据对应的第一真实域分类标签是一个维度为(n 1，1)的one-hot矩阵；其中，n为不同射线源的数量。具体地，源数据对应的第一真实域分类标签为[1，0，0，
…
，0]，第1个其它射线源采集的目标数据对应的第一真实域分类标签是[0，1，0，
…
，0]。以此类推，第n个其它射线源采集的目标数据对应的第一真实域分类标签是[0，0，0，
…
，1]。
[0090]
在一可选实施例中，目标数据对应的第二真实域分类标签是一个维度为(n 1，256)的矩阵；其中，n为不同射线源的数量。具体地，源数据对应的第二真实域分类标签的分类标签中，第一维全是1，其它维度全是0。目标数据对应的第二真实域分类标签中，第1个其它射线源采集的目标数据对应的第二真实域分类标签是第二维全是1，其它维度全是0。以此类推，第n个其它射线源采集的目标数据对应的第二真实域分类标签是第n维全是1，其它维度全是0。
[0091]
s202：对第一扫描图像和第二扫描图像进行预处理。
[0092]
具体地，将第一扫描图像和第二扫描图像的尺寸调整至第一预设尺寸。在一具体实施例中，第一预设尺寸为512*512*3。在其它可选实施例中，也可以根据实际情况自行设定第一预设尺寸。在一具体实施例中，将第一扫描图像和第二扫描图像分别插值至长宽为512*512*3尺寸大小的图像。
[0093]
在一实施例中，根据第一扫描图像和尺寸调节后的第一扫描图像的尺寸关系，修正第一扫描图像中包含目标的目标真实位置。即用目标在尺寸调节后的第一扫描图像中的坐标位置作为目标真实位置。
[0094]
在一实施例中，对尺寸调节后的第一扫描图像和尺寸调节后的第二扫描图像进行归一化处理，得到第一扫描图像对应的预处理扫描图像和第二扫描图像对应的预处理扫描图像。
[0095]
s203：对初始目标检测网络进行训练，得到预训练目标检测网络。
[0096]
具体地，为了提高初始目标检测网络检测目标的准确率和精确度，且尽量缩短后续步骤中借助域适应技术训练初始检测网络的工作量，且加快训练速度，可以预先对初始目标检测网络进行预训练，对初始目标检测网络中各模块的权重进行初步修正。
[0097]
在一实施例中，通过源域图像集对初始目标检测网络进行训练。初始目标检测网络为三层结构，包括顺次连接的初始特征提取模块、初始特征聚合模块和初始目标预测模块。在本实施例中，初始目标检测网络可以直接采用yolo-v4(you only look once-v4)网络结构，不需要对yolo-v4网络结构进行修改。在其它可选实施例中，也可以采用任意一种单阶段目标检测网络结构，只需要知道目标检测网络的主干网络部分和输出部分。
[0098]
请参阅图3，图3是图2提供的目标检测网络训练方法中步骤s203一具体实施例的流程示意图。
[0099]
其中，将初始目标检测网络训练得到预训练目标检测网络的具体步骤如下。
[0100]
s2031：通过初始目标检测网络对第一扫描图像进行检测，得到第一扫描图像的目标预测信息。
[0101]
具体地，通过初始目标检测网络对源域图像集中的多张第一扫描图像分别进行目标预测，得到第一扫描图像中包含的所有目标的目标预测信息。其中，目标预测信息包括目标预测位置和目标预测类别。
[0102]
s2032：通过第一扫描图像的同一目标对应的目标预测信息与目标真实信息构建初始损失函数。
[0103]
具体地，基于第一扫描图像中同一目标对应的目标真实位置与目标预测位置、目标真实类别与目标预测类别构建初始损失函数。在本实施例中，为了加快对初始目标检测网络的训练速度，使用的优化器可以为sgd(stochastic gradient descent，随机梯度下降算法)。
[0104]
s2033：基于初始损失函数对初始目标检测网络进行训练得到预训练目标检测网络。
[0105]
具体地，基于第一扫描图像中目标真实位置与目标预测位置之间的损失值和目标真实类别与目标预测类别之间的损失值对初始目标检测网络进行预训练，得到预训练目标检测网络，以提高预训练目标检测网络的检测准确率。其中，设定初始目标检测网络的学习率为0.0001。
[0106]
在一具体实施例中，初始目标检测网络的预测结果反向传播，根据初始损失函数反馈的损失值对初始目标检测网络的权重进行修正。在一可选实施例中，也可以对初始目标检测网络的参数进行修正，实现对初始目标检测网络的训练。本实施例中，对初始特征提取模块、初始特征聚合模块和初始目标预测模块中的参数进行修正得到预训练特征提取模块、预训练特征聚合模块和预训练目标预测模块。
[0107]
将包含有目标的第一扫描图像输入到初始目标检测网络中，初始目标检测网络对目标位置和目标类别进行预测。当目标真实位置与目标预测位置之间的损失值和目标真实类别与目标预测类别之间的损失值的加权和小于预设阈值，预设阈值可以自行设置，例如1％、5％等，则停止对初始目标检测网络的训练并获得预训练目标检测网络。
[0108]
在另一可选实施例中，可以通过源域图像集中包含的第一扫描图像对初始目标检测网络训练预设次数后，即得到预训练目标检测网络。在本实施例中，预设次数为100次。也可以根据实际情况自行设置。
[0109]
s204：基于预训练目标检测网络、初始图像特征域分类网络和初始目标特征域分类网络构建初始检测网络。
[0110]
在本实施例中，在预训练目标检测网络中加入域适应技术，可以通过目标域图像集中没有标注目标真实信息的第二扫描图像实现对预训练目标检测网络的训练。
[0111]
具体地，经过训练得到的预训练目标检测网络的结构与初始目标检测网络的结构相同，仅对初始目标检测网络中包含的各个模块的参数进行修正，因此预训练目标检测网络包括顺次连接的预训练特征提取模块、预训练特征聚合模块和预训练目标预测模块。
[0112]
请参阅图4和图5，图4是本技术提供的目标检测网络训练方法一具体实施例的结构框图；图5是本技术提供的初始目标检测网络一具体实施例的结构框图。
[0113]
在本实施例中，预训练特征提取模块为骨架网络，可以为csp-darknet结构，主要
用于对图像特征进行提取。例如，预训练特征提取模块为cspdarknet53结构，如图4。预训练特征聚合模块包括spp(spatial pyramid pooling，空间金字塔池化)网络结构和panet结构，主要用于对提取的特征进行融合得到图像特征。spp网络结构使用不同尺度的最大池化后进行特征图堆叠。在本实施例中，最大池化层为3个。其中，spp网络结构与csp-darknet结构连接，panet结构分别与spp网络结构与csp-darknet结构连接。预训练目标预测模块可以为yolo head，yolo head与panet结构连接，且yolo head为三个，主要用于基于聚合的图像特征进行目标预测。其中，三个yolo head为fpn(feature pyramid networks，特征金字塔网络)输出的三个分支，如图5。
[0114]
由于不同射线源对应的扫描图像的整体亮度和/或风格不相同，因此需要对扫描图像的全局特征进行域适应，因此，将初始图像特征域分类网络与预训练特征提取模块进行连接，进而使不同射线源对应的扫描图像的全局特征能够实现分布对齐。在一具体实施例中，确定目标检测网络的主干网络部分，将初始图像特征域分类网络与主干网络的最后一层进行连接。在本实施例中，预训练特征提取模块与初始图像特征域分类网络之间设置有第一梯度反转层。具体地，在csp-darknet结构的最后一个“resblock_body”与初始图像特征域分类网络之间设置有第一梯度反转层。
[0115]
由于不同射线源对应的扫描图像中的同一目标的颜色和/或大小均不相同，因此需要对扫描图像的目标特征进行域适应。因此，将预训练特征聚合模块与初始目标特征域分类网络进行连接，进而使不同射线源对应的扫描图像的目标特征能够实现分布对齐。在一具体实施例中，确定目标检测网络的输出部分，将初始目标特征域分类网络与输出层的前两层进行连接。具体地，将初始目标特征域分类网络与yolo-v4网络结构中yolo head前的“conv”进行连接。在本实施例中，预训练特征聚合模块与初始目标特征域分类网络之间设置有第二梯度反转层。具体地，在yolo-v4网络结构中yolo head前的“conv”与初始目标特征域分类网络之间设置有第二梯度反转层。
[0116]
其中，第一梯度反转层和第二梯度反转层均用于混淆源域图像集和目标域图像集，以缩小第一扫描图像和第二扫描图像之间的差异，使第一扫描图像和第二扫描图像几乎边缘分布相同，进而提升初始图像特征域分类网络和初始目标特征域分类网络的分类准确率和精确度。
[0117]
在本实施例中，通过源域图像集和目标域图像集对初始检测网络进行训练，校正预训练目标检测网络、初始图像特征域分类网络和初始目标特征域分类网络中的参数，使训练得到的目标检测网络可以检测不同射线源对应的扫描图像中的危险品，进而提升目标检测网络的适用性。
[0118]
在一具体实施例中，初始图像特征域分类网络可以为图像全局特征域分类器。初始目标特征域分类网络可以为图像局部特征域分类器。
[0119]
s205：通过预训练目标检测网络对第一扫描图像和第二扫描图像进行目标预测。
[0120]
具体地，将上述步骤s202中进行尺寸调节的多张第一扫描图像和多张第二扫描图像输入到预训练目标检测网络中，预训练目标检测网络对多张第一扫描图像和多张第二扫描图像分别进行目标检测得到各第一扫描图像中的目标预测信息。其中，目标检测信息包括目标预测位置和目标预测类别。
[0121]
预训练特征提取模块对预处理扫描图像进行特征提取，得到对应的图像特征。预
训练特征提取模块包括多个顺次连接的特征提取层，最后一个特征提取层与初始图像特征域分类网络连接，最后一个特征提取层对上一特征提取层输出的特征图进行特征提取，得到图像特征。在本实施例中，特征提取层为五个，且最后一个特征提取层与初始图像特征域分类网络连接。其中，五个特征提取层的卷积核的大小各不相同。具体地，将yolo-v4网络的结构中csp-darknet结构的最后一个“resblock_body”的输出特征输入到初始图像特征域分类网络中，因为最后一个“resblock_body”是yolo-v4的主干网络的最后一层，其提取的特征包含的信息较为丰富，因此，对这一层的输出特征进行图像特征域适应。
[0122]
在一具体实施例中，通过预训练特征提取模块对步骤s202中得到的预处理第一扫描图像和预处理第二扫描图像分别进行特征提取，得到第一扫描图像对应的图像特征和第二扫描图像对应的图像特征，以使初始图像特征域分类网络根据预训练特征提取模块输出的图像特征预测第一扫描图像的第一预测域分类标签、第二扫描图像的第一预测域分类标签。
[0123]
预训练特征聚合模块对图像特征进行特征聚合，得到目标特征。其中，特征聚合模块对图像特征进行特征聚合，得到目标特征；其中，多个目标特征的尺寸不同。在一具体实施例中，csp-darknet结构的最后一个“resblock_body”输出的图像特征作为spp网络结构的输入，spp网络结构对图像特征进行5*5、9*9和13*13的最大池化，以增加目标检测网络的感受野。将图像特征对应的三个池化特征进行融合得到目标特征。在另一具体实施例中，panet结构对csp-darknet结构中最后一个“resblock_body”之前的至少一个“resblock_body”输出的图像特征、spp网络结构输出的经过融合的图像特征分别进行上采样或下采样处理，得到对应的目标特征。在一具体实施例中，预训练特征聚合模块中的spp网络结构和panet结构与初始目标特征域分类网络连接，以使初始目标特征域分类网络根据spp网络结构和panet结构分别输出的目标特征预测第一扫描图像的第二预测域分类标签、第二扫描图像的第二预测域分类标签，如图5。
[0124]
在一具体实施例中，通过预训练特征聚合模块对第一扫描图像对应的图像特征、第二扫描图像对应的图像特征分别进行特征提取和池化处理，得到第一扫描图像对应的目标特征和第二扫描图像对应的目标特征。
[0125]
预训练目标预测模块对目标特征进行目标检测，得到预处理扫描图像中包含目标的目标预测信息。具体地，yolo-v4网络结构中的yolo head基于预训练特征聚合模块输出的扫描图像对应的目标特征预测得到扫描图像中的目标预测信息。
[0126]
在一具体实施例中，yolo head根据第一扫描图像对应的目标特征，预测得到第一扫描图像中包含目标的目标预测信息。具体地，预测得到目标的目标预测位置和目标预测类别。
[0127]
s206：初始图像特征域分类网络对图像特征进行域适应，得到预处理扫描图像的第一预测域分类标签。
[0128]
请参阅图6，图6是本技术提供的初始图像特征域分类网络一具体实施例的结构框图。
[0129]
具体地，初始图像特征域分类网络包括顺次连接的第一图像特征提取单元和第二图像特征提取单元、池化层和全连接层。其中，第一图像特征提取单元为一个，第二图像特征提取单元为三个，且三个第二图像特征提取单元顺次连接，第一个第二图像特征提取单
元与第一图像特征提取单元连接。
[0130]
在本实施例中，第一图像特征提取单元包括级联的第一卷积层和第一激活函数层，第二图像特征提取单元包括级联的第二卷积层和第二激活函数层。也就是说，第二卷积层和第二激活函数层为多个，且第二卷积层与第二激活函数层相互间隔。
[0131]
在一具体实施例中，第一图像特征提取单元中的第一卷积层对第一扫描图像/第二扫描图像对应的图像特征进行特征提取，得到对应的第一特征图。在一可选实施例中，为了减小工作量，减小不同图像特征之间的差异，将第一特征图的尺寸调节至第二预设尺寸。具体地，将第一特征图的尺寸大小缩小至(16，16，1024)，并按照通道连接，一起输入至第一图像特征提取单元中的第一激活函数层，通过第一激活函数层对第一特征图进行非线性激活处理，得到第二特征图。将第二特征图输入至第一个第二图像特征提取单元的第二卷积层，通过第二卷积层对第二特征图进行特征提取得到对应的特征图，第二激活函数层对第二卷积层对应的特征图进行激活处理，得到第二激活函数层对应的特征图；第二个第二图像特征提取单元对第一个第二图像特征提取单元输出的特征图进行依次进行特征提取和激活处理，得到第二个第二图像特征提取单元对应的特征图，第三个第二图像特征提取单元中的第二卷积层对第二个第二图像特征提取单元对应的特征图进行特征提取，得到对应的特征图。为了融合浅层特征图中的特征数据，避免深度网络的退化，将第一个第二图像特征提取单元中的第二卷积层输出的特征图与第三个第二图像特征提取单元中的第二卷积层输出的特征图进行融合，得到第三特征图；第三个第二图像特征提取单元中的第二激活函数层对第三特征图进行非线性激活处理，得到第四特征图。
[0132]
通过池化层对得到的第四特征图的尺寸进行调节。在本实施例中，池化层包括全局平均池化层和全局最大池化层。具体地，为减少全连接层的计算量，通过全局平均池化层对第四特征图进行尺寸调节，得到第五特征图。为了丰富特征信息，通过全局最大池化层对第四特征图进行尺寸调节，得到第六特征图，与第五特征图进行级联。
[0133]
通过全连接层对池化后的特征图进行连接，并基于连接后的特征图确定扫描图像的第一预测域分类标签。在一具体实施例中，通过全连接层融合第五特征图和第六特征图，进而预测得到扫描图像的第一预测域分类标签。
[0134]
在一具体实施例中，初始图像特征域分类网络基于预训练特征提取模块输出的第一扫描图像/第二扫描图像对应的图像特征，得到第一扫描图像/第二扫描图像对应的第一预测域分类标签。具体地，初始图像特征域分类网络输出维度为(n 1，1)。
[0135]
s207：初始目标特征域分类网络对目标特征进行域适应，得到预处理扫描图像的第二预测域分类标签。
[0136]
请参阅图7，图7是本技术提供的初始目标特征域分类网络一具体实施例的结构框图。
[0137]
具体地，初始目标特征域分类网络包括级联的第一目标特征提取单元、第二目标特征提取单元和第三目标特征提取单元。其中，第一目标特征提取单元和第三目标特征提取单元分别为一个。第二目标特征提取单元为三个，且三个第二目标特征提取单元顺次连接，第一个第二目标特征提取单元与第一目标特征提取单元连接，第三个第二目标特征提取单元与第三目标特征提取单元连接。
[0138]
在本实施例中，第一目标特征提取单元包括级联的第一特征提取层和第一激活
层，第二目标特征提取单元包括级联的第二特征提取层和第二激活层，第三特征提取单元包括级联的第三特征提取层和输出层。也就是说，第二特征提取层和第二激活层分别为多个，且第三特征提取层和第三激活层相互间隔设置。
[0139]
在一具体实施例中，第一目标特征提取单元中的第一特征提取层对第一扫描图像/第二扫描图像对应的目标特征进行特征提取，得到第一目标特征图，第一激活层对第一目标特征图进行非线性激活，得到第二目标特征图。将第二目标特征图输入到第一个第二目标特征提取单元，第二目标特征提取单元中的第二特征提取层对第二特征图进行特征提取，得到对应的目标特征图，第二激活层对上一第二特征提取层提取的目标特征图进行非线性激活，得到第二激活层对应的目标特征图。第二个第二目标特征提取单元和第三个特征提取单元对上一特征提取单元输出的目标特征图依次进行目标特征提取和非线性激活处理。其中，为了融合浅层目标特征图中的特征数据，避免深度网络的退化，将第一个第二目标特征提取单元中的第二特征提取层输出的目标特征图与第三个第二目标特征提取单元中的第二特征提取层输出的目标特征图进行融合，得到第三目标特征图；第三个第二目标特征提取单元中的第二激活层对第三目标特征图进行非线性激活，得到第四目标特征图。将第四目标特征图输入到第三目标特征提取单元，第三特征提取层对第四目标特征图进行目标特征提取，得到第五目标特征图；输出层基于第五目标特征图确定扫描图像对应的第二预测域分类标签并输出。
[0140]
在一具体实施例中，初始目标特征域分类网络基于预训练特征聚合模块输出的第一扫描图像/第二扫描图像对应的目标特征，得到第一扫描图像/第二扫描图像对应的第二预测域分类标签。具体地，初始目标特征域分类网络输出维度为(n 1，256)。
[0141]
在一可选实施例中，为了改善初始图像特征域分类网络和初始目标特征域分类网络，使初始图像特征域分类网络和初始目标特征域分类网络具有更大的感受野和更强的信息表达能力，在第二卷积层和第二特征提取层中加入了多尺度特征融合机制。具体地，第二卷积层和第二特征提取层分别包括至少两个不同的卷积核，通过不同的卷积核分别对上一级输出的特征图进行特征提取并输出，再将各卷积核输出的子特征图进行融合得到第二卷积层/第二目标特征图对应的特征图/目标特征图。
[0142]
请参阅图8，图8是本技术提供的第二卷积层或第二特征提取层一具体实施例的结构框图。
[0143]
在本实施例中，第二卷积核和第二特征提取层分别包括三个不同的卷积核，卷积核的大小分别是3*3、5*5和7*7，三个卷积核的通道个数均为128。
[0144]
在另一可选实施例中，为了缩短初始检测网络运行的时间，第二卷积层和/或第二特征提取层使用深度可分离卷积层。
[0145]
s208：基于同一第一扫描图像的目标预测信息与标注的目标真实信息、同一第一扫描图像的第一预测域分类标签与标注的第一真实域分类标签和第二预测域分类标签与标注的第二真实域分类标签以及同一第二扫描图像的第一预测域分类标签与标注的第一真实域分类标签和第二预测域分类标签与标注的第二真实域分类标签标签构建损失函数。
[0146]
具体地，基于同一第一扫描图像的目标预测信息与目标真实信息、第一扫描图像的第一预测域分类标签与同一第一扫描图像标注的第一真实域分类标签、第一扫描图像的第二预测域分类标签与同一第一扫描图像标注的第二真实域分类标签、第二扫描图像的第
一预测域分类标签与同一第二扫描图像标注的第一真实域分类标签、第二扫描图像的第二预测域分类标签与同一第二扫描图像标注的第二真实域分类标签构建损失函数。
[0147]
在一具体实施例中，损失函数如下所示：
[0148][0149]
式中：l
det
为目标检测网络的目标信息损失函数；为图像特征域分类网络的域分类标签损失函数；为目标特征域分类网络的域分类标签损失函数；λ为加权系数。
[0150]
在本实施例中，为了使初始检测网络的训练能够更稳定，λ设置为0.8。
[0151]
基于预训练目标检测网络得到的第一扫描图像中检测得到的目标对应的目标预测信息与对应的第一扫描图像中标注的目标对应的目标真实信息构建预训练目标检测网络的目标信息损失函数l
det
，预训练目标检测网络的目标信息损失函数包括目标位置损失函数和目标类别损失函数。
[0152]
基于初始图像特征域分类网络预测到第一扫描图像的第一预测域分类标签与同一第一扫描图像标注的第一真实域分类标签、第二扫描图像的第一预测域分类标签与同一第二扫描图像标注的第一真实域分类标签构建初始图像特征域分类网络的域分类标签损失函数
[0153]
在一具体实施例中，初始图像特征域分类网络的域分类标签损失函数为：
[0154][0155]
式中：为初始图像特征域分类网络的域分类标签损失函数；m为第一扫描图像和第二扫描图像的总数量；n 1为第一预测域分类标签的总数量；i
mc
是符号函数，当第m个扫描图像的第一真实域分类标签/第二真实域分类标签等于c时，该函数取值为1，否则取值为0，为第m个扫描图像属于类别c的预测概率。
[0156]
基于初始目标特征域分类网络预测到第一扫描图像的第二预测域分类标签与同一第一扫描图像中标注的第二真实域分类标签、第二扫描图像的第二预测域分类标签与同一第二扫描图像标注的第二真实域分类标签构建初始目标特征域分类网络的域分类标签损失函数
[0157]
在一具体实施例中，目标特征域分类网络的域分类标签损失函数为：
[0158][0159]
式中，为初始目标特征域分类网络的域分类标签损失函数；表示第m个扫描图像的目标特征域分类网络输出的结果中在坐标处预测为第二预测域类别标签的概率。
[0160]
s209：基于损失函数对初始检测网络进行训练，得到检测网络。
[0161]
具体地，基于损失函数对初始检测网络中的预训练目标检测网络、初始图像特征域分类网络和初始目标特征域分类网络中的权重进行修正，得到检测网络。其中，检测网络包括目标检测网络、图像特征域分类网络、目标特征域分类网络。
[0162]
在一具体实施例中，基于同一第一扫描图像的目标预测信息与目标真实信息之间
的误差值、第一扫描图像的第一预测域分类标签与同一第一扫描图像标注的第一真实域分类标签之间的误差值、第一扫描图像的第二预测域分类标签与同一第一扫描图像标注的第二真实域分类标签之间的误差值、第二扫描图像的第一预测域分类标签与同一第二扫描图像标注的第一真实域分类标签之间的误差值、第二扫描图像的第二预测域分类标签与同一第二扫描图像标注的第二真实域分类标签之间的误差值对初始检测网络进行训练，得到检测网络。
[0163]
在一具体实施例中，初始检测网络的预测结果反向传播，根据损失函数反馈的损失值对初始检测网络的权重进行修正。在一可选实施例中，也可以对初始检测网络的参数进行修正，实现对初始检测网络的训练。
[0164]
在一具体实施例中，在更新初始检测网络中各模块的参数时，每一轮训练完成后，先更新预训练目标检测网络产生的梯度，接着依次更新初始图像特征域分类网络和初始目标特征域分类网络产生的梯度，此时在这一轮中预训练目标检测网络、初始图像特征域分类网络和初始目标特征域分类网络的参数更新完毕，之后不断重复迭代训练，直至网络收敛。
[0165]
将包含有目标的第一扫描图像和第二扫描图像输入到初始检测网络中，初始检测网络对目标位置、目标类别、扫描图像对应的第一预测域分类标签、第二预测域分类标签进行预测。当同一第一扫描图像的目标预测信息与目标真实信息之间的误差值、第一扫描图像的第一预测域分类标签与同一第一扫描图像标注的第一真实域分类标签之间的误差值、第一扫描图像的第二预测域分类标签与同一第一扫描图像标注的第二真实域分类标签之间的误差值、第二扫描图像的第一预测域分类标签与同一第二扫描图像标注的第一真实域分类标签之间的误差值、第二扫描图像的第二预测域分类标签与同一第二扫描图像标注的第二真实域分类标签之间的误差值的加权和小于预设阈值，预设阈值可以自行设置，例如1％、5％等，则停止对初始检测网络的训练并获得检测网络。
[0166]
在另一可选实施例中，可以通过源域图像集中包含的第一扫描图像和目标域图像集中包含的第二扫描图像对初始检测网络训练预设次数后，即得到检测网络。在本实施例中，为了使训练过程更加稳定，进一步提高训练速度，预设次数为10次。也可以根据实际情况自行设置。
[0167]
s210：去除图像特征域分类网络和目标特征域分类网络，保留目标检测网络。
[0168]
具体地，为了使不同射线源对应的扫描图像的全局特征和局部特征能够实现对齐分布，使训练过程更加稳定，通过图像特征域分类网络和目标特征域分类网路辅助目标检测网络进行训练，进而使目标检测网络能够检测不同射线源对应的扫描图像中的目标。本实施例中通过图像特征域分类网络和目标特征域分类网路辅助目标检测网络进行训练，兼顾了图像全局特征和图像局部特征的域匹配。
[0169]
待检测网络稳定后，将检测网络中的图像特征域分类网络和目标特征域分类网络与目标检测网络分离，仅保留目标检测网络即可。
[0170]
本实施例中，训练得到的目标检测网络与yolo-v4网络结构相同，未修改已知的yolo-v4网络结构，通过图像特征域分类网络和目标特征域分类网路辅助目标检测网络进行训练，即可提高目标检测网络对不同射线源安检机下的扫描图像中危险品的检测准确性。
[0171]
本实施例提供的目标检测网络训练方法包括：获取源域图像集和目标域图像集，源域图像集包括多张标注有目标真实信息以及第一真实域分类标签和第二真实域分类标签的第一扫描图像；目标域图像集包括多张标注有第一真实域分类标签和第二真实域分类标签且未标注目标信息的第二扫描图像；第一扫描图像和第二扫描图像分别基于不同的射线源扫描；通过构建的初始检测网络对第一扫描图像和第二扫描图像分别进行检测，得到第一扫描图像的目标预测信息、第一预测域分类标签、第二预测域分类标签以及第二扫描图像的第一预测域分类标签和第二预测域分类标签；基于同一第一扫描图像的目标预测信息与标注的目标真实信息、同一第一扫描图像的第一预测域分类标签与标注的第一真实域分类标签和第二预测域分类标签与标注的第二真实域分类标签以及同一第二扫描图像的第一预测域分类标签与标注的第一真实域分类标签和第二预测域分类标签与标注的第二真实域分类标签标签构建损失函数；基于损失函数对初始检测网络进行迭代训练，得到目标检测网络。本技术通过初始检测网络对源域图像集和目标域图像集中包含的扫描图像进行预测，并基于第一扫描图像和第二扫描图像分别对应的第一预测域分类标签和第二预测域分类标签与第一扫描图像和第二扫描图像分别对应的第一真实域分类标签和第二真实域分类标签训练初始检测网络，节约了对第二扫描图像的真实信息标注的时间成本和人力成本，得到的目标检测网络可以对不同射线源采集的扫描图像进行危险品检测，使目标检测网络的适用范围更广。
[0172]
请参阅图9，图9是本技术提供的目标检测方法的流程示意图。本实施例中提供一种目标检测方法，该目标检测方法包括如下步骤。
[0173]
s31：获取待检测图像。
[0174]
具体地，通过安检机获取待检测图像。其中，安检机中的射线源可以是x射线。待检测图像为包括至少一个目标对象的扫描图像。在其它可选实施例中，也可以通过其它方式获取不同射线源对应的扫描图像，将得到的扫描图像作为待检测图像。不同射线源是指电压、电流不同或能量光谱不同，x射线的穿透力不同，得到的扫描图像不同。
[0175]
s32：对获取的待检测图像进行预处理，得到预处理图像。
[0176]
具体地，将待检测图像的尺寸调整至预设尺寸；并对待检测图像进行归一化处理，得到对应的预处理图像。
[0177]
在一实施例中，将待检测图像的尺寸调整至预设尺寸。具体地，预设尺寸为512*512*3。在其它可选实施例中，也可以根据实际情况自行设定预设尺寸。在一具体实施例中，将待检测图像分别插值至长宽为512*512*3的尺寸大小。
[0178]
对尺寸调节后的待检测图像进行归一化处理，得到待检测图像对应的预处理图像。具体地，将尺寸调节后的待检测图像矩阵转换到0-1之间，进而实现归一化处理。
[0179]
s33：通过目标检测网络对预处理图像进行目标检测，得到目标对象信息。
[0180]
具体地，通过上述实施例中得到的目标检测网络中的特征提取模块对预处理图像进行特征提取，得到特征图；通过特征融合模块对特征提取模块输出的特征图进行特征融合，得到目标特征图；通过目标预测模块基于特征融合模块对应的目标特征图进行目标检测，检测得到待检测图像中的目标对象信息。其中，目标对象信息包括目标位置和目标类别。
[0181]
请参阅图10，图10是本技术提供的目标检测方法一具体实施例的流程示意图。
[0182]
在本实施例中，目标检测网络对预处理图像中包含的目标对象进行检测。响应于检测得到目标对象的目标类别为预设类别时，则将目标类别与预设类别一致的目标对象输出，以提示该目标对象属于预设类别的物品。具体地，预设类别为刀具、易燃物、易爆物、液体等，预设类别对应的物品为危险物品。在一具体实施例中，待检测图像为x光图像，目标检测网络是经过训练后的yolo-v4网络结构。
[0183]
本实施例提供的目标检测方法，通过获取待检测图像，对获取的待检测图像进行预处理，得到预处理图像，通过目标检测网络对预处理图像进行目标检测，得到目标对象信息。本实施例通过目标检测网络对不同射线源对应的扫描图像进行目标检测，进而得到扫描图像中目标对象的目标位置和目标类别，提高检测扫描图像中危险物品的准确率。
[0184]
请参阅图11，图11是本技术提供的目标检测网络训练装置的示意框图。在本实施例中提供一种训练装置40包括样本获取模块41、预测模块42、函数构建模块43和处理模块44。
[0185]
样本获取模块41用于获取源域图像集和目标域图像集，源域图像集包括多张标注有目标真实信息以及第一真实域分类标签和第二真实域分类标签的第一扫描图像；目标域图像集包括多张标注有第一真实域分类标签和第二真实域分类标签且未标注目标信息的第二扫描图像；第一扫描图像和第二扫描图像分别基于不同的射线源扫描。
[0186]
预测模块42用于通过构建的初始检测网络对第一扫描图像和第二扫描图像分别进行检测，得到第一扫描图像的目标预测信息、第一预测域分类标签、第二预测域分类标签以及第二扫描图像的第一预测域分类标签和第二预测域分类标签。
[0187]
函数构建模块43用于基于同一第一扫描图像的目标预测信息与标注的目标真实信息、同一第一扫描图像的第一预测域分类标签与标注的第一真实域分类标签和第二预测域分类标签与标注的第二真实域分类标签以及同一第二扫描图像的第一预测域分类标签与标注的第一真实域分类标签和第二预测域分类标签与标注的第二真实域分类标签标签构建损失函数。
[0188]
处理模块44用于基于损失函数对初始检测网络进行迭代训练，得到目标检测网络。
[0189]
本实施例中，通过初始检测网络对源域图像集和目标域图像集中包含的扫描图像进行预测，并基于第一扫描图像和第二扫描图像分别对应的第一预测域分类标签和第二预测域分类标签与第一扫描图像和第二扫描图像分别对应的第一真实域分类标签和第二真实域分类标签训练初始检测网络，节约了对第二扫描图像的真实信息标注的时间成本和人力成本，得到的目标检测网络可以对不同射线源采集的扫描图像进行危险品检测，使目标检测网络的适用范围更广。
[0190]
请参阅图12，图12是本技术提供的目标检测装置的示意框图。在本实施例中提供一种目标检测装置50包括图像获取模块51、预处理模块52和检测模块53。
[0191]
图像获取模块51用于获取待检测图像；待检测图像包括至少一个目标对象。其中，待检测图像为不同射线源的x射线对应的扫描图像；不同射线源是指电压、电流不同或能量光谱不同，x射线的穿透力不同，得到的扫描图像不同。
[0192]
预处理模块52用于对待检测图像进行预处理，得到预处理图像。
[0193]
检测模块53用于通过目标检测网络对预处理图像进行目标检测，得到目标对象的
目标对象信息；其中，目标检测网络是通过上述实施例中目标检测网络训练方法得到。
[0194]
本实施例提供的目标检测装置包括：图像获取模块，用于获取待检测图像；待检测图像包括至少一个目标对象；预处理模块，用于对待检测图像进行预处理，得到预处理图像；检测模块，用于通过目标检测网络对预处理图像进行目标检测，得到目标对象的目标对象信息。本实施例通过目标检测网络对不同射线源对应的扫描图像进行目标检测，进而得到扫描图像中目标对象的目标位置和目标类别，提高检测扫描图像中危险物品的准确率。
[0195]
请参阅图13，图13是本技术提供的终端一实施方式的示意框图。该实施方式中的终端70包括：处理器71、存储器72以及存储在存储器72中并可在处理器71上运行的计算机程序，该计算机程序被处理器71执行时实现上述实施例中目标检测网络训练方法和目标检测方法，为避免重复，此处不一一赘述。
[0196]
请参阅图14，图14是本技术提供的计算机可读存储介质一实施方式的示意框图。本技术的实施方式中还提供一种计算机可读存储介质90，计算机可读存储介质90存储有计算机程序901，计算机程序901中包括程序指令，处理器执行程序指令，实现本技术实施方式提供的目标检测网络训练方法和目标检测方法。
[0197]
其中，计算机可读存储介质90可以是前述实施方式的计算机设备的内部存储单元，例如计算机设备的硬盘或内存。计算机可读存储介质90也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。
[0198]
以上仅为本技术的实施方式，并非因此限制本技术的专利保护范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本技术的专利保护范围内。