货物图像处理方法、装置、设备及存储介质与流程

1.本公开涉及图像处理技术领域，具体而言，涉及一种货物图像处理方法、装置、设备及可读存储介质。


背景技术：

2.在海关安全检查任务中，通常利用x光扫描系统扫描进出口货物得到辐射图像，依据货物对应的报关单信息和辐射图像对货物进行检查。对海关进出口的大量货物进行扫描产生大量辐射图像，查图员依据辐射图像对进出口货物进行非侵入式检查，在一定程度上提高了监管效率，但进出口货物的海量扫描图像会给海关监管带来诸多压力。
3.随着人工智能的快速发展，海关迫切需求对辐射图像进行货物检查实现智能化。相关技术中基于海量辐射图像和深度学习算法对辐射图像中的货物区域建立模型以实现辐射图像分类，但训练样本中不同货物类别的图像数量分布不均匀，不同货物类别的图像在特征空间中的分布不均衡，从而使训练得到的深度学习模型的精度较低。
4.如上所述，如何提高基于深度学习算法的辐射图像分类模型的精度成为亟待解决的问题。
5.在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

6.本公开的目的在于提供一种货物图像处理方法、装置、设备及可读存储介质，至少在一定程度上克服由于相关技术基于深度学习算法的辐射图像分类模型的精度较低的问题。
7.本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
8.根据本公开的一方面，提供一种货物图像处理方法，包括：获取训练图像和标签；通过特征提取网络提取所述训练图像的特征获得特征向量；获取分类网络的权重向量，所述分类网络包括分类全连接层；对所述权重向量进行归一化处理获得归一化的权重向量；基于所述特征向量和所述归一化的权重向量通过所述分类全连接层获得分类模型输入；根据所述分类模型输入和所述标签获得损失函数；基于所述损失函数训练所述特征提取网络和所述分类网络以识别图像中的货物。
9.根据本公开的一实施例，在所述通过特征提取网络提取所述训练图像的特征获得特征向量之后，所述基于所述特征向量和所述归一化的权重向量通过所述分类全连接层获得分类模型输入之前，所述方法还包括：对所述特征向量进行归一化处理获得归一化的特征向量；所述分类模型输入包括所述余弦向量；所述基于所述特征向量和所述归一化的权重向量通过所述分类全连接层获得所述分类模型输入包括：计算所述归一化的特征向量和所述归一化的权重向量的内积获得所述余弦向量；所述根据所述分类模型输入和所述标签
获得损失函数包括：对所述余弦向量进行缩放处理获得扩大的余弦向量；基于所述扩大的余弦向量和所述标签通过所述分类全连接层的交叉熵softmax函数获得所述损失函数。
10.根据本公开的一实施例，所述根据所述分类模型输入和所述标签获得损失函数还包括：对所述余弦向量进行反余弦处理获得夹角向量；所述基于所述扩大的余弦向量和所述标签通过所述分类全连接层的softmax函数获得所述损失函数包括：根据所述标签从所述夹角向量中获得特征中心角；对所述特征中心角进行处理获得附加角边距的特征中心角；对所述附加角边距的特征中心角的余弦值进行缩放处理获得扩大的附加角边距的特征中心角余弦；基于所述标签将所述扩大的余弦向量、所述扩大的附加角边距的特征中心角余弦代入所述softmax函数获得所述损失函数。
11.根据本公开的一实施例，所述分类网络还包括整合全连接层；所述对所述特征向量进行归一化处理获得归一化的特征向量包括：通过所述整合全连接层处理所述特征向量获得整合的特征向量；对所述整合的特征向量进行归一化处理获得归一化的特征向量；所述基于所述损失函数训练所述特征提取网络和所述分类网络以识别图像中的货物包括：基于所述损失函数训练所述特征提取网络、所述整合全连接层和所述分类全连接层以识别图像中的货物。
12.根据本公开的一实施例，所述通过特征提取网络提取所述训练图像的特征获得特征向量包括：将所述训练图像通过所述特征提取网络的第一卷积层获得第一特征图；将所述第一特征图分成第一高频特征分量和第一低频特征分量；将所述第一高频特征分量通过所述特征提取网络的第二卷积层获得第二高频特征和第二低频特征；将所述第一低频特征分量通过所述第二卷积层获得第三高频特征和第三低频特征；将所述第二高频特征和所述第三高频特征叠加获得第二高频特征分量；将所述第二低频特征和所述第三低频特征叠加获得第二低频特征分量；将所述第二高频特征分量和第二所述低频特征分量融合获得所述特征向量。
13.根据本公开的一实施例，所述第二卷积层包括高到高卷积核、高到低卷积核、低到低卷积核和低到高卷积核；所述将所述第一高频特征分量通过所述特征提取网络的第二卷积层获得第二高频特征和第二低频特征包括：将所述第一高频特征分量通过所述高到高卷积核进行卷积运算获得所述第二高频特征；将所述第一高频特征分量进行下采样处理后通过所述高到低卷积核进行卷积运算获得所述第二低频特征；所述将所述第一低频特征分量通过所述第二卷积层获得第三高频特征和第三低频特征包括：将所述第一低频特征分量通过所述低到低卷积核进行卷积运算获得所述第三低频特征；将所述第一低频特征分量通过所述低到高卷积核进行卷积运算并进行上采样处理后获得所述第三高频特征。
14.根据本公开的一实施例，所述将所述第一特征图分成第一高频特征分量和第一低频特征分量包括：根据预设比例参数将所述第一特征图分成所述第一高频特征分量和所述第一低频特征分量。
15.根据本公开的再一方面，提供一种货物图像处理装置，包括：数据获取模块，用于获取训练图像和标签；特征提取模块，用于通过特征提取网络提取所述训练图像的特征获得特征向量；归一化模块，用于获得分类网络的权重向量，所述分类网络包括分类全连接层；归一化模块，还用于对所述权重向量进行归一化处理获得归一化的权重向量；分类模块，用于基于所述特征向量和所述归一化的权重向量通过所述分类全连接层获得分类模型
输入；损失计算模块，用于根据所述分类模型输入和所述标签获得损失函数；训练模块，用于基于所述损失函数训练所述特征提取网络和所述分类网络以识别图像中的货物。
16.根据本公开的再一方面，提供一种设备，包括：存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令，所述处理器执行所述可执行指令时实现如上述任一种方法。
17.根据本公开的再一方面，提供一种计算机可读存储介质，其上存储有计算机可执行指令，所述可执行指令被处理器执行时实现如上述任一种方法。
18.本公开的实施例提供的货物图像处理方法，通过特征提取网络提取训练图像的特征获得特征向量后，对包括分类全连接层的分类网络的权重向量进行归一化处理获得归一化的权重向量，然后基于特征向量和归一化的权重向量通过分类全连接层获得分类模型输入，再根据分类模型输入和标签获得损失函数，基于损失函数训练特征提取网络和分类网络以识别图像中的货物，从而可实现一定程度上提高基于深度学习算法的辐射图像分类模型的精度。
19.应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
20.通过参照附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。
21.图1示出本公开实施例中一种系统结构的示意图。
22.图2示出本公开实施例中一种货物图像处理方法的流程图。
23.图3a示出本公开实施例中一种用于货物图像处理的模型训练方法的流程图。
24.图3b示出本公开实施例中一种货物图像处理模型的损失函数的计算方法的流程图。
25.图4a示出本公开实施例中一种用于货物图像处理的图像特征提取方法的流程图。
26.图4b示出本公开实施例中一种用于货物图像处理的图像特征提取流程示意图。
27.图5示出本公开实施例中一种货物图像处理装置的框图。
28.图6示出本公开实施例中另一种货物图像处理装置的框图。
29.图7示出本公开实施例中用于货物图像处理的归一化模块与分类模块的结构示意图。
30.图8示出本公开实施例中一种电子设备的结构示意图。
具体实施方式
31.现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施例使得本公开将更加全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
32.此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施
例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现或者操作以避免喧宾夺主而使得本公开的各方面变得模糊。
33.此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。符号“/”一般表示前后关联对象是一种“或”的关系。
34.在本公开中，除非另有明确的规定和限定，“连接”等术语应做广义理解，例如，可以是电连接或可以互相通讯；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本公开中的具体含义。
35.在基于辐射图像实现货物的智能化检查技术的发展过程中，进出口货物种类日益增多，同一类货物的辐射图像又受到不同形态、纹理、包装、摆放姿态等因素的影响，造成同一类货物图像的类内方差大、质量差别大的特点。不同类别货物的辐射图像也存在类间相似的问题，这给货物检查带来诸多影响因素，增大了货物检查的难度。
36.一些相关技术中利用机器学习方法对辐射图像中的货物建立模型，机器学习方法一般地都是人工设计特征用于描述目标，基于机器学习方法对辐射图像货物检查建立的模型与基于深度学习算法的货物检查模型相比具有描述能力差的缺点。另一些相关技术利用深度学习算法建立货物模型，但是由于深度学习参数众多、计算速度慢，训练过程采用通用的交叉熵损失函数计算损失函数然后通过计算梯度进行反向传播更新模型参数，因此难以使同一种货物在货物检查模型中的特征空间里有较好的内聚性，也不能让不同货物在货物检查模型中的特征空间里有较好的可分性。
37.如上所述，因相关技术中基于海量辐射图像和深度学习算法对辐射图像中的货物区域建立模型以实现辐射图像分类，但训练样本中不同货物类别的图像数量分布不均匀，不同货物类别的图像在特征空间中的分布不均衡，可能导致训练得到的深度学习模型的精度较低。因此，本公开提供了一种货物图像处理方法，通过将分类网络的权重向量进行归一化处理后与特征向量通过分类全连接层获得分类模型输入，再根据分类模型输入和标签获得损失函数训练特征提取网络和分类网络以识别图像中的货物，从而可使不同货物类别的图像的特征分布更加均衡，实现一定程度上提高基于深度学习算法的辐射图像分类模型的精度。
38.图1示出了可以应用本公开的货物图像处理方法或货物图像处理装置的示例性系统架构10。
39.如图1所示，系统架构10可以包括终端设备102，网络104、服务器106和查图工作站108。网络104可用以在终端设备102和服务器106之间提供通信链路的介质，也可用以在查图工作站108和服务器106之间、查图工作站108和终端设备102之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
40.用户可以使用终端设备102通过网络104与服务器106交互，以接收查图工作站108中例如海关检查货物的辐射图像或发送查图结论等。终端设备102可以是具有显示屏并且
支持输入、输出的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。服务器106可以是提供各种服务的服务器或服务器集群等，例如对用户利用终端设备102进行基于深度学习的货物图像分类模型构建提供支持的后台处理服务器(仅为示例)。后台处理服务器可以对接收到的货物图像数据进行分析等处理，并将如货物图像分类结果等反馈给终端设备。查图工作站108例如可为海关货物检查业务流程中采用的查图工作站，可包括x射线集装箱检测设备、x射线物品机、探测器、与探测器相连接的计算机等等。查图工作站108通过扫描货物获得辐射图像后，可将辐射图像的数据通过网络104上传至服务器106进行处理、存储。
41.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
42.图2是根据一示例性实施例示出的一种货物图像处理方法的流程图。如图2所示的货物图像处理方法例如可以应用于上述系统的服务器端，也可以应用于上述系统的终端设备。
43.参考图2，本公开实施例提供的方法20可以包括以下步骤。
44.在步骤s202中，获取训练图像和标签。可从海关查图历史或现有数据集中获得通过机器学习模型、人工等方式标注的海量训练集，在训练前可对辐射图像中的货物区域进行预处理操作。海关进出口货物的辐射图像一般是通过x光源透射集装箱、然后在探测器上接收透射的x射线形成的辐射图像。不同设备的x光源辐射的剂量可能有所差异，同时不同设备的x光源相对探测器的位置、高度、夹角也可能有所差异，集装箱货物相对x光源的位置、远近、车身相对成像设备的角度等方面也会有所差异，那么最后得到的辐射图像中的货物图像也因此会有一定差异。为了缩小这种图像差异，可对训练图像进行图像增强操作，然后对所有训练图像的尺度进行归一化操作，再进行中值滤波去除椒盐噪声，有利于提高训练过程的稳定性，增强辐射图像货物检查模型的鲁棒性。
45.在步骤s204中，通过特征提取网络提取训练图像的特征获得特征向量。
46.在一些实施例中，可采用多层卷积神经网络提取训练图像的特征，各层卷积神经网络可包括卷积核、激活函数、池化层等等，每个训练图像输入一层卷积神经网络进行处理后输出至下一层卷积神经网络进，直至从最后一层卷积神经网络输出得到训练图像的特征向量。
47.在步骤s206中，获取分类网络的权重向量，分类网络包括分类全连接层。全连接层网络的每个神经元都与上一层(例如卷积神经网络或其他全连接层)的每个神经元连接起来，每条连接都有一个权重参数，各条连接的权重参数按顺序排列形成了权重向量。全连接层网络的输入为上一层各神经元的输出，每条连接的输出为该连接的权重参数与连接的上一层的神经元的乘积，全连接层网络的总输出为各条连接的输出之和。
48.在步骤s208中，对权重向量进行归一化处理获得归一化的权重向量。在训练集中，不同类别的图像数量通常是不均衡的，在特征空间中权重向量的模长包含图像数量信息，将权重向量进行归一化，有利于不同类别的图像在特征空间中的分布更均衡。
49.在一些实施例中，例如，可对权重向量进行l2范数的归一化处理获得归一化的权重向量。
50.在另一些实施例中，例如，可对权重向量进行l1范数的归一化处理获得归一化的
权重向量。
51.在步骤s210中，基于特征向量和归一化的权重向量通过分类全连接层获得分类模型输入。
52.在一些实施例中，例如，可将特征向量也进行l2范数归一化之后与归一化的权重向量在分类全连接层进行内积运算获得特征向量与权重向量的余弦相似度作为分类模型输入。
53.在另一些实施例中，例如，也可将特征向量和权重向量分别进行l1范数归一化之后在分类全连接层进行内积运算获得特征向量与权重向量的余弦相似度作为分类模型输入。
54.在另一些实施例中，例如，也可将特征向量与归一化的权重向量在分类全连接层进行内积运算获得带有权重的特征向量作为分类模型输入。
55.在步骤s212中，根据分类模型输入和标签获得损失函数。
56.在一些实施例中，例如，可通过如softmax函数或s型激活函数sigmoid函数等将分类模型输入映射到[0,1]区间内，然后采用如交叉熵代价函数等形式获得损失函数。
[0057]
在步骤s214中，基于损失函数训练特征提取网络和分类网络以识别图像中的货物。损失函数给出了当前深度学习网络模型优劣程度的一个定量表达，可采用梯度下降算法寻找深度学习网络模型参数的更新方向，以极小化损失函数为目标，达到提高模型精确程度的目的。
[0058]
根据本公开实施例提供的货物图像处理方法，通过特征提取网络提取训练图像的特征获得特征向量后，对包括分类全连接层的分类网络的权重向量进行归一化处理获得归一化的权重向量，然后基于特征向量和归一化的权重向量通过分类全连接层获得分类模型输入，再根据分类模型输入和标签获得损失函数，基于损失函数训练特征提取网络和分类网络以识别图像中的货物，由于权重向量模长表征不同类别图像的数量，因此可减轻不同类别图像数量对权重的影响，有利于不同类别的图像在特征空间中的分布更均衡，从而可实现一定程度上提高基于深度学习算法的辐射图像分类模型的精度。
[0059]
图3a是根据一示例性实施例示出的一种用于货物图像处理的模型训练方法的流程图。如图3a所示的模型训练方法例如可以应用于上述系统的服务器端，也可以应用于上述系统的终端设备。
[0060]
参考图3a，本公开实施例提供的方法30可以包括以下步骤。
[0061]
在步骤s302中，获取训练图像和标签。
[0062]
在步骤s304中，通过特征提取网络提取训练图像的特征获得特征向量。
[0063]
步骤s302至步骤s304的一些实施例可参照步骤s202至步骤s204，此处不再赘述。
[0064]
在步骤s306中，对特征向量进行归一化处理获得归一化的特征向量。
[0065]
在步骤s3061中，通过整合全连接层处理特征向量获得整合的特征向量，分类网络包括整合全连接层和分类全连接层。采用串行的两层全连接网络，第一层全连接网络为整合全连接层，整合全连接层的作用是获取特征提取网络输出的特征向量而得到分类全连接层需要输入的特征向量，可增加网络的非线性、鲁棒性，降低分类全连接层中的参数量；第二层全连接网络为分类全连接层，作为分类器判断辐射图像的类别。
[0066]
在步骤s3062中，对整合的特征向量进行归一化处理获得归一化的特征向量。在训
练过程中的同一批训练数据(batch)中，有些辐射图像的质量高，这些质量高的图像的特征向量的l2范数较大；而有些辐射图像的质量差，这些质量差的特征向量的l2范数比较小。这样在一个batch中的训练过程中，趋向于训练出有利于处理高质量的辐射图像的网络模型，而不利于处理低质量的辐射图像。将特征向量进行归一化，会将各种质量下图像的特征向量缩放到一个超球面上，有利于增大低质量图像的特征向量的模长，起到难例挖掘的作用。
[0067]
在一些实施例中，例如，可对整合的特征向量进行l2范数的归一化处理获得归一化的特征向量。
[0068]
在步骤s308中，获取分类全连接层的权重向量。全连接层网络的每个神经元都与上一层(例如卷积神经网络或其他全连接层)的每个神经元连接起来，每条连接都有一个权重，各条连接的权重按顺序排列形成了权重向量。
[0069]
在步骤s310中，对权重向量进行归一化处理获得归一化的权重向量。在训练集中，不同类别的图像数量通常是不均衡的，在特征空间中权重向量的模长包含图像数量信息，将权重向量进行归一化，有利于不同类别的图像在特征空间中的分布更均衡。
[0070]
在一些实施例中，例如，可对权重向量进行l2范数的归一化处理获得归一化的权重向量。
[0071]
在步骤s312中，计算归一化的特征向量和归一化的权重向量的内积获得余弦向量。用向量空间中的两个向量夹角的余弦值作为衡量两个向量差异大小的度量，余弦值越接近1，就说明夹角角度越接近0
°
，也就是两个向量越相似。
[0072]
在步骤s314中，对余弦向量进行反余弦处理获得夹角向量。
[0073]
在步骤s316中，对余弦向量进行缩放处理获得扩大的余弦向量。由于余弦值在[0,1]之间，直接将余弦值代入softmax函数后取对数处理获得的损失函数会导致网络训练难以收敛，因此可将余弦向量进行放大处理。在一些实施例中，例如余弦向量的放大倍数可在20至50之间，可保证网络训练收敛。
[0074]
在步骤s318中，根据标签从夹角向量中获得特征中心角。
[0075]
在一些实施例中，例如，可采用独热(one-hot)编码获取标签中训练图像标注的类别对应的夹角即特征中心角。one-hot编码是分类变量作为二进制向量的表示，要求将分类值映射到整数值，即标记为0或1。
[0076]
在步骤s3181中，对特征中心角进行处理获得附加角边距的特征中心角。
[0077]
在一些实施例中，例如，可将特征中心角增加一个角边距(margin)，可设置为0.3至0.5之间，当角边距太小时，训练时起不到增加类内之间的紧凑性、提高不同类之间的可分性的作用；当角边距太大时，损失函数会震荡比较厉害，收敛效果差。
[0078]
在一些实施例中，例如，也可将特征中心角进行放大和平移处理获得附加角边距的特征中心角，可起到增加类内之间的紧凑性、提高不同类之间的可分性的作用。
[0079]
在步骤s3182中，对附加角边距的特征中心角的余弦值进行缩放处理获得扩大的附加角边距的特征中心角余弦。附加角边距的特征中心角的余弦值进行缩放处理的缩放倍数与上述对余弦向量进行缩放处理的缩放倍数可以相同。
[0080]
在步骤s3183中，基于标签将扩大的余弦向量、扩大的附加角边距的特征中心角余弦代入softmax函数获得损失函数。
[0081]
在一些实施例中，例如，如图3b所示，图3b是根据一示例性实施例示出的一种损失
函数的计算方法的流程图。结合图3b，首先在步骤s312中获得余弦向量其中n为训练图像集中图像类别的数量，然后通过反三角函数计算夹角向量同时对进行缩放得到扩大的余弦向量其中s为放大倍数，然后通过softmax函数获得第j个类别的概率p
j
：
[0082][0083]
再根据之前输入的标签通过one-hot编码基于概率p
j
计算附加角边距的损失函数loss，可由下式计算损失函数loss：
[0084][0085]
式中，n为训练时训练图像输入的batch大小，i∈[1,n]，y
i
为训练时输入的标签对应的编码，为夹角向量中与标签对应余弦值的余弦角，即特征中心角，m为角边距。
[0086]
在步骤s320中，基于损失函数训练特征提取网络、整合全连接层和分类全连接层。
[0087]
在一些实施例中，可根据loss计算余弦向量中每个类别余弦值的梯度，余弦向量为根据训练集类别n确定的n维向量，采用梯度下降方法更新网络中特征提取网络、整合全连接层和分类全连接层的参数，梯度的计算可如下式所示：
[0088][0089]
相关技术中采用交叉熵损失函数计算分类loss用于网络的训练，当网络收敛后，训练集映射到特征空间中，不同类别之间的分类超平面非常狭窄，阻碍了类内之间的紧凑型、不同类之间的可分性，这一现象是交叉熵损失函数的饱和现象。为了提高辐射图像货物模型的性能，根据本公开实施例提供的模型训练方法，通过特征提取网络提取训练图像的特征获得特征向量后，对特征向量和权重向量分别进行归一化处理后做内积获得待输入分类模型的余弦向量，计算损失函数时引入附加角边距的softmax分类函数，起到增加类内之间的紧凑性、提高不同类之间的可分性的作用，从而提高辐射图像货物检查模型的性能，减少误报的同时提高检出率，提高海关进出口货物智能化查验质量。
[0090]
图4a是根据一示例性实施例示出的一种用于货物图像处理的图像特征提取方法的流程图。如图4a所示的图像特征提取方法例如可以应用于上述系统的服务器端，也可以应用于上述系统的终端设备。
[0091]
参考图4a，本公开实施例提供的方法40可以包括以下步骤。
[0092]
在步骤s402中，获取训练图像和标签。可从海关查图历史或现有数据集中获得通过机器学习模型、人工等方式标注的海量训练集，在训练前可对辐射图像中的货物区域进行预处理操作，可对训练图像进行图像增强操作，然后对所有训练图像的尺度进行归一化
操作，再进行中值滤波去除椒盐噪声，以缩小x射线源、探测器等各种因素导致的训练图像之间的差异，有利于提高训练过程的稳定性，增强辐射图像货物检查模型的鲁棒性。
[0093]
在步骤s404中，将训练图像通过特征提取网络的第一卷积层获得第一特征图。
[0094]
在步骤s405中，将第一特征图分成第一高频特征分量和第一低频特征分量。声音频段中有高频部分和低频部分，图片像素中也可以将信息分为高频信息和低频信息，低频信息中包含那些缓慢变化的、结构性的信息，而高频信息包含那些变化较大、包含图片细节的信息，因此可以把图像认为是高频信息和低频信息的混合表示。
[0095]
进一步地，根据预设比例参数将第一特征图按照通道分成第一高频特征分量和第一低频特征分量。在一些实施例中，例如，可通过预设比例参数α控制对高频特征分量和低频特征分量的分组，α∈[0,1]，α表示特征图中低频特征分量的通道所占的比例。由于第一卷积层的输入是预处理后的训练图像，可不对输入的第一特征图的通道进行分组，所以在特征提取网络的第一卷积层中采用普通的卷积神经网络，即将第一卷积层的输入全部作为高频分量，也就是说设置预设比例参数α为0。
[0096]
低频分量可以描述图像的全局结构，低频分量是冗余的，因此在进行下一步操作前，通过将低频分量进行降采样可降低计算量，在一些实施例中，例如，将高和宽同时缩放为原来的1/2。将第一特征图表示为x＝r
c
×
h
×
w
，该式表示第一特征图x为通道数为c、高为h、宽为w的特征矩阵r，则将第一特征图x分为第一高频特征分量和第一低频特征分量可表示为：x＝{x
h
,x
l
}，其中，x
h
＝r
(1-α)c
×
h
×
w
，x
l
＝r
αc
×
(h/2)
×
(w/2)
。
[0097]
在步骤s406中，将第一高频特征分量通过特征提取网络的第二卷积层获得第二高频特征和第二低频特征。
[0098]
在步骤s4061中，将第一高频特征分量通过第二卷积层中的高到高卷积核进行卷积运算获得第二高频特征。
[0099]
在步骤s4062中，将第一高频特征分量进行下采样处理后通过第二卷积层中的高到低卷积核进行卷积运算获得第二低频特征。
[0100]
在步骤s408中，将第一低频特征分量通过第二卷积层获得第三高频特征和第三低频特征。
[0101]
在步骤s4081中，将第一低频特征分量通过第二卷积层中的低到低卷积核进行卷积运算获得第三低频特征。
[0102]
在步骤s4082中，将第一低频特征分量通过第二卷积层中的低到高卷积核进行卷积运算并进行上采样处理后获得第三高频特征。
[0103]
在步骤s410中，将第二高频特征和第三高频特征叠加获得第二高频特征分量。
[0104]
在步骤s412中，将第二低频特征和第三低频特征叠加获得第二低频特征分量。
[0105]
在一些实施例中，例如，将卷积核表示为矩阵w，卷积运算表示为函数f，下采样表示为池化操作l，上采样表示为u，则高到高卷积核表示为矩阵w
h
→
h
，高到低卷积核表示为矩阵w
h
→
l
，低到低卷积核表示为矩阵w
l
→
l
，低到高卷积核表示为矩阵w
l
→
h
，可由下式获得第二高频特征分量y
h
和第二低频特征分量y
l
：
[0106]
y
h
＝f(x
h
；w
h
→
h
) u(f(x
l
；w
l
→
h
))
ꢀꢀ
(4)
[0107]
y
l
＝f(x
l
；w
l
→
l
) f(l(x
h
,2)；w
h
→
l
)
ꢀꢀ
(5)
[0108]
深度学习卷积神经网络可包括多层卷积层，可由第一层卷积层输出第一特征图进
行划分获得第一高频特征分量和第一低频特征分量，也可由其他卷积层输出第二高频特征分量和第二低频特征分量(若为最后一层卷积层的输出则α为0，输出全部为高频特征分量)，然后高频特征分量和低频特征分量可作为下一层的卷积层的输入(若为第一层卷积层的输入则α为0，输入全部作为高频特征分量)继续进行卷积操作提取特征。本技术不对第二卷积层的位置作限制。
[0109]
在步骤s414中，将第二高频特征分量和第二低频特征分量融合获得特征向量。
[0110]
在一些实施例中，例如，可将第二高频特征分量和第二低频特征分量加权叠加获得待输入到分类网络的特征向量。
[0111]
如图4b所示，图4b是根据一示例性实施例示出的一种图像特征提取过程示意图。参考图4b，将第一特征图x分为第一高频特征分量和第一低频特征分量获得x＝{x
h
,x
l
}后，将第一高频特征分量x
h
通过第二卷积层中的高到高卷积核进行卷积运算后与第一低频特征分量x
l
通过第二卷积层中的低到高卷积核进行卷积运算并进行上采样处理后的结果叠加获得第二高频特征分量y
h
，将第一高频特征分量x
h
进行池化处理后通过第二卷积层中的高到低卷积核进行卷积运算的结果与第一低频特征分量x
l
通过第二卷积层中的低到低卷积核进行卷积运算的结果叠加获得第二低频特征分量y
l
。
[0112]
根据本公开实施例提供的图像特征提取方法，在深度学习卷积神经网络的基础上对特征提取网络进行处理，将卷积层的特征图分为高频特征分量和低频特征分量两部分，在卷积前将低频特征分量进行降采样，实现了降低计算量、加快训练速度的技术效果，可提高辐射图像货物模型在现场的运行速度。
[0113]
图5是根据一示例性实施例示出的一种货物图像处理装置的框图。如图5所示的货物图像处理装置例如可以应用于上述系统的服务器端，也可以应用于上述系统的终端设备。
[0114]
参考图5，本公开实施例提供的货物图像处理装置50可以包括数据获取模块502、特征提取模块504、归一化模块506、分类模块508、损失计算模块510和训练模块512。
[0115]
数据获取模块502可用于获取训练图像和标签。
[0116]
特征提取模块504可用于通过特征提取网络提取训练图像的特征获得特征向量。
[0117]
归一化模块506可用于获得分类网络的权重向量，分类网络包括分类全连接层；对权重向量进行归一化处理获得归一化的权重向量。
[0118]
分类模块508可用于基于特征向量和归一化的权重向量通过分类全连接层获得分类模型输入。
[0119]
损失计算模块510可用于根据分类模型输入和标签获得损失函数。
[0120]
训练模块512可用于基于损失函数训练特征提取网络和分类网络以识别图像中的货物。
[0121]
根据本公开实施例提供的货物图像处理装置，通过特征提取模块提取数据获取模块获取的训练图像的特征获得特征向量后，归一化模块对包括分类全连接层的分类网络的权重向量进行归一化处理获得归一化的权重向量，然后分类模块基于特征向量和归一化的权重向量通过分类全连接层获得分类模型输入，损失计算模块根据分类模型输入和标签获得损失函数，训练模块基于损失函数训练特征提取网络和分类网络以识别图像中的货物，由于权重向量模长表征不同类别图像的数量，因此可减轻不同类别图像数量对权重的影
响，有利于不同类别的图像在特征空间中的分布更均衡，从而可实现一定程度上提高基于深度学习算法的辐射图像分类模型的精度。
[0122]
图6是根据一示例性实施例示出的另一种货物图像处理装置的框图。如图6所示的货物图像处理装置例如可以应用于上述系统的服务器端，也可以应用于上述系统的终端设备。
[0123]
参考图6，本公开实施例提供的装置60可以包括预处理模块602、数据获取模块604、特征提取模块606、归一化模块608、分类模块610、损失计算模块612和训练模块614。
[0124]
预处理模块602可用于对初始货物图像进行预处理。
[0125]
数据获取模块604可用于获取训练图像和标签。
[0126]
特征提取模块606可用于将训练图像通过特征提取网络的第一卷积层获得第一特征图；将第一特征图分成第一高频特征分量和第一低频特征分量；将第一高频特征分量通过特征提取网络的第二卷积层获得第二高频特征和第二低频特征；将第一低频特征分量通过第二卷积层获得第三高频特征和第三低频特征；将第二高频特征和第三高频特征叠加获得第二高频特征分量；将第二低频特征和第三低频特征叠加获得第二低频特征分量；将第二高频特征分量和第二低频特征分量融合获得特征向量。
[0127]
特征提取模块606还可用于将第一高频特征分量通过第二卷积层中的高到高卷积核进行卷积运算获得第二高频特征；将第一高频特征分量进行下采样处理后通过第二卷积层中的高到低卷积核进行卷积运算获得第二低频特征；将第一低频特征分量通过第二卷积层中的低到低卷积核进行卷积运算获得第三低频特征；将第一低频特征分量通过第二卷积层中的低到高卷积核进行卷积运算并进行上采样处理后获得第三高频特征。
[0128]
特征提取模块606还可用于根据预设比例参数将第一特征图分成第一高频特征分量和第一低频特征分量。
[0129]
归一化模块608可用于对特征向量进行归一化处理获得归一化的特征向量；获得分类网络的分类全连接层的权重向量，分类网络包括整合全连接层和分类全连接层；对权重向量进行归一化处理获得归一化的权重向量。
[0130]
归一化模块608还可用于通过整合全连接层处理特征向量获得整合的特征向量；对整合的特征向量进行归一化处理获得归一化的特征向量。
[0131]
分类模块610可用于计算归一化的特征向量和归一化的权重向量的内积获得余弦向量。
[0132]
损失计算模块612可用于对余弦向量进行反余弦处理获得夹角向量；对余弦向量进行缩放处理获得扩大的余弦向量；基于扩大的余弦向量和标签通过分类全连接层的交叉熵softmax函数获得损失函数。
[0133]
损失计算模块612还可用于根据标签从夹角向量中获得特征中心角；对特征中心角进行处理获得附加角边距的特征中心角；对附加角边距的特征中心角的余弦值进行缩放处理获得扩大的附加角边距的特征中心角余弦；基于标签将扩大的余弦向量、扩大的附加角边距的特征中心角余弦代入softmax函数获得损失函数。
[0134]
训练模块614可用于基于损失函数训练特征提取网络、整合全连接层和分类全连接层以识别图像中的货物。
[0135]
图7示出本公开实施例中归一化模块与分类模块的结构关系示意图。参考图7，特
征提取网络输出的特性向量首先输入整合全连接层获得待输入分类模块中分类全连接层的特征向量l2归一化模块获得特征向量和分类全连接层的权重向量对特征向量和权重向量分别进行l2范数归一化后获得归一化的特征向量和归一化的权重向量然后将归一化的特征向量和归一化的权重向量在分类全连接层做内积运算获得用于损失计算的余弦向量。
[0136]
图8示出本公开实施例中一种电子设备的结构示意图。需要说明的是，图8示出的设备仅以计算机系统为示例，不应对本公开实施例的功能和使用范围带来任何限制。
[0137]
如图8所示，设备800包括中央处理单元(cpu)801，其可以根据存储在只读存储器(rom)802中的程序或者从存储部分808加载到随机访问存储器(ram)803中的程序而执行各种适当的动作和处理。在ram 803中，还存储有设备800操作所需的各种程序和数据。cpu801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
[0138]
以下部件连接至i/o接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至i/o接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
[0139]
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(cpu)801执行时，执行本公开的系统中限定的上述功能。
[0140]
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可
读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0141]
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0142]
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括数据获取模块、特征提取模块、归一化模块、分类模块、损失计算模块和训练模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，数据获取模块还可以被描述为“向所连接的服务器端获取训练数据的模块”。
[0143]
作为另一方面，本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：获取训练图像和标签；通过特征提取网络提取训练图像的特征获得特征向量；获得分类网络的权重向量，分类网络包括分类全连接层；对权重向量进行归一化处理获得归一化的权重向量；基于特征向量和归一化的权重向量通过分类全连接层获得分类模型输入；根据分类模型输入和标签获得损失函数；基于损失函数训练特征提取网络和分类网络以识别图像中的货物。
[0144]
以上具体地示出和描述了本公开的示例性实施例。应可理解的是，本公开不限于这里描述的详细结构、设置方式或实现方法；相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。