基于信息融合的行人检测方法及其系统与流程

1.本技术涉及行人智能检测的领域，且更为具体地，涉及一种基于信息融合的行人检测方法及其系统。


背景技术：

2.吊运装备现场频频出现意外伤亡的事件，因此行人检测与定位技术在具体施工项目中需要得到重视。对施工现场的行人进行检测时，需要将行人从复杂多变的施工环境中提取出来，实时获取其位置和运动状态信息以确保行人的安全。
3.视觉传感器因具有成本低、图像信息丰富、目标易识别分类等优点而广泛应用于目标检测，但基于视觉的检测方法易受环境(光照、天气、粉尘浓度等)影响，且无法获取目标的准确位置信息；毫米波雷达因所发射的电磁波具有穿透粉尘能力强的特性而用于既定环境下探测障碍物与毫米波雷达的相对距离，但其无法获取目标的几何信息和类别信息。
4.因此，为了准确地对于吊运装备现场的非安全区域内的行人进行检测，以确保行人的安全，期望提供一种基于信息融合的行人检测方案。


技术实现要素：

5.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种基于信息融合的行人检测方法及其系统，其通过基于深度学习的卷积神经网络模型来挖掘出吊运装备现场非安全区域内的视觉传感器获取的监控图像特征和毫米波雷达获取的回波信号特征来综合对区域内的行人进行检测，并且在特征融合的过程中，应用衍生信息超凸度量因数来作为损失函数进行训练以通过特征图在高维空间内的内部元素子维度间的信息度量，来进行高维特征的流形的超凸一致性衍生表示，进而使得这两者的卷积神经网络模型能够对彼此的特征提取能力进行迁移学习，以提高分类的准确性。这样，能够对于吊运装备现场的非安全区域内的行人进行准确地检测，以确保行人的安全。
6.根据本技术的一个方面，提供了一种基于信息融合的行人检测方法，其包括：
7.训练阶段，包括：
8.通过部署于吊运装备现场的视觉传感器获取监控图像；
9.通过部署于所述吊运装备现场的毫米波雷达获取回波信号；
10.将所述监控图像通过第一卷积神经网络以获得第一特征图；
11.将所述回波信号的波形图通过第二卷积神经网络以获得第二特征图；
12.融合所述第一特征图和所述第二特征图以获得分类特征图；
13.将所述分类特征图通过分类器以获得分类损失函数值；
14.计算所述第一特征图和所述第二特征图之间的衍生信息超凸度量因数，其中，所述衍生信息超凸度量因数为所述第一特征图和所述第二特征图中各个位置的特征值间的差值的绝对值沿着宽度维度、高度维度和通道维度的加权和除以所述第一特征图和所述第二特征图中各个位置的特征值间的差值沿着宽度维度、高度维度和通道维度的加权和；以
及
15.计算所述分类损失函数值和所述衍生信息超凸度量因数的加权和作为损失函数值对所述第一卷积神经网络和所述第二卷积神经网络进行训练；以及
16.推断阶段，包括：
17.通过部署于吊运装备现场的视觉传感器获取监控图像；
18.通过部署于所述吊运装备现场的毫米波雷达获取回波信号；
19.将所述监控图像通过经训练阶段训练完成的所述第一卷积神经网络以获得第一特征图；
20.将所述回波信号的波形图通过经训练完成的所述第二卷积神经网络以获得第二特征图；
21.融合所述第一特征图和所述第二特征图以获得分类特征图；以及将所述分类特征图通过分类器以获得分类结果，所述分类结果用于表示非安全区域内是否存在行人。
22.根据本技术的另一方面，提供了一种基于信息融合的行人检测系统，其包括：
23.训练模块，包括：
24.监控图像获取单元，用于通过部署于吊运装备现场的视觉传感器获取监控图像；
25.回波信号获取单元，用于通过部署于所述吊运装备现场的毫米波雷达获取回波信号；
26.第一特征提取单元，用于将所述监控图像通过第一卷积神经网络以获得第一特征图；
27.第二特征提取单元，用于将所述回波信号的波形图通过第二卷积神经网络以获得第二特征图；
28.融合单元，用于融合所述第一特征图和所述第二特征图以获得分类特征图；
29.分类损失函数值计算单元，用于将所述分类特征图通过分类器以获得分类损失函数值；
30.衍生信息超凸度量因数计算单元，用于计算所述第一特征图和所述第二特征图之间的衍生信息超凸度量因数，其中，所述衍生信息超凸度量因数为所述第一特征图和所述第二特征图中各个位置的特征值间的差值的绝对值沿着宽度维度、高度维度和通道维度的加权和除以所述第一特征图和所述第二特征图中各个位置的特征值间的差值沿着宽度维度、高度维度和通道维度的加权和；以及
31.训练单元，用于计算所述分类损失函数值和所述衍生信息超凸度量因数的加权和作为损失函数值对所述第一卷积神经网络和所述第二卷积神经网络进行训练；以及
32.推断模块，包括：
33.推断图像获取单元，用于通过部署于吊运装备现场的视觉传感器获取监控图像；
34.推断信号采集单元，用于通过部署于所述吊运装备现场的毫米波雷达获取回波信号；
35.第一特征图生成单元，用于将所述监控图像通过经训练阶段训练完成的所述第一卷积神经网络以获得第一特征图；
36.第二特征图生成单元，用于将所述回波信号的波形图通过经训练完成的所述第二卷积神经网络以获得第二特征图；
37.分类特征图生成单元，用于融合所述第一特征图和所述第二特征图以获得分类特征图；以及
38.分类单元，用于将所述分类特征图通过分类器以获得分类结果，所述分类结果用于表示非安全区域内是否存在行人。
39.根据本技术的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的基于信息融合的行人检测方法。
40.根据本技术提供的基于信息融合的行人检测方法及其系统，其通过基于深度学习的卷积神经网络模型来挖掘出吊运装备现场非安全区域内的视觉传感器获取的监控图像特征和毫米波雷达获取的回波信号特征来综合对区域内的行人进行检测，并且在特征融合的过程中，应用衍生信息超凸度量因数来作为损失函数进行训练以通过特征图在高维空间内的内部元素子维度间的信息度量，来进行高维特征的流形的超凸一致性衍生表示，进而使得这两者的卷积神经网络模型能够对彼此的特征提取能力进行迁移学习，以提高分类的准确性。这样，能够对于吊运装备现场的非安全区域内的行人进行准确地检测，以确保行人的安全。
附图说明
41.通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
42.图1为根据本技术实施例的基于信息融合的行人检测方法的场景示意图。
43.图2a为根据本技术实施例的基于信息融合的行人检测方法中训练阶段的流程图。
44.图2b为根据本技术实施例的基于信息融合的行人检测方法中推断阶段的流程图。
45.图3a为根据本技术实施例的基于信息融合的行人检测方法中训练阶段的架构示意图。
46.图3b为根据本技术实施例的基于信息融合的行人检测方法中推断阶段的架构示意图。
47.图4为根据本技术实施例的基于信息融合的行人检测系统的框图。
具体实施方式
48.下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
49.场景概述
50.如前所述，吊运装备现场频频出现意外伤亡的事件，因此行人检测与定位技术在具体施工项目中需要得到重视。对施工现场的行人进行检测时，需要将行人从复杂多变的施工环境中提取出来，实时获取其位置和运动状态信息以确保行人的安全。
51.视觉传感器因具有成本低、图像信息丰富、目标易识别分类等优点而广泛应用于
目标检测，但基于视觉的检测方法易受环境(光照、天气、粉尘浓度等)影响，且无法获取目标的准确位置信息；毫米波雷达因所发射的电磁波具有穿透粉尘能力强的特性而用于既定环境下探测障碍物与毫米波雷达的相对距离，但其无法获取目标的几何信息和类别信息。
52.因此，为了准确地对于吊运装备现场的非安全区域内的行人进行检测，以确保行人的安全，期望提供一种基于信息融合的行人检测方案。
53.相应地，本技术发明人考虑到，由于视觉传感器易受环境的影响，且毫米波雷达不能获取目标的几何和类别信息，但是这两者却有着各自的优点，因此若能结合这两者获取的数据特征信息来进行融合分类，能够更加准确地对于吊运装备现场的非安全区域内的行人进行检测。
54.具体地，在本技术的技术方案中，首先，通过部署于吊运装备现场的视觉传感器获取待检测目标区域的监控图像，以及通过毫米波雷达获取所述待检测目标区域的回波信号。应可以理解，为了提取出所述监控图像中的局部隐含特征信息，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来对所述监控图像进行特征挖掘。并且为了充分利用所述目标的几何信息，在本技术中使用卷积神经网络的浅层提取出所述监控图像的浅层特征并从所述卷积神经网络的深层提取出深层特征。特别地，这里，所述卷积神经网络的浅层的层数选取与所述卷积神经网络的总层数有关，例如，总层数为40时，从所述卷积神经网络的第4层提取所述浅度特征图，总层数为50时，从所述卷积神经网络的第5层提取所述浅度特征图，对此，并不为本技术所局限，而所述卷积神经网络的深层选取可以直接从所述卷积神经网络的最后一层提取出所述深层特征图。这样，融合所述深层特征图和所述浅层特征图就可以获得具有丰富的所述待检测目标的几何信息和类别信息的第一特征图。
55.然后，对于所述毫米波雷达获取的回波信号，利用深度可分离卷积神经网络来进行特征提取，以获得第二特征图。具体地，所述深度可分离卷积神经网络的卷积核为这里，所述深度可分离卷积神经网络能够去除所述回波信号中的无用噪声信号，以使得对于行人检测的准确性更高，有利于提高后续的精度，并且其还可以利用两个二维卷积来代替三维卷积，降低了计算量，使得分类的准确度更高。
56.这样，融合所述第一特征图和所述第二特征图就可以获得分类特征图来进行分类处理，以得到用于表示非安全区域内是否存在行人的分类结果。但是，由于所述第一卷积神经网络对于视觉传感器的视觉特征特征存在特征提取的鲁棒性易受环境影响的问题，而所述深度可分离卷积神经网络所作用的回波信号的图像本身存在目标对象的几何信息和类别信息的缺失，因此期望通过对所述第一卷积神经网络和深度可分离卷积神经网络的训练，来让两者在特征提取方面互相学习，从而提高所获得的所述第一特征图和所述第二特征图的特征提取能力。
57.具体地，应用衍生信息超凸度量因数作为损失函数，表示为：
[0058][0059]
其中和分别表示第一特征图和第二特征图的每个位置的特征值，且第
一特征图和第二特征图均具有尺度w
×h×
c。
[0060]
这里，衍生信息超凸度量因数可以通过特征图在高维空间内的内部元素子维度间的信息度量，来进行高维特征的流形的超凸一致性衍生表示，通过以该因数作为损失函数来训练第一卷积神经网络和深度可分离卷积神经网络，可以通过使得特征图之间的流形差异性在信息维度上趋于超凸一致性，来使得第一卷积神经网络和深度可分离卷积神经网络对彼此的特征提取能力进行迁移学习，进而提高分类的准确性。
[0061]
基于此，本技术提出了一种基于信息融合的行人检测方法，其包括：训练阶段和推断阶段。其中，训练阶段包括步骤：通过部署于吊运装备现场的视觉传感器获取监控图像；通过部署于所述吊运装备现场的毫米波雷达获取回波信号；将所述监控图像通过第一卷积神经网络以获得第一特征图；将所述回波信号的波形图通过第二卷积神经网络以获得第二特征图；融合所述第一特征图和所述第二特征图以获得分类特征图；将所述分类特征图通过分类器以获得分类损失函数值；计算所述第一特征图和所述第二特征图之间的衍生信息超凸度量因数，其中，所述衍生信息超凸度量因数为所述第一特征图和所述第二特征图中各个位置的特征值间的差值的绝对值沿着宽度维度、高度维度和通道维度的加权和除以所述第一特征图和所述第二特征图中各个位置的特征值间的差值沿着宽度维度、高度维度和通道维度的加权和；以及，计算所述分类损失函数值和所述衍生信息超凸度量因数的加权和作为损失函数值对所述第一卷积神经网络和所述第二卷积神经网络进行训练。其中，推断阶段包括步骤：通过部署于吊运装备现场的视觉传感器获取监控图像；通过部署于所述吊运装备现场的毫米波雷达获取回波信号；将所述监控图像通过经训练阶段训练完成的所述第一卷积神经网络以获得第一特征图；将所述回波信号的波形图通过经训练完成的所述第二卷积神经网络以获得第二特征图；融合所述第一特征图和所述第二特征图以获得分类特征图；以及，将所述分类特征图通过分类器以获得分类结果，所述分类结果用于表示非安全区域内是否存在行人。
[0062]
图1图示了根据本技术实施例的基于信息融合的行人检测方法的场景示意图。如图1所示，在该应用场景的训练阶段中，首先，通过部署于吊运装备(例如，如图1中所示意的e)现场的视觉传感器(例如，如图1中所示意的t)获取监控图像，并且通过部署于所述吊运装备现场的毫米波雷达(例如，如图1中所示意的r)获取回波信号。然后，将获得的所述监控图像和所述回波信号输入至部署有基于信息融合的行人检测算法的服务器(例如，如图1中所示意的s)中，其中，所述服务器能够基于信息融合的行人检测算法以所述监控图像和所述回波信号对基于信息融合的行人检测的所述第一卷积神经网络和所述第二卷积神经网络进行训练。
[0063]
在训练完成后，在推断阶段中，首先，通过部署于吊运装备(例如，如图1中所示意的e)现场的视觉传感器(例如，如图1中所示意的t)获取监控图像，并且通过部署于所述吊运装备现场的毫米波雷达(例如，如图1中所示意的r)获取回波信号。然后，将所述监控图像和所述回波信号输入至部署有基于信息融合的行人检测算法的服务器(例如，如图1中所示意的s)中，其中，所述服务器能够以基于信息融合的行人检测算法对所述监控图像和所述回波信号进行处理，以生成用于表示非安全区域内是否存在行人的分类结果。
[0064]
在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
[0065]
示例性方法
[0066]
图2a图示了根据本技术实施例的基于信息融合的行人检测方法中训练阶段的流程图。如图2a所示，根据本技术实施例的基于信息融合的行人检测方法，包括：训练阶段，包括步骤：s110，通过部署于吊运装备现场的视觉传感器获取监控图像；s120，通过部署于所述吊运装备现场的毫米波雷达获取回波信号；s130，将所述监控图像通过第一卷积神经网络以获得第一特征图；s140，将所述回波信号的波形图通过第二卷积神经网络以获得第二特征图；s150，融合所述第一特征图和所述第二特征图以获得分类特征图；s160，将所述分类特征图通过分类器以获得分类损失函数值；s170，计算所述第一特征图和所述第二特征图之间的衍生信息超凸度量因数，其中，所述衍生信息超凸度量因数为所述第一特征图和所述第二特征图中各个位置的特征值间的差值的绝对值沿着宽度维度、高度维度和通道维度的加权和除以所述第一特征图和所述第二特征图中各个位置的特征值间的差值沿着宽度维度、高度维度和通道维度的加权和；以及，s180，计算所述分类损失函数值和所述衍生信息超凸度量因数的加权和作为损失函数值对所述第一卷积神经网络和所述第二卷积神经网络进行训练。
[0067]
图2b图示了根据本技术实施例的基于信息融合的行人检测方法中推断阶段的流程图。如图2b所示，根据本技术实施例的基于信息融合的行人检测方法，还包括：推断阶段，包括步骤：s210，通过部署于吊运装备现场的视觉传感器获取监控图像；s220，通过部署于所述吊运装备现场的毫米波雷达获取回波信号；s230，将所述监控图像通过经训练阶段训练完成的所述第一卷积神经网络以获得第一特征图；s240，将所述回波信号的波形图通过经训练完成的所述第二卷积神经网络以获得第二特征图；s250，融合所述第一特征图和所述第二特征图以获得分类特征图；以及，s260，将所述分类特征图通过分类器以获得分类结果，所述分类结果用于表示非安全区域内是否存在行人。
[0068]
图3a图示了根据本技术实施例的基于信息融合的行人检测方法中训练阶段的架构示意图。如图3a所示，在训练阶段中，在该网络架构中，首先，将获得的所述监控图像(例如，如图3a中所示意的p1)通过第一卷积神经网络(例如，如图3a中所示意的cnn1)以获得第一特征图(例如，如图3a中所示意的f1)；接着，将获得的所述回波信号的波形图(例如，如图3a中所示意的p2)通过第二卷积神经网络(例如，如图3a中所示意的cnn2)以获得第二特征图(例如，如图3a中所示意的f2)；然后，融合所述第一特征图和所述第二特征图以获得分类特征图(例如，如图3a中所示意的fc)；接着，将所述分类特征图通过分类器(例如，如图3a中所示意的分类器)以获得分类损失函数值(例如，如图3a中所示意的clv)；然后，计算所述第一特征图和所述第二特征图之间的衍生信息超凸度量因数(例如，如图3a中所示意的dih)；以及，最后，计算所述分类损失函数值和所述衍生信息超凸度量因数的加权和作为损失函数值对所述第一卷积神经网络和所述第二卷积神经网络进行训练。
[0069]
图3b图示了根据本技术实施例的基于信息融合的行人检测方法中推断阶段的架构示意图。如图3b所示，在推断阶段中，在该网络结构中，首先，将获得的所述监控图像(例如，如图3b中所示意的q1)通过经训练阶段训练完成的所述第一卷积神经网络(例如，如图3b中所示意的cn1)以获得第一特征图(例如，如图3b中所示意的f1)；接着，将获得的所述回波信号的波形图(例如，如图3b中所示意的q2)通过经训练完成的所述第二卷积神经网络(例如，如图3b中所示意的cn2)以获得第二特征图(例如，如图3b中所示意的f2)；然后，融合
所述第一特征图和所述第二特征图以获得分类特征图(例如，如图3b中所示意的fc)；最后，将所述分类特征图通过分类器(例如，如图3b中所示意的分类器)以获得分类结果，所述分类结果用于表示非安全区域内是否存在行人。
[0070]
更具体地，在训练阶段中，在步骤s110、步骤s120和步骤s130中，通过部署于吊运装备现场的视觉传感器获取监控图像，并通过部署于所述吊运装备现场的毫米波雷达获取回波信号，再将所述监控图像通过第一卷积神经网络以获得第一特征图。如前所述，由于视觉传感器易受环境的影响，且毫米波雷达不能获取目标的几何和类别信息，但是这两者却有着各自的优点，例如所述视觉传感器成本低、图像信息丰富、目标易识别分类，毫米波雷达所发射的电磁波具有穿透粉尘能力强的特性而用于既定环境下探测障碍物与毫米波雷达的相对距离。因此，在本技术的技术方案中，结合这两者获取的数据特征信息来进行融合分类，能够更加准确地对于吊运装备现场的非安全区域内的行人进行检测。
[0071]
也就是，具体地，在本技术的技术方案中，首先，通过部署于吊运装备现场的视觉传感器获取待检测目标区域的监控图像，以及通过毫米波雷达获取所述待检测目标区域的回波信号。应可以理解，为了提取出所述监控图像中的局部隐含特征信息，使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来对所述监控图像进行特征挖掘。并且为了充分利用所述目标的几何信息，在本技术的技术方案中，使用第一卷积神经网络的浅层提取出所述监控图像的浅层特征并从所述第一卷积神经网络的深层提取出深层特征，再进一步进行特征融合。
[0072]
具体地，在本技术实施例中，将所述监控图像通过第一卷积神经网络以获得第一特征图的过程，包括：所述第一卷积神经网络的各层在层的正向传递中对输入数据分别进行：对所述输入数据进行基于二维卷积核的卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；以及，对所述池化特征图进行基于非线性激活函数的激活以获得激活特征图。相应地，在一个具体示例中，从所述第一卷积神经网络的第m层提取第一激活特征图；并且从所述第一卷积神经网络的最后一层提取第二激活特征图。特别地，这里，所述第一卷积神经网络的浅层的层数选取与所述第一卷积神经网络的总层数有关，例如，总层数为40时，从所述第一卷积神经网络的第4层提取所述浅度特征图，总层数为50时，从所述第一卷积神经网络的第5层提取所述浅度特征图，对此，并不为本技术所局限，而所述第一卷积神经网络的深层选取可以直接从所述第一卷积神经网络的最后一层提取出所述深层特征图。这样，融合所述深层特征图和所述浅层特征图就可以获得具有丰富的所述待检测目标的几何信息和类别信息的第一特征图，也就是，融合所述第一激活特征图和所述第二激活特征图以获得所述第一特征图。
[0073]
更具体地，在训练阶段中，在步骤s140中，将所述回波信号的波形图通过第二卷积神经网络以获得第二特征图。也就是，在本技术的技术方案中，对于所述毫米波雷达获取的回波信号，利用深度可分离卷积神经网络模型来进行特征提取，以获得第二特征图。具体地，所述深度可分离卷积神经网络的卷积核为应可以理解，这里，所述第二卷积神经网络模型为深度可分离卷积神经网络，所述深度可分离卷积神经网络能够去除所述回波信号中的无用噪声信号，以使得对于行人检测的准确性更高，有利于提高后续的精度，并且其还可以利用两个二维卷积来代替三维卷积，降低了计算量，使得分类的准确度更高。
[0074]
更具体地，在训练阶段中，在步骤s150和步骤s160中，融合所述第一特征图和所述第二特征图以获得分类特征图，并将所述分类特征图通过分类器以获得分类损失函数值。也就是，在本技术的技术方案中，在得到所述第一特征图和所述第二特征图后，进一步融合这两者的特征信息来进行分类，以获得分类损失函数值。相应地，在一个具体示例中，可以计算所述第一特征图和所述第二特征图的相应位置的加权和来获得所述分类特征图。
[0075]
具体地，在本技术实施例中，将所述分类特征图通过分类器以获得分类损失函数值的过程，包括：首先，使用所述分类器以如下公式对所述分类特征图进行处理以生成分类结果，其中，所述公式为：softmax{(wn,bn):
…
:(w1,b1)project(f)}，其中project(f)表示将所述分类特征图投影为向量，w1至wn为各层全连接层的权重矩阵，b1至bn表示各层全连接层的偏置矩阵；然后，计算所述分类结果与真实值之间的交叉熵值作为所述分类损失函数值。
[0076]
更具体地，在训练阶段中，在步骤s170和步骤s180中，计算所述第一特征图和所述第二特征图之间的衍生信息超凸度量因数，其中，所述衍生信息超凸度量因数为所述第一特征图和所述第二特征图中各个位置的特征值间的差值的绝对值沿着宽度维度、高度维度和通道维度的加权和除以所述第一特征图和所述第二特征图中各个位置的特征值间的差值沿着宽度维度、高度维度和通道维度的加权和，并计算所述分类损失函数值和所述衍生信息超凸度量因数的加权和作为损失函数值对所述第一卷积神经网络和所述第二卷积神经网络进行训练。由于所述第一卷积神经网络对于视觉传感器的视觉特征特征存在特征提取的鲁棒性易受环境影响的问题，而所述深度可分离卷积神经网络所作用的回波信号的图像本身存在目标对象的几何信息和类别信息的缺失，因此，在本技术的技术方案中，期望通过对所述第一卷积神经网络和所述深度可分离卷积神经网络的训练，来让两者在特征提取方面互相学习，从而提高所获得的所述第一特征图和所述第二特征图的特征提取能力。也就是，在本技术的技术方案中，计算所述第一特征图和所述第二特征图之间的衍生信息超凸度量因数作为损失函数与所述分类损失函数值的加权和来对所述第一卷积神经网络和所述第二卷积神经网络进行训练。
[0077]
具体地，在本技术实施例中，计算所述第一特征图和所述第二特征图之间的衍生信息超凸度量因数的过程，包括：以如下公式计算所述第一特征图和所述第二特征图之间的所述衍生信息超凸度量因数；
[0078]
其中，所述公式为：
[0079][0080]
其中和分别表示所述第一特征图和所述第二特征图的每个位置的特征值，且所述第一特征图和所述第二特征图均具有尺度w
×h×
c。
[0081]
在训练完成后，进入推断阶段。也就是，在使用基于信息融合的行人检测算法来训练所述第一卷积神经网络和所述第二卷积神经网络后，将训练完成的所述第一卷积神经网络和所述第二卷积神经网络用于实际的行人检测场景中。
[0082]
更具体地，在推断阶段中，首先，通过部署于吊运装备现场的视觉传感器获取监控
图像。接着，通过部署于所述吊运装备现场的毫米波雷达获取回波信号。然后，将所述监控图像通过经训练阶段训练完成的所述第一卷积神经网络以获得第一特征图。接着，将所述回波信号的波形图通过经训练完成的所述第二卷积神经网络以获得第二特征图。然后，融合所述第一特征图和所述第二特征图以获得分类特征图。最后，将所述分类特征图通过分类器以获得分类结果，所述分类结果用于表示非安全区域内是否存在行人。
[0083]
综上，基于本技术实施例的基于信息融合的行人检测方法被阐明，其通过基于深度学习的卷积神经网络模型来挖掘出吊运装备现场非安全区域内的视觉传感器获取的监控图像特征和毫米波雷达获取的回波信号特征来综合对区域内的行人进行检测，并且在特征融合的过程中，应用衍生信息超凸度量因数来作为损失函数进行训练以通过特征图在高维空间内的内部元素子维度间的信息度量，来进行高维特征的流形的超凸一致性衍生表示，进而使得这两者的卷积神经网络模型能够对彼此的特征提取能力进行迁移学习，以提高分类的准确性。这样，能够对于吊运装备现场的非安全区域内的行人进行准确地检测，以确保行人的安全。
[0084]
示例性系统
[0085]
图4图示了根据本技术实施例的基于信息融合的行人检测系统的框图。如图4所示，根据本技术实施例的基于信息融合的行人检测系统400，包括：训练模块410和推断模块420。
[0086]
如图4所示，所述训练模块410，包括：监控图像获取单元410，用于通过部署于吊运装备现场的视觉传感器获取监控图像；回波信号获取单元420，用于通过部署于所述吊运装备现场的毫米波雷达获取回波信号；第一特征提取单元430，用于将所述监控图像通过第一卷积神经网络以获得第一特征图；第二特征提取单元440，用于将所述回波信号的波形图通过第二卷积神经网络以获得第二特征图；融合单元450，用于融合所述第一特征图和所述第二特征图以获得分类特征图；分类损失函数值计算单元460，用于将所述分类特征图通过分类器以获得分类损失函数值；衍生信息超凸度量因数计算单元470，用于计算所述第一特征图和所述第二特征图之间的衍生信息超凸度量因数，其中，所述衍生信息超凸度量因数为所述第一特征图和所述第二特征图中各个位置的特征值间的差值的绝对值沿着宽度维度、高度维度和通道维度的加权和除以所述第一特征图和所述第二特征图中各个位置的特征值间的差值沿着宽度维度、高度维度和通道维度的加权和；以及，训练单元480，用于计算所述分类损失函数值和所述衍生信息超凸度量因数的加权和作为损失函数值对所述第一卷积神经网络和所述第二卷积神经网络进行训练。
[0087]
如图4所示，所述推断模块420，包括：推断图像获取单元421，用于通过部署于吊运装备现场的视觉传感器获取监控图像；推断信号采集单元422，用于通过部署于所述吊运装备现场的毫米波雷达获取回波信号；第一特征图生成单元423，用于将所述监控图像通过经训练阶段训练完成的所述第一卷积神经网络以获得第一特征图；第二特征图生成单元424，用于将所述回波信号的波形图通过经训练完成的所述第二卷积神经网络以获得第二特征图；分类特征图生成单元425，用于融合所述第一特征图和所述第二特征图以获得分类特征图；以及，分类单元426，用于将所述分类特征图通过分类器以获得分类结果，所述分类结果用于表示非安全区域内是否存在行人。
[0088]
在一个示例中，在上述基于信息融合的行人检测系统400中，所述第一特征提取单
元430，进一步用于：所述第一卷积神经网络的各层在层的正向传递中对输入数据分别进行：对所述输入数据进行基于二维卷积核的卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；以及，对所述池化特征图进行基于非线性激活函数的激活以获得激活特征图。
[0089]
在一个示例中，在上述基于信息融合的行人检测系统400中，所述第一特征提取单元430，进一步用于：从所述第一卷积神经网络的第m层提取第一激活特征图；从所述第一卷积神经网络的最后一层提取第二激活特征图；以及，融合所述第一激活特征图和所述第二激活特征图以获得所述第一特征图。
[0090]
在一个示例中，在上述基于信息融合的行人检测系统400中，所述第二特征提取单元440，进一步用于：所述第二卷积神经网络模型为深度可分离卷积神经网络，其中，所述深度可分离卷积神经网络的卷积核为度可分离卷积神经网络的卷积核为
[0091]
在一个示例中，在上述基于信息融合的行人检测系统400中，所述分类损失函数值计算单元460，进一步用于：所述分类器以如下公式对所述分类特征图进行处理以生成分类结果，其中，所述公式为：softmax{(wn,bn):
…
:(w1,b1)|project(f)}，其中project(f)表示将所述分类特征图投影为向量，w1至wn为各层全连接层的权重矩阵，b1至bn表示各层全连接层的偏置矩阵；以及，计算所述分类结果与真实值之间的交叉熵值作为所述分类损失函数值。
[0092]
在一个示例中，在上述基于信息融合的行人检测系统400中，所述衍生信息超凸度量因数计算单元470，进一步用于：以如下公式计算所述第一特征图和所述第二特征图之间的所述衍生信息超凸度量因数；
[0093]
其中，所述公式为：
[0094][0095]
其中和分别表示所述第一特征图和所述第二特征图的每个位置的特征值，且所述第一特征图和所述第二特征图均具有尺度w
×h×
c。
[0096]
这里，本领域技术人员可以理解，上述基于信息融合的行人检测系统400中的各个单元和模块的具体功能和操作已经在上面参考图1到图3b的基于信息融合的行人检测方法的描述中得到了详细介绍，并因此，将省略其重复描述。
[0097]
如上所述，根据本技术实施例的基于信息融合的行人检测系统400可以实现在各种终端设备中，例如基于信息融合的行人检测算法的服务器等。在一个示例中，根据本技术实施例的基于信息融合的行人检测系统400可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于信息融合的行人检测系统400可以是该终端设备的操作装置中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于信息融合的行人检测系统400同样可以是该终端设备的众多硬件模块之一。
[0098]
替换地，在另一示例中，该基于信息融合的行人检测系统400与该终端设备也可以是分立的设备，并且该基于信息融合的行人检测系统400可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
[0099]
示例性电子设备
[0100]
示例性计算机程序产品和计算机可读存储介质
[0101]
除了上述方法和设备以外，本技术的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的基于信息融合的行人检测方法中的功能中的步骤。
[0102]
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c 等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
[0103]
此外，本技术的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的基于信息融合的行人检测方法中的步骤。
[0104]
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的装置、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0105]
以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
[0106]
本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0107]
还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
[0108]
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0109]
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技
术人员将认识到其某些变型、修改、改变、添加和子组合。