基于信息融合的行人检测方法及其系统与流程

技术特征：
1.一种基于信息融合的行人检测方法，其特征在于，包括：训练阶段，包括：通过部署于吊运装备现场的视觉传感器获取监控图像；通过部署于所述吊运装备现场的毫米波雷达获取回波信号；将所述监控图像通过第一卷积神经网络以获得第一特征图；将所述回波信号的波形图通过第二卷积神经网络以获得第二特征图；融合所述第一特征图和所述第二特征图以获得分类特征图；将所述分类特征图通过分类器以获得分类损失函数值；计算所述第一特征图和所述第二特征图之间的衍生信息超凸度量因数，其中，所述衍生信息超凸度量因数为所述第一特征图和所述第二特征图中各个位置的特征值间的差值的绝对值沿着宽度维度、高度维度和通道维度的加权和除以所述第一特征图和所述第二特征图中各个位置的特征值间的差值沿着宽度维度、高度维度和通道维度的加权和；以及计算所述分类损失函数值和所述衍生信息超凸度量因数的加权和作为损失函数值对所述第一卷积神经网络和所述第二卷积神经网络进行训练；以及推断阶段，包括：通过部署于吊运装备现场的视觉传感器获取监控图像；通过部署于所述吊运装备现场的毫米波雷达获取回波信号；将所述监控图像通过经训练阶段训练完成的所述第一卷积神经网络以获得第一特征图；将所述回波信号的波形图通过经训练完成的所述第二卷积神经网络以获得第二特征图；融合所述第一特征图和所述第二特征图以获得分类特征图；以及将所述分类特征图通过分类器以获得分类结果，所述分类结果用于表示非安全区域内是否存在行人。2.根据权利要求1所述的基于信息融合的行人检测方法，其中，将所述监控图像通过第一卷积神经网络以获得第一特征图，包括：所述第一卷积神经网络的各层在层的正向传递中对输入数据分别进行：对所述输入数据进行基于二维卷积核的卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；以及对所述池化特征图进行基于非线性激活函数的激活以获得激活特征图。3.根据权利要求2所述的基于信息融合的行人检测方法，其中，将所述监控图像通过第一卷积神经网络以获得第一特征图，包括：从所述第一卷积神经网络的第m层提取第一激活特征图；从所述第一卷积神经网络的最后一层提取第二激活特征图；以及融合所述第一激活特征图和所述第二激活特征图以获得所述第一特征图。4.根据权利要求3所述的基于信息融合的行人检测方法，其中，所述第二卷积神经网络模型为深度可分离卷积神经网络，其中，所述深度可分离卷积神经网络的卷积核为5.根据权利要求4所述的基于信息融合的行人检测方法，其中，将所述分类特征图通过分类器以获得分类损失函数值，包括：所述分类器以如下公式对所述分类特征图进行处理以生成分类结果，其中，所述公式为：softmax{(w
n
,b
n
):
…
:(w1,b1)|project(f)}，其中project(f)表示将所述分类特征图投影为向量，w1至w
n
为各层全连接层的权重矩阵，b1至b
n
表示各层全连接层的偏置矩阵；以及计算所述分类结果与真实值之间的交叉熵值作为所述分类损失函数值。6.根据权利要求5所述的基于信息融合的行人检测方法，其中，计算所述第一特征图和所述第二特征图之间的衍生信息超凸度量因数，包括：以如下公式计算所述第一特征图和所述第二特征图之间的所述衍生信息超凸度量因数；其中，所述公式为：
其中和分别表示所述第一特征图和所述第二特征图的每个位置的特征值，且所述第一特征图和所述第二特征图均具有尺度w
×
h
×
c。7.一种基于信息融合的行人检测系统，其特征在于，包括：训练模块，包括：监控图像获取单元，用于通过部署于吊运装备现场的视觉传感器获取监控图像；回波信号获取单元，用于通过部署于所述吊运装备现场的毫米波雷达获取回波信号；第一特征提取单元，用于将所述监控图像通过第一卷积神经网络以获得第一特征图；第二特征提取单元，用于将所述回波信号的波形图通过第二卷积神经网络以获得第二特征图；融合单元，用于融合所述第一特征图和所述第二特征图以获得分类特征图；分类损失函数值计算单元，用于将所述分类特征图通过分类器以获得分类损失函数值；衍生信息超凸度量因数计算单元，用于计算所述第一特征图和所述第二特征图之间的衍生信息超凸度量因数，其中，所述衍生信息超凸度量因数为所述第一特征图和所述第二特征图中各个位置的特征值间的差值的绝对值沿着宽度维度、高度维度和通道维度的加权和除以所述第一特征图和所述第二特征图中各个位置的特征值间的差值沿着宽度维度、高度维度和通道维度的加权和；以及训练单元，用于计算所述分类损失函数值和所述衍生信息超凸度量因数的加权和作为损失函数值对所述第一卷积神经网络和所述第二卷积神经网络进行训练；以及推断模块，包括：推断图像获取单元，用于通过部署于吊运装备现场的视觉传感器获取监控图像；推断信号采集单元，用于通过部署于所述吊运装备现场的毫米波雷达获取回波信号；第一特征图生成单元，用于将所述监控图像通过经训练阶段训练完成的所述第一卷积神经网络以获得第一特征图；第二特征图生成单元，用于将所述回波信号的波形图通过经训练完成的所述第二卷积神经网络以获得第二特征图；分类特征图生成单元，用于融合所述第一特征图和所述第二特征图以获得分类特征图；以及分类单元，用于将所述分类特征图通过分类器以获得分类结果，所述分类结果用于表示非安全区域内是否存在行人。8.根据权利要求7所述的基于信息融合的行人检测系统，其中，所述第一特征提取单元，进一步用于：所述第一卷积神经网络的各层在层的正向传递中对输入数据分别进行：对所述输入数据进行基于二维卷积核的卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；以及对所述池化特征图进行基于非线性激活函数的激活以获得激活特征图。9.根据权利要求8所述的基于信息融合的行人检测系统，其中，所述第二特征提取单元，进一步用于：从所述第一卷积神经网络的第m层提取第一激活特征图；从所述第一卷积神经网络的最后一层提取第二激活特征图；以及，融合所述第一激活特征图和所述第二激活特征图以获得所述第一特征图。10.根据权利要求9所述的基于信息融合的行人检测系统，其中，所述第一特征提取单元，进一步用于：所述第二卷积神经网络模型为深度可分离卷积神经网络，其中，所述深度可分离卷积神经网络的卷积核为可分离卷积神经网络的卷积核为

技术总结
本申请涉及行人智能检测的领域，其具体地公开了一种基于信息融合的行人检测方法及其系统，其通过基于深度学习的卷积神经网络模型来挖掘出吊运装备现场非安全区域内的视觉传感器获取的监控图像特征和毫米波雷达获取的回波信号特征来综合对区域内的行人进行检测，并且在特征融合的过程中，应用衍生信息超凸度量因数来作为损失函数进行训练以通过特征图在高维空间内的内部元素子维度间的信息度量，来进行高维特征的流形的超凸一致性衍生表示，进而使得这两者的卷积神经网络模型能够对彼此的特征提取能力进行迁移学习，以提高分类的准确性。这样，能够对于吊运装备现场的非安全区域内的行人进行准确地检测，以确保行人的安全。全。全。


技术研发人员：赵小龙 韩中军
受保护的技术使用者：温州旦光文具有限公司
技术研发日：2022.08.26
技术公布日：2022/12/1