一种基于多传感器融合的透雾目标检测方法及装置与流程

1.本发明属于目标检测技术领域，具体涉及一种基于多传感器融合的透雾目标检测方法及装置。


背景技术：

2.目前，海域视频监控系统的发展仍处于起步阶段，主要受限于海面复杂环境、恶劣天气(如多雾、雷暴、狂风等)和未知移动目标的诸多不确定性等因素影响。在天气晴好时，基于普通的摄像头和智能算法能够完成要害区域的防护监测任务，但遇到恶劣天气时，尤其是海上多雾、多水气的情况下，普通摄像头的检测效果就会大打折扣。此外，现有的图像训练数据集均是偏向晴朗天气，并且现有的性能卓越的目标检测网络设计均是在假设数据流一致且冗余的前提下进行，这就导致现有技术在多雾的情况下会因为数据不对称(例如浓雾天气下毫米波雷达可感知数据，但激光雷达感知受限)而失效。因此，如何在复杂多变的海域环境下高效、准确、实时地对未知移动目标开展全天候的定位、跟踪是实现智能海域监测任务的重要基础。
3.为了推进目标检测的发展，现有技术也提出了针对水雾情况下的目标检测方法，如申请公布号为cn 111161160 a的中国专利文献，其公开了一种雾天障碍物检测方法，主要内容为获取待检测路段的原始有雾图像；将原始有雾图像输入去雾模型，对原始有雾图像进行去雾处理，得到初始去雾图像；其中，去雾模型是基于原始无雾样本图像对第一卷积神经网络进行训练得到的；对初始去雾图像进行后处理，得到第一去雾图像；将第一去雾图像输入障碍物检测模型，确定第一去雾图像中的障碍物的位置和轮廓；其中，障碍物检测模型是基于去雾样本图像对第二卷积神经网络进行训练得到的。但是该方法无法解决浓雾情况下的目标检测问题，仅利用相机数据只能处理轻雾情况下的目标检测问题，此外在快速移动和运动模糊、光照突变等具有挑战性环境下的感知能力较弱，使用场景受限；同时也无法解决大雾天气下数据不对称导致的检测失效问题。


技术实现要素：

4.本发明的目的之一在于提供一种基于多传感器融合的透雾目标检测方法，提高在复杂环境下的移动目标捕获性能。
5.为实现上述目的，本发明所采取的技术方案为：
6.一种基于多传感器融合的透雾目标检测方法，所述基于多传感器融合的透雾目标检测方法，包括：
7.配置传感器组，所述传感器组包括双目相机、远红外相机、事件相机和毫米波雷达，传感器组为上下两层布置结构，上层布置结构居中搭载毫米波雷达，下层布置结构从左至右分别搭载事件相机、双目相机和远红外相机；
8.将传感器组中各传感器采集的数据进行时间和空间上的数据对齐；
9.对数据对齐后的各传感器数据进行多模态数据表征得到表征数据；
10.基于表征数据利用预训练的自适应深度融合模型定位移动目标，完成目标检测，所述自适应深度融合模型对双目相机、远红外相机和毫米波雷达对应的表征数据进行特征提取并堆叠得到融合特征图，同时利用注意力机制构建基于事件相机对应的表征数据的注意力图，将所述注意力图与所述融合特征图相乘得到自适应融合特征用于定位移动目标。
11.以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。
12.作为优选，所述将传感器组中各传感器采集的数据进行空间上的数据对齐，包括：利用几何空间变换和标定的方式将远红外相机、事件相机和毫米波雷达统一到双目相机坐标系中并建立与双目相机之间的映射关系，后将远红外相机、事件相机和毫米波雷达的测量结果映射到双目相机各像素上。
13.作为优选，所述将传感器组中各传感器采集的数据进行时间上的数据对齐，包括：以双目相机、远红外相机、事件相机和毫米波雷达中采集频率最低的传感器采集时间为准，获取其他传感器同一时刻的数据。
14.作为优选，所述对数据对齐后的各传感器数据进行多模态数据表征得到表征数据，包括：
15.对于双目相机，取双目相机输出的彩色原始图像表征数据结构为[ws,hs,cs]，分别表示双目相机图像宽、高和通道数；
[0016]
对于远红外相机，取远红外相机输出的热感图像，以像素为单位采用图像插值方法将热感图像的分辨率放大至与双目相机的彩色原始图像对齐，表征数据结构为[wf,hf,cf]，分别表示远红外相机图像的宽、高和通道数；
[0017]
对于毫米波雷达，取毫米波雷达输出的点云数据，对点云数据进行双线性插值直至与双目相机的彩色原始图像数据匹配，即形成张量结构的类图像数据，表征数据结构为[l,s,r]，分别表示为距离、速度和雷达散射截面值；
[0018]
对于事件相机，取事件相机输出的异步时间序列，采用端到端的数据表征方法产生一个带有时间特征的体素网格。
[0019]
作为优选，所述双目相机输出的彩色原始图像表征数据结构中的通道数cs＝3，所述远红外相机输出的热感图像表征数据结构中的cf＝1。
[0020]
作为优选，所述自适应深度融合模型采用resnet34神经网络对毫米波雷达、双目相机和远红外相机的表征数据进行特征提取得到特征图，并利用concatenation堆叠多个特征图得到融合特征图。
[0021]
作为优选，所述将所述注意力图与所述融合特征图相乘，包括：
[0022]
利用注意力图上的每一个像素值对融合特征图的对应像素值进行加权。
[0023]
作为优选，所述自适应深度融合模型使用1个1x1卷积将自适应融合特征的通道降维到256，而后并行使用2个3x3卷积，并在回归分支添加iou分支以分别实现分类和回归得到移动目标。
[0024]
作为优选，所述自适应深度融合模型的损失函数设计包括：
[0025]
将损失函数定义为分类损失函数和回归损失函数之和，即：
[0026]
l＝l
cls
αl
reg
[0027]
式中，l
cls
和l
reg
分别为分类损失函数和回归损失函数，α为权重参数；
[0028]
分类损失函数l
cls
为类置信度与标签之间的二元交叉熵，定义如下：
[0029][0030]
式中，损失被拆分为正锚框和负锚框，匹配阈值为0.5，pc为预测分类概率，lc为真值二元标签，n为样本数，针对每个正锚框，采用huber损失对边界框进行回归：
[0031][0032][0033]
式中，n
pos
是正样本数，h(pc,lc)是huber损失函数。
[0034]
本发明提供的基于多传感器融合的透雾目标检测方法，通过融合各传感器多模态多尺度的有效信息，增强了系统感知能力，实现了各种雾天情况下对未知移动目标的端到端检测，解决大雾天气可见度低情况下仅靠传统相机感知能力弱的问题；引入事件相机实现了在高速移动和光照突变等挑战性场景下对未知移动目标的准确捕获，解决大雾天高速移动和光照变化等复杂情况下对未知移动目标的快速检测问题；利用事件相机数据生成注意力图来实现自适应融合，解决了数据不对称情况下的多传感器的深度特征融合问题，进一步提高了模型检测性能。
[0035]
本发明的目的之二在于提供一种基于多传感器融合的透雾目标检测装置，提高在复杂环境下的移动目标捕获性能。
[0036]
为实现上述目的，本发明所采取的技术方案为：
[0037]
一种基于多传感器融合的透雾目标检测装置，包括处理器以及存储有若干计算机指令的存储器，所述计算机指令被处理器执行时实现所述基于多传感器融合的透雾目标检测方法的步骤。
附图说明
[0038]
图1为本发明的基于多传感器融合的透雾目标检测方法的流程图；
[0039]
图2为本发明各传感器的数据进行数据表征后的示意图；
[0040]
图3为本发明自适应深度融合检测网络的结构示意图；
[0041]
图4为本发明实验中针对浓雾环境下本发明的基于多传感器融合的透雾目标检测方法输出的目标检测图；
[0042]
图5为本发明实验中针对另一浓雾环境下本发明的基于多传感器融合的透雾目标检测方法输出的目标检测图。
具体实施方式
[0043]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本
发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0044]
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本发明。
[0045]
为了解决现有技术中移动目标检测准确性低，特别针对大雾天气无法捕获移动目标的问题，本实施例提出一种采用传统相机、远红外相机、事件相机和毫米波雷达的多传感器融合手段，其中，红外成像具有透烟雾能力强、夜间监视性能佳、不易受电磁干扰、隐蔽性和抗干扰性强等显著优势；毫米波雷达对移动目标的方位和速度有较好的探测效果；事件相机能够对高速运动的物体，保持跟踪和成像。本实施例融合各类传感器在不同天气下的优势，研究面向大雾天气可见度低、运动物体模糊情况下的未知移动目标检测技术，以实现对要害区域或浮岛周界的未知移动目标的探测与行为分析。
[0046]
如图1所示，本实施例的基于多传感器融合的透雾目标检测方法，包括：
[0047]
步骤1、配置传感器组。
[0048]
多模态感知对大雾天气下的未知移动目标检测至关重要，针对每款传感器的固有特性，本实施例采用传统双目相机、远红外相机、事件相机和毫米波雷达组成多传感器融合的传感器组。整体结构分成上下两层，上层居中搭载毫米波雷达，下层从左至右分别搭载事件相机、双目相机和远红外相机，以提高在大雾等恶劣天气的感知能力，而后通过高效密封以实现抗盐雾、抗腐蚀的效果。
[0049]
在一个实施例中，为了保证目标检测效果，采用的各传感器的选型如下：
[0050]
双目相机采用rccb相机，2个摄像头分辨率均为1920x1024，基线为20.3cm，焦距为8mm，视场为39.6x21.7度，频率为30hz。
[0051]
远红外相机采用axis q1922，分辨率为640x480，像素间距17um，等效噪声温差小于100mk，以30hz的分辨率捕获热感图像。
[0052]
事件相机采用prophesee的gen4，分辨率为1280x720，时间延迟为1us(等效时间精度》10000fps)，动态范围为120db，功耗约为30mw。
[0053]
毫米波雷达采用调频连续波(fmcw)毫米波雷达，频率为77ghz，角分辨率为1
°
，最大距离为200m，以15hz的频率开展位置速度检测。
[0054]
需要说明的是，以上仅为本实施例提供的一种较佳的选型方式，在其他实施例中可以根据实际需求进行选型。
[0055]
步骤2、将传感器组中各传感器采集的数据进行时间和空间上的数据对齐。实现各传感器在时间和空间上的数据对齐和信息关联，以在后期的特征级层面充分利用各传感器信息。
[0056]
由于不同传感器安装的位置和采样频率不同，各传感器数据之间存在一定时空差，若不修正则会导致数据的不一致性，因此通过时空同步技术将不同传感器进行数据对齐和信息关联，以保证后期各传感器特征级融合的充分性。
[0057]
1)空间上的数据对齐：利用几何空间变换和标定的方式将远红外相机、事件相机和毫米波雷达统一到双目相机坐标系中并建立与双目相机之间的映射关系，后将远红外相机、事件相机和毫米波雷达的测量结果映射到双目相机各像素上。
[0058]
本实施例在进行空间上的数据对齐时，统一将传感器数据映射至双目相机的像素上，其中双目相机具有的坐标系如下：世界坐标系(w)，参考坐标系/基准坐标系，用于描述双目相机和物体的位置；双目相机坐标系(c)，固定在双目相机上，原点在光心，zc轴沿光轴方向，xc和yc轴分别平行于成像平面；以物理单位表示的图像坐标系(x,y)(简称图像坐标系)，原点在双目相机光轴与图像平面的交点，x、y轴与双目相机xc、yc轴平行，沿图像平面方向；以像素为单位表示的图像坐标系(u,v)(简称像素坐标系)，原点在数字图像的左上角，u、v轴沿图像平面向右向下为正方向。
[0059]
各传感器的坐标映射为现有技术，本实施例以毫米波雷达和双目相机为例进行说明，即将毫米波雷达坐标系转换到以双目相机为中心的世界坐标系，而后分别通过双目相机坐标系和图像坐标系变换到像素坐标系，其变换关系如下：
[0060][0061][0062]
其中，xryrzr是毫米波雷达坐标系，x
wywzw
为世界坐标系，θ为uv轴的夹角，x
w0
,y
w0
为毫米波雷达坐标系原点在世界坐标系中的坐标，r和t分别表示旋转矩阵和平移矩阵，f表示双目相机焦距，uv为像素坐标系，原点在图像左上角，u0,v0为像素坐标系原点，dx,dy像素的长和宽。
[0063]
2)时间上的数据对齐：以双目相机、远红外相机、事件相机和毫米波雷达中采集频率最低的传感器采集时间为准，获取其他传感器同一时刻的数据。
[0064]
传感器采样频率不同而导致的数据不一致性在目标高速移动情况下尤为明显，本实施例采集各传感器获取数据的频率，并以频率最低的传感器为时间基准，即将该传感器数据采集时刻作为要插入的时间点，获取其他传感器同一时刻数据，例如根据步骤1中的传感器参数，毫米波雷达的采样时间最低为15hz，因此时间同步以毫米波雷达为基准。
[0065]
步骤3、对数据对齐后的各传感器数据进行多模态数据表征得到表征数据。
[0066]
深度多模态融合的前提是数据表征，即对各传感器数据进行有效的数据编码(其中各传感器数据表征后的数据结构如图2所示)，具体如下：
[0067]
对于双目相机，取双目相机输出的彩色原始图像(rgb图)表征数据结构为[ws,hs,cs]，分别表示双目相机图像宽、高和通道数，本实施例中取cs＝3。
[0068]
对于远红外相机，取远红外相机输出的热感图像，由于远红外图像的分辨率远低于双目图像，因此本实施例以像素为单位采用图像插值方法将热感图像的分辨率放大至与双目相机的彩色原始图像对齐，表征数据结构为[wf,hf,cf]，分别表示远红外相机图像的宽、高和通道数，本实施例中取cf＝1。
[0069]
对于毫米波雷达，毫米波雷达的数据通常以点云的形式呈现，分别包括探测目标的距离、速度、方位角、rcs(雷达散射截面)等。由于雷达数据稀疏，其空间分辨率和角分辨率较低。因此本实施例取毫米波雷达输出的点云数据，对点云数据进行双线性插值直至与
双目相机的彩色原始图像数据匹配，即形成张量结构的类图像数据，表征数据结构为[l,s,r]，分别表示为距离、速度和雷达散射截面值。
[0070]
对于事件相机，事件相机能有效编码由场景中移动的对象引起的像素级亮度变化，从而产生异步事件序列，这使得传感器具有非常高的动态范围(》120db)和高时间分辨率(以微秒为单位)，这些特征能有效应对例如快速移动和光照突变等挑战性场景，当目标(或相机)移动时，像素异步生成事件序列，形成时空点云来表征目标的空间分布和动态行为，第i个事件点ei可被定义为[xi,yi,ti,pi]，其中xi、yi和ti分别表示事件点的坐标和时间戳，极性pi＝{-1, 1}，其中-1和 1分别表示off和on事件；由于事件序列异步且稀疏，因此这里采用端到端的数据表征方法，即利用一个多层感知器将原始事件序列对每个事件的事件时间信息进行编码，将发生在同一空间位置的事件值进行累加形成最终的特征，以此产生一个带有时间特征的体素网格。
[0071]
步骤4、基于表征数据利用预训练的自适应深度融合模型定位移动目标，完成目标检测。
[0072]
针对自适应深度融合模型本实施例设计了一个端到端的自适应深度融合检测网络，可以利用连续卷积在多模态和多尺度下融合不同传感器的特征信息，其中，主干网络的特征提取部分采用resnet34网络，通过卷积层和池化层的逐层叠加，不断增加每层通道数以减小特征图尺寸。特征图的尺寸逐层减小，实现了一个用于不同尺度检测的特征金字塔fpn。
[0073]
即本实施例的自适应深度融合模型对双目相机、远红外相机和毫米波雷达对应的表征数据进行特征提取并堆叠得到融合特征图，同时利用注意力机制构建基于事件相机对应的表征数据的注意力图，将所述注意力图与所述融合特征图相乘得到自适应融合特征用于定位移动目标。
[0074]
自适应深度融合检测网络结构如图3所示，整个网络包括事件相机、毫米波雷达、双目相机和远红外相机这4个数据流，利用resnet34对毫米波雷达、双目相机和远红外相机的传感数据进行特征提取得到特征图，并利用concatenation堆叠多个输入的特征图，从而实现对多尺寸多模态数据的深度融合得到融合特征图。
[0075]
由于事件相机对高速移动和光照突变等挑战性环境下的移动目标检测具有先天优势，因此将其作为额外的辅助数据，并利用注意力机制方式构建基于事件相机的注意力图，由于注意力图上像素值的大小体现了局部信息量，能直接反映该区域的重要程度，因此采用注意力融合方法将其与另外三种传感器融合生成的融合特征图相乘，即利用注意力图上的每一个像素值对融合特征图的对应像素进行加权，从而实现自适应特征融合得到自适应融合特征。
[0076]
此外，本实施例使用较为简单的检测头来提高模型的收敛速度，经权衡使用1个1x1卷积将自适应融合特征的通道降维到256，而后并行使用2个3x3卷积，并在回归分支添加iou分支以分别实现分类和回归。
[0077]
针对自适应深度融合模型本实施例设计损失函数如下：
[0078]
将损失函数定义为分类损失函数和回归损失函数之和，即：
[0079]
l＝l
cls
αl
reg
[0080]
式中，l
cls
和l
reg
分别为分类损失函数和回归损失函数，α为权重参数；
[0081]
分类损失函数l
cls
为类置信度与标签之间的二元交叉熵，定义如下：
[0082][0083]
式中，损失被拆分为正锚框和负锚框，匹配阈值为0.5，pc为预测分类概率，lc为真值二元标签，n为样本数，针对每个正锚框，采用huber损失对边界框进行回归：
[0084][0085][0086]
式中，n
pos
是正样本数，即正锚框数，h(pc,lc)是huber损失函数。值得注意的是，本实施例通过与真值目标中心的距离来确定正负样本。
[0087]
本实施例基于提出自适应深度融合检测网络进行预训练，并在预训练中采用所设计的损失函数进行收敛，预训练结束后即得到自适应深度融合模型。其中网络训练为常规操作手段，本实施例中不赘述训练过程。
[0088]
本实施例针对无法解决浓雾情况下的目标检测问题，利用事件相机、远红外相机、毫米波雷达和双目相机增强系统感知能力，通过构建自适应深度融合检测网络实现多模态多尺度的深度特征融合，以提高检测准确性；针对无法检测大雾天气下的快速移动和运动模糊、光照突变等具有挑战性环境下的运动目标问题，引入了事件相机，并有效利用事件相机的低延迟和高动态性以解决上述问题；针对无法解决大雾天气下数据不对称导致的检测失效问题，引入事件相机利用体素网络和注意力机制实现端到端的局部特征提取，实现自适应的深度特征融合。
[0089]
容易理解的是，基于本实施例提供的目标检测方法，可以利用自定义数据网格来表征事件相机的数据结构，或者在整体系统中加入激光雷达、门控相机等其他传感器实现变形，但上述变形均在本技术的保护范围内。
[0090]
以下通过一个实验进一步说明本技术透雾目标检测方法的有效性。
[0091]
实验采用dense作为训练数据集，该数据集涵盖了各种恶劣天气条件下在北欧超过1万公里真实驾驶场景中12000个样本和室内雾浓度可控的1500个样本数据。在如图4和5所示的两组实验数据中，常规的目标检测方法yolov5已无法有效检测到目标物(即无法输出目标框为原图，原图未示出)，而本技术基于多传感器融合的透雾目标检测方法由于多传感器的优势互补，可以实现在各种雾天情况下的目标检测功能。输出如图4和5所示的带有目标框的检测图。
[0092]
在另一个实施例中，本技术还提供了一种基于多传感器融合的透雾目标检测装置，包括处理器以及存储有若干计算机指令的存储器，所述计算机指令被处理器执行时实现所述基于多传感器融合的透雾目标检测方法的步骤。
[0093]
关于基于多传感器融合的透雾目标检测装置的具体限定可以参见上文中对于基于多传感器融合的透雾目标检测方法的限定，在此不再赘述。
[0094]
存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，这
些元件互相之间可以通过一条或多条通讯总线或信号线实现电性连接。存储器中存储有可在处理器上运行的计算机程序，所述处理器通过运行存储在存储器内的计算机程序，从而实现本发明实施例中的基于多传感器融合的透雾目标检测方法。
[0095]
其中，所述存储器可以是，但不限于，随机存取存储器(random access memory，ram)，只读存储器(read only memory，rom)，可编程只读存储器(programmable read-only memory，prom)，可擦除只读存储器(erasable programmable read-only memory，eprom)，电可擦除只读存储器(electric erasable programmable read-only memory，eeprom)等。其中，存储器用于存储程序，所述处理器在接收到执行指令后，执行所述程序。
[0096]
所述处理器可能是一种集成电路芯片，具有数据的处理能力。上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等。可以实现或者执行本发明实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0097]
需要说明的是，图4、5主要为展示本实施例在浓雾环境下的目标检测的效果图，图4、5中的图形仅为软件运行时运行界面中的元素，不涉及本技术改进的重点，且运行界面的清晰度与像素和缩放比例有关，故呈现效果较为有限。
[0098]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0099]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明的保护范围应以所附权利要求为准。