复杂环境下高速微小目标特征增强与声光协同感知方法与流程
本发明属于目标感知,具体涉及一种复杂环境下高速微小目标特征增强与声光协同感知方法。
背景技术:
1、在城市低空监测、机场净空保护、重点区域安防以及移动平台环境感知等应用场景中,高速微小目标通常具有目标尺寸小、运动速度快、图像显著性弱以及背景干扰强等特点。该类目标在光学图像中通常仅占据少量像素,其边缘、纹理和形状等局部结构容易受到复杂环境影响而发生弱化。
2、在可见光观测条件下,高速微小目标容易受到逆光、炫光、阴影、雾霾、局部遮挡、复杂背景纹理以及运动模糊等因素影响,导致目标与背景之间的对比度降低,目标边缘模糊或者局部结构缺失。红外图像能够利用目标与背景之间的热辐射差异提供补充信息,但仍可能受到环境温度变化、热反射及空间分辨率不足等因素影响。
3、与光学信号相比,目标产生的声学信号不完全依赖外部光照条件,能够提供目标频带能量、短时变化趋势以及大致方位等信息。然而,声学信号容易受到环境噪声、传播衰减、反射、多径传播和混响等因素影响,单独利用声学信号难以准确获得目标的空间边界和细粒度类别。
4、现有声光协同感知方法通常采用光学特征与声学特征直接拼接、固定权重相加或者最终预测结果融合等方式。上述方式没有充分考虑光学特征与声学特征在空间尺寸、通道含义和特征层级方面的差异,也难以根据当前环境状态对受到退化影响的特征通道进行针对性增强。
5、对于高速微小目标,单帧图像中的目标结构通常不完整,仅利用当前帧进行目标检测,容易因运动模糊、短时遮挡或者背景混淆造成漏检。若直接将多帧视觉特征进行相加或拼接,又会由于目标在相邻帧中的位置发生变化而产生特征错位,降低多帧信息的利用效果。
技术实现思路
1、本发明的目的在于针对解决背景技术中提出的问题,提出一种复杂环境下高速微小目标特征增强与声光协同感知方法。
2、为实现上述目的,本发明所采取的技术方案为:
3、本发明提出的一种复杂环境下高速微小目标特征增强与声光协同感知方法,包括:
4、获取针对同一待检测区域且同步的光学图像序列和多通道声学时域信号,并根据光学图像序列和多通道声学时域信号构建环境状态向量,分别对光学图像序列中的每帧光学图像进行融合,得到与各帧光学图像对应的光学输入数据,对多通道声学时域信号进行时频变换,得到多通道声学时频谱;将光学图像序列中其中一帧光学图像称为基准帧;
5、将各光学输入数据作为视觉特征提取网络的输入,得到与各光学输入数据对应的浅层视觉特征、中层视觉特征和高层视觉特征;
6、将多通道声学时频谱作为三级声学特征提取网络的输入,得到浅层声学特征、中层声学特征和高层声学特征;
7、将环境状态向量作为环境状态编码网络的输入,得到与各层视觉特征和各层声学特征对应的补偿权重,并利用各补偿权重对相应的视觉特征和声学特征进行补偿,得到补偿后的浅层视觉特征、中层视觉特征和高层视觉特征,以及补偿后的浅层声学特征、中层声学特征和高层声学特征;
8、将补偿后的高层声学特征输入声学先验网络,得到高层声学先验图、中层声学先验图和浅层声学先验图,利用各声学先验图对补偿后的相应层级的视觉特征进行增强,得到增强后的浅层视觉特征、中层视觉特征和高层视觉特征;
9、利用光学图像序列中基准帧对应的增强后的高层视觉特征对其余帧对应的增强后的高层视觉特征进行对齐,得到与各帧光学图像对应的对齐特征和时间权重,将各对齐特征和时间权重进行加权求和,得到高层重建特征,并对高层重建特征进行多尺度结构重建,得到中层重建特征和浅层重建特征;
10、将浅层重建特征和补偿后的浅层声学特征进行融合,得到浅层声光融合特征,将中层重建特征和补偿后的中层声学特征进行融合,得到中层声光融合特征,将高层重建特征和补偿后的高层声学特征进行融合,得到高层声光融合特征;
11、将三个声光融合特征进行融合,得到统一融合特征,并将统一融合特征输入目标感知网络,并对目标感知网络的输出结果进行筛选,得到待检测区域内各目标的类别、位置和置信度。
12、优选地,所述环境状态向量的构建过程包括:光学图像序列中的每帧光学图像包括可见光图像和红外图像,对基准帧光学图像的可见光图像计算归一化平均亮度和归一化亮度标准差,并对多通道声学时域信号计算归一化信噪比,利用归一化平均亮度、归一化亮度标准差和归一化信噪比构建环境状态向量;
13、各所述光学输入数据的得到过程包括:对光学图像序列中各帧光学图像,首先对各帧光学图像的可见光图像和红外图像进行空间配准,使二者相同空间位置对应同一观测区域,再将配准后的可见光图像和红外图像在通道维度进行拼接,形成光学输入数据;
14、所述多通道声学时频谱的得到过程包括:对多通道声学时域信号的每个通道执行一阶预加重处理,得到预加重后的多通道声学时域信号,对预加重后的多通道声学时域信号进行分帧,并对每一分帧施加汉明窗,对每一分帧加窗后的信号执行快速傅里叶变换,得到复数频谱序列,保留复数频谱序列的预设频率点,并在时间方向补齐至预设帧,得到单通道声学时频谱,所有的单通道声学时频谱进行拼接后,形成多通道声学时频谱。
15、优选地,所述视觉特征提取网络包括依次连接的输入模块、浅层视觉编码模块、中层视觉编码模块和高层视觉编码模块;
16、输入模块包括依次连接的卷积层、批归一化层、激活层和最大池化层;
17、浅层视觉编码模块包括依次连接的第一卷积块和第二卷积块,各卷积块包括依次连接的卷积层、批归一化层和激活层,第二卷积块中批归一化层的输出与浅层视觉编码模块的输入进行相加后,作为第二卷积块中激活层的输入,且浅层视觉编码模块输出浅层视觉特征;
18、中层视觉编码模块和高层视觉编码模块的结构相同,均包括并行的第一主分支和第一捷径分支,中层视觉编码模块和高层视觉编码模块的输入分别作为对应的第一主分支和第一捷径分支的输入,且第一主分支包括依次连接的第三卷积块、卷积层和批归一化层,第一捷径分支为卷积层,将第一主分支的输出和第一捷径分支的输出进行相加,将相加结果经过激活层,得到中层视觉编码模块和高层视觉编码模块的输出,且中层视觉编码模块输出中层视觉特征,高层视觉编码模块输出高层视觉特征,其中第三卷积块的结构与第一卷积块的结构相同。
19、优选地,所述三级声学特征提取网络包括依次连接的浅层声学编码模块、中层声学编码模块和高层声学编码模块;
20、浅层声学编码模块和中层声学编码模块的结构均与中层视觉编码模块的结构相同,且浅层声学编码模块输出浅层声学特征,中层声学编码模块输出中层声学特征;
21、在高层声学编码模块中,中层声学特征作为输入,首先经过卷积层,得到高层基础声学特征,高层基础声学特征再并行经过频率方向卷积分支、时间方向卷积分支和空洞时频卷积分支,并将频率方向卷积分支、时间方向卷积分支和空洞时频卷积分支的输出进行拼接,得到联合声学特征,将联合声学特征经过卷积层后与高层基础声学特征相加,再依次经过批归一化层和激活层(relu激活),得到高层声学特征,其中频率方向卷积分支和时间方向卷积分支均为卷积层,空洞时频卷积分支为空洞卷积。
22、优选地,所述环境状态编码网络包括依次连接的环境特征映射层、激活层、补偿权重生成层和激活层,环境状态编码网络的输出包括与浅层视觉特征对应的浅层视觉补偿权重、与中层视觉特征对应的中层视觉补偿权重、与高层视觉特征对应的高层视觉补偿权重、与浅层声学特征对应的浅层声学补偿权重、与中层声学特征对应的中层声学补偿权重,以及与高层声学特征对应的高层声学补偿权重,且所述环境特征映射层和补偿权重生成层均为全连接层;
23、利用各补偿权重对相应的视觉特征和声学特征进行补偿时,将各补偿权重与相应的视觉特征或声学特征相乘后,再与相应的视觉特征或声学特征相加,分别得到补偿后的浅层视觉特征、中层视觉特征和高层视觉特征,以及补偿后的浅层声学特征、补偿后的中层声学特征和补偿后的高层声学特征;
24、所述声学先验网络包括依次连接的自适应平均池化层、声学特征映射层、激活层、空间先验生成层、激活层和尺寸重构操作,其中所述声学特征映射层和空间先验生成层均为全连接层,将补偿后的高层声学特征作为声学先验网络的输入后,得到高层声学先验图,再对高层声学先验图进行双线性插值,得到中层声学先验图和浅层声学先验图;
25、利用各声学先验图对补偿后的相应层级的视觉特征进行增强时,将浅层声学先验图与补偿后的浅层视觉特征相乘后,再与补偿后的浅层视觉特征相乘相加,得到增强后的浅层视觉特征;
26、将中层声学先验图与补偿后的中层视觉特征相乘后,再与补偿后的中层视觉特征相乘相加,得到增强后的中层视觉特征;
27、将高层声学先验图与补偿后的高层视觉特征相乘后,再与补偿后的高层视觉特征相乘相加,得到增强后的高层视觉特征。
28、优选地,得到各对齐特征的过程包括:
29、将基准帧对应的增强后的高层视觉特征分别与自身,以及与其余帧对应增强后的高层视觉特征进行拼接,得到分别与各帧对应的第一联合特征,将各第一联合特征经过偏移估计网络,得到采样偏移图,其中采样偏移图的通道分别表示偏移估计网络中输出卷积的所有采样点位置在水平方向和竖直方向上的偏移量,根据采样偏移图调整各第一联合特征对应的除基准帧以外的其余帧增强后的高层视觉特征的所有采样点位置,对于调整后不位于整数坐标位置的采样点,采用其周围整数位置的特征值进行双线性插值后,然再通过卷积层,得到与各帧光学图像对应的对齐特征;其中,偏移估计网络包括依次连接的卷积层、批归一化层、激活层和输出卷积层;
30、对各对齐特征计算时间权重的过程包括:将基准帧对应的对齐特征分别与自身,以及与其余帧对应的对齐特征进行拼接,得到分别与各对齐特征对应的帧间相关特征,将各帧间相关特征依次经过全局平均池化、全连接层、激活层、全连接层和softmax归一化,得到与各对齐特征对应的时间权重,所有时间权重的和为一;
31、得到各重建特征的过程包括:将各对齐特征和时间权重进行加权求和后,再经过卷积层,将卷积层的输出与基准帧对应的增强后的高层视觉特征进行相加,再将相加结果依次经过批归一化层和激活层,得到高层重建特征;
32、将高层重建特征依次经过双线性上采样和通道压缩后,与基准帧对应的增强后的中层视觉特征进行相加,将相加结果依次经过卷积层、批归一化层和激活层,得到中层重建特征;
33、将中层重建特征依次经过双线性上采样和通道压缩后,与基准帧对应的增强后的浅层视觉特征进行相加,将相加结果依次经过卷积层、批归一化层和激活层,得到浅层重建特征。
34、优选地,得到所述浅层声光融合特征和中层声光融合特征的过程包括:
35、分别对补偿后的浅层声学特征、补偿后的中层声学特征和补偿后的高层声学特征进行尺寸调整,分别得到调整后的浅层声学特征、调整后的中层声学特征和调整后的高层声学特征;
36、将浅层重建特征和调整后的浅层声学特征进行拼接,得到浅层联合特征,将浅层联合特征依次经过视觉侧映射卷积、批归一化层和激活层,得到视觉侧映射特征,将视觉侧映射特征与浅层重建特征进行相加,得到视觉侧浅层增强特征;将浅层联合特征依次经过声学侧映射卷积层、批归一化层和激活层,得到的声学侧映射特征,将声学侧映射特征与调整后的浅层声学特征进行相加,得到声学侧浅层增强特征,将视觉侧浅层增强特征与声学侧浅层增强特征进行拼接,得到浅层双向增强特征,将浅层双向增强特征依次经过浅层融合卷积层、批归一化层和激活层,得到浅层声光融合特征;
37、分别对中层重建特征和调整后的中层声学特征进行全局平均池化,得到依次与中层重建特征和调整后的中层声学特征对应的第一描述向量和第二描述向量,将第一描述向量和第二描述向量依次一一对应输入视觉侧权重生成网络和声学侧权重生成网络,得到视觉引导权重和声学引导权重,将视觉引导权重与调整后的中层声学特征相乘,得到视觉引导的声学增强特征,将声学引导权重与中层重建特征相乘,得到声学引导的视觉增强特征,再将声学增强特征与视觉增强特征进行拼接,得到中层联合特征,将中层联合特征经过卷积层后与中层重建特征相加,并将相加结果依次经过批归一化层和激活层,得到中层声光融合特征;其中,视觉侧权重生成网络和声学侧权重生成网络均包括依次连接全连接层、激活层、全连接层和激活层。
38、优选地,得到所述高层声光融合特征的过程包括:
39、分别对高层重建特征和调整后的高层声学特征进行全局平均池化,得到依次与高层重建特征和调整后的高层声学特征对应的第一高层特征向量和第二高层特征向量,将第一高层特征向量和第二高层特征向量依次一一对应输入视觉侧预测生成网络和声学侧预测生成网络,得到视觉预测分布和声学预测分布,且视觉预测分布和声学预测分布均包括背景概率和目标概率,取视觉预测分布中的最大概率作为视觉置信度,取声学预测分布中的最大概率作为声学置信度,并对视觉置信度和声学置信度进行归一化,得到视觉融合权重和声学融合权重;
40、将高层重建特征和调整后的高层声学特征进行拼接,得到高层联合特征,并将高层联合特征依次经过卷积层、批归一化层和激活层,得到高层联合映射特征,将高层联合映射特征、乘以视觉融合权重的高层重建特征,以及乘以声学融合权重的调整后高层声学特征进行相加,再将相加结果经过激活层,得到高层声光融合特征;其中,视觉侧预测生成网络和声学侧预测生成网络均包括依次连接的全连接层、激活层、dropout层、全连接层和softmax层。
41、优选地,得到待检测区域内各目标的类别、位置和置信度的过程包括:
42、对高层声光融合特征和中层声光融合特征分别进行双线性上采样和通道维度压缩,得到调整后的高层声光融合特征和调整后的中层声光融合特征,并与浅层声光融合特征进行拼接,得到多尺度融合特征,将多尺度融合特征依次经过第四卷积块和第五卷积块,得到统一融合特征,其中第四卷积块和第五卷积块的结构均与第一卷积块的结构一致;
43、所述目标感知网络包括并行的分类分支、目标中心置信度分支和位置回归分支,且统一融合特征分别作为分类分支、目标中心置信度分支和位置回归分支的输入,所述分类分支包括依次连接的卷积层、批归一化层、激活层、卷积层和softmax层,分类分支输出概率热力图,所述目标中心置信度分支包括依次连接的卷积层、批归一化层、激活层、卷积层和激活层,目标中心置信度分支输出目标中心置信度图,所述位置回归分支包括依次连接的卷积层、批归一化层、激活层和卷积层,位置回归分支输出目标位置回归图,且目标位置回归图包含目标中心横向偏移量、目标中心纵向偏移量、目标宽度和目标高度四个回归值,概率热力图包括背景概率和目标类别概率;
44、对目标感知网络的输出结果进行筛选的过程包括:将目标中心置信度图中目标中心置信度大于第一阈值的像素点作为候选目标中心点,从目标位置回归图中获取各候选目标中心点对应的四个回归值,并根据四个回归值计算各候选目标中心点的边界框,并将各边界框对应的概率热力图中背景概率大于目标类别概率的边界框丢弃,将第一剩余的边界框对应的概率热力图中的目标类别概率作为各自边界框的目标置信度,采用交并比为第二阈值的非极大值抑制方法去除重复边界框,将第二剩余的边界框对应的概率热力图中的目标类别概率、第二剩余的边界框,以及第二剩余的边界框对应的目标置信度依次作为待检测区域内各目标的类别、位置和置信度。
45、优选地,所述复杂环境下高速微小目标特征增强与声光协同感知方法整体采用端到端联合训练,且联合训练的总损失的计算公示如下:
46、;
47、其中,
48、;
49、其中,表示目标分类损失,采用交叉熵损失,表示目标位置回归损失,采用平滑l1损失,表示目标中心置信度损失,采用焦点损失,表示高层声光融合特征的蒸馏损失,表示视觉预测分布,表示声学预测分布,表示两个预测分布之间的kl散度。
50、与现有技术相比,本发明的有益效果为:
51、1、本复杂环境下高速微小目标特征增强与声光协同感知方法根据光学图像的归一化平均亮度和归一化亮度标准差,以及多通道声学时域信号的归一化信噪比构建环境状态向量,并通过环境状态编码网络生成各层视觉特征和各层声学特征对应的补偿权重,并利用各补偿权重对相应的视觉特征和声学特征进行补偿,能够根据当前环境状态调整不同特征通道的响应强度;
52、2、本方法利用声学先验网络生成个层级的声学先验图,并利用声学先验图对补偿后的相应层级的视觉特征的目标候选区域进行增强,使声学信息在视觉特征提取和目标结构重建过程中发挥引导作用,而非仅在最终判决阶段参与融合;
53、3、本方法对连续多帧的增强后的高层视觉特征进行采样位置偏移估计和空间对齐,并计算时间权重,能够降低高速运动造成的帧间目标响应错位,恢复高速微小目标的连续结构;
54、4、本方法分别在浅层、中层和高层进行声光融合,实现不同语义层级上的声光协同增强,能够同时利用视觉结构信息、声学能量信息和多模态判别信息。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com