一种基于全卷积网络的红外图像多目标分割方法与流程

1.本发明涉及图像分割的领域，尤其涉及一种基于全卷积网络的红外图像多目标分割方法。


背景技术：

2.近年来，随着边防警戒、设备安防、自动作战等需求的提升，针对人员、车辆、直升机等多种目标的图像分割技术越来越精细。现代红外图像分割的四大需求为自动化、精确化、快速化、多目标， 然而红外图像具有数据量少、图像清晰度不高、红外目标与环境相似度较高等特点, 导致传统的人工神经网络在红外图像数据集处理方面表现不佳。
3.现有技术的分割模型主要是对于固定背景下的图像或者单一目标效果较好。这些方法虽然能够提供初步的分割结果，但其对于复杂背景下的多目标图像分割效果欠佳。另一方面，近年来涌现了许多更深更宽的网络模型提升分割效果的方案。但它们只是以简单堆叠网络层的方式增加参数，而且暴露出来明显的运算速度下降难以实时分割的问题。
4.专利cn202111001405.3公开了一种基于热红外注意力机制神经网络的行车场景分割方法。本发明公开了一种基于热红外注意力机制神经网络的行车场景分割方法，本方法首先获取同场景、同分辨率的可见光、热红外影像，通过标记，形成复合影像训练数据集；接着构建热红外信息注意网络，使用复合影像训练集对其进行训练；当得到较好的训练模型后，使用热红外信息注意网络对行车影像进行分割；能够在不同环境下稳定地对行车环境影像进行分割，且分割精度较高。该方法利用了可见光和热红外影像，但是其采用的注意力机制神经网络参数较多、体积较大，难以移植到可移动设备中，也难以做到实时性。
5.专利cn200710072483.6公开了一种运动背景的红外图像实时目标识别与跟踪器及方法。包括红外成像探测部件、红外图像信号处理部件、伺服控制部件和通信模块四个部分。采用红外热像仪采集数字化的红外图像，采用伺服控制部件控制搜索和跟踪视场内目标，采用红外图像信号处理部件实时地检测、识别与跟踪目标，采用1553b总线与上位机通信构成红外图像跟踪结果显示。能检测15公里以上的景深范围，能进行
±
18
°
度的大角度搜索和2
°
～6
°
度的小角度精确跟踪。具有检测距离远、探测范围广、定位精度高、识别能力强、实时目标跟踪、全天候工作等特点。但该方法只利用传统图像处理算法，并且侧重于系统架构与集成，对于算法的处理上十分粗糙。
6.专利cn201810882454.4公开了一种基于fpga的田间视频图像实时分割系统及方法，所述方案属于田间作物生长信息处理技术领域，对图像分割算法的结构进行适用于硬件环境的更改，加入数据及流水线指令，使图像分割算法适应于实时图像分割的应用场景；通过对图像采集显示系统的各个模块进行设计，搭建基于摄像头的视频通路；结合田间植株超绿特征提取、canny边缘检测算法、中值滤波和阈值分割及fpga硬件开发的流程，实现田间视频图像分割。本发明的拥有丰富的寄存器资源和流水线结构，可实时处理大量的图像数据，极大程度的提高了图像处理的速度；本发明所使用的开发板成本更低，体积小，功耗低，更适合复杂的田间工作环境。但其只利用传统图像处理算法，不能针对特定目标进行
分割与识别，虽然速度快体积小，但精度不高，视觉效果不好。
7.专利cn202010878598.x公开了一种基于语义分割网络的抛洒物检测方法与系统，具体涉及道路检测领域，主要包括离线建模模块、在线背景获取模块和在线抛洒判断模块。本发明不用通过直接对抛洒物进行判断，而是通过运动目标的判断间接的判定抛洒物，提高了抛洒物的预检出率，同时采用双重背景和背景更新的策略来对预设背景图像进行更新，并通过候选判定区域、候选判定区域与预设背景图像的相似度判定，双重判定，提高了判定的准确度。然而该方法利用语义分割网络对背景进行分割，无法直接获取目标，对于图像既要预处理也要后处理，步骤较为繁琐。


技术实现要素：

8.本发明目的是提供基于全卷积网络的红外图像多目标分割方法，以解决对于复杂背景下的多目标图像分割效果欠佳以及网络模型分割中暴露出来明显的运算速度下降难以实时分割等技术问题。
9.为了实现上述技术目的，达到上述的技术要求，本发明所采用的技术方案是：一种基于全卷积网络的红外图像多目标分割方法，包括以下操作步骤：步骤s1，构建红外图像数据集；采集多种背景、多种目标、多种时间段的红外视频构建图像数据集作为模型的训练样本，利用多种传统图像处理手段对原始红外视频进行处理得到二值标注图像；步骤s2，获得并训练全卷积神经网络模型，采用分阶段损失函数的方式训练模型；步骤s3，移植模型，将网络模型移植到移动终端上进行实时分割。
10.优选地：所述的步骤s1中多种传统图像处理手段为阈值分割方式、区域生长方式、滤波方式。
11.优选地：所述的全卷积神经网络模型的获得方法为输入图像经过一个过渡层之后输入到fiboblock，之后其输出分为两路，一路经过一个过渡层之后输入到denseblock，另一路经过fiboblock与denseblock上采样后的输出合并，再经过一个卷积层就得到了最终输出。
12.优选地：所述的过渡层由一个池化层和卷积层组成。
13.优选地：所述的fiboblock每一个卷积层的输入，是前两个卷积层的输出合并而来，同时其每一个卷积层的输出通道数与输入通道数保持不变。
14.优选地：所述的步骤s2中分阶段损失函数的方式为前70轮使用focal loss训练，后30轮使用dice loss训练。
15.本发明的有益效果；本发明采用特征复用的方式，综合考虑了分割效果和运算速度构建了全卷积神经网络模型；基于特征复用构建的全卷积神经网络可以少量增加网络层数和通道数的情况下，充分利用其他网络层学习到的特征，更加有利于挖掘网络自身的算力。该神经网络可以学习到多层次的、更丰富的的特征表示，表征能力更强，有助于实时图像分割实现良好效果；通过引入分阶段损失函数，使得损失函数可以充分发挥各自的作用，解决了大多数的多种损失函数结合只是简单累加而导致容易造成梯度冲突的情况，导致模型收敛缓慢的技术问题，本发明中分阶段损失函数既结合两者的优势，又回避了各自的缺点，充分发挥各自的作用；既可以保障损失函数稳定下降，又可以有效提升评价指标。
16.本发明大大增强了复杂背景下的多目标图像分割效果，运算速度快，有效实现图
像的实时分割。
附图说明
17.为了更清楚地说明发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1是本发明的工作流程图。
19.图2是本发明的全卷积神经网络模型框架简图。
20.图3是本发明中fiboblock与denseblock的对比示意图。
具体实施方式
21.下面将结合附图对发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是发明一部分实施例，而不是全部的实施例。基于发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于发明保护的范围。
22.一种基于全卷积网络的红外图像多目标分割方法，包括以下操作步骤：步骤s1，构建红外图像数据集；采集多种背景、多种目标、多种时间段的红外视频构建图像数据集作为模型的训练样本，利用阈值分割、区域生长、滤波等多种传统图像处理手段对原始红外视频进行处理得到二值标注图像；步骤s2，获得并训练全卷积神经网络模型，输入图像经过一个过渡层之后输入到fiboblock，之后其输出分为两路，一路经过一个过渡层之后输入到denseblock，另一路经过fiboblock上采样与denseblock上采样后的输出合并，再经过一个卷积层就得到了最终输出，即完成模型预测，然后采用分阶段损失函数的方式训练模型，前70轮使用focal loss训练，后30轮使用dice loss训练；步骤s3，移植模型，将网络模型移植到移动终端上进行实时分割。
23.具体的，所述的过渡层由一个池化层和卷积层组成。传统的denseblock每一个卷积层的输入，是前一个卷积层的输入与输出合并而来，递归地表现为所有卷积层的输出集合，同时其每一个卷积层的输出通道数是固定的。也就是说随着深度的增加，输入通道数线性增长，但输出通道数固定不变。整个block的输出通道数与卷积层的数量呈线性关系。
24.而fiboblock每一个卷积层的输入，是前两个卷积层的输出合并而来，同时其每一个卷积层的输出通道数与输入通道数保持不变。也就是说随着深度的增加，输入通道数与输出通道数都呈现斐波那契数列式的增长。整个block的输出通道数即最后一个卷积层的输出，其与卷积层的数量呈类指数关系。
25.在深度神经网络模型训练中，交叉熵损失函数(ce loss)是最常见的损失函数，其公式如下：其中p为预测概率大小；y为label，在二分类中对应0，1。如果引入一个新的变量p
t
：则交叉熵损失函数可以写作：协调损失函数(focal loss)是在2017年提出的，最初用于图像领域解决数据不平衡造成的模型性能问题，其公式可写作：
其中r为可调节因子，用来调整分类难度的权重。
26.p
t
反应了分类的难易程度，p
t
越大，说明分类的置信度越高，代表样本越易分；p
t
越小，分类的置信度越低，代表样本越难分。因此focal loss相当于增加了难分样本在损失函数的权重，使得损失函数倾向于难分的样本，有助于提高难分样本的准确度。整体而言，协调损失函数增加了分类不准确样本在损失函数中的权重。
27.dice loss是基于图像分割评价指标dice系数于2016年提出的一种损失函数。dice系数是一种集合相似度度量函数，通常用于计算两个样本的相似度，取值范围在[0,1]。其公式为：基于此提出来的dice loss可以表示如下：其中eps是一个小正数，用来避免除数为0。直接采用dice loss是因为图像分割的真实目标就是最大化iou 度量，而与之强相关的dice系数在反向传播中易于最大化优化。其在训练中更倾向于挖掘前景区域，正负样本不平衡的情况就是前景占比较小，背景占比极大的情况。其对正负样本严重不平衡的场景有着不错的性能，也就是在小目标表现较好，但是训练过程中易出现不稳定的情况。
[0028]
具体实施时，本发明中的多目标不局限于人员、非机动车和车辆。分阶段损失函数的阶段不局限于固定的值，应当依据具体任务的要求动态调整。本发明中分阶段损失函数不局限于focal loss和dice loss，还可根据实际应用调整。
[0029]
本发明基于特征复用构建的全卷积神经网络可以少量增加网络层数和通道数的情况下，充分利用其他网络层学习到的特征，更加有利于挖掘网络自身的算力。该神经网络可以学习到多层次的、更丰富的的特征表示，表征能力更强，有助于实时图像分割实现良好效果。同时引入了分阶段损失函数，前70轮使用focal loss训练，后30轮使用dice loss训练，使得损失函数可以充分发挥各自的作用，结合focal loss和 dice loss两者的优势，又回避了各自的缺点。
[0030]
本发明大大增强了复杂背景下的多目标图像分割效果，运算速度快，有效实现图像的实时分割。