基于多源特征迁移与虚警剔除的SAR图像目标检测方法与流程

基于多源特征迁移与虚警剔除的sar图像目标检测方法
技术领域
1.本发明属于图像处理技术领域，具体涉及一种基于多源特征迁移与虚警剔除的sar图像目标检测方法。


背景技术：

2.相关技术中，关于sar图像的目标检测研究主要是利用图像灰度值的统计特性进行的，恒虚警率(constant false alarm rate,cfar)检测算法是一种经典的sar图像舰船目标检测算法，该算法利用图像灰度空间的统计规律，通过预设的虚警率以及给出的杂波分布模型，将目标与背景杂波区分开来。
3.随着深度学习理论成功应用于光电图像的目标检测领域，本领域技术人员开始在sar图像上尝试使用深度学习的目标检测算法。使用深度学习进行sar图像目标检测时需要大量的训练样本数据进行模型训练，而迁移学习可以弥补训练样本数据不足的问题。对于传统的迁移学习而言，通常采用一个源域来为目标域模型的训练提供辅助训练数据，若选用的源域与目标域的基本原理迥异、检测任务相差较大，则源域的辅助数据可能无法对目标域的模型训练提供有效的帮助，甚至有时会影响目标域模型的性能，并且对神经网络进行“冻结-调整”的层次参数依赖经验设定，这使得单一源域的迁移学习效果不稳定，影响了sar图像目标检测的准确性。


技术实现要素：

4.为了解决现有技术中存在的上述问题，本发明提供了一种基于多源特征迁移与虚警剔除的sar图像目标检测方法。本发明要解决的技术问题通过以下技术方案实现：
5.本发明提供一种基于多源特征迁移与虚警剔除的sar图像目标检测方法，包括：
6.获取待检测图像，并根据预设虚警率及双参数恒虚警率算法tp-cfar对所述待检测图像进行检测，得到多个目标像素点集；所述待检测图像为合成孔径雷达sar图像；
7.将各个目标像素点集输入区域感知模型，以使所述区域感知模型对所述目标像素点集进行检测；
8.根据检测结果剔除或保留所述目标像素点集，并将保留的所述目标像素点集作为目标检测结果；
9.其中，所述区域感知模型为预先训练好的神经网络模型。
10.可选地，所述根据检测结果剔除或保留所述目标像素点集，并将保留的所述目标像素点集作为目标检测结果的步骤，包括：
11.判断所述待检测图像中是否有存在交集的至少两个目标像素点集；
12.若存在，则确定存在交集的所述目标像素点集之间的交并比；
13.当存在交集的所述目标像素点集之间的交并比大于等于预设阈值时，比较两个目标像素点集的置信度，并保留置信度较大的目标像素点集的结果框、剔除置信度较小的目标像素点集的结果框。
14.可选地，按照如下公式确定存在交集的所述目标像素点集之间的交并比：
[0015][0016]
其中，a、b表示存在交集的两个所述目标像素点集，s
a∩b
表示目标像素点集a与目标像素点集b的交集面积，s
a∪b
表示目标像素点集a与目标像素点集b的并集面积，iou
ab
为目标像素点集a与目标像素点集b之间的交并比。
[0017]
可选地，所述获取待检测图像，并根据预设虚警率及双参数恒虚警率算法tp-cfar对所述待检测图像进行检测，得到多个目标像素点集的步骤，包括：
[0018]
根据待检测图像的背景环境，确定杂波分布模型；
[0019]
根据所述杂波分布模型及预设恒虚警率，确定目标像素点的检测阈值；
[0020]
根据所述待检测图像的像素个数，确定背景窗口的大小、保护窗口的大小和目标窗口的大小，并根据背景窗口中像素点的灰度值、目标窗口中像素点的灰度值以及所述检测阈值，判断所述目标窗口中的像素点是否为目标像素点；
[0021]
遍历所述待检测图像中的每个像素点，得到多个目标像素点集。
[0022]
可选地，所述根据所述待检测图像的像素个数，确定背景窗口的大小、保护窗口的大小和目标窗口的大小，并根据背景窗口中像素点的灰度值、目标窗口中像素点的灰度值以及所述检测阈值，判断所述目标窗口中的像素点是否为目标像素点的步骤，包括：
[0023]
根据所述待检测图像的像素个数，确定背景窗口的大小、保护窗口的大小和目标窗口的大小；
[0024]
计算所述背景窗口中所有像素点灰度值的平均值和方差、以及所述目标窗口中所有像素点灰度值的平均值；
[0025]
当满足条件时，所述目标窗口中的像素点为目标像素点；反之，则所述目标窗口中的像素点不是目标像素点；
[0026]
其中，μ
t
表示所述目标窗口中所有像素点灰度值的平均值，μb表示背景窗口中所有像素点灰度值的平均值，δb表示背景窗口中所有像素点灰度值的标准差，p
cfar
表示预设虚警率，φ-1
(x)为标准高斯分布的反函数。
[0027]
可选地，按照如下公式确定目标像素点的检测阈值：
[0028][0029]
其中，f(x)表示所述杂波分布模型的概率分布密度，t
cfar
表示目标像素点的检测阈值。
[0030]
可选地，所述区域感知模型采用如下步骤训练得到：
[0031]
获取多个第一类训练样本，并利用所述第一类训练样本对第一待训练神经网络模型进行训练，得到第一模型；其中，每个所述第一类训练样本包括可见光图像、以及可见光图像中的目标像素点集；
[0032]
获取多个第二类训练样本，并利用所述第二类训练样本对第二待训练神经网络模型进行训练，得到第二模型；其中，每个所述第二类训练样本包括红外图像、以及红外图像
中的目标像素点集；
[0033]
获取多个第三类训练样本，并利用所述第三类训练样本对第三待训练神经网络模型进行训练，得到第三模型；其中，每个所述第三类训练样本包括sar图像、以及sar图像中的目标像素点集；
[0034]
分别确定所述第一模型及所述第二模型的检测精确率和迁移权重，并对所述第三模型中的至少部分参数进行调整，得到区域感知模型；
[0035]
其中，所述第一待训练神经网络模型、所述第二待训练神经网络模型和所述第三待训练神经网络模型均为vggnet16网络。
[0036]
可选地，所述第一模型、第二模型和第三模型均包括输入层、卷积层：conv1、conv2、conv3和conv4、以及全连接层；
[0037]
所述分别确定所述第一模型及所述第二模型的检测精确率和迁移权重，并对所述第三模型中的至少部分参数进行调整，得到区域感知模型的步骤，包括：
[0038]
冻结所述第三模型中输入层、conv1、conv2和conv3的参数；
[0039]
计算所述第一模型的第一迁移权重、以及所述第二模型的第二迁移权重；
[0040]
根据所述第一迁移权重及所述第二迁移权重，对所述第一模型中conv4的参数及所述第二模型中conv4的参数进行加权，并对所述第一模型中全连接层的参数及所述第二模型中全连接层的参数进行加权，得到第三模型中conv4的参数和全连接层的参数。
[0041]
可选地，按照如下公式计算第一迁移权重及第二迁移权重：
[0042][0043]
其中，n＝2，pi表示调整第三模型的部分参数后第一模型\第二模型对目区域感知模型的检测精确率，wi为第一迁移权重\第二迁移权重。
[0044]
可选地，按照如下公式对所述第一模型中conv4的参数及所述第二模型中conv4的参数进行加权，并对所述第一模型中全连接层的参数及所述第二模型中全连接层的参数进行加权：
[0045][0046]
式中，为第一模型\第二模型中第a层网络的参数，ma为区域感知模型中第a层网络的参数。
[0047]
与现有技术相比，本发明的有益效果在于：
[0048]
本发明提供一种基于多源特征迁移与虚警剔除的sar图像目标检测方法，通过双参数恒虚警率算法对待检测图像进行初步的目标检测，得到多个目标像素点集，再将各个像素点集输入区域感知模型，利用区域感知模型进行虚警剔除，不仅能够降低计算成本、解决检测结果虚警率较高的问题，也实现了对sar图像像素级别的目标检测。
[0049]
此外，本发明利用可见光图像训练得到第一模型、利用红外图像训练得到第二模型、利用sar图像训练得到第三模型，进而通过第一模型和第二模型对第三模型中的至少部分参数进行微调，得到区域感知模型，由于本发明使用多个源域即第一模型和第二模型为
区域感知模型的训练提供辅助训练，因此增强了区域感知模型的性能，解决了sar图像驱动力不足的问题。
[0050]
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
[0051]
图1是本发明实施例提供的基于多源特征迁移与虚警剔除的sar图像目标检测方法的一种流程示意图；
[0052]
图2是本发明实施例提供的区域感知模型的检测结果实例图；
[0053]
图3是本发明实施例提供的双参数恒虚警率算法的检测示意图；
[0054]
图4是本发明实施例提供的双参数恒虚警率算法的检测结果实例图；
[0055]
图5是本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
[0056]
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
[0057]
图1是本发明实施例提供的基于多源特征迁移与虚警剔除的sar图像目标检测方法的一种流程示意图。请参见图1，本发明实施例提供了一种基于多源特征迁移与虚警剔除的sar图像目标检测方法，包括：
[0058]
s1、获取待检测图像，并根据预设虚警率及双参数恒虚警率算法tp-cfar对待检测图像进行检测，得到多个目标像素点集；待检测图像为合成孔径雷达sar图像；
[0059]
s2、将各个目标像素点集输入区域感知模型，以使区域感知模型对目标像素点集进行检测；
[0060]
s3、根据检测结果剔除或保留目标像素点集，并将保留的目标像素点集作为目标检测结果；
[0061]
其中，区域感知模型为预先训练好的神经网络模型。
[0062]
具体而言，在获取待检测图像之后，可预设较高的虚警率、并利用tp-cfar(two parameter constant false alarm rate,双参数恒虚警率算法)对待检测图像进行初步的目标检测，检测结果为多个目标像素点集。在步骤s2中，将各个目标像素点集依次输入区域感知模型，该区域感知模型为预先训练好的神经网络模型，从而根据区域感知模型的检测结果判断剔除或是保留目标像素点集。应当理解，保留的目标像素点集即表示区域感知模型检测到其为目标，显然，本发明实施例利用区域感知模型进行虚警剔除，不仅能够降低计算成本、解决检测结果虚警率较高的问题，也实现了对sar图像像素级别的目标检测。
[0063]
图2是本发明实施例提供的区域感知模型的检测结果实例图。请参见图2，在上述步骤s3中，根据检测结果剔除或保留目标像素点集，并将保留的目标像素点集作为目标检测结果的步骤，包括：
[0064]
s301、判断待检测图像中是否有存在交集的至少两个目标像素点集；
[0065]
s302、若存在，则确定存在交集的目标像素点集之间的交并比；
[0066]
s303、当存在交集的目标像素点集之间的交并比大于等于预设阈值时，比较两个目标像素点集的置信度，并保留置信度较大的目标像素点集的结果框、剔除置信度较小的
目标像素点集的结果框。
[0067]
本实施例中，按照如下公式确定存在交集的目标像素点集之间的交并比：
[0068][0069]
其中，a、b表示存在交集的两个目标像素点集，s
a∩b
表示目标像素点集a与目标像素点集b的交集面积，s
a∪b
表示目标像素点集a与目标像素点集b的并集面积，iou
ab
为目标像素点集a与目标像素点集b之间的交并比。
[0070]
进一步地，当存在交集的目标像素点集之间的交并比大于等于预设阈值时，比较两个目标像素点集的置信度，并保留置信度较大的目标像素点集的结果框、剔除置信度较小的目标像素点集的结果框，从而达到检测结果去重的目的。
[0071]
图3是本发明实施例提供的双参数恒虚警率算法的检测示意图。可选地，在上述步骤s1中，获取待检测图像，并根据预设虚警率及双参数恒虚警率算法tp-cfar对所述待检测图像进行检测，得到多个目标像素点集的步骤，包括：
[0072]
根据待检测图像的背景环境，确定杂波分布模型；
[0073]
根据分布模型及预设恒虚警率，确定目标像素点的检测阈值；
[0074]
根据待检测图像的像素个数，确定背景窗口的大小、保护窗口的大小和目标窗口的大小，并根据背景窗口中像素点的灰度值、目标窗口中像素点的灰度值以及检测阈值，判断目标窗口中的像素点是否为目标像素点；
[0075]
遍历待检测图像中的每个像素点，得到多个目标像素点集。
[0076]
具体而言，首先根据待检测图像的背景环境的类型，如海面、森林等选择对应环境下的杂波分布模型，并按照如下公式确定目标像素点的检测阈值：
[0077][0078]
其中，f(x)表示杂波分布模型的概率分布密度，t
cfar
表示目标像素点的检测阈值，p
cfar
表示预设虚警率。
[0079]
而后根据待检测图像的像素个数，确定背景窗口的大小、保护窗口的大小和目标窗口的大小；其中，保护窗口的大小通常为最大待检测目标的两倍，背景窗口的大小可为保护窗口的长度向外扩展6至10个像素，目标窗口的大小可以为1
×
1，即一次仅进行一个像素点的检测，从而达到像素级检测的效果。
[0080]
在对目标窗口中的像素点进行检测的过程中，首先计算背景窗口中所有像素点灰度值的平均值和方差、以及目标窗口中所有像素点灰度值的平均值：
[0081][0082][0083][0084]
其中，nb表示背景窗口b中的像素点个数，xi为背景窗口中第i个像素点的灰度值，
μb表示背景窗口中所有像素点灰度值的平均值，δb表示背景窗口中所有像素点灰度值的方差，n
t
表示目标窗口t中的像素点个数，xk为目标窗口中第k个像素点的灰度值，μ
t
表示目标窗口中所有像素点灰度值的平均值。
[0085]
图4是本发明实施例提供的双参数恒虚警率算法的检测结果实例图，如图4所示，当满足条件时，目标窗口中的像素点即为目标像素点；反之，则目标窗口中的像素点不是目标像素点；其中，φ-1
(x)为标准高斯分布的反函数。
[0086]
本实施例中，上述区域感知模型采用如下步骤训练得到：
[0087]
获取多个第一类训练样本，并利用第一类训练样本对第一待训练神经网络模型进行训练，得到第一模型；其中，每个第一类训练样本包括可见光图像、以及可见光图像中的目标像素点集；
[0088]
获取多个第二类训练样本，并利用第二类训练样本对第二待训练神经网络模型进行训练，得到第二模型；其中，每个第二类训练样本包括红外图像、以及红外图像中的目标像素点集；
[0089]
获取多个第三类训练样本，并利用第三类训练样本对第三待训练神经网络模型进行训练，得到第三模型；其中，每个第三类训练样本包括sar图像、以及sar图像中的目标像素点集；
[0090]
分别确定第一模型及所述第二模型的检测精确率和迁移权重，并对第三模型中的至少部分参数进行调整，得到区域感知模型；
[0091]
其中，第一待训练神经网络模型、第二待训练神经网络模型和第三待训练神经网络模型均为vggnet16网络。
[0092]
本实施例中，第一模型、第二模型和第三模型均可包括输入层、卷积层：conv1、conv2、conv3和conv4、以及全连接层。应当理解，待检测的sar图像一般为二维单通道的灰度图像，且图像中的舰船目标相对较小，通常为几个像素到几百的像素不等，因此将区域感知模型的输入层可设计为20
×
20
×
1，卷积核大小为3
×
3，并且将全连接层输出节点的个数设置为2。
[0093]
可选地，区域感知模型最后的输出层采用softmax函数目标结果的置信率，其计算公式为：
[0094][0095]
其中，yi是第i个节点的输出，ri是第i个节点的softmax函数值，n表示分类的类别数。
[0096]
进一步地，对第三模型进行训练时，采用的损失函数为预测输出与真实值y的均方误差：
[0097][0098]
本实施例中，分别确定第一模型及第二模型的检测精确率和迁移权重，并对第三模型中的至少部分参数进行调整，得到区域感知模型的步骤，包括：
[0099]
冻结第三模型中输入层、conv1、conv2和conv3的参数；
[0100]
计算第一模型的第一迁移权重、以及第二模型的第二迁移权重；
[0101]
根据第一迁移权重及第二迁移权重，对第一模型中conv4的参数及第二模型中conv4的参数进行加权，并对第一模型中全连接层的参数及第二模型中全连接层的参数进行加权，得到第三模型中conv4的参数和全连接层的参数。
[0102]
具体而言，本实施例中可按照如下公式计算第一迁移权重及第二迁移权重：
[0103][0104]
其中，n＝2，pi表示调整第三模型的部分参数后第一模型\第二模型对目区域感知模型的检测精确率，wi为第一迁移权重\第二迁移权重。
[0105]
进一步地，按照如下公式对第一模型中conv4的参数及第二模型中conv4的参数进行加权，并对第一模型中全连接层的参数及第二模型中全连接层的参数进行加权：
[0106][0107]
式中，为第一模型\第二模型中第a层网络的参数，ma为区域感知模型中第a层网络的参数。
[0108]
通过上述各实施例可知，本发明的有益效果在于：
[0109]
本发明提供一种基于多源特征迁移与虚警剔除的sar图像目标检测方法，通过双参数恒虚警率算法对待检测图像进行初步的目标检测，得到多个目标像素点集，再将各个像素点集输入区域感知模型，利用区域感知模型进行虚警剔除，不仅能够降低计算成本、解决检测结果虚警率较高的问题，也实现了对sar图像像素级别的目标检测。
[0110]
此外，本发明利用可见光图像训练得到第一模型、利用红外图像训练得到第二模型、利用sar图像训练得到第三模型，进而通过第一模型和第二模型对第三模型中的至少部分参数进行微调，得到区域感知模型，由于本发明使用多个源域即第一模型和第二模型为区域感知模型的训练提供辅助训练，因此增强了区域感知模型的性能，解决了sar图像驱动力不足的问题。
[0111]
本发明实施例还提供了一种电子设备，如图5示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器50通过通信总线504完成相互间的通信，
[0112]
存储器503，用于存放计算机程序；
[0113]
处理器501，用于执行存储器503上所存放的程序时，实现如下步骤：
[0114]
获取待检测图像，并根据预设虚警率及双参数恒虚警率算法tp-cfar对所述待检测图像进行检测，得到多个目标像素点集；所述待检测图像为合成孔径雷达sar图像；
[0115]
将各个目标像素点集输入区域感知模型，以使所述区域感知模型对所述目标像素点集进行检测；
[0116]
根据检测结果剔除或保留所述目标像素点集，并将保留的所述目标像素点集作为目标检测结果；
[0117]
其中，所述区域感知模型为预先训练好的神经网络模型。
[0118]
上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0119]
通信接口用于上述电子设备与其他设备之间的通信。
[0120]
存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0121]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0122]
本发明实施例提供的方法可以应用于电子设备。具体的，该电子设备可以为：台式计算机、便携式计算机、智能移动终端、服务器等。在此不作限定，任何可以实现本发明的电子设备，均属于本发明的保护范围。
[0123]
对于装置/电子设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0124]
需要说明的是，本发明实施例的装置、电子设备及存储介质分别是应用上述基于多源特征迁移与虚警剔除的sar图像目标检测方法的装置、电子设备及存储介质，则上述基于多源特征迁移与虚警剔除的sar图像目标检测方法的所有实施例均适用于该装置、电子设备及存储介质，且均能达到相同或相似的有益效果。
[0125]
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0126]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
[0127]
尽管在此结合各实施例对本技术进行了描述，然而，在实施所要求保护的本技术过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
[0128]
本领域技术人员应明白，本技术的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式，这里将它们都统称为“模块”或“系统”。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中，与其它硬件一起提供或作为硬件的一部分，也可以采用其他分布形式，如通过internet或其它有线或无线电信系统。
[0129]
本技术是参照本技术实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0130]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0131]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0132]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。