基于形态和多示例学习的遥感图像弱小目标检测方法与流程

1.本发明属于图像处理领域，更进一步涉及目标检测技术领域中的一种基于形态和多示例学习的光学遥感图像弱小目标检测方法。本发明可用于对背景为海洋、陆地、森林的卫星遥感图像中像素占比少，对比度弱的目标进行检测。
技术背景
2.卫星遥感图像是重要的图像信息来源，实用性极高，目前广泛应用于勘查资源、检测环境灾害检测、军事侦察等许多领域，对国民经济、国防与社会发展有重大的影响。近年来我国边境、南海等地时局复杂，对高性能航天侦察需求不断提高。基于光学遥感成像的目标侦察直观、准确、抗电子干扰能力强，常被作为航天侦察的重要手段。目前，国内外对遥感图像中弱小目标的检测主要分为经典机器学习方法与深度学习方法，如特征提取加svm的方法，深度残差网络等。经典机器学习的方法对噪声较为敏感，检测效果往往不好；深度学习针对大尺寸的目标效果较好，但对弱小目标难以有效提取出深层特征，且弱小目标往往难以精确标记，不利于网络进行学习，同时，以上两种方法在对3万*3万像素的遥感图像进行检测时，检测速度难以达标。
3.北京航天泰坦科技股份有限公司在其申请的专利文献“基于高分辨率光学遥感影像的弱小目标快速检测方法”(申请号：cn201911338926.0，申请公布号：cn110889399a，公布日期：2019.12.23)中提出了一种基于深度学习的高分辨率遥感影像弱小目标检测方法。该方法的主要步骤是：(1)获取待处理遥感影像，将其输入预先训练得到的卷积神经网络中,通过所述卷积神经网络对所述待处理遥感影像分别进行4倍下采样、8倍下采样、和16倍下采样(2)得到所述待处理遥感影像对应的不同大小的先验框，每个所述先验框包含坐标信息和目标类别置信度(3)识别目标类别置信度大于预设阈值的目标先验框，并根据每个所述目标先验框的坐标信息，通过预设聚类算法确定所述待处理遥感影像中包括的目标的坐标信息；其中,所述卷积神经网络的第一层包括一个残差组件,第二层、第三层、和第四层均包括四个残差组件,每个所述残差组件均包括两个卷积层和一个快捷链路；所述卷积神经网络为根据对各样本图像进行真值边界框和真值类别标注后的目标样本图像训练得到的。但是，该方法仍然存在的不足之处是：网络层数很深，需要对影像进行大量的精确标记，而遥感影像中的弱小目标所占像素很少，往往只有十几个像素点，且样本数量较少，难以大规模精确标记，网络无法收敛，对于弱小目标的检测效果很差。
4.何泽民等人在其发表的论文“基于低分辨率舰船遥感图像的弱小目标识别算法”(舰船科学技术，2020,11：58
‑
60，公开日期2020.11)中提出了一种基于低分辨率舰船遥感图像的弱小目标识别方法。该方法的实现步骤是：(1)将待识别图像划分为等大小的单元块；(2)计算每个单元块的梯度方向和梯度幅值；(3)定义每个单元格编码，计算梯度强度，获得待识别图像特征。(4)依据特征的可分性配置特征，适应不同分辨率的遥感图像，利用样本训练的分类器实现弱小目标识别。但是，该方法仍然存在的不足之处是：将提取出的方向梯度特征直接用于检测，只能检测固定方向的弱小目标，无法用于场景、目标多样的遥感
图像中的弱小目标检测。
5.刘万军等人在其发表的论文“多尺度特征增强的遥感图像舰船目标检测”(自然资源遥感，2021,33(3)：97
‑
106，公开日期2021.9)中提出了一种多尺度特征增强的遥感图像舰船目标检测方法。该方法的步骤是：(1)在特征提取阶段，利用密集连接感受野模块改进特征金字塔网络，选用不同空洞率的卷积获取多尺度感受野特征，增强高层语义信息的表达；为了抑制噪声并突出目标特征(2)在特征提取后设计基于注意力机制的特征融合结构，根据各层在空间上的权重值融合所有层，得到兼顾语义信息和位置信息的特征层(3)再对该层特征进行注意力增强，将增强后的特征融入原金字塔特征层；(4)在分类和回归损失基础上，增加注意力损失，优化注意力网络，得到目标位置。但是，该方法仍然存在的不足之处是：由于该方法需要对提取后的特征进行多种增强，因此速度较慢，在遥感图像进行弱小目标检测时，速度太慢。
6.西安电子科技大学在其申请的专利文献“基于高分辨率光学遥感影像的弱小目标快速检测方法”(申请号：cn201911298224.4，申请公布号：cn111027497a，公布日期：2019.12.17)中提出了一种基于高分辨率光学遥感影像的弱小目标快速检测方法。该方法的主要步骤是：(1)将待测多光谱图像先转为8位rgb彩色图像,再转为灰度图像i；(2)对二维灰度图像i用不同滤波核进行扩展小波变换,得到扩展小波变换后的灰度图像w；(3)使用基于加速分割测试的fast9算法对扩展小波变换后的灰度图像w进行角点检测,得到角点检测结果c,再根据空间位置关系过滤掉密集的角点,保留分布较为分散的角点；(4)以每一个保留的角点为中心,切取其固定尺寸大小的区域,并对每个区域进行先膨胀后腐蚀的形态学闭操作,得到形态学闭操作后的切片区域；(5)对形态学闭操作后的切片区域进行如下处理：(5a)对形态学闭操作后的切片区域进行像素联合概率密度统计,并对概率进行归一化,得到灰度共生矩阵p,再计算p的对比度s和相关性r；(5b)使用canny边缘检测算子对每个切片区域进行边缘检测,再对边缘检测的结果进行连通区域标记,并选取面积最大的连通域；(6)使用区域属性统计函数regionprops获取面积最大的连通区域的属性,并根据属性提取形状参数,即连通区域的长宽差h、紧致度t和矩形度g；(7)利用(6)提取的形状参数与(5b)计算灰度共生矩阵p的对比度s和相关性r的联合特征来筛选角点,保留的每个角点所在的局部区域即为目标区域。但是，该方法仍然存在的不足之处是：只使用简单形态学来筛选图像中的角点，在检测弱小目标时，容易出现漏检与误检，检测精确度较低。


技术实现要素：

7.本发明的目的在于针对上述现有技术的不足，提出一种基于形态和多示例学习的遥感图像弱小目标检测方法，用于解决需要大量精确标记，只能检测固定方向目标，检测速度慢，检测精确度低的问题。
8.实现本发明目的的思路是：本发明通过使用少量不精确标记数据建立多示例概率模型，解决了工程应用中对弱小目标进行大量精确标记十分困难的问题。本发明通过对建立的多示例概率模型进行优化得到所有弱小目标方向梯度特征的集成表示，解决了工程应用中只能检测固定方向弱小目标的问题。本发明通过形态学筛选角点快速得到疑似目标，解决了工程应用中检测速度慢的问题。本发明计算疑似目标特征与多示例学习所得特征的余弦相似度响应，目标计算得到的响应高，非目标计算得到的响应低，通过响应值定位目
标，解决了工程应用中检测精确度低的问题。
9.为实现上述目的，本发明的步骤包括如下：
10.步骤1，生成训练集：
11.选取至少1张遥感图像，每张遥感图像包含至少2个目标，将图像中大于目标的区域作为正包，不含目标的背景区域作为负包，提取出正包与负包组成训练集；
12.步骤2，更新每个包的像素：
13.从每个包中的每个像素提取30*30个像素邻域144维的方向梯度特征向量x，使用该像素所对应的x更新该像素所在的包；若该像素中包含目标，则x＝sa
s
d
‑
a
‑
ε；否则，x＝d
‑
a
‑
ε；其中，s表示所有目标方向梯度特征向量的集成表示，a
s
表示目标方向梯度特征向量的丰度值，d
‑
＝[d1,
…
,d
e
]表示背景方向梯度特征向量的集合，d
e
表示第e个背景方向梯度特征向量，e表示背景种类的总数，a
‑
＝[a1，
…
，a
e
]表示背景方向梯度特征向量的丰度矩阵，ε表示随机高斯噪声；
[0014]
步骤3，利用多示例概率模型构建目标函数j如下：
[0015][0016]
其中，k

表示更新后正包的总数，∑表示求和操作，m表示更新后正包的序号，r(s，r
m
)表示r
m
与s的余弦相似度响应，r
m
表示第m个正包中与s余弦相似度响应最大的向量的目标残差，r
m
＝x
m
‑
d
‑
a
‑
，x
m
表示第m个正包中与s余弦相似度响应最大的向量；k
‑
表示更新后负包的总数，n表示更新后负包的序号，γ表示防止正负样本不平衡的比例因子，包的总数，n表示更新后负包的序号，γ表示防止正负样本不平衡的比例因子，表示更新后第n个负包中向量的总数，j表示更新后负包中向量的序号，r
jn
表示第n个负包中第j个向量的目标残差，r
jn
＝x
jn
‑
d
‑
a
‑
，x
jn
表示第n个负包中第j个向量；β表示平衡重构误差对结果影响的比例因子，β＝0.5，n
‑
表示更新后所有负包中向量的总数，p
jn
表示x
jn
对应的丰度值，u和p表示更新后负包中向量的协方差矩阵v的特征向量和特征值；
[0017]
步骤4，求目标函数值最大时对应的标准特征向量：
[0018]
(4a)使用与d
‑
迭代更新目标函数；
[0019]
(4b)对正包与负包中的所有向量进行完全约束最小二乘分解，得到丰度矩阵a；在d
‑
条件下，对负包中的所有向量进行完全约束最小二乘分解，得到丰度矩阵a
‑
，利用拉格朗日乘数法对目标函数进行优化，得到
[0020]
(4c)利用优化后的对目标函数进行梯度上升优化，得到d
‑
；
[0021][0022]
其中，a
m
表示x
m
对应的丰度值，*表示相乘操作，||
·
||表示求模值操作，表示r
m
在白化空间的投影，在白化空间的投影，表示标准化后的s在白化空间的投影，t表示转置操作，表示标准化后的表示标准化后的a
jn
表示x
jn
对应的丰度值，表示r
jn
在白
化空间的投影，化空间的投影，表示标准化后的表示标准化后的
[0023]
(4d)判断优化后的目标函数值的变化是否大于或等于变化量阈值，若是，则执行步骤(4b)；否则，执行步骤(4e)；
[0024]
(4e)按照下式，计算集成表示所有目标方向梯度特征向量的标准特征向量s
d
：
[0025][0026]
其中，s
d
表示标准特征向量；
[0027]
步骤5，基于形态学检测遥感图像中的疑似目标：
[0028]
(5a)将待检测的遥感图像转为灰度图进行预处理，得到每个角点的邻域切片；
[0029]
(5b)使用canny边缘检测算子，对每个切片进行边缘检测；
[0030]
(5c)将存在边缘连通域满足形态学条件的切片对应的角点30*30个像素大小的邻域作为一个疑似目标；舍弃不满足形态学条件其余切片对应的角点30*30个像素大小的邻域；
[0031]
步骤6，基于疑似目标与标准特征向量的响应值检测遥感图像中的目标：
[0032]
(6a)使用方向梯度特征提取算法从每个疑似目标中提取一个方向梯度特征向量；
[0033]
(6b)判断每个疑似目标提取的方向梯度特征向量与标准特征向量的余弦相似度响应是否大于或等于检测阈值，若是，则将该疑似目标标记为目标；否则，舍弃该疑似目标。
[0034]
本发明与现有技术相比具有以下优点：
[0035]
第一，由于本发明利用多示例概率模型构建目标函数，只需要标记数个大于目标的区域，克服了现有技术需要对遥感图像中的弱小目标进行大量的手工精确标记导致的大量的人力、物力成本消耗，使得本发明提高了遥感图像中弱小目标的检测效率。
[0036]
第二，由于本发明通过对目标函数进行优化，得到集成表示所有训练集中弱小目标方向梯度特征的标准特征向量，克服了现有技术只能检测固定方向弱小目标的问题，使得本发明提高了遥感图像中弱小目标检测的方向鲁棒性。
[0037]
第三，由于本发明通过形态学检测遥感图像中的疑似目标，再提取疑似目标的特征，克服了现有技术需要对待测遥感图像进行全局特征提取而导致的检测时间过长的问题，使得本发明提高了遥感图像中中弱小目标的检测速度。
[0038]
第四，由于本发明计算疑似目标与标准特征向量的响应值，根据响应值筛选疑似目标来检测遥感图像中的目标，克服了现有技术对弱小目标进行检测时容易出现漏检与误检的问题，使得本发明提高了遥感图像中弱小目标的检测精度。
附图说明
[0039]
图1是本发明的流程图；
[0040]
图2是本发明的仿真图。
具体实施方式
[0041]
下面结合附图和实施例对本发明做进一步的详细描述。
[0042]
参照图1对本发明的实现步骤做进一步的详细描述。
[0043]
步骤1，生成训练集。
[0044]
选取至少1张遥感图像，每张遥感图像包含至少2个目标，将图像中大于目标的区域作为正包，不含目标的背景区域作为负包，提取出正包与负包组成训练集。
[0045]
步骤2，更新每个包的像素。
[0046]
从每个包中的每个像素提取30*30个像素邻域144维的方向梯度特征向量x，使用该像素所对应的x更新该像素所在的包；若该像素中包含目标，则x＝sa
s
d
‑
a
‑
ε；否则，x＝d
‑
a
‑
ε；其中，s表示所有目标方向梯度特征向量的集成表示，a
s
表示目标方向梯度特征向量的丰度值，d
‑
＝[d1，
…
，d
e
]表示背景方向梯度特征向量的集合，d
e
表示第e个背景方向梯度特征向量，e表示背景种类的总数，a
‑
表示背景的丰度矩阵，ε表示随机高斯噪声。
[0047]
所述的r
m
与s的余弦相似度响应r(s，r
m
)如下：
[0048][0049]
其中，
‑
1表示方阵求逆操作。
[0050]
步骤3，利用多示例概率模型构建目标函数如下：
[0051][0052]
其中，k

表示更新后正包的总数，∑表示求和操作，m表示更新后正包的序号，r(s，r
m
)表示r
m
与s的余弦相似度响应，r
m
表示第m个正包中与s余弦相似度响应最大的向量的目标残差，r
m
＝x
m
‑
d
‑
a
‑
，x
m
表示第m个正包中与s余弦相似度响应最大的向量；k
‑
表示更新后负包的总数，n表示更新后负包的序号，γ表示防止正负样本不平衡的比例因子，包的总数，n表示更新后负包的序号，γ表示防止正负样本不平衡的比例因子，表示更新后第n个负包中向量的总数，j表示更新后负包中向量的序号，r
jn
表示第n个负包中第j个向量的目标残差，r
jn
＝x
jn
‑
d
‑
a
‑
，x
jn
表示第n个负包中第j个向量；β表示平衡重构误差对结果影响的比例因子，β＝0.5，n
‑
表示更新后所有负包中向量的总数，p
jn
表示x
jn
对应的丰度值，u和p表示更新后负包中向量的协方差矩阵v的特征向量和特征值所述的完全约束最小二乘分解算法如下：
[0053]
第一步，构建x与d的关系式f：
[0054]
f＝((x
‑
da)
t
(x
‑
da))
[0055]
式中，x表示待分解的所有向量，d表示目标与背景向量的集合，d＝[s，d
‑
]，a表示丰度矩阵，a＝[a
s
，a
‑
]。
[0056]
第二步，求满足a
s
≥0，a
‑
≥0，且使分解函数值最小的丰度矩阵a。
[0057]
步骤4，求目标函数值最大时对应的标准特征向量。
[0058]
(4.1)使用与d
‑
迭代更新目标函数。
[0059]
(4.2)对正包与负包中的所有向量进行完全约束最小二乘分解，得到丰度矩阵a；在d
‑
条件下，对负包中的所有向量进行完全约束最小二乘分解，得到丰度矩阵a
‑
，利用拉格朗日乘数法对目标函数进行优化，得到
[0060]
所述利用拉格朗日乘数法对目标函数进行优化的步骤如下：
[0061]
第一步，构建目标函数与尺度不变条件的拉格朗日关系式
[0062][0063]
其中，λ表示拉格朗日乘子。
[0064]
第二步，求使拉格朗日关系式对其偏导数为0的向量：
[0065][0066]
其中，表示使拉格朗日关系式对其偏导数为0的向量。
[0067]
(4.3)利用优化后的对目标函数进行梯度上升优化，得到d
‑
。
[0068][0069]
其中，a
m
表示x
m
对应的丰度值，*表示相乘操作，||
·
||表示求模值操作，表示r
m
在白化空间的投影，在白化空间的投影，表示标准化后的s在白化空间的投影，t表示转置操作，表示标准化后的表示标准化后的a
jn
表示x
jn
对应的丰度值，表示r
jn
在白化空间的投影，化空间的投影，表示标准化后的表示标准化后的
[0070]
(4.4)判断优化后的目标函数值的变化是否大于或等于变化量阈值，若是，则执行步骤(4.2)；否则，执行步骤(4.5)。
[0071]
(4.5)按照下式，计算所有目标方向梯度特征的标准特征向量：
[0072][0073]
其中，s
d
表示所有目标方向梯度特征的标准特征向量。
[0074]
步骤5，基于形态学检测遥感图像中的疑似目标。
[0075]
将待检测的遥感图像转为灰度图进行预处理，得到每个角点的邻域切片。
[0076]
所述的预处理步骤如下：
[0077]
第1步，使用阈值为15的fast
‑
9算法，得到灰度图中所有角点的位置。
[0078]
第2步，对每个角点15*15像素大小的邻域进行切片，对切片结果进行形态学闭操作。
[0079]
所述的fast
‑
9算法是指，在以待测像素点为中心，半径为3个像素点的圆上取16个像素点，与待测点像素值做差，若存在连续9个满足差值的绝对值大于15的点，则将待测像素点视为候选角点，将这9个点与待测点差值的绝对值之和作为待测点强度；根据待测点强度对候选角点进行非极大值抑制，得到角点。
[0080]
使用canny边缘检测算子，对每个切片进行边缘检测。
[0081]
判断是否存在边缘连通域满足形态学条件的切片，若是，则保留该切片对应的角点；否则，舍弃该切片对应的角点。
[0082]
所述的形态学条件是指同时满足下述两个条件的情形：
[0083]
条件1，切片的边缘连通域面积为10～30个像素点。
[0084]
条件2，切片的边缘连通域最小外接矩形的长度减去宽度为5～35个像素点。
[0085]
将存在边缘连通域满足形态学条件的切片对应的角点30*30个像素大小的邻域作为一个疑似目标；舍弃不满足形态学条件其余切片对应的角点30*30个像素大小的邻域。
[0086]
步骤6，基于疑似目标与标准特征向量的响应值检测遥感图像中的目标。
[0087]
使用方向梯度特征提取算法从每个疑似目标中提取一个方向梯度特征向量。
[0088]
所述方向梯度特征提取算法步骤如下：
[0089]
第1步，若图像通道数不为1，则将图像转为灰度图i(x，y)，其中，(x，y)为像素坐标。
[0090]
第2步，按照下式，对输入图像进行gamma校正：
[0091]
i(x，y)＝i(x，y)
gamma
[0092]
其中，gamma取值为0.5。
[0093]
第3步，计算图像每个像素的梯度大小和梯度方向：
[0094][0095]
ang(x，y)＝arccos((i(x 1，y)
‑
i(x
‑
1，y))/r(x，y))
[0096]
其中，r(x，y)表示梯度大小，ang(x，y)表示梯度方向。
[0097]
第4步，计算每个网格的方向梯度直方图。
[0098]
网格取8*8个像素大小，直方图取9个方向，将梯度大小按照方向逐一累加到方向梯度直方图上。
[0099]
第5步，在区块中归一化方向梯度直方图。
[0100]
区块取2*2个网格大小，一个区块有4个直方图，将这4个直方图拼接成长度为36的向量，然后对这个向量进行归一化。
[0101]
第6步，在图像区域滑动区块，拼接得到最终的方向梯度特征向量。
[0102]
下面结合仿真实验对本发明的效果做进一步的说明：
[0103]
1.仿真实验条件：
[0104]
本发明的仿真实验的硬件平台为：处理器为intel i7 10700f cpu，主频为2.90ghz，内存16gb。
[0105]
本发明的仿真实验的软件平台为：windows 10操作系统、python3.8、pytorch1.8.0和matlab2020a。
[0106]
本发明仿真实验所使用的输入图像为高分6号卫星拍摄的50张遥感图像，该遥感数据采集自马六甲海峡，成像时间为2020年2月，每张图像大小为1000
×
1000
×
3个像素，图像格式为tif。
[0107]
2.仿真内容及其结果分析：
[0108]
本发明仿真实验是采用本发明和两个现有技术(方向梯度直方图检测方法、卫星图像中多尺度目标的快速检测方法)分别对输入的遥感图像进行检测。
[0109]
在仿真实验中，采用的两个现有技术是指：
[0110]
现有方向梯度直方图检测方法是指，dalal n等人在“histograms of oriented gradients for human detection,international conference on computer vision&pattern recognition pp.886
–
893,jun.2005,”中提出的目标检测方法，简称方向梯度直方图检测方法。
[0111]
现有卫星图像中多尺度目标的快速检测方法是指，etten a等人在“you only look twice:rapid multi
‑
scale object detection in satellite imagery,arxiv:1805.09512,may.2018”中提出的遥感图像目标检测方法，简称卫星图像中多尺度目标的快速检测方法。
[0112]
下面结合仿真图对本发明的效果做进一步的描述。
[0113]
图2(a)为本发明仿真实验中用于检测的遥感图像。图2(b)为本发明仿真实验中采用现有技术的方向梯度直方图检测方法，对遥感图像进行检测的结果图。图2(c)为本发明仿真实验中采用现有技术的卫星图像中多尺度目标的快速检测方法，对遥感图像进行检测的结果图。图2(d)为本发明仿真实验中利用本发明的方法，对遥感图像进行检测的结果图。
[0114]
由图2(b)可以看出，现有技术的方向梯度直方图检测结果与卫星图像中多尺度目标的快速检测方法检测结果相比，对于方向相同的目标检测效果较好，但对于方向差异性较大的目标则漏检较多，主要因为不同方向目标的方向梯度差异很大，很难用一个检测器全部检测出来，导致没有检测多种方向弱小目标的能力，检测率不高。
[0115]
由图2(c)可以看出，现有技术的卫星图像中多尺度目标的快速检测方法检测结果，相比于方向梯度直方图检测方法检测结果，具有检测不同方向目标的能力，但是对于弱小目标，网络无法学习到高维特征，会把形态与目标相似的背景区域检测为目标，导致虚警较高且目标框不准确。
[0116]
由图2(d)可以看出，本发明的检测结果相比于两个现有技术的分类结果，检测出的目标更多，且虚警更少，证明本发明的检测效果优于前两种现有技术检测方法，检测效果较理想。
[0117]
利用三个评价指标(检测率、虚警率、检测一张图所需时间)分别对三种方法的检测结果进行评价。利用下面公式，计算检测率，虚警率，将所有计算结果绘制成表1：
[0118][0119][0120]
表1.仿真实验中本发明和现有技术检测结果的定量分析表
[0121][0122]
结合表1可以看出，本发明的检测率为92.57％，虚警率为92.57％，这两个指标均高于2种现有技术方法，证明本发明可以得到更高的遥感图像检测精度。本发明检测一张图所需时间少于2种现有技术方法，证明本发明可以得到更快的遥感图像检测速度。
[0123]
以上仿真实验表明：本发明方法建立了能够全面表达正包与负包中信息的多示例概率模型，对建立的多示例概率模型进行优化，学习到能准确描述所有弱小目标方向梯度特征的集成表示，在检测时先使用形态学筛选角点，再使用所有弱小目标方向梯度特征的集成表示精确定位目标，解决了现有技术需要对弱小目标进行大量精确标记，且在检测时需要对全局进行特征提取，而提取到的特征只能用于检测特定方向目标，导致的检测效率低、速度慢、精度低的问题，是一种非常实用的遥感弱小目标检测方法。