一种基于仿鹰眼视觉与似物性的海面回收目标检测方法

1.本发明是一种基于生物视觉的海面回收目标显著性检测研究方法，尤其是一种基于仿鹰眼视觉与似物性的海面回收目标检测方法，属于计算机视觉领域。


背景技术：

2.无人机全称“无人驾驶飞行器”，是利用无线电遥控设备和自备的程序控制装置操纵的不载人飞机，是信息时代高技术含量的产物。
3.随着现代海战的立体化、多层次的飞速发展，小型无人艇、无人船、智能漂浮回收装置等具有便捷、灵活性强、自主性强等诸多优点，能够实现复杂海面环境、危险海洋区域、未知岛屿环境的抵近、勘测与侦查，因而得到越来越广泛的研究与应用。当无人机完成在海岸带复杂海面环境中的全天候自主巡逻和监控任务之后，及时回收完成任务的无人机充分重复利用无人机资源的一种重要手段。无人机回收是评估无人机性能的一个重要性能，回收方式的灵活程度、准确性及可靠性是评价无人机战斗力的一个重要指标。因此，水空协同海面巡逻无人系统的研究对无人机/无人艇目标识别、环境感知、自主控制及优化、协同控制等技术有着迫切需求。
4.传统的无人机回收方式包括自主降落回收、降落伞回收、撞网回收、气囊减震回收、起落架滑轮回收、撞线回收等，但对于海面上的回收无人艇来说，不具有较长的起降甲板，可供待回收无人机着陆的区域较小，这给无人机的精准回收降落带来了巨大的挑战。此外，待回收无人机能否在复杂海面环境中准确识别出待降落的无人艇目标是实现回收降落的先决条件。在无人机回收过程中通常采用gps导航系统、惯性导航系统及多种导航系统组合的组合导航系统。gps导航系统虽然能够实现全天候不间断的定位与导航，但是gps更新频率慢、精度较低，无法保证无人机在回收过程中的实时导航，且在特殊战争时期极易遭到破坏而失效。惯性导航系统不从外界收发信息，隐蔽性好、抗干扰能力强、更新频率较gps高，但是随着时间的推移会产生误差积累。组合导航方式能够将各种导航方式的优点，使得导航系统精度更高、更可靠，但是这种导航方式的代价较高，当其中一种导航方式失效时，又会出现上述gps导航或惯性导航方式的缺点。
5.随着计算机及图像处理的迅速发展，视觉导航逐渐被熟知。视觉导航结构简单、信息量大、功耗低，在提高导航过程中抗干扰能力的同时，也提高了导航过程中的自主化水平。与传统导航方式相比，视觉导航更适合用于海面无人机的回收过程中对于海面回收目标的识别、跟踪与着陆过程的导航，在这些过程中，高导航精度是决定回收成功与否的关键。
6.鹰眼的视觉极其敏锐，鹰能够从几千米的高空中准确的识别地面上的猎物，并以非常快的速度对猎物进行追踪直至捕获猎物。鹰眼独特的颜色空间，能够进行清晰的颜色分类。鹰敏锐的视觉与其双中央凹息息相关，中央凹的光感受器密度时人眼的数倍，因此，鹰眼拥有更高的分辨率。将鹰眼视觉与传统的视觉导航方式相结合，充分发挥鹰眼视觉的优势，可以准确、快速的捕捉到海面回收装置目标，从而实现对无人机的回收任务。
7.综上所述，本发明提出了一种基于仿鹰眼视觉与似物性的海面回收目标检测方法，以解决在海面环境下回收装置在线实时检测困难的问题，有效提高海面无人机回收的成功率。


技术实现要素：

8.本发明提出了一种基于仿鹰眼视觉与似物性的海面回收目标检测方法，其目的是提供一种实时、在线复杂海面背景环境下的回收装置目标检测的方法，从而有效提高复杂海面环境下回收装置的目标检测的水平及待回收无人机的回收效率。
9.本发明针对海上回收装置目标识别检测问题，开发了一种基于仿鹰眼视觉与似物性的海面回收目标检测方法，该方法的结构框架如图1所示，该方法具体步骤如下：
10.步骤一：获取似物性窗口图像
11.采用二进制梯度归一化bing的似物性检测方法对原始输入图像i进行似物性检测，框选出n个似物性窗口区域，并获得每个似物性窗口的得分。按照得分由高到低进行排序，得分情况用于表示该窗口被包含目标特征的概率ωi＞ωj,i＜j,i,j＝1,2,
…
,n。
12.步骤二：建立仿鹰眼颜色空间
13.在鹰的视觉世界中增加色彩感知，有助于鹰在捕食过程中区分环境中的猎物。鹰眼视网膜视锥细胞内部远端存在彩色油滴，各油滴所含的类胡萝卜素的浓度和类型不同。因而，鹰的视网膜通常在红色、绿色和蓝色的近似区域中具有光谱敏感性的最大值，在紫外或近紫外范围内具有第四敏感光谱，因而鹰眼的颜色空间是四色制。信号从视网膜的光感受器(视锥细胞和视杆细胞)中提取色彩信息，经过一系列的颜色处理机制产生不同颜色对比度的颜色信号，进而形成鹰眼丰富的颜色空间，其中，鹰眼对接收到的彩色信息的视觉处理机制如图2所示。
14.鹰眼可以识别长波、中波、短波3种颜色信号，3种信号在下一层神经处理机制中相互拮抗。将长波、中波、短波信号定义为红色、绿色和蓝色，经过颜色处理机制可以获得亮度通道，如下式
[0015][0016]
其中，r、g、b分别为原始输入图像信号中的红色、绿色和蓝色。l、m、s、y分别为鹰眼空间的长波、中波、短波及亮度信号，分别表示色彩信号经过鹰眼处理后的颜色对比信号。
[0017]
步骤三：选取得分较高的图像进行后续处理
[0018]
将n个似物性窗口单独提取并保存为单独的图像i1，i2，
……
，in。选取得分较高的前张图像，并对该m张图像分别依次进行步骤四至步骤五的处理，得到m张初级显著
图s(i1),s(i2),
…
,s(im)。
[0019]
步骤四：计算相同颜色的显著性值
[0020]
窗口图像ii中像素i
ik
的显著性值定义为
[0021][0022]
其中，d(i
ik
,i
ii
)为像素i
ik
和像素i
ii
在仿鹰眼颜色空间的颜色距离度量，式(2)可展开为
[0023]
s(i
ik
)＝d(i
ik
,i
i1
) d(i
ik
,i
i2
)
…
d(i
ik
,i
im
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0024]
其中，m为窗口图像ii的像素数。由式(3)可以看出，相同的颜色的像素具有相同的颜色显著性值。
[0025]ci
为窗口图像ii中的一种颜色值(是选定的一种颜色值)，将具有相同颜色值ci的像素合并在一起，可以得到每个颜色的显著性图，如式(4)所示。
[0026][0027]
其中，c
ij
为窗口图像ii中各像素的颜色值，n为图像ii中所含的颜色值为ci的像素总数，fi为颜色值ci在图像ii中出现的频率。
[0028]
步骤五：仿鹰眼颜色空间平滑处理
[0029]
rgb颜色空间包含h＝256种颜色值，但该h种颜色并未全部出现在测试图像中。为了提高算法的效率且增加颜色信息的可区别性，本方法减少需要考虑的颜色数目。
[0030]
设图像ii中颜色数量为pi，将r、g、b颜色通道的颜色量化得到qi个不同的值。此时，图像ii中现有颜色数量为q
i3
个，大大减少的方法的复杂度，提高了效率。q的取值方式为
[0031][0032]
选取图像ii中出现频率fi超过90％的像素，其余10％的像素用其临近像素的中值代替。为减少这种操作给显著性值计算带来的误差，本发明采用平滑操作来改善被代替像素的颜色的显著性值。
[0033]
将每个被代替颜色的显著性值s(ci)用其相邻近颜色显著性值的加权平均值s
″
(ci)代替，该相邻的颜色显著性值在仿鹰眼颜色空间中通过距离测量获得。选取个邻居颜色对颜色ci的显著性值进行改善，初步得到被代替颜色的显著性值：
[0034][0035]
其中，ti为颜色ci和其qi个邻居的距离的中值，可表示为
[0036][0037]
将s
′
(ci)归一化为：
[0038]
[0039]
其中，归一化因数为
[0040][0041]
其中，(t
i-d(ci,c
ij
))定义为线性变化的平滑权值，用于在颜色特征空间中给距离颜色ci较近的颜色分配较大的权重，这种线性变化的权值优于变化率较大的高斯权值变化的效果。其中，d(c
i-c
ij)
为颜色ci和颜色c
ij
的距离，ti由式(7)计算得到。
[0042]
步骤六：似物性窗口显著性结果求和
[0043]
将m张初级显著图s(i1),s(i2),
…
,s(im)恢复至原图像i中的相应位置，i中的剩余部分置为0，最终形成m张显著图s(i1′
),s(i2′
),
…
,s(im′
)，则图像i的显著图可表示为
[0044]
s＝ω1s(i1′
) ω2s(i2′
)
…
ωms(im′
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0045]
其中，ωi,i＝1,2,
…
,n为窗口ii包含显著目标的概率。
[0046]
步骤七：输出海上回收装置显著性检测结果
[0047]
通过步骤一至步骤六的计算，得到最终的海上回收装置显著性检测结果，选取特征点进行位置估计，进而估计出待回收无人机与海上回收装置(如无人艇、无人船、智能回收装置等)的相对位置关系，最终实现对无人机的回收。
[0048]
本发明提出了一种基于仿鹰眼视觉与似物性的海面回收目标检测方法。该方法是通过将由似物性检测算法获得的似物性窗口图像进行再处理，通过对每个窗口图像进行显著性检测，进而实现对海上回收目标的显著性检测。该发明的主要优势主要体现在以下2个方面：1)对似物性检测的窗口结果再进行显著性检测，极大地减小的显著性检测的算法复杂度；2)将仿鹰眼颜色空间引入到对似物性窗口显著性特征检测过程中，在评估图像颜色空间距离的过程中更能贴近现实图像像素间的距离关系。
附图说明
[0049]
图1本发明方法流程框图
[0050]
图2仿鹰眼视觉处理机制示意图
[0051]
图3似物性检测结果图
[0052]
图4显著性检测结果图
[0053]
图5合作靶标及特征点结果图
[0054]
图中标号及符号说明如下：
[0055]
ω1——似物性窗口1可能含有显著物体的概率
[0056]
ωi——似物性窗口i可能含有显著目标的概率
[0057]
ωm——似物性窗口m可能含有显著目标的概率
[0058]
i1——经过似物性检测获得的似物性图像1(可能包含显著物体的窗口)
[0059]ii
——经过似物性检测获得的似物性图像i(可能包含显著物体的窗口)
[0060]im
——经过似物性检测获得的似物性图像m(可能包含显著物体的窗口)
[0061]
rgb——红绿蓝颜色空间
[0062]
s(i
1k
)——似物性图像1在rgb颜色空间的颜色显著性值
[0063]
s(i
ik
)——似物性图像i在rgb颜色空间的颜色显著性值
[0064]
s(i
mk
)——似物性图像m在rgb颜色空间的颜色显著性值
[0065]
f——被检测的窗口图像中某种颜色像素出现的频率
[0066]ry0
——鹰眼彩色信息处理机制的参考亮度信号
[0067]rs0
——鹰眼彩色信息处理机制的参考短波信号
[0068]rm0
——鹰眼彩色信息处理机制的参考中波信号
[0069]rl0
——鹰眼彩色信息处理机制的参考长波信号
[0070]ry
——鹰眼彩色信息处理机制的输入亮度信号
[0071]rs
——鹰眼彩色信息处理机制的输入短波信号
[0072]rm
——鹰眼彩色信息处理机制的输入中波信号
[0073]rl
——鹰眼彩色信息处理机制的输入长波信号
[0074]
δsc——每种颜色类型的视锥细胞与其他颜色视锥细胞相互拮抗后产生的颜色对比响应
[0075]
p——大脑处理后的输出信号
[0076]
y——是(满足条件)
[0077]
n——否(不满足条件)
[0078]
r1～r4——合作靶标的特征点
具体实施方式
[0079]
下面通过一个具体的海上回收无人船目标检测实例来验证本发明所提出的方法的有效性。实验计算机配置为intel core i7-4790处理器，3.60ghz主频，4g内存，软件为matlab 2014a版本。一种基于仿鹰眼视觉与似物性的海面回收目标检测方法具体步骤如下：
[0080]
步骤一：获取似物性窗口图像
[0081]
采用二进制梯度归一化bing的似物性检测方法对原始输入图像i进行似物性检测，框选出n＝12个似物性窗口区域，并获得每个似物性窗口的得分。按照得分由高到低进行排序，得分情况用于表示该窗口被包含目标特征的概率ωi＞ωj,i＜j,i,j＝1,2,
…
,n，似物性检测结果如图3所示。
[0082]
步骤二：建立仿鹰眼颜色空间
[0083]
在鹰的视觉世界中增加色彩感知，有助于鹰在不是构成中区分环境中的猎物。鹰眼视网膜视锥细胞内部远端存在彩色油滴，各油滴所含的类胡萝卜素的浓度和类型不同。因而，鹰的视网膜通常在红色、绿色和蓝色的近似区域中具有光谱敏感性的最大值，在紫外或近紫外范围内具有第四敏感光谱，因而鹰眼的颜色空间是四色制。信号从视网膜的光感受器(视锥细胞和视杆细胞)中提取色彩信息，经过一系列的颜色处理机制产生不同颜色对比度的颜色信号，进而形成鹰眼丰富的颜色空间。
[0084]
鹰眼可以识别长波、中波、短波3种颜色信号，3种信号在下一层神经处理机制中相互拮抗。将长波、中波、短波信号定义为红色、绿色和蓝色，经过颜色处理机制可以获得亮度通道，如下式(1)所示。
[0085]
式中，r、g、b分别为原始输入图像信号中的红色、绿色和蓝色。l、m、s、y分别为鹰眼空间的长波、中波、短波及亮度信号，分别表示色彩信号经过鹰眼处理后的颜色对比信号。
[0086]
步骤三：选取得分较高的图像进行后处理
[0087]
将n个似物性窗口单独提取并保存为单独的图像i1，i2，
……
，in。选取得分较高的前张图像，并对该m张图像分别依次进行步骤四至步骤五的处理，最终可获得8张初级显著图。
[0088]
步骤四：计算相同颜色的显著性值
[0089]
窗口图像ii中像素i
ik
的显著性值定义为式(2)。式中，d(i
ik
,i
ii
)为像素i
ik
和像素i
ii
在仿鹰眼颜色空间的颜色距离度量，式(2)可展开为式(3)，式中，m为窗口图像ii的像素数。由式(3)可以看出，相同的颜色的像素具有相同的颜色显著性值。
[0090]
将具有相同颜色值ci的像素合并在一起，可以得到每个颜色的显著性图，如式(4)所示。式中，c
ij
为窗口图像ii中各像素的颜色值，n为图像ii中所含的颜色值为ci的像素总数，fi为颜色值ci在图像ii中出现的频率。
[0091]
步骤五：仿鹰眼颜色空间平滑处理
[0092]
rgb颜色空间包含h＝256种颜色值，但该h种颜色并未全部出现在测试图像中。为了提高算法的效率且增加颜色信息的可区别性，本方法减少需要考虑的颜色数目。
[0093]
设图像ii中颜色数量为pi，将r、g、b颜色通道的颜色量化得到qi个不同的值。此时，图像ii中现有颜色数量为q
i3
个，大大减少的方法的复杂度，提高了效率。q的取值方式定义为是(5)。
[0094]
选取图像ii中出现频率超过90％的像素，其余10％的像素用其临近像素的中值代替。为减少这种操作给显著性值计算带来的误差，本发明采用平滑操作来改善被代替像素的颜色的显著性值。
[0095]
将每个被代替颜色的显著性值s(ci)用其相邻近颜色显著性值的加权平均值s
″
(ci)代替，该相邻的颜色显著性值在仿鹰眼颜色空间中通过距离测量获得。选取个邻居颜色对颜色ci的显著性值进行改善，初步得到被代替颜色的显著性值如式(6)所示。式中，ti为颜色ci和其qi个邻居的距离的中值，可表示为式(7)。
[0096]
将s
′
(ci)归一化为式(8)所示。式中，归一化因数如式(6)所示。式中，(t-d(ci,c
ij
))为线性变化的平滑权值，用于在颜色特征空间中距离颜色ci较近的颜色分配较大的权重，这种线性变化的权值由于变化率较大的高斯权值变化效果。
[0097]
步骤六：似物性窗口显著性结果求和
[0098]
将步骤五中获得的m张显著图s(i
1s
),s(i
2s
),
…
,s(i
ms
)恢复至原图像i中的相应位置，i中的剩余部分置为0，形成m张显著图s(i1′
),s(i2′
),
…
,s(im′
)，则图像i的显著图可表示为式(10)。式中，ωi,i＝1,2,
…
,n为所检测出的窗口ii可能包含目标的概率。
[0099]
步骤七：输出海上回收装置显著性检测结果
[0100]
通过步骤一至步骤六的计算，得到最终的海上回收装置显著性检测结果。在海上回收装置上含有特征点的合作靶标(如图5中船中心的圆形靶标)，获取合作靶标外接四边形(如图5中白色框所示)的顶点(如图五中的r1～r4)作为特征点并进行特征点匹配，采用rpnp位姿估计算法估计待回收无人机与海上回收装置(如无人艇、无人船、智能回收装置等)之间的相对位置关系，最终实现对无人机的回收。基于本发明的方法的海上回收目标显著性检测输出结果如图4所示。