1.本发明实施例涉及战场搜寻技术领域,尤其涉及一种复杂场景下机载多光谱多域优选特征的地面伤员识别方法、装置及介质。
背景技术:
2.户外伤员快速搜寻一直是公共安全领域的热点问题,而基于无人机搭载各类光电传感器进行空对地伤员目标探测识别一直是相关领域的研究技术热点。
3.多光谱影像作为一个三维的数据立方体,在提供物体空间维的纹理和位置的同时,又能够提供物体的光谱特征信息,因此在对物体识别能力上有着其他常见探测影像(如红外、可见光)所不能比拟的优势,目前被广泛应用于植物、水质等固定背景环境应用场景。各类应用研究通过采集本应用固定场景下环境背景和识别目标的光谱数据,结合相应光谱特征进行目标探测识别。
4.然而,针对地面伤员快速搜寻这一特殊应用场景,无人机载多光谱搜寻技术具有极大潜力,但同时也面临以下挑战:首先就是大场景-小目标的低对比度影响,具体来说,无人机在高空巡航条件下,地面人体目标与环境背景相比,呈现小目标、低背景对比度特性;其次就是环境背景未知且动态转换,具体来说,户外伤员分布区域未知,无人机搭载多光谱搜寻系统执行搜寻任务的地域环境随机未知且动态转换(丛林、荒漠或城市),即搜寻场景的背景环境随机转换。上述两点挑战极大地增加了无人机搭载多光谱系统进行地面伤员目标搜寻的难度。
技术实现要素:
5.鉴于此,本发明实施例期望提供一种复杂场景下机载多光谱多域优选特征的地面伤员识别方法、装置及介质;能够提高伤员搜寻的识别准确率和鲁棒性、增强方案的实用性。
6.本发明实施例的技术方案是这样实现的:
7.第一方面,本发明实施例提供了一种复杂场景下机载多光谱多域优选特征的地面伤员识别方法,所述方法包括:
8.对多光谱相机所采集的多个单波段原始图像进行预处理以完成辐射校正和波段配准,获得预处理后的反射率图像;
9.基于所述预处理后的反射率图像,根据地物目标分类以及光谱特性、纹理特征和空间频率特征,生成针对地物目标的原始多域特征集;
10.基于多种典型的伤员搜寻环境场景,从所述原始多域特征集中筛选出跨场景的最优特征子集;
11.基于所述跨场景的最优特征子集对识别模型进行训练及优化,获得最优识别模型;
12.根据所述多个单波段原始图像按照所述跨场景的最优特征子集提取对应的最优特征向量,并通过所述最优识别模型识别伤员目标。
13.第二方面,本发明实施例提供了一种复杂场景下机载多光谱多域优选特征的地面伤员识别装置,所述装置包括:预处理部分、特征生成部分、特征筛选部分、训练优化部分和识别部分;其中,
14.所述预处理部分,经配置为对多光谱相机所采集的多个单波段原始图像进行预处理以完成辐射校正和波段配准,获得预处理后的反射率图像;
15.所述特征生成部分,经配置为基于所述预处理后的反射率图像,根据地物目标分类以及光谱特性、纹理特征和空间频率特征,生成针对地物目标的原始多域特征集;
16.所述特征筛选部分,经配置为基于多种典型的伤员搜寻环境场景,从所述原始多域特征集中筛选出跨场景的最优特征子集;
17.所述训练优化部分,经配置为基于所述跨场景的最优特征子集对识别模型进行训练及优化,获得最优识别模型;
18.所述识别部分,经配置为根据所述多个单波段原始图像按照所述跨场景的最优特征子集提取对应的最优特征向量,并通过所述最优识别模型识别伤员目标。
19.第三方面,本发明实施例提供了一种复杂场景下机载多光谱多域优选特征的地面伤员识别系统,所述系统包括:多光谱相机、存储器和处理器;其中,
20.所述多光谱相机,用于采集遥感影像像元亮度dn值原始图像;
21.所述存储器,用于存储能够在所述处理器上运行的计算机程序;
22.所述处理器,用于在运行所述计算机程序时,执行第一方面所述复杂场景下机载多光谱多域优选特征的地面伤员识别方法的步骤。
23.第四方面,本发明实施例提供了一种计算机存储介质,所述计算机存储介质存储有复杂场景下机载多光谱多域优选特征的地面伤员识别程序,所述复杂场景下机载多光谱多域优选特征的地面伤员识别程序被至少一个处理器执行时实现第一方面所述复杂场景下机载多光谱多域优选特征的地面伤员识别方法步骤。
24.本发明实施例提供了一种复杂场景下机载多光谱多域优选特征的地面伤员识别方法、装置及介质;采用了普适于各种转换场景的跨场景的最优特征子集进行地面伤员目标识别,能够适应于户外地域环境转换条件下复杂场景的地面伤员目标识别,相较于针对典型固定环境场景模型的常规方案,提高了伤员搜寻的识别准确率和鲁棒性、增强了方案的实用性。
附图说明
25.图1为本发明实施例提供的一种复杂场景下机载多光谱多域优选特征的地面伤员识别方法流程示意图;
26.图2为本发明实施例提供的预处理流程示意图;
27.图3为本发明实施例提供的形成原始特征集示意图;
28.图4为本发明实施例提供的时延环境场景示意图;
29.图5为本发明实施例提供的一种复杂环境转换场景中伤员目标布设示意图;
30.图6为本发明实施例提供的常规方案中典型场景下最优特征构建的svm分类器的
分类效果图;
31.图7为本发明实施例提供的综合训练集进行特征排序和五折交叉验证的验证结果示意图;
32.图8为本发明实施例提供的四种特征组合分别训练的svm模型对复杂测试环境场景进行二分类的识别结果示意图;
33.图9为本发明实施例提供的四种特征组合的roc曲线对比示意图;
34.图10为本发明实施例提供的四种模型进行分类测试的精确度示意图;
35.图11为本发明实施例提供的复杂场景下机载多光谱多域优选特征的地面伤员识别装置组成示意图;
36.图12为本发明实施例提供的复杂场景下机载多光谱多域优选特征的地面伤员识别系统结构示意图。
具体实施方式
37.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
38.目前无人机搭载多光谱设备进行伤员搜寻的常规方案,通常针对典型的固定环境场景模型进行识别;但是在实际应用场景下,无人机搜寻区域广阔,环境场景并非固定且更加复杂,甚至会需要同时在多场景之间进行动态转换,因此,目前针对典型固定环境场景模型的常规方案由于具有局限性,所以无法适用于现实应用中的复杂环境场景。
39.基于此,参见图1所示,其示出了本发明实施例提供的一种复杂场景下机载多光谱多域优选特征的地面伤员识别方法,该方法可以包括:
40.s101:对多光谱相机所采集的多个单波段原始图像进行预处理以完成辐射校正和波段配准,获得预处理后的反射率图像;
41.s102:基于所述预处理后的反射率图像,根据地物目标分类以及光谱特性、纹理特征和空间频率特征,生成针对地物目标的原始多域特征集;
42.s103:基于多种典型的伤员搜寻环境场景,从所述原始多域特征集中筛选出跨场景的最优特征子集;
43.s104:基于所述跨场景的最优特征子集对识别模型进行训练及优化,获得最优识别模型;
44.s105:根据所述多个单波段原始图像按照所述跨场景的最优特征子集提取对应的最优特征向量,并通过所述最优识别模型识别伤员目标。
45.通过图1所示的技术方案,采用了普适于各种转换场景的跨场景的最优特征子集进行地面伤员目标识别,能够适应于户外地域环境转换条件下复杂场景的地面伤员目标识别,相较于针对典型固定环境场景模型的常规方案,提高了伤员搜寻的识别准确率和鲁棒性、增强了方案的实用性。
46.对于图1所示的技术方案,在步骤s101中,单波段原始图像具体可以为单波段遥感影像像元亮度(dn,digital number)值原始图像。设定无人机搭载6镜头多光谱相机,则可在无人机巡航状态下同时曝光获得6张选定波段的单波段dn值图像。可以理解地,为通过对比伤员目标的标志物(如迷彩衣)和背景地物的光谱反射率曲线,本发明实施例优选伤员目
标和背景环境差异较大的6个波段形成波段组,该波段组中的波段分别包括:450nm、555nm、660nm、710nm、840nm、940nm。
47.对于图1所示的技术方案,在关于步骤s101的一些可能的实现方式中,所述对多光谱相机所采集的多个单波段原始图像进行预处理以完成辐射校正和波段配准,获得预处理后的反射率图像,包括:
48.利用所述多光谱相机拍摄灰板;
49.从所述拍摄的灰板图像中获取灰板区域;
50.基于所述灰板区域制作掩膜;
51.利用所述掩膜获取所述dn值原始图像中灰板区域的dn值;
52.对所述dn值原始图像中灰板区域的dn值消除渐晕效应,获得每个像素的辐亮度以及所述dn值原始图像中灰板区域内的平均辐亮度;
53.通过下行光传感器(dls,down light sensor)对每组dn值原始图像的辐亮度进行辐照度补偿后,采用经验线反射率校正方法完成辐亮度到反射率的转换,获得与多个单波段原始图像分别对应的单波段反射率图像;
54.将多个所述单波段反射率图像组通过加速稳健特征(surf,speeded up robust features)算法提取特征点之后,对提取的特征点进行匹配,并计算仿射变换矩阵以完成图像重投影,生成多光谱合成反射率图像。
55.对于上述实现方式,在一些示例中,所述从所述拍摄的灰板图像中获取灰板区域,包括:
56.对所述拍摄的灰板图像进行二值化处理后,根据最大类间方差法所确定的阈值对二值化处理后的图像数据进行阈值化,以使得阈值化后的黑白像素的类内方差最小化;
57.采用16
×
16的正方形结构元素对阈值化后的图像数据进行闭运算,以获得尽可能少的连通区域,并从所有连通区域中选取最大非零连通区域为灰板区域。
58.对于上述实现方式及其示例,具体来说,在本发明实施例中,无人机所搭载的多光谱相机采集到的影像数据为6个波段一组的dn值图像(dn值在0至65535,即2的16次方之间,其属于被传感器量化为整数的物理量,用来记录地物灰度值,无单位)。在定量遥感分析中,为了提高分析结果的准确性,本发明实施例优选对dn值原始图像进行预处理。需要说明的是,性能良好的光谱指数依赖于高精度的波段配准和高精度的辐射校正及定标结果;其中,高精度的波段配准结果可消除光谱指数计算时像素错位带来的差值和比值误差;高精度辐射校正可消除传感器和镜头带来的辐射畸变误差;高精度辐射定标则用于建立当时、当地传感器工作条件和地物反射率之间的关系。
59.目前常规的图像预处理方法是在全部数据采集完成后,读取相机校准参数和gps信息,然后进行空中三角测量自动转点,根据生成的虚拟相机参数进行正射和镶嵌,完成图像的配准和拼接,之后再提取灰板图像进行辐射标定。该方案需要航向重叠度和旁向重叠度都达到80%以上,虽然精度较高但图像间重合度高,信息冗余且极其费时,无法进行实时处理。
60.本发明实施例放弃常规的图像拼接方案,转而采用低重叠度、单组影像辐射标定的方案以达到实时处理的目的。详细来说,如图2所示,首先,需要从灰板图像中识别灰板区域,并计算灰板的平均辐亮度。该过程可在起飞前进行,比如通过多光谱相机拍摄灰板,对
灰板图像进行二值化处理,并使用最大类间方差法寻找到一个合适的阈值,使阈值化后的黑白像素的类内方差最小化,采用16
×
16的正方形结构元素进行闭运算,使连通区域尽可能减少,然后选取最大非零连通区域即为灰板区域;接着,计算灰板区域的行坐标和列坐标的平均值定位灰板中心,以中心为原点取正方形像素区域制作掩膜;掩膜与灰板图像进行矩阵点乘,即可提取出灰板区域的dn值;最后按照以下公式消除渐晕效应(即从主点径向偏离时,图像的亮度衰减的效果),并计算每个像点的辐亮度li,求出灰板的平均辐亮度
[0061][0062]
其中,a表征实验室辐射定标系数,为1280
×
960的矩阵;t和g分别表征积分时间和增益,每张dn值原始图像均对应一个积分时间和增益;c1和c2分别为积分时间相关系数和增益相关系数;dn
dark
表征暗像元值,可以通过实验室辐射标定给出的一个数值,使用时直接读入,对于a来说,其也可以是面形拟合系数,每个像素对应的a值如下式所示:
[0063][0064]
其中,x和y分别为像素的列和行对应的栅格坐标;a0表示辐射校正标定值;k1至k6分别表示渐晕多项式系数;x0和y0分别表示渐晕效应中心点坐标;在具体实施过程中,a0、ki、x0、y0、c1、c2、dn
dark
均可以由dn值原始图像的xmp文件中读出。按照以上公式可得出每个像素对应的辐亮度li。
[0065]
对于灰板标定来说,其有效性建立在一定的假设基础上,即从拍完灰板到一个航拍架次执行完,环境光保持不变;但现实中由于云层遮挡、时间推移等因素,环境光一定会发生变化,因此需要使用下行光传感器dls进行校正。比如,在无人机起飞后,采用上述同样方式读取并计算每组图像的辐亮度l,并采用dls进行辐照度实时补偿。具体的补偿公式如下:
[0066][0067]
其中,dls0为起飞前下行光传感器的辐照度值,dlsi为飞行时所测实时辐照度值,b1、b2为实验室标定系数(与波段有关)。
[0068]
随后,如下式所示,采用经验线反射率校正方法进行辐亮度到反射率的转换:
[0069][0070]
其中,是起飞前测得的灰板辐亮度,即反射参考板的辐亮度;α是灰板在每个波段对应的反射率值,通常每个光谱通道对应一个数值。
[0071]
通过上述完成dn值到反射率的转换完成了辐射校正,并针对每个单波段原始图像分别获得对应的单波段反射率图像,此外,在消除渐晕效应之后,接下来需进行图像的波段配准工作。本发明实施例所采用的型号为ms600多光谱相机由多个单波段相机组合而成,每个波段具有独立的光路和承像片,由于各波段相机之间存在明显的位置偏移,因此图像不可直接合并,否则会造成严重的像素错误,从而在后续进行光谱指数计算过程中引入差值
和比值误差,所以需要经过高精度的波段配准。具体来说,辐射校正后的图像为6张一组的反射率图像,基于光学镜头间的集合约束关系,通过surf算法提取特征点;接着进行特征点匹配;随后计算仿射变换矩阵,并根据仿射变换矩阵图像进行重投影变换,最终就能够按照波段顺序组合形成6合1的多光谱合成反射率图像;
[0072]
对于上述具体说明内容,详细来说,surf算法属于尺度不变特征变换(sift,scaleinvariant feature transform)算法的加速版;sift算法的优点是特征稳定,对旋转、尺度变换、亮度保持不变性,对视角变换、噪声也有一定程度的稳定性;缺点是实时性不高,并且对于边缘光滑目标的特征点提取能力较弱。而surf算法改进了特征的提取和描述方式,用一种更为高效的方式完成特征的提取和描述,特征描述子是关键点邻域2d离散小波变换响应的一种表示,是16
×
4=64维向量。匹配特征描述子后可使用随机抽样一致(ransac,random sample consensus)算法剔除其中的误匹配点,接着解算仿射变换矩阵,将待配准图像转化到基准图像的坐标系下,从而完成图像配准并获得配准后的图像,即完成了整个s101所阐述的预处理过程。
[0073]
对于图1所示的技术方案,在关于步骤s102的一些可能的实现方式中,本发明实施例中的dn值原始图像经过前述实现方式及示例所阐述的预处理之后,得到一组预处理后的反射率图像,包括6张单波段反射率图像以及一张多光谱合成反射率图像;针对这些图像,将地物目标分类为伤员目标和背景环境两个大类,并分别获取相应光谱特征f
reflectivity
、纹理特征f
texture
和空间频率特征f
convolution
,从而形成如下所示的地物目标的原始多域特征描述集f
global
:
[0074][0075]
其中,f
index
=f
index
(ndvi,ndgi,ngbdi,psri,sipi,mndvi,msr,evi)。
[0076]
结合图3所示,对上述f
global
的各类特征进行说明如下:
[0077]
首先,对于光谱特征f
reflectivity
来说,r
b1
至r
b6
分别表示ms600多光谱相机的6个波段对应的辐射校正后反射率值;f
index
为8个涉及植被指数的光谱特征,包括归一化植被指数(ndvi,normalized difference vegetation index)、归一化差异绿度植被指数ndgi、归一化蓝绿差异指数ngbdi、植被衰减指数psri、结构不敏感色素指数sipi、改进红边归一化植被指数mndvi、修正型比值植被指数msr以及增强型植被指数evi,这类8个涉及植被指数的光谱特征可以通过以下计算方式对多个波段的地物反射率组合运算所得,以增强地物某一特性或细节:
[0078]
归一化植被指数
[0079]
归一化差异绿度植被指数
[0080]
归一化绿蓝差异指数
[0081]
修正型比值植被指数
[0082]
植被衰减指数
[0083]
结构不敏感色素指数
[0084]
改进红边归一化植被指数
[0085]
增强型植被指数
[0086]
需要说明的是,光谱特征f
reflectivity
中的两类特征均属于以像元为单位的光谱特征信息。
[0087]
其次,对于纹理特征f
texture
来说,由于光谱特征无法区分“异物同谱”和“同物异谱”的现象,因此,额外加入了纹理特征,从而能够获得灰度图像的空间变换规律,反映物体表面方向形状等特征。在本发明实施例中,采用灰度共生矩阵使得针对每个波段图像分别可获得8个纹理特征f
texture
(即均值mean、方差var、协同性hom、对比度con、相异性dis、信息熵ent、二阶矩asm和相关性cor),可表示为f
texture
(mean,var,con,hom,dis,ent,asm,cor);这8个纹理特征中的部分纹理特征的计算方式如下所示:
[0088]
对比度
[0089]
信息熵
[0090]
二阶矩
[0091]
相关性
[0092]
其中,
[0093][0094]
结合上述对于纹理特征的阐述,每个波段会对应一组f
texture
,那么6个波段则会总共有6
×
8=48个纹理特征,由于空间信息不同于光谱信息,6个波段之间的空间信息冗余度较高,因此本发明实施例采用主成分分析法(pca,principal component analysis)对6个波段进行降维,即对每个波段各选取前3个主成分,分别利用灰度共生矩阵法(glcm,gray-level co-occurrence matrix)提取纹理特征,即可得f
texture
(pca1)、f
texture
(pca2)、f
texture
(pca3)来替换f
texture
(mean,var,con,hom,dis,ent,asm,cor),总共可以得到24种纹理特征,可表征影像的灰度方向、间隔、变化幅度与快慢等信息。
[0095]
最后,对于空间频率特征f
convolution
来说,通过卷积滤波可消除特定的空间频率以增强图像。基于此,针对预处理后多个单波段反射率图像分别执行高通滤波和低通滤波;比如,hp
b1
到hp
b6
为6个波段分别对应的高频特征,对应不同区域之间的边缘信息;lp
b1
到lp
b6
为6个波段分别对应的低频特征,对应图像的低频信息以获取图像的灰度变化和图像细节。
[0096]
综上对于各种类特征的阐述,基于本发明实施例所生成针对地物目标的原始多域
特征集f
global
可表示为:
[0097][0098]
其中,f
texture
(pcai)代表pca转换后第i个主成分对应的灰度共生矩阵纹理特征,f
convolution
(lp)代表卷积滤波后的低通(low pass)频率特征,f
convolution
(hp)则是卷积滤波后的高通(high pass)频率特征。对于上式中的特征,本发明实施例中f
global
共3大类50个特征。
[0099]
对于图1所示的技术方案,在关于步骤s103的一些可能的实现方式中,所述基于多种典型的伤员搜寻环境场景,从所述原始多域特征集中筛选出跨场景的最优特征子集,包括:
[0100]
利用支持向量机的递归特征消除法(svm-rfe,svm based recursive feature elimination)和relief算法分别针对所述原始多域特征集中的特征按照对目标识别分类的贡献率从大到小排序,得到对应的两种排序结果;
[0101]
以svm模型作为分类器,将每种排序结果的前n个特征作为输入特征组合,通过交叉验证测试目标识别效率;
[0102]
根据所述目标识别效率从所述输入特征组合中选取在保持识别准确率处于设定阈值范围内的前提下特征数量最少的特征组合,并将被选取出的特征组合作为所述跨场景的最优特征子集。
[0103]
对于上述实现方式,需要说明的是,原始特征集中数量较多,可能存在不相关或冗余的特征,且特征数量越多,分析特征训练模型所需样本量就越大、时间就越长。通过s103进行特征选择就能够剔除不相关、冗余、或没有差异刻画能力的特征,从而达到减少特征个数、减少训练或者运行时间、提高模型精确度的作用。本发明实施例以3类主要的典型户外伤员搜寻实际环境场景(即荒漠、林地、城市)为对象,获取不同环境场景下不同地物目标的多域特征描述集。
[0104]
具体来说,首先,利用支持向量机的递归特征消除法(svm-rfe,svm based recursive feature elimination)和relief算法分别针对所述原始多域特征集中的特征按照目标识别分类的贡献率从大到小排序,得到对应的两种排序结果r
rfe
和r
relief
。
[0105]
然后,以每种排序结果的前n个(top-n,1≤n≤50)特征作为输入特征组合训练svm模型,如此,50个特征就会产生50个特征组合,进而得到50个svm模型,在按照排序结果的分类可以得到和两组分类器。
[0106]
接着,通过5折交叉验证计算每个svm模型的分类准确率(acc,accuracy)和受试者工作特性(roc,receiver operating characteristic)曲线下面积(auc,area under the curve)这两个指标来评价各个模型的分类性能。考虑到无人机伤员搜寻任务的紧迫性,且实验为像素级别识别,具有较高的容错率,因此在特征选择时要遵循特征子集尽可能小且不显著降低分类精度的原则。基于此,基于上述两组分类器以及两个评估指标,分别选取特征数量尽可能少的局部最优特征组合,可初步筛选得到acc
*
(r
rfe
(top(f
acc
)))、auc
*
(r
rfe
(top(f
auc
)))、acc
*
(r
relief
(top(f
acc
)))、auc
*
(r
relief
(top(f
auc
)))这四个特征组合;
[0107]
随后,采用上述初步筛选得到的4个特征组合训练svm分类器,并使用测试数据集验证其分类性能,具体来说,可通过直观的观察分类结果图、混淆矩阵计算和roc曲线对分类性能进行评估,进而筛选出性能最优跨场景多域优选特征向量,即跨场景的最优特征子集f
*
如下所示:
[0108][0109]
其中,confusion matrix表示混淆矩阵。
[0110]
对于图1所示的技术方案,步骤s104中所述的识别模型优选为svm模型;进一步来说,基于前述实现方式所阐述的内容筛选得到足够数量的跨场景的最优特征子集之后,即基于最优特征子集对svm识别模型进行训练和优化,从而得到最优识别模型。
[0111]
可以理解地,识别模型除了svm模型以外,还可以优选分类与回归树(cart,classification and regression trees)决策树模型、k最邻近(knn,k-nearest neighbor)模型、随机森林(rf,random forest)模型和卷积神经网络(cnn,convolutional neural networks)模型,即便选择了上述这些模型,同样可以基于最优特征子集对这些模型进行训练和优化,得到对应的最优识别模型。本发明实施例对此不做赘述。
[0112]
对于图1所示的技术方案,在关于步骤s105的一些可能的实现方式中,所述根据所述多个单波段原始图像按照所述跨场景的最优特征子集提取对应的最优特征向量,并通过所述最优识别模型识别伤员目标,包括:
[0113]
将所述多个单波段原始图像按照所述最优特征子集提取待处理的最优特征向量;
[0114]
将所述最优特征向量通过所述最优识别模型进行分类,识别伤员目标。
[0115]
对于上述实现方式,需要说明的是,在获取到最优识别模型以及最优特征子集之后,就可以结合该最优识别模型和最优特征子集对预处理后的反射率图像进行识别。详细来说,对于将所述最优特征向量通过所述最优识别模型进行分类,识别伤员目标,具体包括:
[0116]
将预处理后的反射率图像中符合最优特征子集的特征向量(即上述实现方式中所述的最优特征向量)均作为一个样本进行分类,符合目标特征的赋值为1,否则为0,从而形成预测二值图像;
[0117]
接着,对所述预测二值图像进行闭运算以使相邻目标区域连通后,采用方向梯度直方图(hog,histogram of oriented gradient)描述器捕捉局部形状信息,并使用最优识别模型进行人体形状检测;
[0118]
判定为人体后,计算人体目标中心点坐标,并在所述中心坐标作标记;
[0119]
将所述原始图像中的gps位置信息确定为拍摄时所述多光谱相机所在位置;
[0120]
结合无人机航向和地面像素分辨率,根据所述人体目标所在像平面坐标系位置,计算出所述人体目标在实际地面测量坐标系位置。
[0121]
对于上述实现方式,可以理解地,通过上述方案所生成的目标检测伪彩图和目标位置信息可利用无人机的图传通道,传输至后方的地面站遥控显示端口,从而完成实时检测。
[0122]
基于上述技术方案,本发明实施例通过实地实验的对比以验证上述技术方案的技术效果。实地实验参数如下:
[0123]
针对战地人员通常的荒漠迷彩、林地迷彩、城市迷彩着装分别对应选定了如图4所示的荒漠、林地、城市三种实验环境场景,此外还选择了更贴近实际的复杂的环境转换场景。在图4中,(a)表示荒漠环境场景;(b)表示林地环境场景;(c)表示城市环境场景;(d)表示复杂的环境转换场景。图4中的各实验环境场景内主要地物如表1所示:
[0124]
表1
[0125][0126]
无人机在各实验环境场景中的航高设定为100m,实验选择晴天微风天气,采用与实验场景相对应的迷彩服模拟战场伤员,按照伤员仰卧平躺的姿态铺设迷彩服,伤员位置随机分布。
[0127]
无人机在航高100m处进行多光谱遥感数据采集,航线规划设置航带间距27.4m、飞行速度4.4m/s,地面像元分辨率6.25cm/pixel、视场角幅宽80m*60m。采用自动捕获模式重叠率触发,航向重叠率80%,旁向重叠度50%,飞行前后拍摄标定灰板进行辐射校正。
[0128]
此外,为了验证特征组合在环境转换场景下的分类性能,设置复杂的环境转换场景如图5所示,此场景包含典型场景的大部分地物,并且分别使用4套荒漠、林地、城市迷彩模拟战场伤员目标,如图中圆圈标识,呈仰卧平躺的姿态,伤员位置随机铺设。
[0129]
基于上述实验参数,首先采用典型固定环境场景模型的常规方案进行伤员目标识别,基于相同特征优选过程,在荒漠、林地、城市三种典型场景下分别筛选出对应于环境场景的最优特征子集f
*
(s
hm
)、f
*
(s
ld
)、f
*
(s
cs
)。在降低特征维度的同时增强了识别方法的鲁棒性,实验结果表明采用上述最优特征子集训练的分类器在对应的环境场景下,在伤员识别任务中具有良好的分类性能,为典型场景下的多光谱伤员目标搜寻提供了特征选择的参考,具有一定的应用价值。然而在现实应用场景中,由于无人机搜寻区域广阔,场景更为复杂,场景之间的环境转换对识别结果是否造成影响?
[0130]
为此,采用各场景的最优特征子集构建分类器svm(f
*
(s
hm
))、svm(f
*
(s
ld
))、svm(f
*
(s
cs
)),使用各分类器对荒漠、林地、城市三种典型场景进行分类,分类效果如图6所示。从图6中可以直观地看出,典型场景下最优特征构建的svm分类器,在对应场景具有较好分类效果,然而转换到其他环境场景后效果很不理想,可以看出采用典型固定环境场景模型的常规方案基于其单一的环境场景优选特征,存在具有较大的局限性。
[0131]
接着,采用前述技术方案的跨场景的最优特征子集训练模型在环境转换场景中进
行伤员目标识别。具体来说,首先,将三种典型场景的最优特征子集f
*
(s
hm
)、f
*
(s
ld
)、f
*
(s
cs
)直接叠加形成参考特征合集f
*
(s
),因有部分特征重合,叠加后共有18个特征,按照特征编号排序,如表2所示:
[0132]
表2
[0133]
编号参数特征类别4第4波段(710nm)光谱反射率7ndvi归一化植被指数光谱植被指数8ndgi归一化差异绿度植被指数光谱植被指数9ngbdi归一化绿蓝差异指数光谱植被指数12mndvi改进红边归一化植被指数光谱植被指数13msr修正型比值植被指数光谱植被指数14evi增强型植被指数光谱植被指数15pca第一主成分均值纹理17pca第一主成分同质性纹理20pca第一主成分信息熵纹理21pca第一主成分二阶矩纹理24pca第二主成分方差纹理27pca第二主成分相异性纹理28pca第二主成分信息熵纹理36pca第三主成分信息熵纹理40第2波段(555nm)低通滤波空间频率41第3波段(660nm)低通滤波空间频率42第4波段(710nm)低通滤波空间频率
[0134]
将上述三种典型场景的训练集组成综合训练集后,进行特征排序和五折交叉验证,验证结果如图7所示,在图7中,(a)表示svm-rfe和relief得到的特征组合对应acc值;(b)表示svm-rfe和relief得到的特征组合对应auc值。
[0135]
从图7(a)表示的acc结果中可以看出:r
rfe
(top11)特征取得局部最优,即98.98%的精度,r
relief
(top17)特征取得局部最优,即98.67%的精度;从图7(b)表示的auc结果中可以看出:r
rfe
(top7)特征取得局部最优,即0.9955,r
relief
(top17)特征取得局部最优,即0.9907。因此初步筛选出svm-rfe的top-7、top-11和relief排序的top-17和三场景叠加的参考特征合集f
*
(s
)共4组特征组合进行测试,验证分类结果,从中选取跨场景多域优选特征向量。
[0136]
分别采用上述四种特征组合训练svm模型对图5所示的复杂测试环境场景进行二分类,观察识别结果如图8所示,在图8中,(a)表示r
rfe
(top7)特征组合的识别结果;(b)表示r
rfe
(top11)特征组合的识别结果;(c)表示r
relief
(top17)特征组合的识别结果;(d)表示叠加18个特征的参考特征合集f
*
(s
)的识别结果。
[0137]
对于上述四种特征组合,对应的混淆矩阵评估结果如表3所示:
[0138]
表3
[0139]
特征组合accuracysensitivityspecificityprecisionf1 scorekapparrfe
(top7)0.92550.89780.95740.95740.92660.8510r
rfe
(top11)0.89840.84850.95330.95240.89740.7974r
relief
(top17)0.85450.77460.94260.93690.84800.7109f
*
(s
)0.88070.81460.95360.95080.87750.7626
[0140]
对于表3中的评估结果,需要说明的是,accuracy准确率表示预测正确的样本数占总样本量的比值、sensitivity灵敏度表示所有正例样本中被正确预测的比例、specificity特异度表示预测为反例的样本中实际反例的占比、precision精确率表示预测为正例的样本中实际正例的占比、f1 score表示精确率和灵敏度的调和平均数、kappa系数表示模型的预测结果和实际分类结果的一致性。
[0141]
进一步分析上述四种特征组合的roc曲线,结果如图9所示,在图9中,横坐标表示假阳率,纵坐标表示真阳率。从图9中可以看出,r
rfe
(top7)综合排序的各项性能最优,可以作为跨场景的最优特征子集f
*
,其具体特征如表4所示。
[0142]
表4
[0143]
编号参数类别42第4波段(710nm)低通滤波空间频率40第2波段(555nm)低通滤波空间频率4第4波段(710nm)光谱反射率9ngbdi归一化绿蓝差异指数光谱植被指数20pca第一主成分信息熵纹理46第2波段(555nm)高通滤波空间频率45第1波段(450nm)高通滤波空间频率
[0144]
继续分别采用f
*
(s
hm
)、f
*
(s
ld
)、f
*
(s
cs
)和f
*
训练svm模型,从而分别得到svm荒漠模型、svm林地模型、svm城市模型以及svm环境转换模型(也可称之为svm转换模型或标识为svm(f
*
));利用上述四种模型,分别对荒漠场景、林地场景、城市场景和环境转换场景进行分类测试,其分类精确度如图10所示,从图10中可以看出,虽然在部分场景下svm(f
*
)分类性能略低于该场景下对应的最优特征子集训练得到的模型的分类性能,但是svm(f
*
)始终保持在大于85%的较高分类水平,其鲁棒性优于典型场景对应的最优特征子集所训练得到的svm模型。
[0145]
通过上述实验结果可知,本发明实施例所涉及的技术方案可以通过无人机搭载多光谱的方式在低对比度环境下,快速有效地识别身着迷彩服伤员目标。为贴合实际应用场景,设置复杂场景,研究了环境转换场景下的最优特征子集f
*
。通过实验验证发现典型场景下的最优特征子集具有局限性,在场景转换时分类效果很不理想。而跨场景多域优选特征向量f
*
在复杂场景下分类精准度为92.55%,在较好保证分类性前提下,提高了分类方法的鲁棒性,以及多光谱伤员搜寻技术的可用性。
[0146]
基于前述技术方案相同的发明构思,参见图11,其示出了本发明实施例提供的一种复杂场景下机载多光谱多域优选特征的地面伤员识别装置110,所述装置110包括:预处理部分1101、特征生成部分1102、特征筛选部分1103、训练优化部分1104和识别部分1105;其中,
[0147]
所述预处理部分1101,经配置为对多光谱相机所采集的多个单波段原始图像进行
预处理以完成辐射校正和波段配准,获得预处理后的反射率图像;
[0148]
所述特征生成部分1102,经配置为基于所述预处理后的反射率图像,根据地物目标分类以及光谱特性、纹理特征和空间频率特征,生成针对地物目标的原始多域特征集;
[0149]
所述特征筛选部分1103,经配置为基于多种典型的伤员搜寻环境场景,从所述原始多域特征集中筛选出跨场景的最优特征子集;
[0150]
所述训练优化部分1104,经配置为基于所述跨场景的最优特征子集对识别模型进行训练及优化,获得最优识别模型;
[0151]
所述识别部分1105,经配置为根据所述多个单波段原始图像按照所述跨场景的最优特征子集提取对应的最优特征向量,并通过所述最优识别模型识别伤员目标。
[0152]
在一些示例中,所述单波段原始图像包括单波段遥感影像像元亮度dn值原始图像;相应地,所述预处理部分1101,经配置为:
[0153]
利用所述多光谱相机拍摄灰板;
[0154]
从所述拍摄的灰板图像中获取灰板区域;
[0155]
基于所述灰板区域制作掩膜;
[0156]
利用所述掩膜获取所述dn值原始图像中灰板区域的dn值;
[0157]
对所述dn值原始图像中灰板区域的dn值消除渐晕效应,获得每个像素的辐亮度以及所述dn值原始图像中灰板区域内的平均辐亮度;
[0158]
通过下行光传感器dls对每组dn值原始图像的辐亮度进行辐照度补偿后,采用经验线反射率校正方法完成辐亮度到反射率的转换,获得与多个单波段原始图像分别对应的单波段反射率图像;
[0159]
将多个所述单波段反射率图像组通过加速稳健特征surf算法提取特征点之后,对提取的特征点进行匹配,并计算仿射变换矩阵以完成图像重投影,生成多光谱合成反射率图像。
[0160]
在一些示例中,所述预处理部分1101,经配置为:
[0161]
对所述拍摄的灰板图像进行二值化处理后,根据最大类间方差法所确定的阈值对二值化处理后的图像数据进行阈值化,以使得阈值化后的黑白像素的类内方差最小化;
[0162]
采用16
×
16的正方形结构元素对阈值化后的图像数据进行闭运算,以获得尽可能少的连通区域,并从所有连通区域中选取最大非零连通区域为灰板区域。
[0163]
在一些示例中,所述预处理后的反射率图像,包括6张单波段反射率图像以及一张多光谱合成反射率图像;相应地,所述特征生成部分1102,经配置为:
[0164]
针对所述预处理后的反射率图像,将地物目标分类为伤员目标和背景环境两个大类,并分别获取相应光谱特征f
reflectivity
、纹理特征f
texture
和空间频率特征f
convolution
,从而形成地物目标的原始多域特征描述集初始值f
global
如下式所示:
[0165][0166]
其中,光谱特征f
reflectivity
中的r
b1
至r
b6
分别表示ms600多光谱相机的6个波段对应
的辐射校正后反射率值,光谱特征光谱特征f
reflectivity
中的f
index
=f
index
(ndvi,ndgi,ngbdi,psri,sipi,mndvi,msr,evi)表示8个涉及植被指数的光谱特征,包括归一化植被指数(ndvi,normalized difference vegetation index)、归一化差异绿度植被指数ndgi、归一化蓝绿差异指数ngbdi、植被衰减指数psri、结构不敏感色素指数sipi、改进红边归一化植被指数mndvi、修正型比值植被指数msr以及增强型植被指数evi;纹理特征f
texture
(mean,var,con,hom,dis,ent,asm,cor)为采用灰度共生矩阵针对每个波段图像分别获得的8个纹理特征f
texture
,包括均值mean、方差var、协同性hom、对比度con、相异性dis、信息熵ent、二阶矩asm和相关性cor;空间频率特征f
convolution
为针对预处理后多个单波段反射率图像分别执行高通滤波和低通滤波所得到的高频特征和低频特征,其中,hp
b1
到hp
b6
为6个波段分别对应的高频特征,对应不同区域之间的边缘信息;lp
b1
到lp
b6
为6个波段分别对应的低频特征,对应图像的低频信息以获取图像的灰度变化和图像细节;
[0167]
利用主成分分析法pca从6个波段的每个波段对应的纹理特征中选取3个主成分特征以替换f
texture
(mean,var,con,hom,dis,ent,asm,cor),获得最终的针对地物目标的原始多域特征集f
global
如下所示:
[0168][0169]
其中,f
texture
(pcai)代表pca转换后第i个主成分对应的灰度共生矩阵纹理特征,f
convolution
(lp)代表卷积滤波后的低通(low pass)频率特征,f
convolution
(hp)则是卷积滤波后的高通(high pass)频率特征。
[0170]
在一些示例中,所述特征筛选部分1103,经配置为:
[0171]
利用支持向量机的递归特征消除法svm-rfe和relief算法分别针对所述原始多域特征集中的特征按照对目标识别分类的贡献率从大到小排序,得到对应的两种排序结果;
[0172]
以svm模型作为分类器,将每种排序结果的前n个特征作为输入特征组合通过交叉验证测试目标识别效率;
[0173]
根据所述目标识别效率从所述输入特征组合中选取在保持识别准确率处于设定阈值范围内的前提下特征数量最少的特征组合,并将被选取出的特征组合作为所述跨场景的最优特征子集。
[0174]
在一些示例中,所述识别部分1105,经配置为:
[0175]
将所述多个单波段原始图像按照所述最优特征子集提取待处理的最优特征向量;
[0176]
将所述最优特征向量通过所述最优识别模型进行分类,识别伤员目标。
[0177]
在一些示例中,所述识别部分1105,经配置为:
[0178]
将所述最优特征子集中的每个特征向量均作为一个样本进行分类,符合目标特征的赋值为1,否则为0,从而形成预测二值图像;
[0179]
对所述预测二值图像进行闭运算以使相邻目标区域连通后,采用方向梯度直方图hog描述器捕捉局部形状信息,并使用最优识别模型进行人体形状检测;
[0180]
判定为人体后,计算人体目标中心点坐标,并在所述中心坐标作标记;
[0181]
将所述原始图像中的gps位置信息确定为拍摄时所述多光谱相机所在位置;
[0182]
结合无人机航向和地面像素分辨率,根据所述人体目标所在像平面坐标系位置,计算出所述人体目标在实际地面测量坐标系位置。
[0183]
可以理解地,在本实施例中,“部分”可以是部分电路、部分处理器、部分程序或软件等等,当然也可以是单元,还可以是模块也可以是非模块化的。
[0184]
另外,在本实施例中的各组成部分可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
[0185]
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时,可以存储在一个计算机可读取存储介质中,该存储介质包括:u盘、移动硬盘、只读存储器(rom,read only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0186]
因此,本实施例提供了一种计算机存储介质,所述计算机存储介质存储有复杂场景下机载多光谱多域优选特征的地面伤员识别程序,所述复杂场景下机载多光谱多域优选特征的地面伤员识别程序被至少一个处理器执行时实现上述技术方案中所述复杂场景下机载多光谱多域优选特征的地面伤员识别方法步骤。
[0187]
根据上述复杂场景下机载多光谱多域优选特征的地面伤员识别装置110以及计算机存储介质,参见图12,其示出了本发明实施例提供的一种能够实施上述装置110的复杂场景下机载多光谱多域优选特征的地面伤员识别系统120的具体硬件结构,该系统120可以搭载于无人机,该系统120包括:通信接口1201,存储器1202、处理器1203以及多光谱相机1205;各个组件通过总线系统1204耦合在一起。可理解,总线系统1204用于实现这些组件之间的连接通信。总线系统1204除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图12中将各种总线都标为总线系统1204。其中,
[0188]
所述通信接口1201,用于在与其他外部网元之间进行收发信息过程中,信号的接收和发送;
[0189]
所述多光谱相机1205,用于采集遥感影像像元亮度dn值原始图像;
[0190]
所述存储器1202,用于存储能够在所述处理器1203上运行的计算机程序;
[0191]
所述处理器1203,用于在运行所述计算机程序时,执行前述技术方案中所述复杂场景下机载多光谱多域优选特征的地面伤员识别方法步骤,这里不再进行赘述。
[0192]
可以理解,本发明实施例中的存储器1202可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,rom)、可编程只读存储器(programmable rom,prom)、可擦除可编程只读存储器(erasable prom,eprom)、电可擦除可编程只读存储器(electrically eprom,eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory,ram),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的ram均可用。本文描述的系统和方法的存储器1202旨在包括但不限于这些和任意其它适合类型的存储器。
[0193]
而处理器1203可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器1203中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1203可以是通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门
阵列(field programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1202,处理器1203读取存储器1202中的信息,结合其硬件完成上述方法的步骤。
[0194]
可以理解地,上述复杂场景下机载多光谱多域优选特征的地面伤员识别装置110以及系统120的示例性技术方案,与前述无人机搭载多光谱对伪装人员识别的方法的技术方案属于同一构思,因此,上述对于复杂场景下机载多光谱多域优选特征的地面伤员识别装置110以及系统120的技术方案未详细描述的细节内容,均可以参见前述无人机搭载多光谱对伪装人员识别的方法的技术方案的描述。本发明实施例对此不做赘述。
[0195]
需要说明的是:本发明实施例所记载的技术方案之间,在不冲突的情况下,可以任意组合。
[0196]
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
再多了解一些
本文用于企业家、创业者技术爱好者查询,结果仅供参考。