卫星影像杆塔智能识别方法、系统、设备及介质与流程

1.本发明涉及人工智能及图像识别技术领域，具体涉及一种卫星影像杆塔智能识别方法、系统、设备及介质。


背景技术：

2.架空配电线路作为目前最主要的输电形式，为电能的输送起到了不可或缺的作用。其中，杆塔是架空配电线路中的基本设备，杆塔若倒塌或毁损，会使局部地区发生断电情况，给生产生活带来极大不便，因此需采取一些措施对杆塔进行检测与预警，如对卫星影像进行处理分析，对影像中的杆塔进行快速智能识别，并根据实际情况判断杆塔是否存在故障与安全隐患。
3.随着卫星遥感技术的快速发展，对高分辨率影像进行杆塔自动识别和高精度提取的研究方向也越来越广泛。然而，现在的卫星遥感影像智能识别的设计往往局限于图像检索领域的通用技术，但由于卫星遥感影像数据存在光线、环境等噪声的影响，图像中的杆塔可能因各种因素难以识别，识别精度有限。其次，现有的高分辨率遥感影像中杆塔目标的提取方法大多需要依据多种特征进行分类，若图像背景信息复杂或杆塔周围存在过多邻近地物，对干扰物的错误分类会直接导致杆塔的最终提取结果不佳。此外，目前对杆塔的识别大多仅针对杆塔本身，对于杆塔的状态识别，如倒塔、倾斜等并未多加考虑，因此识别结果的全面性仍有待提高。


技术实现要素：

4.本发明的目的在于提供一种卫星影像杆塔智能识别方法、系统、设备及介质，以解决现有技术中卫星影像识别时存在的噪声大、提取结果的精确度较低的技术问题。
5.为了克服上述现有技术中的缺陷，本发明提供了一种卫星影像杆塔智能识别方法，包括：
6.对获取的卫星图像进行预处理；
7.提取预处理后的图像的轮廓，生成杆塔的轮廓图；
8.利用orb特征提取算法对所述轮廓图进行杆塔的目标识别。
9.进一步地，所述的卫星影像杆塔智能识别方法，还包括：将所述卫星图像与sar图像信息进行融合，以判断杆塔状态。
10.进一步地，所述将所述卫星图像与sar图像信息进行融合，以判断杆塔状态，包括：
11.判断sar图像信息与所述卫星图像中同一位置是否都检测到目标，若否，则结束状态判断过程；
12.若是，则对所述sar图像信息与所述卫星图像进行特征提取，并利用d
‑
s证据理论进行目标融合验证，获得不同状态下的置信度，根据所述置信度判断杆塔状态。
13.进一步地，所述对获取的卫星图像进行预处理为对所述卫星图像进行图像去噪，包括：
14.对所述卫星图像进行小波分解，得到主信号的近似信号及干扰信号；
15.利用所述近似信号构建hankel矩阵，
16.根据所述hankel矩阵，对近似信号进行svd正交化及差分谱处理，根据处理后的结果及小波分解得到的频率系数进行图像重构，得到去噪后的图像。
17.进一步地，在所述图像去噪之后，还包括：对去噪后的图像依次进行底色去除与灰度转换处理、图像增强与分割处理。
18.进一步地，利用otsu算法提取预处理后的图像的轮廓。
19.本发明还提供了一种卫星影像杆塔智能识别系统，包括：
20.预处理单元，用于对获取的卫星图像进行预处理；
21.轮廓提取单元，用于提取预处理后的图像的轮廓，生成杆塔的轮廓图；
22.目标识别单元，用于利用orb特征提取算法对所述轮廓图进行杆塔的目标识别。
23.进一步地，所述的卫星影像杆塔智能识别系统，还包括：杆塔状态判断单元，用于将所述卫星图像与sar图像信息进行融合，以判断杆塔状态。
24.本发明还提供了一种终端设备，包括：处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上任一项所述的卫星影像杆塔智能识别方法。
25.本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行实现如上任一项所述的卫星影像杆塔智能识别方法。
26.相对于现有技术，本发明的有益效果在于：
27.本发明实现了一种基于多源信息融合分析的卫星影像杆塔智能识别方法，通过对图像进行图像增强，包括噪声去除、底色去除、灰度转换，使杆塔的轮廓信息更加明确。在目标识别部分采用了基于orb特征的杆塔自动识别方法，提取、描述并匹配图像中杆塔目标的特征点，可以结合杆塔的特点进行识别，最终输出目标在图像中的位置，解决杆塔识别问题中由于背景复杂、目标分割难度大使识别准确率低的问题。对于杆塔状态识别，采用sar影像与卫星遥感影像进行融合，并对多源融合图像进行预处理，减少单一图像中由于杆塔的几何尺寸、方位、形状等特征与参照系统的要求不一致时，产生几何变形的情况。最终通过d
‑
s判决杆塔状态，改善了图像信息识别中存在弱小目标检测困难和易受环境影响等问题。
附图说明
28.为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
29.图1是本发明某一实施例提供的卫星影像杆塔智能识别方法的流程示意图；
30.图2是本发明某一实施例提供的卫星遥感影像杆塔目标识别的流程示意图；
31.图3是本发明某一实施例提供的d
‑
s融合判决杆塔状态的流程示意图；
32.图4是本发明某一实施例提供的卫星影像杆塔智能识别系统的结构示意图；
33.图5是本发明某一实施例提供的终端设备的结构示意图。
具体实施方式
34.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
35.应当理解，文中所使用的步骤编号仅是为了方便描述，不作为对步骤执行先后顺序的限定。
36.应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
37.术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
38.术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
39.第一方面：
40.请参阅图1，本发明实施例提供了一种卫星影像杆塔智能识别方法，包括：
41.s10、对获取的卫星图像进行预处理。
42.具体地，本步骤中的预处理包括以下步骤：
43.1.1)对所述卫星图像进行小波分解，得到主信号的近似信号及干扰信号。
44.1.2)利用所述近似信号构建hankel矩阵，
45.1.3)根据所述hankel矩阵，对近似信号进行svd正交化及差分谱处理，根据处理后的结果及小波分解得到的频率系数进行图像重构，得到去噪后的图像。
46.需要说明的是，本实施例先对原始图像进行小波分解，将原始图像信号分解到高频与低频的不同尺度上，得到含有主要能量的频率信息的近似信号与含有干扰或其它噪声的高频信号。设离散信号h＝[h(1),h(2),
…
,h(n)]，利用近似信号构造如下形式的hankel矩阵：
[0047][0048]
进一步地，进行奇异值分解：
[0049][0050]
利用公式(2)可将hankel矩阵h进行奇异值分解，此时的图像的主要信息将转换成一系列奇异值σ
i
。其中，u和v为σ
i
的正交矩阵，u
i
、v
i
分别为u、v对应的的列矢量。
[0051]
在奇异值分解之后，可以通过对奇异特征值序列作差获得差分谱，利用特征最明
显的奇异值与其本身的正交矢量进行组合，再根据小波分解的低频系数和经中值滤波处理后的高频系数进行图像重构，得到去噪后的图像。
[0052]
s20、提取预处理后的图像的轮廓，生成杆塔的轮廓图。
[0053]
需要说明的是，由于杆塔在图像中多以灰色、灰白等颜色为主，二在灰度图像中，其他地物、水体等颜色会随之转变为灰度信息，与杆塔信息较为接近，很容易造成干扰。通过结合杆塔灰度值分布特点，可将干扰物的灰度值进行替换设为白色或直接去除，而由于杆塔灰度具有特殊性，在处理时可重点保留该部分灰度值。
[0054]
本实施例中，使用一阶有限差分来计算图像水平和垂直方向的偏导数、梯度的幅值以及梯度方向，并对梯度幅值进行非极大值抑制消除边缘误检，得到杆塔部分的局部最大值点作为候选边缘点，将其他非极大值点灰度值重置0，经灰度转换后的图像目标与背景内部相邻像素的灰度差距增大，采用大律法(otsu)进行检测。需要说明的是，该算法核心为利用一个阈值w0，把像素点根据像素值m为两类：背景区域：m≤w0和前景区域：m≥w0，当这两类的类间方差达到最大，此时的w0值为最合适的阈值。若背景区域的像素点数为x0，占图像总像素数的比例为y0，平均像素值为m0；前景区域像素点数为x1，占图像总像素数的比例为y1，平均像素值为m1；图像所有像素点数为x、平均像素值为m。存在如下关系：
[0055][0056]
y0 y1＝1#(4)
[0057]
其中，类间方差g的计算公式为：
[0058]
g＝y0*(m0‑
m)2 y1*(m1‑
m)2＝y0*y1*(m0‑
m1)2#(5)
[0059]
最后，在检测到轮廓边缘后，可能出现检测边缘间断的现象，通过曲面拟合，将目标轮廓组合为连续的目标边界，最终得到杆塔的轮廓图。
[0060]
s30、利用orb特征提取算法对所述轮廓图进行杆塔的目标识别。
[0061]
在本步骤中，采用基于orb特征的杆塔自动识别方法，利用该算法的放射不变性和高速率的特性来提取、描述并匹配图像中的特征点。首先利用fast算法来进行特征点检测，然后利用harris角点度量法，从fast特征点中挑选出harris角点响应值最大的n个特征点。
[0062]
首先，harris角点响应函数定义为：
[0063]
r＝det m
‑
k[trace(m)]2#(6)
[0064]
其中，m为梯度的协方差矩阵，r与m的特征值有关，k一般取0.04
‑
0.06，可以通过计算r的大小来判断一个像素是否为角点。
[0065]
然后再对图像进行金字塔变换，通过结合特征点亮度中心得到特征点主方向，选择brief作为特征描述方法，由于brief不具备旋转不变性，为其添加旋转不变性。对于一个特征点的brief描述子组成的一个二值码矩阵s，使用邻域方向θ和对应的旋转矩阵r
θ
，构建新的s
θ
，如下式所示，把坐标轴旋转θ，就可得到以主方向为坐标系的匹配点对。
[0066][0067]
s
θ
＝r
θ
s#(8)
[0068]
[0069]
最后，在确定特征点描述符后，结合特征点对之间的欧式距离来匹配特征点，从而完成基准杆塔与待识别杆塔轮廓特征点之间的匹配，若可匹配点的数量大于某设定值，则可判断该图像中存在杆塔目标，否则判断为不存在杆塔目标，最后根据正确匹配点的坐标来确定杆塔目标在图像中位置。其中，对杆塔目标识别的具体流程图如图2所示。
[0070]
在某一实施例中，所述的卫星影像杆塔智能识别方法，还包括：将所述卫星图像与sar图像信息进行融合，以判断杆塔状态。
[0071]
其中，该步骤的具体实现过程包括以下子步骤，如图3所示：
[0072]
4.1)判断sar图像信息与所述卫星图像中同一位置是否都检测到目标，若否，则结束状态判断过程；
[0073]
4.2)若是，则对所述sar图像信息与所述卫星图像进行特征提取，并利用d
‑
s证据理论进行目标融合验证，获得不同状态下的置信度，根据所述置信度判断杆塔状态。
[0074]
需要说明的是，针对于遥感影像中识别到的杆塔信息，本发明实施例采用多源融合信息进一步判断杆塔状态。由卫星遥感影像与sar图像信息进行融合，二者进行融合判决对杆塔状态进一步判别，筛选判别概率最大的结果。
[0075]
具体地，首先根据遥感影像与sar影像，提取长度、宽度、周长及大小等几何特征，结合图像分辨率等因素，计算杆塔的形状大小及角点位置，作为d
‑
s证据理论的输入信息，然后通过两类影响的特征信息融合的信任函数和似真函数计算置信区间，得出杆塔状态的置信度。
[0076]
然后，使用d
‑
s证据理论来进行目标融合验证，设定三种状态，ω＝(q
z
,q
w
,q
d
)分别表示杆塔正常、杆塔倾斜、杆塔倒塔。
[0077]
具体地，置信条件与置信指派函数为：
[0078][0079]
其中，m
k
为判决过程中各状态的不确定度。
[0080]
置信指派函数为：
[0081][0082]
其中，a为三种状态中的一种，a的置信指派函数与多个证据组合有关，m1,m2…
m
j
分别为j个证据的概率值，对证据列进行组合：分别为j个证据的概率值，对证据列进行组合：即可得到状态a的置信指派函数。
[0083]
最后，通过结合识别框架中的目标状态，即可得到该目标的置信度bel和似真度pl如公式(12)所示，置信区间如公式(13)所示，由置信度即可判决杆塔的状态。
[0084][0085]
[bel(q
z
),pl(q
z
)]#(13)
[0086]
本发明实施例提供的卫星影像杆塔智能识别方法，通过对图像进行图像增强，包括噪声去除、底色去除、灰度转换，使杆塔的轮廓信息更加明确。在目标识别部分采用了基
于orb特征的杆塔自动识别方法，提取、描述并匹配图像中杆塔目标的特征点，可以结合杆塔的特点进行识别，最终输出目标在图像中的位置，解决杆塔识别问题中由于背景复杂、目标分割难度大使识别准确率低的问题。对于杆塔状态识别，采用sar影像与卫星遥感影像进行融合，并对多源融合图像进行预处理，减少单一图像中由于杆塔的几何尺寸、方位、形状等特征与参照系统的要求不一致时，产生几何变形的情况。最终通过d
‑
s判决杆塔状态，改善了图像信息识别中存在弱小目标检测困难和易受环境影响等问题。
[0087]
第二方面：
[0088]
请参阅图4，本发明某一实施例还提供了一种卫星影像杆塔智能识别系统，包括：
[0089]
预处理单元01，用于对获取的卫星图像进行预处理；
[0090]
轮廓提取单元02，用于提取预处理后的图像的轮廓，生成杆塔的轮廓图；
[0091]
目标识别单元03，用于利用orb特征提取算法对所述轮廓图进行杆塔的目标识别。
[0092]
在某一实施例中，所述的卫星影像杆塔智能识别系统，还包括杆塔状态判断单元，用于将所述卫星图像与sar图像信息进行融合，以判断杆塔状态。
[0093]
本发明实施例提供的卫星影像杆塔智能识别系统用于执行如第一方面所述的卫星影像杆塔智能识别方法，本实施例通过对图像进行图像增强，包括噪声去除、底色去除、灰度转换，使杆塔的轮廓信息更加明确。在目标识别部分采用了基于orb特征的杆塔自动识别方法，提取、描述并匹配图像中杆塔目标的特征点，可以结合杆塔的特点进行识别，最终输出目标在图像中的位置，解决杆塔识别问题中由于背景复杂、目标分割难度大使识别准确率低的问题。对于杆塔状态识别，采用sar影像与卫星遥感影像进行融合，并对多源融合图像进行预处理，减少单一图像中由于杆塔的几何尺寸、方位、形状等特征与参照系统的要求不一致时，产生几何变形的情况。最终通过d
‑
s判决杆塔状态，改善了图像信息识别中存在弱小目标检测困难和易受环境影响等问题。
[0094]
第三方面：
[0095]
请参阅图5，本发明某一实施例还提供了一种终端设备，该终端设备包括：
[0096]
处理器、存储器和总线；
[0097]
所述总线，用于连接所述处理器和所述存储器；
[0098]
所述存储器，用于存储操作指令；
[0099]
所述处理器，用于通过调用所述操作指令，可执行指令使处理器执行如本技术的第一方面所示的卫星影像杆塔智能识别方法对应的操作。
[0100]
在一个可选实施例中提供了一种终端设备，如图5所示，图5所示的终端设备包括：处理器001和存储器003。其中，处理器001和存储器003相连，如通过总线002相连。可选地，终端设备还可以包括收发器004。需要说明的是，实际应用中收发器004不限于一个，该终端设备的结构并不构成对本技术实施例的限定。
[0101]
处理器001可以是cpu，通用处理器，dsp，asic，fpga或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等。
[0102]
总线002可包括一通路，在上述组件之间传送信息。总线002可以是pci总线或eisa总线等。总线002可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗
线表示，但并不表示仅有一根总线或一种类型的总线。
[0103]
存储器003可以是rom或可存储静态信息和指令的其他类型的静态存储设备，ram或者可存储信息和指令的其他类型的动态存储设备，也可以是eeprom、cd
‑
rom或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
[0104]
存储器003用于存储执行本技术方案的应用程序代码，并由处理器001来控制执行。处理器001用于执行存储器003中存储的应用程序代码，以实现前述任一方法实施例所示的内容。
[0105]
其中，终端设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。
[0106]
本技术的又一实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中的相应内容。
[0107]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。