一种基于分割和颜色相结合的图像识别方法及系统与流程

1.本技术涉及图像识别技术领域，尤其涉及一种基于分割和颜色相结合的图像识别方法及系统。


背景技术：

2.在经济增长以及城市人口增多的情况下，电力企业要保障人们生活和工作中的正常用电，负责用电的质量和安全。电网安全运行便是电力系统供电的基本保障。安全生产与传输是电力安全中最核心的要求。在电力生产、传输现场，出现影响安全的障碍物，尤其是无人机与风筝尤为常见，在设备高速运转的环境中，即使很小的异物侵入都会导致非常严重的事故，如这些入侵物异物可能会引起线路故障，甚至造成局部甚至是区域停电。
3.为了保障电力生产传输现场的安全，使电力环境能够安全、可靠、高效、稳定地运转，必须有效针对异物侵限进行自动监控，及时发现侵限异物，准确了解变电站状况，尽早发现险情。
4.然而，传统图像处理一直以来依赖人工设计的特征，而此类特征仅仅只是对图像中低级别的边缘信息进行描述与表征对深层次信息难以抽取。目前的异物检测方法能在一定程度上解决入侵异物检测的问题，但是检测速度和精度不高，不能很好地进行入侵异的有效实时检测。


技术实现要素：

5.本技术提供了一种基于分割和颜色相结合的图像识别方法及系统，以解决传统图像处理中依赖人工设计的特征，而该特征只能针对图像中低级别的边缘信息进行描述与表征，对深层次信息难以抽取的问题。
6.本技术解决上述技术问题所采取的技术方案如下：
7.一种基于分割和颜色相结合的图像识别方法，包括以下步骤：
8.获取待处理图像；
9.获取预处理图像，所述预处理图像为对所述待处理图像进行预处理而得；
10.获取特征提取图像，所述特征提取图像为对所述预处理图像进行特征提取，并进行归一化处理而得；
11.生成特征处理图像，所述特征处理图像为通过建立主成分评价模型对获取到的特征提取图像进行处理而得，所述主成分评价模型为基于hsv颜色模型而建立；
12.生成识别结果，所述识别结果为将特征处理图像输入预设的基于多尺度分割算法的残差网络模型而得。
13.可选的，所述获取待处理图像，包括：
14.通过实时对射频参数进行动态配置，获取不同时刻不同类型的待处理图像。
15.可选的，所述获取预处理图像，包括：
16.对所述待处理图像进行图像去噪和图像增强处理。
17.可选的，所述获取特征提取图像，包括：
18.对获取到的预处理图像中，图片的相似度和梯度、颜色矩、峰值信噪比、均值方差和像素数的特征进行特征提取，并采用归一化处理，得到特征提取图像。
19.可选的，所述获取特征提取图像，包括：
20.对预处理图像中图片的值、方差、信噪比、相似度、水平梯度、垂直梯度、像素数、一阶矩、二阶矩和三阶矩10个指标进行特征提取；
21.对提取到的特征进行归一化处理。
22.可选的，所述生成特征处理图像，包括：
23.获取待检测图像的rgb格式图像；
24.将所述rgb格式图像转换为hsv图像；
25.以hsv颜色模型为基础，建立主成分评价模型；
26.通过建立主成分评价模型对提取到的特征进行处理，生成特征处理图像。
27.可选的，在所述生成识别结果前，所述方法还包括：
28.通过减少深度卷积网络层数和增加网络宽度的方法对多尺度分割方法进行改进，得到基于多尺度分割的图像识别残差网络。
29.可选的，所述通过减少深度卷积网络层数和增加网络宽度的方法对多尺度分割方法进行改进，包括：
30.结合resnet的残差结构和wrn增加网络宽度的方法，对resnet进行改进；
31.通过减少网络层数的方法，在cifar数据集上得到了网络长度只有7层的网络模型；
32.计算比对不同改进模块，将resnet中的3
×
3卷积采用多尺度分割模块ss-block代替；
33.摒除resnet瓶颈模块中的两个1
×
1降维和升维卷积的多尺度分割网络模型，得到基于多尺度分割的图像识别残差网络。
34.一种基于分割和颜色相结合的图像识别系统，包括：
35.待处理图像获取单元，用于获取待处理图像；
36.预处理图像获取单元，用于获取预处理图像，所述预处理图像为对所述待处理图像进行预处理而得；
37.特征提取图像获取单元，用于获取特征提取图像，所述特征提取图像为对所述预处理图像进行特征提取，并进行归一化处理而得；
38.特征处理图像生成单元，用于生成特征处理图像，所述特征处理图像为通过建立主成分评价模型对获取到的特征提取图像进行处理而得，所述主成分评价模型为基于hsv颜色模型而建立；
39.识别结果生成单元，用于生成识别结果，所述识别结果为将特征处理图像输入预设的基于多尺度分割算法的残差网络模型而得。
40.本技术提供的技术方案包括以下有益技术效果：
41.本技术提供一种基于分割和颜色相结合的图像识别方法及系统，该方法包括获取待处理图像，然后对待处理图像进行预处理获取预处理图像，对预处理图像进行特征提取，并进行归一化处理获取特征提取图像，进一步的，通过建立主成分评价模型对获取到的特
征提取图像进行处理生成特征处理图像，主成分评价模型为基于hsv颜色模型而建立；最后将特征处理图像输入预设的基于多尺度分割算法的残差网络模型生成识别结果。本技术中采用多尺度分割算法与hsv颜色模型相结合的图像识别技术，对变电站、输电线路等特殊场所能够针对无人机、风筝该类常见入侵异物的有效监督和识别，解决了传统图像处理中依赖人工设计的特征，而该特征只能针对图像中低级别的边缘信息进行描述与表征，对深层次信息难以抽取的问题。
附图说明
42.为了更清楚地说明本技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
43.图1为本技术实施例提供的基于分割和颜色相结合的图像识别方法流程图；
44.图2为本技术实施例提供的ss-block的卷积过程示意图。
具体实施方式
45.为了使本领域技术人员更好地理解本技术中的技术方案，下面将结合本技术实施例中的附图，对申请实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
46.参见图1，本技术实施例提供的基于分割和颜色相结合的图像识别方法，包括以下步骤：
47.s1、获取待处理图像。
48.其中，待处理图像为目标图像，即在通过对异物侵限进行自动监控时所得到的图像，该类图像由于存在异物侵限，因此需要对其进行异物检测处理。
49.在一些实施方式中，所述获取待处理图像，可以通过实时对射频参数进行动态配置，获取不同时刻不同类型的待处理图像。在获取检测图像的同时不停进行射频参数动态配置，以适应不同类型的无人机检测识别技术，针对性判断无人机这类具有信号收发类型的异物入侵情况，再将接受信号处的图像传送到图像识别系统。
50.s2、获取预处理图像，所述预处理图像为对所述待处理图像进行预处理而得。
51.首先需要对监测所得到的异物侵限图像进行采集，采集之后，明确待处理图像，然后对待处理图像进行预处理，该预处理方式包括对所述待处理图像进行图像去噪和图像增强处理。
52.由于天气、温度等不同环境因素的影响，监控摄像头获取的图像有着截然不同的成像特性如分辨率低、饱和度不高、对比度下降、存在不同程度的噪声等。这些特性影响着异物入侵检测各个过程，将这些不同场景条件下的图像输入到入侵异物检测系统之前，必须对这些图像进行必要的预处理，本技术实施例中对图像进行预处理用到主要方法为图像去噪和图像增强。
53.图像去噪是指减少数字图像中噪声的过程称为图像去噪，首先通过中值滤波处理
待处理图像中的斑点噪声和椒盐噪声，中值滤波是先从图像中某个窗口中取出奇数个数据进行排列得出的结果。中值是指该3*3大小的窗口中从大到小顺序排列后，位于中心位置的那个数；中值滤波则为对该窗口中的所有像素值进行中值处理。
54.r＝medium(zi)i＝1～9
55.其中，r为待处理坐标点的中值滤波后替代的像素值，z为窗口中的各个像素点的像素值。中值滤波对消除脉冲干扰和孤立噪声以及处理图像细节的模糊特别有效；图像增强采用直方图均衡化实现图像增强，对于一些灰度集中分布在狭窄的区间，缺乏细节信的图像，通过直方图修正，可使图像的灰度间距拉开，或灰度分布更为均匀，从而使图像的对比度提高，达到图像增强的目的。
56.s3、获取特征提取图像，所述特征提取图像为对所述预处理图像进行特征提取，并进行归一化处理而得。
57.通过对预处理后的图像进行特征提取，建立主成分评价模型得到指标，然后根据图片的颜色矩、峰值信噪比、结构相似指数等多种特征进行特征提取，归一化处理后建立主成分分析模型对五大指标(相似度和梯度、颜色矩、峰值信噪比、均值方差和像素数)进行处理，防止图像特征缺失。
58.作为一种实施方式，所述获取特征提取图像，包括：
59.对预处理图像中图片的值、方差、信噪比、相似度、水平梯度、垂直梯度、像素数、一阶矩、二阶矩和三阶矩10个指标进行特征提取；
60.对提取到的特征进行归一化处理。
61.s4、生成特征处理图像，所述特征处理图像为通过建立主成分评价模型对获取到的特征提取图像进行处理而得，所述主成分评价模型为基于hsv颜色模型而建立。
62.由于图像的预处理过程中，经常存在丢失重要信息的情况存在，在提取特征时，结合hsv颜色模型，能够极大程度上保留图像的纹理信息和全局的色彩信息，不易造成图片特征缺失。尤其对于风筝异物，因其颜色鲜明，形状规整，特征保留率远高于以往传统特征提取法。
63.在具体实施操作时，具体为：
64.将预处理后的图像输入训练好的基于分割和颜色相结合的图像识别模型，输出检测结果；其中，所述颜色模型为hsv颜色模型，所述hsv颜色模型利用hsv颜色空间的色调、饱和度、明度与人眼对颜色的主观认识相对比较符合，尤其是风筝该类异物通常颜色特征较为鲜明，与其他颜色空间相比hsv空间能更好地反映人类对颜色的感知，所以采用hsv颜色模型；其中，所述分割方法为多尺度分割方法。对深度卷积网络之一的残差网络而言，增加网络深度和宽度能产生丰富的特征信息，通过多尺度分割方法得到的hierarchical-split block(hs-block)用于提升现有神经网络的性能。hs-block包含多个连接与合并操作，它们共同构成该block的多尺度特征提取；与此同时，hs-block具有更好的灵活性与高效性，能充分利用特征信息，减少冗余的特征信息，故对残差结构进行多尺度分割能够有效提高识别精度。
65.由于风筝的颜色有多种表示方式，其中hsv颜色模型是一种适合肉眼分辨的模型，它把彩色信息表示为3种属性，即色调h、饱和度s和亮度v，这种颜色模型可用三位空间坐标系统表示，与rgb空间之间的转换公式为：
[0066][0067][0068][0069]
针对风筝这类颜色鲜明的异物，以天空为纯粹背景下，色调h和饱和度s较高；对于无人机这类入侵异物，其本身的光照反射比较大，在明度v上有很好的体现。
[0070]
首先将需要检测的rgb格式的监控图像转换成hsv图像；再定义mat类型的一个对象，即蒙版掩膜；然后定义颜色上下限，上限是一个scalar对象，包含三个值：h
min
,s
min
,v
min
表示hsv三个要素的最小值，而下限也是一个scalar对象，包含三个值：h
max
，s
max
，v
max
表示hsv三个要素的最大值；最后使用inrange函数，检测src图像的每一个像素是不是在lower(h
min
,s
min
,v
min
)和upper(h
max
，s
max
，v
max
)之间，如果是，这个像素就设置为255且保存在掩膜图像中，否则为0。最后将该兴趣区域图像保存，作为后续网络的输入。
[0071]
s5、生成识别结果，所述识别结果为将特征处理图像输入预设的基于多尺度分割算法的残差网络模型而得。
[0072]
将以上得到的检测图像与被提取特征送入基于多尺度分割的图像识别残差网络，由于缩短网络长度放大对识别速度有大幅的提升，同时结合多尺度分割方法也得以大幅提高识别精度，尤其是结合步骤s1的无线电信号检测技术，对于无人机和风筝这两类常见入侵异物识别准确度能达到较高水准。
[0073]
在具体实施操作时，具体为：
[0074]
本技术实施例中，对hs-resnet提出的多尺度分割方法进行改进，提出一种简单的多尺度分割方法，并通过减少深度卷积网络层数和增加宽度的方法，在保证网络的识别精度和参数量相近的情况下，使得识别速度更快。
[0075]
首先，结合resnet的残差结构和wrn增加网络宽度方法，对resnet进行改进。然后，通过减少网络层数的方法，在cifar数据集上得到了网络长度只有7层的网络模型，保证识别精度。最后，对hs-resnet的多尺度分割方法改进，原方法只能使不同组的特征信息享受不同尺度的感受野，使在前面连接进来的特征信息中，卷积次数较少，感受野较小，更关注细节信息；在后面连接进来的特征信息中，卷积次数较多，感受野较大，更关注全局信息。通过不同大小的感受野，增加特征信息的丰富性。
[0076]
其次，将resnet中的3
×
3卷积用新的多尺度分割模块ss-block代替。当特征信息输入时，第一步，把1
×
1卷积输入的特征信息按通道数平均分割成相等的两部分(如果通道数为奇数，则向下取整)；第二步，一半特征信息直接送到最后进行合并，另一半特征信息进行卷积；第三步，重复上面步骤直到最后一个特征信息；第四步，把最后一个特征信息与前面得到的前一半特征信息进行合并，一起输出给1
×
1卷积。ssrnet的多尺度分割模块与resnet的瓶颈模块结构相似，只是把resnet瓶颈模块中3
×
3卷积用ss-block替代。其中，
ss-block的卷积表示为3
×
3卷积 批量正则化 relu激活函数。如图2所示。
[0077]
由于连接合并操作将不同的特征进行融合并增强不同组的信息交互，需要一定的工作量，故在改进resnet的基础上再对hs-resnet的多尺度分割方法中的多次连接合并的操作进行优化，只保留了最后一次连接合并操作，即只进行一次特征信息的叠加和一次通道数的合并，使得识别速度大大提升，最终得到了基于多尺度分割的图像识别残差网络(ssrnet)。
[0078]
随着网络长度的增加，卷积神经网络的感受野增大。但并不是全部感受野都对输出特征的贡献相同，感受野的中心区域对输出特征影响更大。通过实验发现了网络长度设置为感受野大小与输入图像大小比例的1.5至2倍时，网络的识别精度较高，同时识别速度较快，在精度和速度之间取得了较好的平衡。第k层感受野的计算公式如下：
[0079][0080]
式中，l
k-1
是第k-1层的感受野大小，fk是当前层的卷积核大小，si是第i层的步长。
[0081]
本技术实施例中提出的多尺度分割网络模型ssrnet，把resnet中的3
×
3卷积用新的多尺度分割模块ss-block代替，根据上式计算比对不同改进模块，最终采用了替换resnet瓶颈模块中3
×
3卷积、摒除resnet瓶颈模块中的两个1
×
1降维和升维卷积的多尺度分割网络模型，该模型最后输出的感受野大小在经过3次尺度分割后再得感受野大小正好为输入图像大小的1.5到2倍。通过训练，该模型识别速度尚可，识别错误率为4.04％，该网络模型的长度能在识别精度和识别速度之间取得较好的平衡。
[0082]
与前述基于分割和颜色相结合的图像识别方法的实施例相对应，本技术还提供了基于分割和颜色相结合的图像识别系统的实施例。所述系统，包括：
[0083]
待处理图像获取单元，用于获取待处理图像；
[0084]
预处理图像获取单元，用于获取预处理图像，所述预处理图像为对所述待处理图像进行预处理而得；
[0085]
特征提取图像获取单元，用于获取特征提取图像，所述特征提取图像为对所述预处理图像进行特征提取，并进行归一化处理而得；
[0086]
特征处理图像生成单元，用于生成特征处理图像，所述特征处理图像为通过建立主成分评价模型对获取到的特征提取图像进行处理而得，所述主成分评价模型为基于hsv颜色模型而建立；
[0087]
识别结果生成单元，用于生成识别结果，所述识别结果为将特征处理图像输入预设的基于多尺度分割算法的残差网络模型而得。
[0088]
综上，本技术实施例提供的基于分割和颜色相结合的图像识别方法及系统，该方法包括获取待处理图像，然后对待处理图像进行预处理获取预处理图像，对预处理图像进行特征提取，并进行归一化处理获取特征提取图像，进一步的，通过建立主成分评价模型对获取到的特征提取图像进行处理生成特征处理图像，主成分评价模型为基于hsv颜色模型而建立；最后将特征处理图像输入预设的基于多尺度分割算法的残差网络模型生成识别结果。本技术中采用多尺度分割算法与hsv颜色模型相结合的图像识别技术，对变电站、输电线路等特殊场所能够针对无人机、风筝该类常见入侵异物的有效监督和识别，解决了传统
图像处理中依赖人工设计的特征，而该特征只能针对图像中低级别的边缘信息进行描述与表征，对深层次信息难以抽取的问题。
[0089]
需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0090]
以上所述仅是本技术的具体实施方式，使本领域技术人员能够理解或实现本技术。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
[0091]
应当理解的是，本技术并不局限于上面已经描述并在附图中示出的内容，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。