一种基于红外图像的幕墙面板损伤识别方法与流程

1.本发明涉及建筑幕墙安全检测领域，尤其涉及一种基于红外图像的幕墙面板损伤识别方法。


背景技术：

2.建筑幕墙指的是建筑物不承重的外墙围护，通常由面板(玻璃、金属板、石板、陶瓷板等)和后面的支承结构(铝横梁立柱、钢结构、玻璃肋等等)组成。是现在城市建设中的大型建筑外立面的常用结构。幕墙长期承受重力荷载、风荷载、温度作用及多种环境侵蚀作用，随着时间的推移，由于施工和设计上的缺陷、材料的磨损、腐蚀和老化等原因，幕墙工程存在各种各样的安全隐患。目前针对建筑幕墙检查及检测手段主要依靠人为判定，可通过蜘蛛人方式对幕墙进行抽样检查或在建筑物内部选取一定比例的幕墙进行抽样检查。采用蜘蛛人方式，危险大，人工成本高，对专业技术人员的高空作业要求高，因此，采用蜘蛛人进行普查或者抽样检查检测并不现实。然而仅从建筑物内部进行抽样检查检测，很难覆盖到所有玻璃幕墙面板，不能够有效的保证检查检测工作的全面性与可靠性。
3.现有技术中还存在利用可见光图像通过图像处理的方式检测玻璃幕墙损伤的方法，但这种方法的局限性在于：1、对可见光图像的质量要求较高，当分辨率较低或环境镜像图像清晰度时(如雾霾天气时)，其识别有效性较差；2、对于玻璃幕墙，由于存在反光和倒影，会大大的影响识别的难度和准确性，且无论采用何种的处理方式都不能完全的消除反光和倒影的影响；3、可见光在识别破碎面板时针对的是裂缝这类特征，因此需要足够高的分辨率来清晰的展示裂缝特征，在相机分辨率有限的情况下，只能单独拍摄各个面板的可见光图像；4、应用领域较为狭窄，多用于玻璃幕墙的损伤检测，对于其他材质的幕墙则缺乏相关研究；5、系统复杂，需要神经网络模型的支持，而神经网络模型的建立、训练、存储和使用均较为复杂。
4.红外图像技术是基于自然界中一切温度高于绝对零度的物体，每时每刻都辐射出红外线，且红外线辐射都载有物体的特征信息的特性，通过相应红外探测器捕捉物体发热部位辐射的功率信号后进行转化，成像装置就可以一一对应地模拟出物体表面温度的空间分布，最后经系统处理，形成热图像视频信号，传至显示屏幕上，就得到与物体表面热分布相对应的热像图。其与可见光图像特征相比有较大差别，主要表现在：1)可见光图像判读一般能识别出目标的性质、规模等静态信息，而热红外成像主要利用目标区的温度差异成像，可根据热辐射差异识别目标状态。2)可见光的存在是有条件的，而任何物体都是红外源，都在不停地辐射红外线，所以与可见光图像识别相比，红外技术的应用受日照、光线反光等的影响较小。


技术实现要素：

5.为了解决人工检查的全面性和可靠性较差的问题，和可见光图像识别处理的应用领域狭窄、应用环境严苛、识别系统复杂的问题，本发明旨在提供一种基于红外图像的通用
型建筑幕墙面板损伤识别方法。
6.为了实现以上技术目的，本发明提供的技术方案如下：
7.一种基于红外图像的幕墙面板损伤识别方法，包括以下步骤：
8.步骤s1.获取幕墙红外图像，预处理后获得幕墙灰度图像；
9.步骤s2.通过亮度补偿，调整所述幕墙灰度图像中杂物倒影阴影区的亮度值，使其小于损伤部位的亮度值，然后将调整后的幕墙灰度图像进行k均值聚类，得到待匹配图像；
10.步骤s3.用平方差匹配法将损伤模板与所述待匹配图像进行匹配，识别出与所述损伤模板最匹配的区域作为疑似损伤区域，并确定其位置；所述损伤模板为损伤幕墙面板红外图像经预处理后的灰度图像。
11.在一些较优的实施例中，还包括：步骤s4.计算所述疑似损伤区域与所述损伤模板的相似度，以确定所述疑似损伤区域是否存在损伤。
12.在一些较优的实施例中，步骤s1所述预处理包括：通过引导滤波的方法对所述幕墙红外图像进行降噪处理；通过加权平均法对降噪后的幕墙红外图像进行灰度化处理。
13.在一些较优的实施例中，步骤s1所述预处理还包括：将所述幕墙红外图像中的每个像素利用该像素的领域区域进行均衡增强，以最大程度地保留损伤处的局部特征。
14.在一些较优的实施例中，步骤s2所述亮度补偿的具体方法包括：对所述灰度图像中的杂物倒影阴影区附加补偿灰度值；所述补偿灰度值为杂物倒影阴影区亮度平均值与非杂物倒影阴影区亮度平均值之差。
15.在一些较优的实施例中，步骤s4所述计算所述疑似损伤区域与所述损伤模板的相似度的方法包括：计算所述疑似损伤区域与所述损伤模板的结构相似度指数，设定相似度阈值，当所述结构相似度指数大于所述相似度阈值，则认定所述疑似损伤区域存在损伤。
16.在一些较优的实施例中，步骤s1所述幕墙红外图像包括：利用无人机的航点飞行功能获取幕墙红外图像，以保证每次图像获取时检测点和相机位置均保持不变。
17.有益效果
18.1、适用范围广，不仅可用于检测玻璃幕墙的破碎情况，还可用于检测铝板幕墙的漏水情况；2、图像采集方式方便快捷，只需要获取整个幕墙的整体红外图像即可，而无需像可见光识别方案那样单独获取每个面板的图像；3、适用环境多样，适应性好，对图像采集的环境要求和设备分辨率要求均较低；4、系统简单，实现方便，节约了算力和存储资源。
附图说明
19.图1为本发明一种较优实施例中的流程示意图；
20.图2为本发明一种较优实施例中进行亮度补偿前后的示意图；
21.图3为本发明另一种较优实施例中的流程示意图；
22.图3为本发明另一种较优实施例中的流程示意图；
23.图4为本发明一种较优实施例中用无人机搭载红外相机拍摄的玻璃幕墙红外图像；
24.图5为本发明一种较优实施例中进行预处理和灰度化处理后的玻璃幕墙红外图像；
25.图6为本发明一种较优实施例中进行光照补偿前后的玻璃幕墙红外图像；
26.图7为本发明一种较优实施例中进行模板匹配的损伤模板示意图；
27.图8为本发明一种较优实施例中进行模板匹配后的结果示意图；
28.图9为本发明一种较优实施例中进行相似度计算后的结果示意图；
29.图10为本发明另一种较优实施例中用无人机搭载红外相机拍摄的铝板幕墙红外图像；
30.图11为本发明另一种较优实施例中进行模板匹配的损伤模板示意图；
31.图12为本发明另一种较优实施例中进行模板匹配后的结果示意图；
具体实施方式
32.为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步阐述。在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
33.本发明提供了一种基于红外图像的幕墙面板损伤识别方法，如图1所示，包括以下步骤：
34.步骤s1.获取幕墙红外图像，预处理后获得幕墙灰度图像。本发明所述幕墙是指：建筑的外墙围护，不承重，像幕布一样挂上去，故又称为“帷幕墙”，是现代大型和高层建筑常用的带有装饰效果的轻质墙体。其面板材质主要包括具有破碎和漏水特征的玻璃和铝板等。应当理解的是，破碎玻璃幕墙面板的红外照片以及漏水铝板幕墙面板的红外照片，在经过预处理后，会具有与健康面板有显著区别的特征，而通过采集和识别这些特征就能够将破碎、漏水的面板与健康的面板区别出来。进一步的是，由于本发明的方案利用的是健康面板与破损面板在红外图像中的灰度差异，并不需要如可见光识别方案类似的高分辨率以识别细小的面板损伤裂缝特征，因此可以直接获取整个幕墙的红外图像，而不用单独对每一个面板采集图像。
35.与可见光图像相比而言，红外图像在采集和传输的过程中，极易受到诸如探测器件、探测环境以及光电转换电路硬件条件等多种因素的影响。这些混合随机噪声的存在使红外图像上布满各种各样的噪点，降低了图像的清晰度，遮盖了图像的细节，严重影响红外图像有效信息的提取，并且由于采集到的红外图像为彩色图像，而彩色图像信息量较大，对其进行处理的工作量较大。综上所述，需要先对获取到的红外图像进行预处理，减少红外图像中的噪点，并景象灰度化处理，以大大减少待处理的图像信息量。
36.一方面，对于图像噪声的处理较为常用的方式是滤波；滤波的技术有很多，常用的有双边滤波、高斯滤波等，考虑到对于红外图像的滤波来说，最重要的是边缘保持和细节增强，同时还需要保持较快的运算速度，因此，在一些较优的实施例中，考虑采用引导滤波的方法对所述幕墙红外图像进行降噪处理，其可以在平滑背景的同时保持场景的边缘细节，且具备较快的运算速度。对于本发明的应用场景来说，虽然去噪后的红外图像细节有所丢失，有模糊的现象产生，但对于损伤面板整体亮度区别于健康面板的特点没有影响，因此也就不影响后续步骤的进行。
37.另一方面，对于图像的灰度化处理，常用的方法有分量法、最大值法、平均值法和
加权平均值法。上述四种方法针对不同种类的图像，具有不同的处理效果。分量法处理后会丢失部分特征信息。最大值法将3个颜色分量的最大值直接作为灰度值，容易破坏图像中的细节。最小值法同理，且灰度化后图像偏暗，导致目标信息模糊。加权平均法为三个颜色分量设置不同的权重，综合确定图像的灰度值，该方法灰度后的图像灰度值分布较为均匀，但容易造成图像边缘的模糊。而本发明的图像在经过引导滤波后，其边缘已经较为清晰，即使被模糊，其效果也能满足后续步骤的使用，因此，在一些较优的实施例中，考虑采用加权平均法对幕墙图像进行灰度化处理，具体为根据重要性及其它指标，将三通道的亮度值以合理的权值进行加权平均，得到较合理的灰度图像。应当理解的是，本发明中滤波和灰度化的具体方法选用是相辅相成的，即由于选择了能够保持边缘细节的引导滤波方式，因此才选择了加权平均灰度化方法，若在滤波时采用了其他的方式，则采用加权平均灰度化将不再适宜。
38.更近一步的是，图像采集时的环境较为复杂、采集的方式不够理想，可能会导致红外图像的细致程度不够，即使经过滤波去噪，其视觉效果和细节表现依然较差，因此，考虑在上述的滤波步骤后、灰度化步骤前增加图像增强步骤。图像增强的方法有很多，适应于红外图像增强的算法主要包括：
39.1)视网膜皮层图像增强，其是根据人类视觉特征，通过去除图像照射分量部分保留反射分量部分，从而获得图像本质特征。但是该算法存在图像存在失真、耗时长、降噪不佳等问题；2)空域直方图增强，是基于图像直方图的增强算法，其缺点在于难以适应复杂场景，参数往往需要凭经验手动调节；3)直方图均衡是最常用的图像对比度增强算法，但将其用在红外图像的增强时效果不佳，其原因是红外图像往往具有背景强、目标弱小的特点，面积较小的目标经过该方法处理后会淹没在面积较大(对应直方图较高的峰)的背景中，导致背景的过增强，可能反而降低了目标与背景之间的对比度；4)变换域增强是利用二维离散傅里叶变换将图像从空间域变换至频域，对频域参数进行修改来对图像中某些频率的信息进行增强或者抑制，之后再通过反变换得到增强后的图像，但是会出现“振铃”的现象，影响图像的主观效果；5)自适应直方图均衡算法是对于图像的每一个像素利用像素的邻域区域进行均衡增强的算法，从而得到局部的对比度增强效果。在本发明的应用场景中，一幅图像中损伤面板只占整面幕墙的小部分面积，自适应直方图均衡算法很擅长将局部的图像细节进行增强，相比其他直方图均衡算法能最大程度保留损伤面板处的局部特征。因此考虑采用此方法进行图像增强处理。
40.应当理解的是，是否需要图像增强步骤取决于去噪后的红外图像损伤部位的特征是否得到很好的保留，若是，则无需进行图像增强，已节约算力资源，进而提高检测效率。
41.步骤s2.通过亮度补偿，调整所述幕墙灰度图像中杂物倒影阴影区的亮度值，使其小于损伤部位的亮度值，然后将调整后的幕墙灰度图像进行k均值聚类，得到待匹配图像。
42.灰度化后的红外图像不可避免的存在映射出的杂物倒影，特别当幕墙材料为玻璃时，杂物倒影尤为明显。这些倒影在灰度化后与损伤区域的灰度值接近，因此容易影响检测结果的准确性，特别是较大片的杂物阴影更是很容易被误检为损伤面板，因此，需要采取一定措施来减少阴影对幕墙面板检测的影响。本发明考虑采用亮度补偿的办法来消除阴影的影响，如图2(a)所示，s和b分别表示阴影区域和非阴影区域。其中平行斜线表示噪音，曲线表示面板损伤；通过降低杂物倒影阴影区的亮度值，使其小于损伤部位的亮度值，就可以使
阴影区和损伤处明显的区别开来。在一些较优的实施例中，给出了一种亮度补偿的具体方法，包括：对所述灰度图像中的杂物倒影阴影区附加补偿灰度值；所述补偿灰度值为杂物倒影阴影区亮度平均值与非杂物倒影阴影区亮度平均值之差。如图2(b)所示，亮度补偿后阴影区的对比度显然低于非阴影区对比度，可以有效防止误提取阴影边缘，但阴影区的对比度仍然不高，这可能会影响阴影区内损伤边缘的提取，纹理细节较差。但在本发明的应用场景下，由于红外成像下幕墙面板破损的特点，其成像并不具备纹理特征而是整块面板灰度值与其他面板的差异，因此光照补偿的缺陷几乎可以忽略不计，且由于阴影部位灰度值本身就小于幕墙损伤产生的阴影灰度值，在经过光照补偿处理后，两者的差距进一步加大，此时，杂物阴影的影响将被大大降低，而损伤部位的阴影特征还被完整保留。
43.为了加强损伤部位与健康部位的特征对比，还需要对图像进行进一步的处理。本发明考虑采用k均值聚类算法来完成图像的整体处理工作，具体方法如下：
44.a)首先确定聚类中心，由于玻璃幕墙面板内容主要由损伤部位、健康部位两部分组成，因此，聚类中心可以设置为2。
45.b)随机选择像素点作为初始的聚类中心；
46.c)计算其他各个像素点到聚类中心的欧式距离，各像素点与距离最近的聚类中心构成一类；
47.d)计算每类的平均距离；
48.e)聚类的均值作为新的聚类中心，重复步骤3,直到聚类中心的位置不发生改变。
49.应当理解的是，通过上述两步的处理，图像整体灰度值下降，再经过聚类后，损伤面板与阴影部分的差异更加鲜明，以方便后续步骤的进行。
50.步骤s3.用平方差匹配法将损伤模板与所述待匹配图像进行匹配，识别出与所述损伤模板最匹配的区域作为疑似损伤区域，并确定其位置；所述损伤模板为损伤幕墙面板红外图像经预处理后的灰度图像。
51.在不同的光线照射下，通过不同的图像采集设备，在不同的位置采集到的同一物体的图像所表现出来的几何特性、光学特性、空间位置都会有很大的不同。而模板匹配就是在一幅图像中直接寻找是否存在已知的模板图像，通过相关搜索策略在大图中找到与模板图像相似的子图像，并确定其位置，该方法简单易用，特别适用于本发明的应用场景，因为建筑幕墙的面板大多为固定尺寸，即一面幕墙一般只包括1-2种规格尺寸的面板，此时通过匹配相同规格次春的模板，即可确定其是否存在损伤。但是模板图像的大小、旋转角度等都会对匹配效果产生影响。因此，在一些较优的实施例中，考虑利用无人机搭的航点飞行功能，搭载红外图像采集设备来获取幕墙红外图像，以保证每次图像获取时检测点和相机位置均保持不变，以方便后续进行模板的匹配。
52.应当理解的是，用于匹配的损伤模板主要包括对象面板的损伤特征，是根据实际拍摄的幕墙损伤图像得到的，其来源可以是技术人员历史采集记录，也可以是现场实时获取的。其获取的方式本发明不作进一步的限制。
53.进一步的，进行匹配时，常用的有以下几种匹配度量方法，包括：
54.(1)平方差匹配法，即模板图像像素减去覆盖的源图像像素的差的平方和为对应矩阵的点的值。如果值越接近0，说明匹配程度越高。(2)相关匹配法，即模板和图像间的乘法操作，所以较大的数表示匹配程度较高，0表示最坏的匹配效果。(3)归一化平方差匹配
法，为平方差匹配法的归一形式，评判方法与平方差匹配法一致。(4)归一化相关匹配法，为相关匹配法的归一化形式，评判方法与相关匹配法一致。(5)相关系数匹配法，模板对其均值的相对值与图像对其均值的相关值进行匹配，1表示完美匹配，-1表示较差的匹配，0表示没有任何相关性(随机序列)。(6)归一化相关系数匹配法，为相关系数匹配法的归一化形式，评判方法与关系数匹配法一致。
55.上述相关方法实施效果根据实际情况不同有所区别，但是其算法复杂程度以及计算耗费的时间由上至下越来越长。在本发明的应用场景中，待匹配的目标外形规则且统一，因此匹配的难度也较低，因此考虑的重点在于匹配所耗费的时间，经过多次试验，确定平方差匹配法足够准确识别出幕墙图像中与模板最匹配的部分，且耗费时长较少。因此，在一些较优的实施例中考虑采用平方差匹配法来进行损伤模板与待匹配图像的匹配。
56.在另一些较优的实施例中，由于模板匹配方法只能用来寻找图像中与模板最为匹配的那部分，并非是与模板绝对相似的部分，因此可能出现与模板匹配度最高的部分为阴影或者其他部分。因此，如图3所示，还需要一个损伤区域的确认步骤：步骤s4.计算所述疑似损伤区域与所述损伤模板的相似度，以确定所述疑似损伤区域是否存在损伤。计算相似度的方法有很多，如)psnr峰值信噪比算法、均感知哈希算法等，在另一些较优的实施例中，给出了一种计算所述疑似损伤区域与所述损伤模板的相似度的方法包括：计算所述疑似损伤区域与所述损伤模板的结构相似度指数，设定相似度阈值，当所述结构相似度指数大于所述相似度阈值，则认定所述疑似损伤区域存在损伤。具体包括：
57.按一下公式求取结构相似性ssim，公式如下
58.其中，x、y分别为待匹配图像和损伤模板；μ
x
是x的平均值，μy是y的平均值，是x的方差，是y的方差，σ
xy
是x和y的协方差，c1和c2是用来维持稳定的常数。结构相似性的范围为-1到1。当两张图像一模一样时，ssim的值等于1。本发明采用结构相似度的考虑如下：
59.结构相似度指数从图像组成的角度将结构信息定义为独立于亮度、对比度的，反映了场景中组成元素(即健康面板和损伤面板)结构的属性，并将图像建模为亮度、对比度和结构三个不同因素的组合。用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似程度的度量。并且具有较快的运算速度和准确性，且实现难度也较为适中。
60.应当理解的是，所述相似度阈值的设定是根据大量算例试验确定的。
61.实施例1
62.本实施例给出了将本发明的技术方案应用到建筑玻璃幕墙面板损伤的实际检测中的具体应用。图4为在视高幕墙基地用无人机搭载红外相机拍摄的幕墙图像，图中圈内为损伤的玻璃幕墙面板。使用大疆无人机御2行业进阶版红外摄像头所拍摄的红外图像为彩色rgb图像，先进行引导滤波进行降噪处理。在本实施例中，由于到滤波后的图像损伤部位的特征已经得到了很好的保留，且有效的图像增强算法耗时较长，可以考虑省去图像增强的步骤来提高检测效率。滤波处理后的红外图像仍为彩色rgb图像，采用加权平均法进行灰度化。灰度化后的红外图像如图5所示，可以看出损伤面板的灰度值与健康面板有着较大的差异，与此同时，阴影部分的影响与损伤面板相似度较大，其干扰不可忽视，但阴影部分灰
度值整体还是小于损伤面板的灰度值，通过上文所述光照补偿的方法可以消除大部分阴影的影响，以使得下一步的模板匹配有着更好的准确率，经过光照补偿的图像如图6所示。光照补偿后的图像整体灰度值下降，使得损伤面板与阴影部分在k均值聚类之后差异更加鲜明。
63.采取平方差模板匹配方法，选取适当的模板进行匹配，所选损伤模板如图7所示，可以找出图像中与模板最为相似的部分，对上述工程实例的k均值聚类图像进行模板匹配后的效果如图8所示；在模板匹配效果图上，与模板匹配度最高的部分会用黑框框出，黑框的大小与模板图片大小一致。由于模板匹配方法只是用来寻找图像中与模板最为匹配的那部分，并非是与模板绝对相似的部分，所以后续需要将模板匹配结果使用矩形截取功能将匹配度最高的部分与模板本身进行相似度匹配，以防止出现与模板匹配度最高的部分为阴影或者其他部分。经过大量试验设定一个相似度阈值，当大于这个相似度阈值时，即为损伤面板；当小于这个相似度阈值时，即为其他干扰。并以此为依据完成幕墙面板破碎损伤检测。相似度计算后的结果如图9所示。
64.实施例2
65.本实施例给出了将本发明的技术方案应用到建筑铝板幕墙面板损伤的实际检测中的具体应用。图10为屋面铝板幕墙渗水情况与健康情况的红外图像对比，可以清晰的看见，渗水处与健康面板的红色有着明显区别。同样为了增加图像处理的效率，将红外图像转为灰度图并进行引导滤波降噪，为了凸显渗水部位与健康部位的灰度差异以更好的实现k均值聚类，进行光照补偿操作。可以看出渗水部位与健康部位差异仍然较大，以渗透部位为模板与k均值聚类效果图进行模板匹配，显然可以准确定位到渗水部位。匹配模板如图11所示，匹配效果如图12所示。将最高匹配度的部位截取出来与模板再次进行相似度对比。并根据相似度值是否大于阈值来判断是否存在渗水玻璃。
66.以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。