一种基于建筑模型的机器狗识别裂痕方法与流程

1.本发明涉及土木建筑、图像处理、计算机技术、机械技术等交叉学科领域，具体涉及一种基于建筑模型的裂痕识别方法。


背景技术：

2.混凝土施工由于受原材料、配合比、坍落度、施工方法、温度、湿度、气候环境等内外因素的影响，混凝土初凝后,可能会出现裂痕。有的开始虽未出现裂痕，但经过一段时间后，随着混凝土结构曝露时间的延长，裂痕可能会逐步发展、趋于明显，特别在温度、湿度变化较大时此现象尤为明显。这些裂痕分布往往无规则，有的局部出现，比较细小；有的则在现浇楼板上大面积出现，且曝露时间越长，裂痕长度可能会逐步延伸，宽度由小变大，深度由表层趋向深层。裂痕的出现不仅影响结构外观，同时对结构满足使用功能及耐久性、抗震性等要求会产生不利影响，甚至危及结构安全。因此，混凝土裂痕是建筑结构发生破坏的重要前兆，对其发现、识别与检测是当今混凝土工程养护的重要举措。
3.由于当今人们对房屋建筑的极大需求，全国建筑规模日益扩大、建成速度愈来愈快，随之带来剧增的建筑工程安全检测量。据统计全国有50％以上的建筑用户对建筑质量进行过投诉，因此，对建成完毕的建筑定时进行安全质量检测与维修是当今建筑行业的一项重要市场需求；除此之外，随着智慧城市时代的来临，城市更新发展行动近些年来成为中央在建筑行业重要扶持的一方面。全国各地众多老旧小区、老旧厂区、老旧街区、城中村等因其举足轻重的作用与重要功能，亟待进行保护、更新发展与完善。为此，对老旧建筑的高效、快速地检测与维修亦是当今建筑市场一大需求。
4.目前，建筑裂痕检测识别常采用人工检测的方法。由于肉眼的分辨率有限，该方法存在主观性大，导致精度差；再加之检查投入精力大、耗时耗力，成本高、工作效率低下。另外，很多裂痕细微导致肉眼难以察觉，甚至所处的位置人员难以到达并发现，如部分高耸、狭窄或结构较为复杂的地方，容易产生裂痕漏检、误检的可能。此外，随着对检测精度要求的不断提高以及待检测建筑数量的迅速增多，目前人工检测的方法已经很难满足需求。因此，现建筑安检行业亟需一种安全、智能、高效的检测技术。
5.随着机器狗近些年的快速发展，其运动能力不断增强、自带摄像头设备精度配置越来越高，其可以代替工人跑遍建筑物，甚至工人难以到达的地方，如高耸、狭窄或结构较为复杂的地方进行建筑裂痕的图像采集。
6.图像识别技术作为人工智能领域的一个重要组成部分，近些年来随着计算机科学和数字图像处理技术的发展而被广泛认可。在未来利用图像处理来对裂痕进行检测是建筑行业安全质量检测的必然趋势，它具有非接触、效率高、便捷直观、较肉眼识别更加准确等优点。
7.建筑信息模型(building information modeling,bim),目前主要用于建筑物规划、设计、施工、运维的全生命周期管理，随着科技的不断发展，bim vr、bim gis、bim 3d打印等技术不断涌现，但是不同于上述技术，由于bim与图像处理、机械狗是三个比较远且没
有交叉点的技术学科，三者目前还没有交集，不深入了解这三个学科很难将三者的优势结合起来加以利用，目前基于bim的机器狗识别裂痕技术尚未出现。


技术实现要素：

8.本发明的目的在于提供一种基于建筑模型的机器狗识别裂痕方法，其通过能动的机器狗将不动产bim模型与裂痕图像识别技术结合起来，快速、高效实现裂痕实际位置与裂痕图像一一对应。
9.为了实现上述目的，本发明采用如下技术方案：其包括如下步骤，
10.s1.基于真实地理信息建立建筑物的bim模型，将已建好的bim模型数据导入，形成bim模型数据库；
11.s2.基于bim模型对机器狗进行行走路径规划；
12.s3.机器狗采集裂痕图像；
13.s4.裂痕图像识别与裂痕测量，形成裂痕图像数据库；
14.s5.裂痕位置计算及其在bim模型数据库存储，并关联裂痕图像数据库。
15.本发明的技术将灵活可动的机器狗与建筑模型相结合，以bim作为技术载体，利用bim模型参数化、可视化的特征，作为室内路径规划的“建筑数据源”，结合寻路算法，实现机器狗在三维室内的路径规划，并通过机器狗图像识别的功能，将肉眼难见的裂痕识别出来，得到裂痕相关特征信息，进而方便检测维修工人远端判断裂痕类型，如沉降裂痕、温度裂痕、收缩裂痕等；并得到裂痕实际位置信息，以供建筑物维修查找之需。本发明实现裂痕图像的数据库与不动产bim模型建立的数据库相关联，进而拓展机器狗在建筑物施工、运维生命周期上的功能。本发明能够解决建筑裂痕难以发现、检测位置难以到达并识别、检测信息不能共享、人工检测费时费力且资金投入大等问题。此集成技术为建筑物安全质量检测带来新的检测方法，有着广阔的应用前景。
16.进一步地，所述步骤s1中，基于真实地理信息建立完成建筑物的bim模型，经过ifc解析后再导入bim模型数据库。
17.进一步地，所述步骤s2中，基于bim模型的参数化数据，利用寻路算法对机器狗进行在建筑物中行走路径的合理规划，具体过程为：
18.s21.bim模型几何解析；
19.s22.机器狗路径规划。
20.进一步地，所述步骤s3中，机器狗按照s2规划的路径采集图像，并将其转化为数据库可识别的格式。
21.进一步地，所述步骤s4中，裂痕图像识别的过程具体为：
22.s41.对图像进行预处理，将彩色图像转化成灰度图像,并增加图像的对比度；
23.s42.canny边缘检测；
24.s43.找出所有裂痕连通域；
25.s44.测量裂痕并导入裂痕图像数据库。
26.进一步地，所述步骤s5中，裂痕位置计算及其在bim模型数据库存储，并与裂痕图像数据库相关联,实现位置与相应裂痕图像的一一对应，以供建筑维修时之需。
27.本发明的一种基于建筑模型的机器狗识别裂痕方法，与现有技术相比，具有以下
有益效果：本发明的方法是通过能动的机器狗将不动产bim模型与裂痕图像识别技术结合起来，快速、高效实现裂痕实际位置与裂痕图像一一对应，以供建筑维修时之需。本技术能够有效代替主观性大、费时费力、投资大的人工裂痕检测，适用于大体积混凝土工程的混凝土初凝、终凝时的安全检测，建成完毕建筑的定时安检，老旧房屋安全检测等。
附图说明
28.图1为ifc编辑器调用的技术路线；
29.图2为基于bim技术的路径规划技术路线；
30.图3为含激光网格的目标裂痕图像；
31.图4为不含激光网格的目标裂痕原图像；
32.图5裂痕图像预处理后图像；
33.图6为裂痕图像降噪处理后图像；
34.图7为连通域寻找完成后图像；
35.图8为裂痕图像提取骨架后图像；
36.图9为裂痕宽度计算原理图；
37.图10为裂痕位于房间顶面计算原理图；
38.图11为裂痕位于房间侧面计算原理图；
39.图12为裂痕图像识别技术路线。
具体实施方式
40.下面结合附图进一步说明本发明：
41.基于建筑模型的机器狗识别裂痕方法，包括如下步骤：
42.s1.基于真实地理信息建立建筑物的bim模型，并建立bim数据库将已建好的bim模型数据导入，具体步骤如下：
43.s11.首先通过bim、cad、3dmax等三维建模软件，使用软件本身的x、y、z坐标，基于真实地理信息建立建筑物的三维模型；
44.s12.基于建筑物的bim模型建立好后，要经过ifc解析后再导入bim数据库，经过ifc解析后的bim模型的通用性更强，能够提高本发明方法的适用范围。当用户通过界面调用bim模型文件时，数据库中的数据按照ifc编辑器调用，其技术路线如图1所示。
45.s2.基于bim模型对机器狗进行路径规划，具体步骤如下：
46.s21.bim模型几何解析，为s22室内路径规划中的障碍物识别、可通行区域获取提供可操作的空间环境基础。
47.对s1已建立好的bim模型提取基本构件几何参数，运用nurbs曲面对bim模型进行参数化模拟，实现模型的参数化和轻量化，打通bim信息与其他信息之间的数据接口。在对bim建筑信息模型采用nurbs曲面进行参数化模拟过程中，给定一张(m 1)
×
(n 1)的网格控制点p
ij
(i＝0,1,
…
,m；j＝0,1,
…
,n),以及各控制网格点的权值w
ij
(i＝0,1,
…
,m；j＝0,1,
…
,n)，n
i,k
(u)(i＝0,1,
…
,m)和n
j,l
(v)(j＝0,1,
…
,n)分别为沿u向的k次和沿v向的l次的规范b样条基，它们分别由u向和v向的节点矢量u＝[u0,u1,
…
,u
m k 1
]与v＝[v0,v1,
…
,v
n l 1
]按de boor-cox递推公式决定。则由bim模型确定的nurbs曲面的表达式为：
[0048][0049]
利用nurbs曲面进行bim模型的参数化模拟，可有效解决多源bim信息融合过程中信息不能共享、信息丢失、信息交换速度慢的问题，进而为s22路径规划快速、高效提供准确的数据。
[0050]
s22.机器狗路径规划，分为以下两种情况，其技术路线如图2：
[0051]
1)若路径规划区域为单楼层的情况，则对该楼层进行s21几何解析后，识别障碍物，得到可通行区域，然后从起始位置至终止位置直接搜索最小的路径，生成最优路径；
[0052]
2)若路径规划区域为跨楼层的情况，则对起始楼层、目标楼层进行s21几何解析后，识别障碍物，得到可通行区域，并将两楼层间的楼梯、直梯或自动扶梯作为各中间结点，分别利用贪心寻路算法规划起始楼层内起始结点至中间结点，以及目标楼层内各中间结点至终止结点的最短路径，并记录两个楼层中每条路径的权重值。将起始楼层与终止楼层上相同中间结点所在路径的权重值求和，并比较、筛选出最小值，则将两条路径与中间结点连接起来构成从起始结点至终止结点的最优路径，其权重值就是该条路径的实际代价值。进而，对于多楼层建筑而言，基本各楼层间设计是一致的，实现机器狗对整个楼层的遍历。
[0053]
s3.机器狗采集裂痕图像，具体步骤如下：
[0054]
机器狗按照s2规划的路径利用自带摄像头初步采集裂痕图像，判定图像的相对位置，进一步根据图像位置获取裂痕图像的正投影，正投影的获取分为以下两种：
[0055]
1)裂痕在房间顶面
[0056]
将摄像头初始位置设置为垂直于墙面侧面，再将摄像头向上垂直翻转90
°
瞄准房间顶面，启动激光网格发射器，通过机器狗移动，将待捕获的裂痕置于激光网格的之内，则此时为裂痕图像的正投影拍摄，存储图像，再通过旋转摄像头，利用激光测距模块测出此时与墙面yoz、墙面xoz的垂直距离
△
x与
△
y并存储；
[0057]
2)裂痕在房间侧面
[0058]
将摄像头初始位置设置为垂直于墙面侧面，启动激光网格发射器，通过机器狗移动与摄像头垂直上升，将待捕获的裂痕置于激光网格的之内，则此时为裂痕图像的正投影拍摄，存储图像，并记录存储摄像头的上升高度
△
z，再通过旋转摄像头，利用激光测距模块测出此时与墙面yoz、墙面xoz的垂直距离
△
x与
△
y并存储。
[0059]
关闭激光网格发射器再获取不含网格的裂痕原图像，并将图像转化为数据库可识别的格式，含激光网格的目标裂痕图像如图3，不含激光网格的目标裂痕原图像如图4；
[0060]
s4.裂痕图像识别，具体步骤如下：
[0061]
s41.对图像进行预处理，将彩色图像转化成灰度图像,并增加图像的对比度。
[0062]
由于图像难免会受到噪声的影响，噪声就是灰度变化很大的地方，所以容易被识别为伪边缘，为此，先获取s3机器狗搜集的裂痕彩色图像的rgb值，利用下述公式进行灰度处理，将裂痕彩色图像的转化成灰度图像，
[0063]
gray＝0.299r 0.587g 0.114b
[0064]
公式的参数设置充分考虑到了人眼的生理特点，并增加图像的对比度，此步骤将方便s42 canny边缘检测的降噪处理，裂痕图像预处理处理后如图5。
[0065]
s42.canny边缘检测，具体步骤如下：
[0066]
s421.高斯滤波；
[0067]
将s41灰度图像进行高斯滤波，对于一个位置(x,y)的像素点，其灰度值为f(x,y)，经过高斯滤波后的灰度值将变为
[0068][0069]
即利用高斯滤波器，以平滑图像，滤除噪声，实现裂痕图像降噪，裂痕图像降噪处理后如图6。
[0070]
s422.计算梯度值和梯度方向，得到可能边缘；
[0071]
因为梯度是灰度变化明显的地方，而边缘也是灰度变化明显的地方。采用边缘检测的算子(如sobel、roberts、prewitt等)返回水平gx和垂直gy方向的一阶导数值，由此便可以确定像素点的梯度g和方向θ,公式如下：
[0072][0073][0074]
s423.非极大值抑制；
[0075]
对图像进行梯度计算后，仅基于梯度值提取的边缘仍然很模糊。为此，通过非极大值抑制，寻找像素点局部最大值。利用迭代法，两两寻找的灰度峰值间的最小波谷灰度，作为合适的阈值t。若原始图像的某一像素值的灰度m(x，y)小于阈值t，将非极大值点所对应的灰度值设置为0；若原始图像的某一像素值的灰度m(x，y)大于等于阈值t，保持原始像素点的灰度值不变。非极大值抑制后的图像灰度为m
t
(x，y)，从而，排除非边缘像素，仅保留一些细线条，实现“胖边缘”变成“瘦边缘”，原理公式如下：
[0076][0077]
s424.双阈值筛选。
[0078]
经过s423非极大值抑制后，仍有很多的可能边缘点，进一步的设置一个双阈值，即低阈值(low)，高阈值(high)，分三种情况进行筛选，双阈值筛选处理后图像：
[0079]
1)灰度变化大于high的，设置为强边缘像素，该像素被保留为边缘像素；
[0080]
2)灰度变化低于low的，剔除；
[0081]
3)在low和high之间的设置为弱边缘，需进一步判断，如果其领域内有强边缘像素，保留，如果没有，剔除。
[0082]
s43.找出所有裂痕连通域；
[0083]
采用two-pass连通域分析算法，过程如下：
[0084]
1)首先将图像二值化，将不是background的像素点都标记为同一个初始label，
background的像素点都标记为0；
[0085]
2)在two-pass连通域标记中，第一次标记(firstpass)时从左向右、从上向下遍历图片像素，将各个前景像素设置一个label值，判断采用4邻域判断规则，如下(其中记左邻像素为left，上邻像素为up)：
[0086]
①
当left、up为背景像素时，给该像素置一个新的label值，label ；
[0087]
②
当left、up中任意一个为前景像素时，将有效值像素的label赋给该像素的label值；
[0088]
③
当该像素的left、up均为前景像素时，选取其中较小的label值赋给该像素的label值；
[0089]
④
记录该像素及其中left和up间的各个值(label)之间的相等关系，即这些值(label)同属同一个连通区域；
[0090]
3)第二次标记(secondpass)时从左向右、从上向下遍历图片像素，对于每个前景像素，找到该像素值所属连通区域中的最小label值，将该label值赋给当前像素的label值；
[0091]
4)经过两次遍历图片后，具有相同label值标记的像素即属于同一连通区域，连通域寻找完成后如图6。
[0092]
s44.测量裂痕并导入裂痕图像数据库。
[0093]
测量裂痕的长度、最大宽度与平均宽度，将图像与裂痕量度信息一并导入裂痕图像数据库进行储存，裂痕图像提取骨架后如图8。
[0094]
1)进一步图像二值化处理，将骨架提取处理后裂痕像素点的label值均设置为1，background的像素点不变，仍为0，将像素灰度值转换为只包含0与1的m行
×
n列的矩阵形式，用于每个像素点位置(i,j)(其中i≤m、j≤n)的标定，方便下面步骤；
[0095]
2)一个像素点的实际长度计算
[0096]
在采集到的裂痕图当中，每一个激光方格的具体面积(s)是已知的，理论上可以通过每个单位方格所占的像素值(r)来推算每一个像素边长对应的实际长度，即像素解析度(η)。具体的计算公式为
[0097][0098]
3)裂痕宽度计算裂痕中线确定
[0099]
统计第i行(i＝1～m)每个裂痕区间的像素个数p(i)，并记录该行每裂痕区间内每一像素点的坐标(i,j)，其中j＝1，2，
…
，p(i)；根据二值化的label值来判断每行的裂痕区间，并求第i行(i＝1～m)每一裂痕区间内全部像素点纵坐标的平均值m(i),公式如下，并将各行坐标(i，m(i))的连线作为裂痕的中心线。
[0100][0101]
统计裂痕中心点的数目n，并由宽度计算原理图9，计算第i行中心线的倾角，公式为
[0102]
θ(i)＝arctan[m(i 1)-m(i)],其中i＝[1,2,
…
,n-1]
[0103]
第i行过中心点的裂痕宽度为
[0104]
w(i)＝η
×
p(i)
×
sin(θ(i)),其中i＝[1,2,
…
,n]
[0105]
然后通过比较算法得出最大裂痕宽度w
max
[0106]
计算出平均宽度其满足
[0107][0108]
4)裂痕长度计算
[0109]
利用2)中确定的裂痕中心线上的点来计算裂痕长度l，公式如下
[0110][0111]
5)采用zhang-suen细化算法，将裂痕进行骨架提取处理，并将最大裂痕处在裂痕骨架图像中进行标定，并将长度、宽度信息也显示于裂痕骨架图像中，最终将含有测量数据信息的裂痕骨架图像导入裂痕图像数据库。
[0112]
s5.裂痕位置计算及其在bim模型数据库存储，并关联裂痕图像数据库，具体步骤如下：
[0113]
s51.裂痕位置计算；
[0114]
s511.图像中心位置计算
[0115]
1)裂痕位于房间顶面
[0116]
由房间最北、最西侧角点o(x0,y0,z0)、裂痕图像为正投影时激光测距模块测出与墙面yoz、墙面xoz的垂直距离
△
x与
△
y、房间顶面z轴方向坐标值z，则裂痕位于房间顶面时图像中心位置坐标为(x0
△
x,y0
△
y,z)，原理图为图10；
[0117]
2)裂痕位于房间侧面
[0118]
由房间最北、最西侧角点o(x0,y0,z0)、裂痕图像为正投影时激光测距模块测出与墙面yoz、墙面xoz的垂直距离
△
x与
△
y、摄像头的上升高度
△
z、初始摄像头距离地面h与事先可确定裂痕所在一个方向上的坐标，即x0、x1或y0、y1，则实际坐标为则裂痕位于房间顶面时图像中心位置坐标为(x0
△
x,y
0 or y1,
△
z h)或(x
0 or x1,y0
△
y,z h)，原理图为图11。
[0119]
s512.裂痕中心校正位置计算
[0120]
由于裂痕中心与图像中心位置会存在偏差，故需要对s511计算出的位置坐标进行校正。激光网格图像坐标轴正方向与bim空间坐标系正方向一致，并且当激光网格图像位于房间侧面时y轴正方向与bim空间坐标系z轴的正方向相同。
[0121]
其中，裂痕中心点纵坐标y满足
[0122][0123]
进而，由此纵向直线与裂痕交点即可确定裂痕的纵坐标x，得到裂痕中心点(x,y)，在计算得到网格中心点的坐标(a，b)
[0124]
再利用像素解析度(η)进而计算出两点的相对距离
[0125]
δx＝η(x-a)
[0126]
δy＝η(y-b)
[0127]
则裂痕中心位置的两种情况如下
[0128]
1)裂痕位于顶面，实际坐标为
[0129]
(x0
△
x
△
x,y0
△
y
△
y,z)
[0130]
2)裂痕位于侧面，可以事先确定裂痕所在一个方向上的坐标，即x0、x1或y0、y1，则实际坐标为
[0131]
(x0
△
x
△
x,y
0 or y1,
△
z h
△
y)或(x
0 or x1,y0
△
y
△
x,z h
△
y)
[0132]
s52.图像与bim两数据库关联。
[0133]
将s51计算出的裂痕位置坐标存储坐标于bim数据库，并将bim数据库与裂痕图像数据库相关联，实现真实地理位置与相应裂痕图像的一一对应，以供建筑维修时之需。
[0134]
具体的裂痕识别技术路线如图12所示。
[0135]
本发明的方法是通过能动的机器狗将不动产bim模型与裂痕图像识别技术结合起来，快速实现裂痕实际位置与裂痕图像一一对应，以供建筑维修时之需。本技术能够有效代替主观性大、费时费力、投资大的人工裂痕检测，适用于大体积混凝土工程的混凝土初凝、终凝时的安全检测，建成完毕建筑的定时安检，老旧房屋安全检测等。
[0136]
上述具体实施方案中，bim模型几何解析采用的是nurbs曲面原理、机器狗路径规划主要采用的是贪心算法、裂痕识别采用的是canny边缘检测、连通域分析采用的是two-pass连通域分析算法，当然在其他的实施例中，也可以采用其他的相关算法，只要能够完成bim模型几何解析、路径规划、裂痕识别、连通域分析就可以。
[0137]
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明的保护范围。