基于高分遥感影像的建筑物轮廓递进式规则化方法

1.本发明涉及建筑物轮廓规则化算法领域，具体涉及一种基于高分遥感影像的建筑物轮廓递进式规则化方法。


背景技术：

2.基于高分辨率遥感影像的建筑物轮廓规则化方法是目前的热点研究方向之一，主要解决建筑物轮廓提取过程中存在的形状不规则、边缘锯齿状、不能准确的体现出建筑物轮廓形状和大小，无法保证提取的建筑物轮廓与原建筑物轮廓一致性等问题。所以，进一步将提取的建筑物轮廓整体规则化，使其与真实建筑物轮廓保持一致性，对地区的发展和规划有着重要意义。
3.当前轮廓规则化方法主要有以下三类：第一类是针对建筑物轮廓存在的纹理信息和空间形状特征的差异性，对图像形态特征的修复来实现建筑物轮廓进行规则化，如王伟玺提出一种基于栅格填充的规则化方法，利用轮廓的整体信息进行规则化，并用图像处理中的腐蚀、膨胀算法进行优化，使用图像像素二值化提取优化后的建筑物轮廓。黄金库针对建筑物的不同形态，分别采用手扶、自动跟踪数字化方法来规则化建筑物轮廓。此类方法以轮廓个体为单位进行整体运算，容易造成细节损失，同时会引起错误规则化的问题。第二类是针对建筑物轮廓边缘转折点的提取，拟合连接得到规则化的建筑物轮廓。郭珍珍
[i]
采用改进的管子算法确定轮廓线的关键点，拟合直线的交点作为新的关键点，连接各个关键点后构成的轮廓线能粗略呈现建筑物的形状，再用自适应的强制正交规则化算法得到规则化的轮廓线。该类方法得到的建筑物轮廓规则化效果较好，但是在一些局部区域仍然存在锯齿状情况，不适用于密集建筑物轮廓规则化。第三类方法是基于深度学习进行建筑物轮廓规则化。丁亚洲提出了一种基于多星形约束的图割和轮廓规则化的交互式半自动提取高分影像上直角建筑物的方法。shiqing wei提出了一个自动建筑足迹提取框架，该框架由基于卷积神经网络(cnn)的分割和经验多边形正则化组成，该正则化将分割地图转换为结构化的单个建筑多边形，试图用算法取代测绘领域中涉及的建筑足迹的部分手动描绘。黄小赛提出了一种基于卷积神经网络的集成方法，包括建筑物定位、形状判断、形状匹配等过程。但该类方法实现复杂、步骤繁多，且得到的建筑物轮廓存在较严重的锯齿状情况，不能取得理想的规则化效果。


技术实现要素：

[0004]
为解决上述问题，本发明提供了一种基于高分遥感影像的建筑物轮廓递进式规则化方法。
[0005]
为实现上述目的，本发明采取的技术方案为：
[0006]
基于高分遥感影像的建筑物轮廓递进式规则化方法，包括如下步骤：
[0007]
s1、在提取的原始建筑物轮廓基础上，利用改进的harris角点检测算法对轮廓进行角点提取，再通过角点筛选机制剔除无用角点，顺序拟合保留的角点集，实现轮廓初步规
整优化；
[0008]
s2、利用基于frechet距离的最小面积外接矩形对拟合连接后的建筑物轮廓进行边缘线段优化，将建筑物轮廓线段与最小面积外接矩形线段进行离散等分，计算得出各个等分点对应的最短距离d
min
，设置距离阈值δ，判断建筑物轮廓线段等分点坐标是否替换为最小面积外接矩形边界等分点坐标，再顺序拟合保留下来的离散等分点，得到初步规则化的建筑物轮廓；
[0009]
s3、利用shi-tomasi算法对不规则的局部区域依次进行角点检测、筛选、拟合，进行深度规则化。
[0010]
进一步地，所述步骤s1包括如下步骤：
[0011]
s11、在提取的原始建筑物轮廓基础上，利用改进的harris角点检测算法对轮廓进行角点提取；具体的：
[0012]
首先计算出图像中的灰度变化e(u，v)：
[0013]
e(u，v)＝∑w(x，y)[i(x u，y v)-i(x，y)]2ꢀꢀ
(1)
[0014]
式中，(u，v)表示的是窗口偏移量，w(x，y)是移动的窗口函数，i(x u，y v)是平移后的图像灰度，i(x，y)是图像灰度；
[0015]
i(x u，y v)＝i(x，y) i
x
u iyv o(u2，v2)
ꢀꢀ
(2)
[0016]
转化得到：
[0017][0018][0019]
对于局部微小的窗口移动量[u，v]，可以近似得到：
[0020][0021]
其中，m是为梯度的协方差矩阵，由图像导数可得：
[0022][0023]
协方差矩阵m的特征值分析：
[0024][0025]
其中，λ1，λ2是m的两个特征值，由此得到定义角点响应函数crf：
[0026]
r＝detm-k[trace(m)]2ꢀꢀ
(8)
[0027]
式中，detm＝λ1λ2，trace(m)＝λ1 λ2，k为经验常数，取值范围为[0.04，0.06]；
[0028]
基于协方差矩阵m矩阵保存候选角点位置，初值设置为0，角点值设置为1，当角点(i，j)八邻域的“相似度”参数在中心点与领域其他八个点的像素值之差在(-t， t)之间，确认它们为相似点，且相似点不在候选角点中；
[0029]
s12、将检测得到的角点集合排序，利用角点筛选机制决定当前角点是否保留；
[0030]
s13、剔除无关角点后，顺序拟合各个角点得到初始规则化后的建筑物轮廓。
[0031]
本发明的规则化总体精度达到了85.36％，相较于初始轮廓提高了13.17％。表明本方法适用于建筑物的轮廓规则化，有效提高了建筑物轮廓边缘的表达精度，能够准确地适应建筑物轮廓的细节变化。
附图说明
[0032]
图1(a)harris角点检测算法；(b)改进的harris角点检测算法
[0033]
图2为角点间夹角示意图。
[0034]
图3为初始轮廓边缘规则化；
[0035]
图中：(a)初始建筑物轮廓提取结果；(b)初始轮廓的角点检测；(c)角点筛选拟合后的建筑物轮廓；(d)拟合后的轮廓外接矩形
[0036]
图4为凸包坐标旋转示意图。
[0037]
图5为使用不同外接矩形的多边形拟合轮廓结果；
[0038]
图中：(a)多边形拟合效果；(b)最小边长外接矩形结果；(c)最小面积外接矩形结果；(d)最小外包矩形结果。
[0039]
图6为frechet距离规整轮廓流程示意图；
[0040]
图中：(a)初始建筑物轮廓提取结果；(b)计算边界上各个等分离散点的欧氏距离；(c)离散等分点的最短距离集合；(d)初步规则化后效果。
[0041]
图7为初步规则化过程；
[0042]
图中：(a)初始矩形建筑物轮廓提取结果；(b)角点筛选拟合后结果；(c)矩形轮廓边界规则化；(d)矩形建筑物轮廓初步规则化结果。
[0043]
图8：(a)初始非矩形建筑物轮廓提取结果；(b)非矩形轮廓初始规则化结果。
[0044]
图9为深度规则化过程；
[0045]
图中：(a)初始矩形建筑物轮廓提取结果；(b)初始规则化结果；(c)深度局部区域角点检测；(d)深度局部区域角点拟合效果。
[0046]
图10为本发明提出的规则化方法实现过程；
[0047]
图中：(a)建筑物轮廓真值；(b)提取的建筑物轮廓初始值；(c)角点检测；(d)角点拟合结果；(e)轮廓边界优化；(f)规则化结果。
[0048]
图11为本发明实施例基于高分遥感影像的建筑物轮廓递进式规则化方法的流程图。
[0049]
图12为规则化算法结果比较；
[0050]
图中：(a)建筑物轮廓真值；(b)初始轮廓提取结果；(c)文献[2]方法的建筑物轮廓优化结果；(d)文献[1]方法的建筑物轮廓优化结果；(e)手动规则化建筑物轮廓结果；(f)本文算法规则化结果。
[0051]
图13为规则化算法结果比较；
[0052]
图中：(a)建筑物轮廓真值；(b)初始轮廓提取结果；(c)文献[18]方法的建筑物轮廓优化结果；(d)文献[17]方法的建筑物轮廓优化结果；(e)手动规则化建筑物轮廓结果；(f)本文方法的建筑物轮廓规则化结果。
具体实施方式
[0053]
为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0054]
本发明是实施例提供了一种基于高分遥感影像的建筑物轮廓递进式规则化方法，包括如下步骤：
[0055]
s1、在提取的原始建筑物轮廓基础上，利用改进的harris角点检测算法对轮廓进行角点提取，再通过角点筛选机制剔除无用角点，顺序拟合保留的角点集，实现轮廓初步规整优化；
[0056]
s2、利用基于frechet距离的最小面积外接矩形对拟合连接后的建筑物轮廓进行边缘线段优化，将建筑物轮廓线段与最小面积外接矩形线段进行离散等分，计算得出各个等分点对应的最短距离d
min
，设置距离阈值δ，判断建筑物轮廓线段等分点坐标是否替换为最小面积外接矩形边界等分点坐标，再顺序拟合保留下来的离散等分点，得到初步规则化的建筑物轮廓；
[0057]
s3、利用shi-tomasi算法对不规则的局部区域依次进行角点检测、筛选、拟合，进行深度规则化。
[0058]
轮廓初步规则化
[0059]
本实施例中，采用改进的的harris算法对建筑物轮廓依次进行角点提取、剔除、拟合，使得建筑物轮廓边界清晰。改进的的harris算法原理是寻找图像边缘曲线中曲率极大值的点，对于一个灰度图像i，将窗口w在i中移动，同时设置参数t为八邻域的“相似度”参数，当中心点与邻域其他八个点的像素值只差在(-t， t)之间确认它们为相似角点，因为感兴趣的角点只出现在边界上，所以不用全部检测图像每个点，这提高了算法的时间复杂度，具体的，包括如下步骤：
[0060]
计算出图像中的灰度变化e(u，v)：
[0061]
e(u，v)＝∑w(x，y)[i(x u，y v)-i(x，y)]2ꢀꢀ
(1)
[0062]
式中，(u，v)表示的是窗口偏移量，w(x，y)是移动的窗口函数，i(x u，y v)是平移后的图像灰度，i(x，y)是图像灰度；
[0063]
i(x u，y v)＝i(x，y) i
x
u iyv o(u2，v2)
ꢀꢀ
(2)
[0064]
转化得到：
[0065][0066][0067]
对于局部微小的窗口移动量[u，v]，可以近似得到：
[0068][0069]
其中，m是为梯度的协方差矩阵，由图像导数可得：
[0070][0071]
协方差矩阵m的特征值分析：
[0072][0073]
其中，λ1，λ2是m的两个特征值，由此得到定义角点响应函数crf：
[0074]
r＝detm-k[trace(m)]2ꢀꢀ
(8)
[0075]
式中，detm＝λ1λ2，trace(m)＝λ1 λ2，k为经验常数，取值范围为[0.04，0.06]；
[0076]
协方差矩阵m矩阵用来保存候选角点位置，初值设置为0，角点值设置为1，当角点(i，j)八邻域的“相似度”参数在中心点与领域其他八个点的像素值之差在(-t， t)之间，确认它们为相似点，且相似点不在候选角点中。
[0077]
而改进的harris算法并没有全部检测图像的每个点，而是除去了边界上boundary个像素(最佳取值为4)，提高了轮廓的角点检测效率，角点检测结果如图1所示，通过对比可知，改进的harris角点检测算法在检测角点个数和检测准确率上都要明显优于harris算法，其中在检测轮廓效果大致相同的情况下，改进的harris角点检测算法检测的无用角点和错误角点个数更少，算法耗时更少，且检测准确度提高了11.09％，如表1所示。
[0078]
表1 harris角点检测算法精度对比
[0079][0080]
本实施例中，将检测得到的角点集合排序，利用角点筛选机制决定当前角点是否保留。如图2所示，以pi为起始点，计算p
i-1
、pi、p
i 1
三点连接形成的夹角α，设置夹角角度阈值β(-75
°
，75
°
)决定角点是否保留。设p
i-1
pi线段斜率为k1，pip
i 1
线段斜率为k2，则可以得出p
i-1
pip
i 1
三点之间的夹角α。若三点两线段的角度α绝对值小于β，则默认该p
i-1
、pi、p
i 1
点在同一直线上，剔除pi点；否则，该点为边缘转折点，保留pi点。依次迭代各个建筑物轮廓提取的边缘点，剔除无关角点，保留剩下的角点集合。夹角计算公式为：
[0081]
α＝arctan[(k
1-k2)/(1 k1k2)]
ꢀꢀ
(9)
[0082]
剔除无关角点后，顺序拟合各个角点得到初始规则化后的建筑物轮廓，如图3(c)，相较于初始建筑物轮廓，进行角点筛选拟合后的轮廓边缘更加清晰、规则，有利于接下来建筑物轮廓的边界优化以及深度规则化。
[0083]
轮廓边缘优化
[0084]
如图3(d)所示，建筑物轮廓边缘初步规则化后，轮廓边界和转角会存在一些缺失和不规整，而利用基于frechet距离的最小面积外接矩形算法优化后，解决了建筑物轮廓边缘存在部分角落缺失和边界不规整等细节问题。frechet距离能够准确地衡量建筑物拟合轮廓与最小面积外接矩形存在的边界距离差异，以最小面积外接矩形边界为参考边界，q1为起始点，顺序计算外接矩形边界与建筑物轮廓边缘的离散等分点的欧式距离，设定距离阈值δ来决定外接矩形边界离散等分点的取舍，最后得到初步规则化的建筑物轮廓。
[0085]
(1)最小面积外接矩形
[0086]
1)选取所得凸包中一条边作为起始边，以该边左端点为中心旋转凸包，使得该边平行于x轴，如图4所示，计算其最小外接矩形，记录最小外接矩形的坐标和旋转角度。
[0087]
2)依次选取其他边，按照步骤1)记录最小外接矩形的坐标和旋转角度。
[0088]
3)比较所有最小外接矩形的面积，找出其中最小的外接矩形，按照其所对应的旋转角度，以该边的左端点为圆心顺时针旋转即为所求的最小面积外接矩形。
[0089]
(2)离散frechet距离算法
[0090]
建筑物轮廓经常存在转折弯曲等局部变化特征，经多边形拟合出来的轮廓可以减少轮廓点的同时保留细节特征。为了更准确地保留和完善建筑物的轮廓特征，引入了离散frechet距离算法，以准确地衡量建筑物的拟合轮廓与最小面积外接矩形存在的距离差异，作为评判拟合边界是否合适的标准。离散frechet距离算法原理是基于最小面积外接矩形的轮廓为p且长度为n，初步规则化建筑物轮廓为q且长度为m，如图所示，将p和q的各个线段边界集合等分为n、m个等分离散点，两个轨迹各个等分点所对应的欧式距离即为边界等分点的相似度，通过对相似度与距离阈值δ的比较，决定建筑物边界上等分点是否保留。两者位置的描述可以用一个t变量的连续递增函数来刻画，用α(t)来表示最小面积外接矩形起始点位置描述函数，用β(t)表示初步规则化建筑物轮廓起始点位置描述函数。将变量t约束到区间[0，1]内，那么有α(0)＝0，α(1)＝n，β(0)＝0，β(1)＝m。p(α(t))和q(β(t))分别表示t时刻两点在各自轮廓轨迹上的位置，两点之间的距离会随着α(t)和β(t)函数本身的不同和变量t的变化而不同。frechet距离数学表达式如下：
[0091]
δf(p，q)＝minα[0，1]
→
[0，n]，β[0，1]
→
[0，m]{max∈[0，1]d(p(α(t))，q(β(t)))}
ꢀꢀ
(10)
[0092]
其中，d(α(t)，β(t))为整个过程中pi点到qi点在t时刻的欧氏距离，即轮廓边界点相似度。首先对建筑物边缘轮廓点和最小面积外接矩形轮廓点构成的线段集合依次顺时针排序，如图6(a)所示，建筑物轮廓线段集合为{p1p2，p2p3，
…
，pn-1pn}，最小面积外接矩形线段集合为{q1q2，q2q3，q3q4，q4q1}，依次判断建筑物轮廓各个线段集合与对应的矩形边缘的线段关系。例如，在q1q2段内，对应p1p2，p2p3，p3p4，p4p5，p5p6，p6p7六个线段，其中线段p2p3、p5p6垂直于线段q1q2，则线段p2p3、p5p6上的等分离散点不与矩形边缘等分离散点做距离计算，保留p2p3和p5p6线段位置；若线段不与q1q2呈垂直关系，则计算其等分离散点间的欧氏距离。如图6(b)所示，将p3p4、q1q2分别被划分为n、m个等分离散点，线段q1q2长度通常远大于对应的建筑物轮廓线段长度，所以n取值区间[25，30]，m取值区间[40，45]。如图6(b)所示，以建筑物轮廓线段p3p4上的等分离散点wi为例，分别拟合连接q1q2线段上的y1，y2，
…
，yj，得到最短距离h(wi，yj)作为该离散点与最小面积外接矩形边缘点的最短距离hij，进而依次计算p3p4线段上所有离散等分点集合{w1，w2，
…
，wi}与与最小面积外接矩形边缘所有离散等分点集合{y1，y2，
…
，yj}的最短距离集合{d1，d2，
…
，dn}。距离阈值δ决定建筑物轮廓上的各个离散等分点是否保留，如图6(c)。距离阈值δ公式为：
[0093]
δ＝(s
build
/s
rect
)
×
(l
min
/2)
ꢀꢀ
(11)
[0094]
式中：s
build
为当前建筑物轮廓的面积；s
rect
为基于最小面积外接矩形的面积；l
min
为基于最小面积外接矩形的最短边长度。当建筑物存在内凹或者复杂拐角时，如果直接使用l
min
的值，δ的值就会偏大，无法保留拐角细节，甚至会破坏建筑物轮廓形状，因此使用l
min
/2更符合优化要求，不至于破坏建筑物轮廓形状，而s
build
与s
rect
的比值越大则说明建筑物真实轮廓越接近矩形。若两点距离di＜δ，则视为该轮廓线段与建筑物基于最小面积外接
矩形的轮廓相似度较高，此时将建筑物轮廓等分离散点wi的坐标替换为其最小面积外接矩形上最短距离对应等分离散点yi的坐标。若欧氏距离di＞δ，则将欧氏距离大于δ的建筑物轮廓等分点wi的坐标保留。依次完成距离阈值δ控制下的各项等分离散点的规整，进一步规则化建筑物轮廓。
[0095]
如图7所示，初始轮廓优化方法直接适用于规则化边缘轮廓为矩形的所有轮廓建筑物，且整体性与建筑物真值基本保持一致。但是大多数建筑物轮廓为不规则的、非矩形的，如图8所示，若存在非矩形建筑物轮廓，则初始规则化方法无法完整的优化局部锯齿状边缘，需要进一步深度规则化其局部轮廓。
[0096]
局部轮廓深度规则化
[0097]
(1)局部锯齿状区域的角点检测：
[0098]
如图9(b)，在对其他复杂多边形形状的建筑物轮廓提取中，初步规则化后的建筑物轮廓边界仍然会出现锯齿状或者区域性不规则，需要对残存的多齿状边缘深度规则化，要求局部小范围角点检测且时间复杂度要求不高，用shi-tomasi算法对区域性的多齿状边缘进行角点检测、剔除以及拟合，得到完整规则化的建筑物轮廓。
[0099]
(2)锯齿状区域角点的筛选、拟合：
[0100]
将角点进行排序，利用角度阈值β对角点筛选，删除无用的角点，最后顺序拟合保留的角点，得到完整规则化的建筑物轮廓。为验证该方法的有效性，选取乌鲁木齐天山区建筑物轮廓进行检验，步骤实现如图11所示。
[0101]
验证与分析
[0102]
实用性验证
[0103]
本发明采用改进的harris算法对初始建筑物轮廓进行角点检测、筛选、拟合；然后利用基于frechet距离的最小面积外接矩形算法对建筑物轮廓边界进行优化；得到整体规则、局部不规则的建筑物轮廓；最后再通过shi-tomasi算法对局部不规整且呈锯齿状的建筑物轮廓边缘进行深度规则化，结果与建筑物原始轮廓基本一致。为了更清晰地表示本发明方法与其他方法的对比结果，选取新疆乌鲁木齐市天山区为数据原始影像以及初始轮廓提取结果，以文献[1](fischler m a，bolles r c.random sample consensus：a paradigm for model fitting with applications to image analysis and automated cartography[j].communications of the acm，1981，24(6)：381-395.)、文献[2](王杰茜，冯德俊，陈建飞.对比harris算子和susan算子的建筑物边界规则化方法[j].测绘通报，2020(04)：11-15.[19]sampath a，shan j.building boundary tracing and regularization from airborne lidar point clouds[j].photogrammetric engineering&remote sensing，2007，73(7)：805-812.)的方法和手动规则化为参照方法，文献[1]是通过引入卷积层特征金字塔的多尺度聚合，建立了一种尺度鲁棒的全卷积网络(fcn)。采用两种后处理策略对fcn分割图进行细化，对细化后的分割图进行矢量化和多边形化。且提出一种由粗调整和细调整组成的多边形正则化算法
[19]
，将初始多边形转换为结构化足迹。该多边形正则化算法在不同建筑风格、图像分辨率甚至低质量分割的挑战性情况下具有鲁棒性。文献[2]对粗提取并预处理后的建筑物边界采用harris算子进行角点检测、排序，然后通过算法对其进行规则化边界拟合处理得到接近建筑物实际边界的规则化边界。该方法的边界拟合效果较为依赖建筑物边界角点检测结果，且规则化后的结果会出
现较多的边缘毛刺突起。手动绘制建筑轮廓方法是使用arcgis对导入的建筑物轮廓提取的初始影像进行描点连线绘制，以起点为绘制点，直线连接轮廓形状的各个转折点，最后得到趋近于建筑物轮廓真值的结果，虽然该方法规则化的建筑物轮廓结果趋近于建筑物轮廓真实值，但由于手动绘制的限制性因素，该方法仅局限于对局部建筑物轮廓的规则化，不能应用于大范围的轮廓规则化，没有实际应用性。本发明方法利用基于frechet距离的最小面积外接矩形和对遗漏和缺失的建筑物局部轮廓信息就行了较好的还原和补充，该方法规则化结果趋近于手动绘制的结果，优于文献[1]方法以及文献[2]方法结果，体现出了本发明方法的有效性和高效性，如图12和图13所示。
[0104]
2.2对比分析
[0105]
为了准确的阐述本发明算法的精确性和高效性，利用二分类评价体系中的完整度(cm)、正确率(cr)、综合值(f1)以及总体精度(0a)，从像素的角度对提取结果进行精度评定。选取图13中建筑物轮廓规则化结果进行论证比较，表2给出三种建筑物轮廓规则化的精度结果，以看到本发明方法相较于其他两类方法，轮廓规则化后精度均有较大提升。本发明方法相较于初始轮廓，综合值和总体精度分别提高了8.18％和13.17％，相较于文献[1]和文献[2]两种优化方法，综合值分别提高了1.43％和3.14％，总体精度分别提高了5.65％和7.77％。
[0106]
表2.不同建筑物轮廓规则化方法精度对比
[0107][0108]
本发明方法利用基于最小面积外接矩形的规整操作有效地还原了缺失的部分，使得轮廓优化结果更接近原始建筑物形状。此外，针对复杂轮廓的局部细节优化问题，本发明方法提取角点后依据角度阈值选取角点，保留了建筑物轮廓的细节部分，使复杂建筑物整体形状更加规整，能有效应用于影像建筑物形状排列复杂、周围地物干扰多的场景。总之，本发明方法深度改善了建筑物结果的规整性，综合值和总体精度均优于初始提取结果，通过与两种轮廓优化参照方法的对比，说明本发明通过递进式规则化，取得了明显的效果，进一步提高了建筑物轮廓的表达精度。
[0109]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应
视为本发明的保护范围。