一种古城城垛自动提取方法

1.本发明属于计算机视觉技术领域，具体涉及一种古城城垛自动提取方法。


背景技术：

2.无人机倾斜摄影测量技术具有数据采集高效、成本低，数据精度高等多方面的优势，常被运用于大型文物建筑数字化中，但倾斜摄影测量生产的三维模型并不具备语义信息，空间相邻的物体间也常常发生粘连，为进一步的数据使用和专家分析带来困难。如何从文物建筑的三维模型中自动化识别和提取兴趣对象，对于文物记录、保护和修复具有重要意义。
3.目前，二维目标检测和实例分割技术已经取得一定进展。相比传统的机器学习方法基于经验人工设计特征，深度学习采用大型神经网络自动提取特征，提高了识别的准确性。受限于数据量和场景复杂性，直接在三维模型上进行识别和提取存在一定难度，实际应用效果并不理想。因此考虑使用二维图像的实例分割结果，指导从三维模型自动提取目标对象，这种方法比直接从三维模型中完成目标提取的难度更小、操作性强，但仍存在两大技术问题：1)如何提高物体边缘分割精度。物体边缘通常被更为复杂混乱的背景所包围，极易发生错误分类；此外，边缘像素数远远少于内部像素数，模型容易被内部像素支配。2)如何从三维物体碎片中提取完整物体。单张影像仅能观测到物体的一部分，将分割结果直接投影到模型上，会形成三维物体碎片，需要将多视角分割结果聚合，才能得到完整的三维目标对象。


技术实现要素：

4.本发明针对现有技术的不足，提供一种古城城垛自动提取方法。通过准确分割图像中物体的边缘，利用连通性和重叠度进行碎片剔除和聚合，实现从三维模型中自动提取古城城垛。
5.为了达到上述目的，本发明提供的技术方案是一种古城城垛自动提取方法，包括以下步骤：
6.步骤1，利用倾斜摄影测量技术生成场景三维模型，利用数据标注工具制作二维图像城垛提取的训练集和测试集，并利用数据增强方法增强训练数据集的多样性；
7.步骤2，利用训练集图像对改进后带有边缘增强模块的mask-rcnn实例分割模型进行训练；
8.步骤3，使用训练好的实例分割模型对测试集中的图像进行实例分割，得到城垛在各测试集图像上的掩膜；
9.步骤4，三维对象提取，包括以下几个步骤：
10.步骤4.1，通过光线求交方法，将步骤3分割得到的掩膜结果投影到三维模型上；
11.步骤4.2，根据连通性剔除由于二维分割结果不准确而产生的噪声碎片；
12.步骤4.3，利用碎片重叠度和碎片的三维包围盒重叠度，对掩膜投影产生的三维模
型碎片进行聚合，最终完成城垛对象的自动提取。
13.而且，所述步骤2中为了提高物体边缘的分割精度，基于经典maskrcnn框架，增加一个边缘增强的拓展模块对掩膜预测分支的损失函数loss
mask
进行改进，通过在训练过程中使用5
×
5sobel算子对标签图像做卷积运算，提取图像梯度，得到像素的权重，然后在掩膜预测分支中使用加权二元交叉熵损失函数，从而赋予边缘像素更大的权重，以加强训练过程中对边缘像素的学习。
14.加权二元交叉熵损失函数计算公式如下：
[0015][0016]
其中：
[0017][0018]
式中，loss
mask
(y,p)表示损失函数，n代表像素总数，yi表示第i个像素的标签值，pi是网络分类分支预测的概率，wi为卷积运算得到的像素权重，为5
×
5sobel算子，ii表示标签图像，
☉
为卷积符号。
[0019]
梯度包含丰富的边缘信息，表明不同位置像素的特征复杂性，边缘增强拓展模块使用梯度值作为像素权重，可以不同程度地加强物体的各区域，从而提高物体的分割的准确性。
[0020]
而且，所述步骤4.2中由于二维分割结果的不准确，导致在真实物体周围存在噪声碎片，这些噪声碎片与物体分离，并且比物体的三角面片数量少；将同一视角下的碎片分为一组，并把所有碎片按照连通性划分，保留每组中拥有最多三角面片的碎片为目标对象，从而剔除噪声碎片。
[0021]
而且，所述步骤4.3.1中定义两个碎片的重叠度为两个碎片中共同的三角面片数与三角面片总数之比，当重叠度大于t1时，将两个碎片视为同一对象进行合并，遍历三维物体同侧的所有碎片执行合并操作，迭代该过程直至没有碎片被合并。
[0022]
而且，所述步骤4.3.2中定义两个碎片的三维包围盒重叠度为两包围盒相交体积与体积和之比，对于城垛墙体两侧的碎片，公共三角面片存在于城垛的顶部，根据碎片的三维坐标生成碎片的三维包围盒，将三维包围盒重叠度大于t2的碎片聚合为一个对象，迭代执行碎片合并操作，直至没有碎片被合并。
[0023]
与现有技术相比，本发明具有如下优点：
[0024]
1)在maskrcnn框架基础上，增加一种边缘增强模块，提高了二维图像分割精度；2)对进行城垛的识别与提取不需要人工干预，节省了人力物力，提高了城垛提取的效率。
附图说明
[0025]
图1为本发明实施例的技术流程图。
[0026]
图2为本发明实施例mask-rcnn网络结构的示意图。
[0027]
图3为本发明实施例改进的mask-rcnn工作流程示意图，其中图3(a)为mask-rcnn的工作流程，图3(b)为增加的边缘增强模块。
[0028]
图4为本发明实施例边缘特征增强示意图，其中图4(a)为标签图像，图4(b)为像素的权重图。
[0029]
图5本发明实施例噪声剔除过程的示意图。
[0030]
图6本发明实施例碎片聚合过程的示意图。
具体实施方式
[0031]
本发明提供一种古城城垛自动提取方法，通过提出一种边缘增强的改进maskrcnn算法，提高2d物体分割精度，并将分割结果投射到三维模型上，获得三维物体碎片，根据连通性剔除由于分割结果不准确而加入的噪声碎片，根据几何位置上的重叠关系聚合来自不同视角的三维物体碎片，建立完整的三维物体。
[0032]
下面结合附图和实施例对本发明的技术方案作进一步说明。
[0033]
如图1所示，本发明实施例的流程包括以下步骤：
[0034]
步骤1，利用倾斜摄影测量技术生成场景三维模型，利用数据标注工具制作二维图像城垛提取的训练集和测试集，并利用数据增强方法增强训练数据集的多样性。
[0035]
步骤2，利用训练集图像对改进后带有边缘增强模块的mask-rcnn实例分割模型进行训练。
[0036]
mask-rcnn是典型的卷积神经网络，其工作流程图如图2所示。首先将待检测的图像经过特征提取网络，进行特征提取；然后经区域建议网络(region proposal network，rpn)生成候选区域，由于生成的候选区域具有高度的重叠，利用非极大值抑制算法(non-maximum suppression，nms)进行抑制；接着对经抑制处理后剩余的候选区域进行roialign池化；最后对候选区域通过softmax分类器进行分类，利用多任务损失边框回归算法得到检测边框的坐标，并利用全卷积分割网络(fully convolutional networks，fcn)生成掩膜(mask)。
[0037]
为了提高物体边缘的分割精度，本发明基于经典maskrcnn框架，增加一个边缘增强的拓展模块对掩膜预测分支的损失函数loss
mask
进行改进，赋予边缘像素更大的权重，以加强训练过程中对边缘像素的学习，改进后的mask-rcnn工作流程图如图3所示。
[0038]
在训练过程中，利用5
×
5sobel算子对标签图像做卷积运算，提取图像梯度，得到像素的权重，然后在掩膜预测分支中使用加权二元交叉熵(binary cross-entropy，bce)损失函数。
[0039]
加权二元交叉熵损失函数计算公式如下：
[0040][0041]
其中：
[0042][0043]
式中，loss
mask
(y,p)表示损失函数，n代表像素总数，yi表示第i个像素的标签值，pi是网络分类分支预测的概率，wi为卷积运算得到的像素权重，为5
×
5sobel算子，ii表示标签图像，
☉
为卷积符号。
[0044]
梯度包含丰富的边缘信息，表明不同位置像素的特征复杂性。边缘增强拓展模块使用梯度值作为像素权重，可以不同程度地加强物体的各区域，从而提高物体的分割的准确性。如图4(b)所示，权重图w的值从物体的边缘开始下降，边缘像素权重大于内部区域像素权重，同时位于尖锐边缘的边缘像素，其权重相对平坦边缘像素的权重要大一些。
[0045]
步骤3，使用训练好的实例分割模型对测试集中的图像进行实例分割，得到城垛在各图像上的掩膜。
[0046]
步骤4，三维对象提取，包括以下几个步骤：
[0047]
步骤4.1，通过光线求交方法，将步骤3分割得到的掩膜结果投影到三维模型上。
[0048]
步骤4.2，根据连通性剔除由于二维分割结果不准确而产生的噪声碎片。
[0049]
单张图像仅能记录物体的部分信息，直接投影会产生来自不同视角的三维物体碎片。并且由于二维分割结果的不准确，在真实物体周围还可能存在一些噪声，这些噪声碎片通常与物体分离，并且比物体的三角面片数量少。因此，将同一视角下的碎片分为一组，并把所有碎片按照连通性划分，保留每组中拥有最多三角面片的碎片为目标对象，从而剔除噪声碎片，得到如图5所示结果。
[0050]
步骤4.3，利用碎片重叠度和碎片的三维包围盒重叠度，对掩膜投影产生的三维模型碎片进行聚合，最终完成城垛对象的自动提取。
[0051]
步骤4.3.1，利用碎片重叠度对同侧三维物体碎片进行聚合。
[0052]
定义两个碎片的重叠度为两个碎片中共同的三角面片数与三角面片总数之比。当重叠度大于0.5时，将两个碎片视为同一对象进行合并。遍历三维物体同侧的所有碎片执行合并操作，迭代该过程直至没有碎片被合并。
[0053]
步骤4.3.2，利用碎片的三维包围盒重叠度对异侧三维物体碎片进行聚合。
[0054]
定义两个碎片的三维包围盒重叠度为两包围盒相交体积与体积和之比，对于城垛墙体两侧的碎片，公共三角面片存在于城垛的顶部，根据碎片的三维坐标生成碎片的三维包围盒，将三维包围盒重叠度大于0.5的碎片聚合为一个对象，迭代执行碎片合并操作，直至没有碎片被合并。
[0055]
具体实施时，以上流程可采用计算机软件技术实现自动运行流程。
[0056]
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。