基于三维遥感影像进行村镇建筑性质自动分类方法及装置与流程

1.本技术涉及图像识别技术领域，特别涉及一种基于三维遥感影像进行村镇建筑性质自动分类方法及装置。


背景技术：

2.现有对于建筑特征信息的采集与处理方式，大概可以分为三种形式：(1)基于田野调查的传统人工方式；(2)基于光谱影像数据(rsi)和雷达数据(激光雷达lidar和合成孔径雷达sar)的传统方式；(3)基于先进工具和算法的数据融合自动化处理方式。人工田野调查是初期最广泛使用的建筑信息采集方式。但是其容易收到气象、地形等不良环境因素制约。采集过程种对人力、物力的需求较高，而且容易出现疏忽。因此后期制图周期长且补充测量需要付出较大代价。光谱影像数据具有易获取、覆盖范围广的特点。但是其常常受到观点变化(viewpoint variation)、遮挡、背景杂波和阴影等因素的影像。雷达数据穿透性好，可以减少植被对建筑物的遮挡，但是其数据量较大再后期处理过程中往往极其复杂。近些年随着计算机技术的发展,尤其是借助深度学习技术，从捕获的图像中识别并自动提取建筑的方法已得到广泛应用。比如，相关技术通过“区域分割、边缘点hough变换、建筑结构图构建”的过程生成建筑物轮廓特征点循环，从而实现正交角落组成的复杂形状建筑物提取。相关技术提出可用于从高分辨率航空图像和lidar数据中提取建筑物的新门控语言分割神经网络，分析门控功能标记单元对粗分类结果的改进的影响。相关技术提出了一种新的全球局部调整密集超分辨率网络(gladsr)，可分配更多的计算资源以保留丰富的细节信息，以用于对于提取建筑的单图像超分辨率。相关技术通过对比传统方式，证明了使用深度学习方法在提取航拍影像中的建筑平面上表现更为优异。相关技术提出了一种名为dabe
‑
net的新u形网络，可以更准确地从遥感图像中提取建筑物图像特征和捕获图像细节和网络信道特征。
3.对建筑进行分类在实际工作中具有重要的应用价值。深度学习由于其强大的自适应学习特性，目前已经在建筑自动分类方面得到广泛应用，主要集中在以下三个方面：(1)基于建筑平面空间特征识别分类。相关技术通过引入图表卷积神经网络(gcnn)架构来分析空间矢量建筑轮廓数据。实验证实，gcnn在识别建筑组团规则和不规则模式方面产生令人满意的结果。使用雷达遥感数据，在对景观土地利用特征的分析后，采用四种机器学习算法将建筑物分为了三类：单户住宅，多户住宅和非住宅建筑并对分类器的性能进行了比较。相关技术采集了800个农村建筑平面图并以此构建数据库，提出了一种新颖的平面图解析框架，将语义神经网络与后处理的房间分割相结合进行自动建筑平面房间属性分类。(2)建筑特征要素识别分类。目前在建筑结构、功能类型、材料、质量等建筑要素分类上有较广泛的应用。例如，针对建筑特征图像结构，相关技术探索了使用卷积神经网络来识别建筑结构的潜力并使用街景图像对一层的砌体建筑物进行分类。相关技术通过运用建筑街景图片训练卷积神经网络，并将其与单体建筑关联形成数据集，从而对建筑功能类型进行分类。相关技术研究了将机器学习技术开发用于共同建筑材料的地面激光扫描仪数据的分类方法。同
时，深度学习可以通过提取关于建筑的文本描述信息从而进行建筑质量分类。相关技术研究探讨了基于新型卷积神经网络的方法，其结合了深度学习方法，以自动对质量投诉中包含的短文本进行分类，呈现的方法使得能够将质量投诉文本中的语义特征捕获并将质量投诉的自动分类为预定义的类别以进行建筑的质量分类。相关技术使用了长期内存(lstm)深入学习方法来根据对关于损坏的文本描述来对建筑物损伤进行分类。
4.综上，现有研究已经能够形成从建筑信息数据获取，特征识别到分类的一套方法。但是，目前研究多聚焦在城市研究领域，而对于与城市建设量差不多的乡村领域则研究不多。农村无街景数据。结合已有研究和实际数据的获得，农村建筑信息的数据来源主要依靠遥感影像、雷达数据、倾斜摄影和人工拍摄。对于实际工作来说，农村建筑的数据获取与模型建构非常不便。这些数据都具有人工处理低效、难以同时识别建筑物的功能、风貌等属性的问题。


技术实现要素：

5.本技术旨在至少在一定程度上解决相关技术中的技术问题之一。
6.本技术提供一种基于三维遥感影像进行村镇建筑性质自动分类方法及装置，以解决相关技术中研究多聚焦在城市研究领域，而对于与城市建设量差不多的乡村领域则研究不多，农村无街景数据，农村建筑的数据获取与模型建构非常不便，且数据都具有人工处理低效、难以同时识别建筑物的功能、风貌等属性的问题。
7.为本技术第一方面实施例提供一种基于三维遥感影像进行村镇建筑性质自动分类方法，包括以下步骤：获取研究区域内建筑的图像数据；根据村镇建筑性质对所述图像数据进行分类及标注，得到标注数据库；根据图像识别算法构建图像识别模型，并通过所述标注数据库对所述图像识别模型进行训练；通过训练后的所述图像识别模型识别待分类区域内的建筑图像，得到所述待分类区域的建筑分类结果。
8.可选地，在本技术的一个实施例中，获取研究区域内建筑的图像数据包括：通过无人机倾斜摄影采集所述研究区域的视频数据，对所述视频数据进行超分辨率重建、三维模型生成以及建筑立面的提取，获取所述研究区域内建筑的图像数据
9.可选地，在本技术的一个实施例中，所述村镇建筑性质，包括：建筑功能，建筑层数，建筑质量，结构体系，建筑风貌，建筑年代以及是否废弃。
10.可选地，在本技术的一个实施例中，还包括：根据所述建筑分类结果对所述图像识别模型的参数进行调整；或通过测试数据对所述图像识别模型进行测试，根据测试结果对所述图像识别网络的参数进行调整。
11.本技术第二方面实施例提供一种基于三维遥感影像进行村镇建筑性质自动分类装置，包括：获取模块，用于获取研究区域内建筑的图像数据；标注模块，用于根据村镇建筑性质对所述图像数据进行分类及标注，得到标注数据库；训练模块，用于根据图像识别算法构建图像识别模型，并通过所述标注数据库对所述图像识别模型进行训练；分类模块，用于通过训练后的所述图像识别模型识别待分类区域内的建筑图像，得到所述待分类区域的建筑分类结果。
12.可选地，在本技术的一个实施例中，所述获取模块，进一步用于通过无人机倾斜摄影采集所述研究区域的视频数据，对所述视频数据进行超分辨率重建、三维模型生成以及
建筑立面的提取，获取所述研究区域内建筑的图像数据。
13.可选地，在本技术的一个实施例中，所述村镇建筑性质包括：建筑功能，建筑层数，建筑质量，结构体系，建筑风貌，建筑年代以及是否废弃。
14.可选地，在本技术的一个实施例中，还包括：调整模块，用于根据所述建筑分类结果对所述图像识别模型的参数进行调整；或通过测试数据对所述图像识别模型进行测试，根据测试结果对所述图像识别网络的参数进行调整。
15.本技术第三方面实施例提供一种电子设备，包括：处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以实现如上述实施例所述的基于三维遥感影像进行村镇建筑性质自动分类方法。
16.本技术第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现行如上述实施例所述的基于三维遥感影像进行村镇建筑性质自动分类方法。
17.本技术实施例的基于三维遥感影像进行村镇建筑性质自动分类方法及装置，获取研究区域内建筑的图像数据；根据村镇建筑性质对图像数据进行分类及标注，得到标注数据库；根据图像识别算法构建图像识别模型，并通过标注数据库对图像识别模型进行训练；通过训练后的图像识别模型识别待分类区域内的建筑图像，得到待分类区域的建筑分类结果。本技术挑选出具有区分度与描述性的七个农村建筑特征，并邀请专业人员进行离散化人工赋值，进而作为机器学习的样本，快速且易于操作的获得村庄整体建筑特征情况，以单体建筑属性表和村庄矢量七个特征平面图形式输出成果，分类效率高，且具有较高的准确性，能够实现对于指定村庄的建筑特征变化监测与识别。
18.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
19.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
20.图1为根据本技术一个实施例的基于三维遥感影像进行村镇建筑性质自动分类方法流程图；
21.图2为根据本技术一个实施例的基于三维遥感影像进行村镇建筑性质自动分类方法工作流程示意图；
22.图3为根据本技术一个实施例的图像识别模型结构示意图；
23.图4为根据本技术一个实施例的建筑分类结果示意图；
24.图5为根据本技术一个实施例的基于三维遥感影像进行村镇建筑性质自动分类装置结构示意图；
25.图6为申请实施例提供的电子设备的结构示意图。
具体实施方式
26.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附
图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
27.下面参照附图描述根据本技术实施例提出的基于三维遥感影像进行村镇建筑性质自动分类方法及装置。
28.首先将参照附图描述根据本技术实施例提出的基于三维遥感影像进行村镇建筑性质自动分类方法。
29.如图1和图2所示，该基于三维遥感影像进行村镇建筑性质自动分类方法包括以下步骤：
30.在步骤s101中，获取研究区域内建筑的图像数据。
31.本技术的实施例能够针对农村建筑监测的便捷省时地、易于操作的工作流程，在工作流程的设计中还考虑到建筑环境在农村与城市中的地区差异。首先是获取研究区域内建筑的图像数据，研究区域可以为农村地区。
32.可选地，在本技术的一个实施例中，获取研究区域内建筑的图像数据包括：通过无人机倾斜摄影采集研究区域的视频数据，对视频数据进行超分辨率重建、三维模型生成以及建筑立面的提取，获取研究区域内建筑的图像数据。
33.具体地，可以采取无人机倾斜摄影，获取研究区域原始数据。无人机采集具有灵活、高效、人工成本较低的优点。在本技术实施例中，对中国天津蓟州区四个村子(大巨各庄、小穿芳峪、西果园、桃花寺)进行了航测图像，航测区域面积为8.7平方公里，分辨率精度小于10cm。对于获取的航拍数据，对航拍图像进行超分辨率重建、三维模型生成和建筑立面图的提取工作。
34.在步骤s102中，根据村镇建筑性质对图像数据进行分类及标注，得到标注数据库。
35.可选地，在本技术的实施例中，村镇建筑性质，包括：建筑功能，建筑层数，建筑质量，结构体系，建筑风貌，建筑年代以及是否废弃。
36.对于建筑的认知层面，普遍上可以分为描述性、历史性、感知性以及理性认知四个层面。参考建筑学领域经典文献对于建筑特征要素的分类以及乡村发展的需要，本技术重点对农村建筑如下七个特征进行分析：建筑功能，建筑层数，建筑质量，结构体系，建筑风貌，建筑年代以及是否废弃。关于本文中选取的建筑特征指标及对应的取值标准及释义见表1。
37.表1标准化标注说明
[0038][0039][0040]
根据乡村建筑特征评价指标(表1)在数据预处理步骤中，对每一组建筑单体进行编号，邀请三组专业人员，对其进行统一培训后，根据表1，分别对建筑质量各项指标进行人工离散变量标注。为了降低不确定性，保证每位专家仅标注一类建筑特征的所有图片，并由其余专家进行交叉检查。对于标注不相同的图片经由讨论达成一致，最终得到标注训练库。
[0041]
在步骤s103中，根据图像识别算法构建图像识别模型，并通过标注数据库对图像识别模型进行训练。
[0042]
构建模型——对比评价优选最佳模型：考虑到样本量和乡村建筑数据特征，本技术选取了四种在现今图像分类比赛中效果表现较好的几种网络结构：resnet50、resnet101、xception和efficientnet_b7，如图3所示(从左到右依次为xception，resnet50，resnet101，efficientnet)。这些模型在处理大规模图像识别分类方面表现突出，例如：resnet它解决了增加传统cnn为解决由于网络深度过大产生的梯度消失而导致的退化问题，通过构建卷积层块之间的恒等映射，在不断扩展网络深度情况下解决了信息的
丢失和损耗。此实验中，选择了resnet网络下的具有不同深度的resnet50和resnet101进行测试。xception和inception的网络结构具有相同的关注点：相比于resnet加深网络结构，通过加宽网络结构而在不增加计算成本的前提下扩展神经网络。xception比inception更进步了：将跨通道的相关性和空间相关性完全分离而不进行联合映射。并且也取得了很好的效果。efficentnet模型提出了一种新的模型缩放方法，区别于传统方法的任意缩放网络维度，它基于神经网络搜索技术可以获得最优的一组参数。efficentnet拥有一个高效的复合系数从网络深度，宽度和输入图像分辨率三个维度放大网络。通过迁移学习，efficientnets在多个知名数据集上均达到了当时最先进的水平。
[0043]
由于在乡村尺度下，一层建筑过多，居住用房过多等原因造成的样本不均匀性，使得采集到的数据往往是不平衡的。因此，本技术对选取的cnn架构进行优化处理。
[0044]
在损失函数设计上，采用了focal loss函数，其通过focal loss从样本难易分类角度出发，解决样本非平衡造成的模型性能问题，对简单样本有较大的惩罚度，可以达到集中去优化难例和少例子样本的效果。
[0045]
在数据组织上，采用欠采样的方法。通过聚类选取综述最多的一簇并随机丢掉该簇一部分数据。对于少样本数据在每个batch中采取抽取再放回的策略，保证在每个batch中数据的均衡性。
[0046]
在本技术中选择了acc、recall、f1评估了泛化性和实际应用两种场景下的cnn架构自动识别分类的精度。为了确保所报告模型的稳定性，采用常用做法，将数据集随机拆分为三个部分：训练(60％)、验证(20％)和测试(20％)。以分层的形式进行拆分，以便在所有拆分中都能保持类别比例，每个数据分布具有从原始数据集中随机生成的不同训练、验证、测试子集。
[0047]
最终得出模型优选的结果(见表2)，从而挑选出最适宜的模型架构为resnet 50。
[0048]
表2四个模型架构在七个建筑特征分类上的性能表现
[0049][0050]
注：表中加粗表示四个模型中性能最优者。
[0051]
在步骤s104中，通过训练后的图像识别模型识别待分类区域内的建筑图像，得到待分类区域的建筑分类结果。
[0052]
对上述建立的模型训练完之后，对单一行政村进行自动识别分类验证。
[0053]
基于实际乡村建筑评估与监测等工作应用场景的需要，选取数据集中的单一行政村落(大巨各庄)样本作为测试对象，其他三个村落样本作为训练。最后评估优选出的模型(resnet 50)的分类准确度和可行性。该场景是作为实际工作场景的模拟，在实践中更加具有实用性。对大巨各庄的实例测试accuracy结果如图4所示。每项指标均达到了0.8以上，说明resnet 50对于具体行政村的预测结果是表现优异的。本文仅展示了最为直观和最有现实意义的accuracy结果。
[0054]
运用arcgis软件将模型分类结果自动输出成实际需要的平面图纸。通过对于建筑矢量轮廓与模型预测结果的空间对位，分别输出7组建筑特征平面图，如图4所示。
[0055]
可选地，在本技术的实施例中，基于三维遥感影像进行村镇建筑性质自动分类方
法还包括：根据建筑分类结果对图像识别模型的参数进行调整；或通过测试数据对图像识别模型进行测试，根据测试结果对图像识别网络的参数进行调整。
[0056]
为了使模型分类效果更佳，不断对图像识别模型进行优化。
[0057]
本技术提出的工作流程能够大大的缩短农村住房调查所需时间，且易于操作。以天津蓟州区941个村子为例，平均每个村子建筑数量为200个。传统的田野调查方式中，根据经验，每个调查员每天平均能调查80个建筑。十人组成的传统调研团队需要235天才能完成研究区内数据样本的采集工作。而由两个人组成的无人机影像采集团队每天平均能完成8个村子数据收集。十人组成的采用本文中方法的调研团队仅需24天即可完成全部信息采集工作。仅在数据采集方面就能减少10倍的时间。后期的数据处理本文的方法同样能大大减少工作时间。
[0058]
本技术的方法可以快速的得到对一个村子整体情况的评估，也可以聚焦于单一属性的评价上。通过本方法，可以有助于相关部分对于区域内村庄的整体情况有宏观的了解，并且可以作为后续深入调研的工作开展的依据。而且，在某些研究中，需要对某一个单一属性进行调查。可是即便是只研究房屋废弃与否这一个单一建筑特征，传统方法也需要调查人员对每一个建筑进行评估。因此本文的方法也可以大大提高专类调查的效率。
[0059]
通过标准化的数据处理流程，本技术可以方便在不同地区的推广，也可以满足同一地区的数据迭代更新需求。本文通过运用标注训练库进行的模型优选，选出了对于华北地区农村建筑最为适合与鲁棒的模型架构resnet 50。由于在实际工作中更多的是实际需求是将调研的情况与平面图纸相对应，因此在最后展示了模型输出结果与arcgis地理信息平台是如何合作来完成图纸输出的。构建了对于农村建筑特征采集从前期数据的收集到最后输出的完整工作流程，而且工作流程均可以根据所研究区域进行调整和标准化操作。运用本工作流程能够极大的提高农村建筑的调查工作效率，并可以辅助相关政策的制定与精准实施。
[0060]
根据本技术实施例提出的基于三维遥感影像进行村镇建筑性质自动分类方法，获取研究区域内建筑的图像数据；根据村镇建筑性质对图像数据进行分类及标注，得到标注数据库；根据图像识别算法构建图像识别模型，并通过标注数据库对图像识别模型进行训练；通过训练后的图像识别模型识别待分类区域内的建筑图像，得到待分类区域的建筑分类结果。本技术挑选出具有区分度与描述性的七个农村建筑特征，并邀请专业人员进行离散化人工赋值，进而作为机器学习的样本，快速且易于操作的获得村庄整体建筑特征情况，以单体建筑属性表和村庄矢量七个特征平面图形式输出成果，分类效率高，且具有较高的准确性，能够实现对于指定村庄的建筑特征变化监测与识别。
[0061]
其次参照附图描述根据本技术实施例提出的基于三维遥感影像进行村镇建筑性质自动分类装置。
[0062]
图5为根据本技术一个实施例的基于三维遥感影像进行村镇建筑性质自动分类装置结构示意图。
[0063]
如图5所示，该基于三维遥感影像进行村镇建筑性质自动分类装置包括：获取模块100、标注模块200、训练模块300和分类模块400。
[0064]
其中，获取模块100，用于获取研究区域内建筑的图像数据。标注模块200，用于根据村镇建筑性质对图像数据进行分类及标注，得到标注数据库。训练模块300，用于根据图
像识别算法构建图像识别模型，并通过标注数据库对图像识别模型进行训练。分类模块400，用于通过训练后的图像识别模型识别待分类区域内的建筑图像，得到待分类区域的建筑分类结果。
[0065]
可选地，在本技术的一个实施例中，获取模块100进一步用于通过无人机倾斜摄影采集研究区域的视频数据，对视频数据进行超分辨率重建、三维模型生成以及建筑立面的提取，获取研究区域内建筑的图像数据。
[0066]
可选地，在本技术的一个实施例中，村镇建筑性质包括：建筑功能，建筑层数，建筑质量，结构体系，建筑风貌，建筑年代以及是否废弃。
[0067]
可选地，在本技术的一个实施例中，还包括：调整模块，用于根据建筑分类结果对图像识别模型的参数进行调整；或通过测试数据对图像识别模型进行测试，根据测试结果对图像识别网络的参数进行调整。
[0068]
需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
[0069]
根据本技术实施例提出的基于三维遥感影像进行村镇建筑性质自动分类装置，获取研究区域内建筑的图像数据；根据村镇建筑性质对图像数据进行分类及标注，得到标注数据库；根据图像识别算法构建图像识别模型，并通过标注数据库对图像识别模型进行训练；通过训练后的图像识别模型识别待分类区域内的建筑图像，得到待分类区域的建筑分类结果。本技术挑选出具有区分度与描述性的七个农村建筑特征，并邀请专业人员进行离散化人工赋值，进而作为机器学习的样本，快速且易于操作的获得村庄整体建筑特征情况，以单体建筑属性表和村庄矢量七个特征平面图形式输出成果，分类效率高，且具有较高的准确性，能够实现对于指定村庄的建筑特征变化监测与识别。
[0070]
通过为了实现上述实施例，本技术还提出一种计电子设备，包括：处理器和存储器。其中，处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现如前述实施例的基于三维遥感影像进行村镇建筑性质自动分类方法。
[0071]
图6为本技术实施例提供的电子设备的结构示意图。该电子设备可以包括该电子设备可以包括：存储器601、处理器602及存储在存储器601上并可在处理器602上运行的计算机程序。
[0072]
处理器602执行程序时实现上述实施例中提供的锂电池的基于三维遥感影像进行村镇建筑性质自动分类方法。
[0073]
进一步地，计算机设备还包括：
[0074]
通信接口603，用于存储器601和处理器602之间的通信。
[0075]
存储器601，用于存放可在处理器602上运行的计算机程序。
[0076]
存储器601可能包含高速ram存储器，也可能还包括非易失性存储器(non
‑
volatile memory)，例如至少一个磁盘存储器。
[0077]
如果存储器601、处理器602和通信接口603独立实现，则通信接口603、存储器601和处理器602可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(industry standard architecture，简称为isa)总线、外部设备互连(peripheral component，简称为pci)总线或扩展工业标准体系结构(extended industry standard architecture，简称为eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便
于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0078]
可选的，在具体实现上，如果存储器601、处理器602及通信接口603，集成在一块芯片上实现，则存储器601、处理器602及通信接口603可以通过内部接口完成相互间的通信。
[0079]
处理器602可能是一个中央处理器(central processing unit，简称为cpu)，或者是特定集成电路(application specific integrated circuit，简称为asic)，或者是被配置成实施本技术实施例的一个或多个集成电路。
[0080]
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如上的基于三维遥感影像进行村镇建筑性质自动分类方法。
[0081]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0082]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0083]
尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。