一种基于FasterRCNN目标检测模型的户型图门窗检测方法与流程

一种基于fasterrcnn目标检测模型的户型图门窗检测方法
技术领域
1.本发明涉及门窗检测技术领域，特别是一种基于fasterrcnn目标检测模型的户型图门窗检测方法。


背景技术：

2.解析门窗的位置、尺寸是解析户型图结构信息中的重要一步。由于门窗影响着户型采光、人员出入，甚至由于其独特的“风水”地位进一步影响着户型的装修布置，同样的户型由于门窗的改变能直接影响着家具的摆放，因此在进行家装设计时，门窗解析的准确性也尤为关键，门窗检测直接影响着户型的解析结果，因此对户型门窗进行精准检测的重要性也不言而喻。
3.现有技术中，传统的户型图解析一般依赖人工手动解析，不仅成本高、且效率低下；而已有的检测算法大都是通过基于手工设计的特征算子进行特征提取，由于户型图的样式多变，门窗也会存在着多样性，特征设计的过程不仅过于依赖先验知识，检测的准确率通常也不会太高。


技术实现要素：

4.针对上述缺陷，本发明提出了一种基于fasterrcnn目标检测模型的户型图门窗检测方法，其目的在于解决传统门窗检测方法检测速度不高、检测精准度不高的问题。
5.为达此目的，本发明采用以下技术方案：
6.一种基于fasterrcnn目标检测模型的户型图门窗检测方法，包括以下步骤：
7.步骤s1：构建门窗检测训练数据集，所述门窗检测训练数据集包括不同类型平面户型图的门窗信息；
8.步骤s2：构建fasterrcnn目标检测模型；
9.步骤s3：训练fasterrcnn目标检测模型；
10.步骤s4：输入待检测的平面户型图至训练好的fasterrcnn目标检测模型进行检测，得到待检测的平面户型图的门窗信息。
11.优选地，在步骤s1中，具体包括：
12.步骤s11：收集不同来源、不同风格、不同样式、不同大小的各类平面户型图；
13.步骤s12：对各类平面户型图中的门窗类型和位置进行标记，通过标记获取每张平面户型图中所有门窗的类型及门窗所在矩形边框的左上点和右下点坐标，所述矩形边框为门窗在平面户型图中的位置；
14.步骤s13：通过计算所述矩形边框的中心点位置得到门窗的中心点位置，计算所述矩形边框的长宽得到门窗的长宽，得到门窗的实际坐标位置。
15.优选地，所述fasterrcnn目标检测模型包括骨干网络、特征金字塔网络、区域建议网络以及感兴趣区域的头部网络。
16.优选地，所述骨干网络用于使用resnet50对平面户型图进行特征提取。
17.优选地，所述特征金字塔网络的结构采用自顶向下结构和横向连接的设计，所述特征金字塔网络用于将所述骨干网络对平面户型图提取的特征进行多尺度融合。
18.优选地，所述区域建议网络用于对提取的目标对象进行分类，当目标对象是前景时，则提取目标对象的特征信息，当目标对象是背景时，则不提取目标对象的特征信息。
19.优选地，所述感兴趣区域的头部网络用于将不同尺寸的前景区域归一化到同一尺寸维度，在同一尺寸维度上对特征进行目标类别分类和边框回归。
20.优选地，步骤s3中，对所有待训练的平面户型图进行数据预处理，包括以下步骤：
21.步骤s31：统一缩放待训练的平面户型图至1333x800分辨率大小，得到新待训练的平面户型图；
22.步骤s32：以0.5的概率左右翻转或上下翻转新待训练的平面户型图；
23.步骤s33：获得所有新待训练的平面户型图，计算所有新待训练的平面户型图rgb三个通道中数据的均值和方差；
24.步骤s34：使用计算的均值和方差归一化所有新待训练的平面户型图图像，其中，归一化的公式为：
[0025][0026]
其中，img_norm为归一化后的图像，img为归一化前的图像，img_mean为图像的均值，img_std为图像的方差。
[0027]
优选地，步骤s4中，在得到待检测的平面户型图的门窗信息的过程中，具体包括以下步骤：
[0028]
步骤s41：记录待检测的平面户型图的原始分辨率尺寸；
[0029]
步骤s42：将待检测的平面户型图缩放成待训练的平面户型图的尺寸，并将缩放后的待检测的平面户型图按训练时的平面户型图计算后的均值和方差进行归一化处理；
[0030]
步骤s43：将处理完毕的平面户型图输入训练好的fasterrcnn目标检测模型，得到预测的门窗信息；
[0031]
步骤s44：对预测的门窗信息进行极大值抑制，得到去重后的门窗信息；
[0032]
步骤s45：将去重后的门窗所在的矩形边框按照待检测的平面户型图的原始分辨率尺寸等比例缩放，得到缩放后门窗所在的矩形边框的坐标信息。
[0033]
更优地，在步骤s44中，对预测的门窗信息进行极大值抑制具体是通过两两计算预测类型一致的门窗所在矩形边框间的面积交并比，若面积交并比大于0.5，则两个所述矩形边框预测的结果为同一门窗类型，其中，面积交并比计算公式为：
[0034][0035]
其中iou为交并比，a和b分别指代两个矩形边框在平面户型图图像上的区域面积，a∩b是两个区域的公共部分面积，a∪b是两个区域面积之和减去公共面积。
[0036]
本技术实施例提供的技术方案可以包括以下有益效果：
[0037]
本方案中的门窗检测方法是使用fasterrcnn目标检测模型进行检测，该方法的检测速度高、检测准确程度高，实现了可以对复杂户型图样式的门窗进行更为准确的检测，减少人工绘制和修改的成本。
附图说明
[0038]
图1是一种基于fasterrcnn目标检测模型的户型图门窗检测方法的步骤流程图。
具体实施方式
[0039]
下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0040]
一种基于fasterrcnn目标检测模型的户型图门窗检测方法，包括以下步骤：
[0041]
步骤s1：构建门窗检测训练数据集，所述门窗检测训练数据集包括不同类型平面户型图的门窗信息；
[0042]
步骤s2：构建fasterrcnn目标检测模型；
[0043]
步骤s3：训练fasterrcnn目标检测模型；
[0044]
步骤s4：输入待检测的平面户型图至训练好的fasterrcnn目标检测模型进行检测，得到待检测的平面户型图的门窗信息。
[0045]
现有技术中，传统的户型图解析一般依赖人工手动解析，不仅成本高、且效率低下；而已有的检测算法大都是通过基于手工设计的特征算子进行特征提取，由于户型图的样式多变，门窗也会存在着多样性，特征设计的过程不仅过于依赖先验知识，检测的准确率通常也不会太高。
[0046]
如图1，本方案的一种基于fasterrcnn目标检测模型的户型图门窗检测方法，收集不同来源、风格、样式以及大小的各类型平面户型图，构建门窗检测训练数据集，其中，门窗检测训练数据集中不同类型平面户型图的门窗信息包括门窗的尺寸信息和位置信息。接着是构建和训练fasterrcnn目标检测模型，fasterrcnn是目标检测算法，本实施例中的fasterrcnn目标检测模型是针对门窗检测任务定制的。最后将待检测的平面户型图输入训练好的fasterrcnn目标检测模型进行检测，得到待检测的平面户型图的门窗信息，其中，待检测的平面户型图的门窗信息包括门窗的类型信息和门窗所在矩形边框的位置信息。由于本方案中的门窗检测方法是使用fasterrcnn目标检测模型进行检测，该方法的检测速度高、检测准确程度高，实现了可以对复杂户型图样式的门窗进行更为准确的检测，减少人工绘制和修改的成本。
[0047]
优选的，在步骤s1中，具体包括：
[0048]
步骤s11：收集不同来源、不同风格、不同样式、不同大小的各类平面户型图；
[0049]
步骤s12：对各类平面户型图中的门窗类型和位置进行标记，通过标记获取每张平面户型图中所有门窗的类型及门窗所在矩形边框的左上点和右下点坐标，所述矩形边框为门窗在平面户型图中的位置；
[0050]
步骤s13：通过计算所述矩形边框的中心点位置得到门窗的中心点位置，计算所述矩形边框的长宽得到门窗的长宽，得到门窗的实际坐标位置。
[0051]
本实施例中，通过使用开源软件labelimg或者其他带边框标注功能的软件，人工手动标记平面户型图中门窗的类型和位置。具体的，在平面户型图中找到门窗的位置，把门窗用矩形边框框出来，将矩形边框设置成对应门窗的类型，其中，门窗的类型分为单开门、双开门、推拉门、平窗、飘窗、转角窗以及转角飘窗。门窗的位置通过门窗所在矩形边框的左
上点和右下点的坐标，计算所在矩形边框的中心点位置得到门窗的中心点位置，计算所在矩形边框的长宽得到门窗的长宽。
[0052]
优选的，所述fasterrcnn目标检测模型包括骨干网络、特征金字塔网络、区域建议网络以及感兴趣区域的头部网络。
[0053]
本实施例中，输入的待检测平面户型图依次经过fasterrcnn目标检测模型的骨干网络、特征金字塔网络、区域建议网络和感兴趣区域的头部网络，最终得到待检测平面户型图中门窗的类别信息和门窗所在矩形边框的位置信息。
[0054]
优选的，所述骨干网络用于使用resnet50对平面户型图进行特征提取。
[0055]
具体地，resnet是一个网络模型，resnet网络模型接收图像输入，经过一系列的卷积层、归一化层、激活层、池化层和跨连接层后，得到图像的高维编码特征，resnet50则是包含50层卷积层的resnet网络模型。
[0056]
现有技术中，fasterrcnn目标检测模型一般采用vgg作为骨干网络进行特征提取，最深的vgg19也只包含16层卷积层，再深层数的vgg则难以训练了，resnet网络模型由于跨连接层的引入，网络即使再深梯度也能回传到浅层，因此不存在难以训练的问题。resnet50的网络结构相较于vgg的网络结构层数更深，同时resnet50的下采样次数也多于vgg网络，因此resnet50作为骨干网络，能提取到更为丰富的图像特征，更加有利于后续的目标检测任务。
[0057]
优选的，所述特征金字塔网络的结构采用自顶向下结构和横向连接的设计，所述特征金字塔网络用于将所述骨干网络对平面户型图提取的特征进行多尺度融合。
[0058]
具体地，特征金字塔网络是为了自然地利用卷积神经网络层级特征的金字塔形式，同时生成在所有尺度上都具有强语义信息的特征金字塔。特征金字塔网络的结构分为自顶向下结构和横向连接，以此融合具有高分辨率的浅层特征和具有丰富语义信息的深层特征，这样就实现了从单尺度的单张输入图像，快速构建在所有尺度上都具有强语义信息的特征金字塔，同时不产生明显的代价。在所述骨干网络对平面户型图进行特征提取后，所述特征金字塔对提取后的特征进行多尺度融合，多尺度融合具体是指选择图像多层的特征进行融合，再进行检测。由于多层的特征相比于单层的特征，拥有更丰富的特征信息，更有利于检测小尺寸的门窗对象。
[0059]
优选的，所述区域建议网络用于对提取的目标对象进行分类，当目标对象是前景时，则提取目标对象的特征信息，当目标对象是背景时，则不提取目标对象的特征信息。
[0060]
具体地，前景是指门窗物体类别，背景是指非门窗物体类别。当提取的目标对象是门窗时，则将其特征信息提取出来；当提取的目标对象是非门窗的物体时，则不需要将其特征信息提取出来，其中，特征信息包括位置信息和尺寸信息。
[0061]
优选的，所述感兴趣区域的头部网络用于将不同尺寸的前景区域归一化到同一尺寸维度，在同一尺寸维度上对特征进行目标类别分类和边框回归。
[0062]
具体地，感兴趣区域头网络通过感兴趣区域池化将提取到的不同尺寸的前景区域归一化到同一尺寸维度，然后在同一尺寸维度上对特征进行目标类别分类和边框回归，从而得到门窗类别和坐标信息。
[0063]
优选的，步骤s3中，对所有待训练的平面户型图进行数据预处理，包括以下步骤：
[0064]
步骤s31：统一缩放待训练的平面户型图至1333x800分辨率大小，得到新待训练的
平面户型图；
[0065]
步骤s32：以0.5的概率左右翻转或上下翻转新待训练的平面户型图；
[0066]
步骤s33：获得所有新待训练的平面户型图，计算所有新待训练的平面户型图rgb三个通道中数据的均值和方差；
[0067]
步骤s34：使用计算的均值和方差归一化所有新待训练的平面户型图图像，其中，归一化的公式为：
[0068][0069]
其中，img_norm为归一化后的图像，img为归一化前的图像，img_mean为图像的均值，img_std为图像的方差。
[0070]
具体地，将待训练的平面户型图同一缩放至1333x800分辨率大小，为了方便后续待训练的平面户型图在检测模型中训练。进一步说明，采用1333x800分辨率大小是基于统计训练数据，在1333x800的分辨率大小下，能够看清平面户型图上的门窗，满足大部分的检测要求，而太大的分辨率会增加计算时间，太低的分辨率会看不清门窗，影响检测的精度。
[0071]
将新待训练的平面户型图以0.5的概率进行左右翻转或上下翻转，目的是有利于增强训练数据。
[0072]
新待训练的平面户型图图像是由红绿蓝(rgb)三个通道的图像组成，每个通道的图像表示一个矩阵，将矩阵中的数据取出来计算其均值和方差。
[0073]
使用计算的均值和方差对所有新待训练的平面户型图进行归一化，归一化的目的是使训练数据服从均值是0，方差是1的分布，其中，归一化的公式为：
[0074][0075]
其中，img_norm为归一化后的图像，img为归一化前的图像，img_mean为图像的均值，img_std为图像的方差。
[0076]
将预处理之后待训练的平面户型图的数据输入至fasterrcnn目标检测模型进行训练，训练至收敛时的模型即为针对门窗检测的fasterrcnn目标检测模型。其中，从训练集中选择少量数据作为验证数据，验证数据不参与训练，当训练模型在训练数据集和验证数据集上的损失函数下降至平缓且相仿时即认为是模型达到收敛。
[0077]
优选的，步骤s4中，在得到待检测的平面户型图的门窗信息的过程中，具体包括以下步骤：
[0078]
步骤s41：记录待检测的平面户型图的原始分辨率尺寸；
[0079]
步骤s42：将待检测的平面户型图缩放成待训练的平面户型图的尺寸，并将缩放后的待检测的平面户型图按训练时的平面户型图计算后的均值和方差进行归一化处理；
[0080]
步骤s43：将处理完毕的平面户型图输入训练好的fasterrcnn目标检测模型，得到预测的门窗信息；
[0081]
步骤s44：对预测的门窗信息进行极大值抑制，得到去重后的门窗信息；
[0082]
步骤s45：将去重后的门窗所在的矩形边框按照待检测的平面户型图的原始分辨率尺寸等比例缩放，得到缩放后门窗所在的矩形边框的坐标信息。
[0083]
有益效果：具体地，预测的门窗信息包括门窗的类型信息和位置信息，位置信息具
体是指门窗所在矩形边框的坐标信息。
[0084]
对预测的门窗信息进行极大值抑制，得到去重后的门窗信息，最后将去重后的门窗所在的矩形边框按照待检测的平面户型图的原始分辨率尺寸等比例缩放，缩放后的门窗所在的矩形边框的坐标信息即为最终检测完毕的门窗信息。
[0085]
更优的，在步骤s44中，对预测的门窗信息进行极大值抑制具体是通过两两计算预测类型一致的门窗所在矩形边框间的面积交并比，若面积交并比大于0.5，则两个所述矩形边框预测的结果为同一门窗类型，其中，面积交并比计算公式为：
[0086][0087]
其中iou为交并比，a和b分别指代两个矩形边框在平面户型图图像上的区域面积，a∩b是两个区域的公共部分面积，a∪b是两个区域面积之和减去公共面积。
[0088]
具体地，对预测的门窗信息进行极大值抑制，由于目标检测模型检测出来的门窗所在的矩形边框往往是堆叠在一起的，因此需要从堆叠的矩形边框中选取最优的矩形边框，而选取最优的矩形边框是通过两两计算预测类型一致的矩形边框间的面积交并比。
[0089]
交并比计算公式为：
[0090][0091]
其中iou为交并比，a和b分别指代两个矩形边框在平面户型图图像上的区域面积，a∩b是两个区域的公共部分面积，a∪b是两个区域面积之和减去公共面积。
[0092]
当交并比大于设定的阈值0.5时，即认为两个矩形边框预测的结果为同一物体，两个矩形边框预测结果只保留类别置信度最高的结果。其中，经过非极大值抑制之后得到的门窗信息即为去重后的门窗信息。
[0093]
此外，在本发明的各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0094]
尽管上面已经示出和描述了本发明的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施实施进行变化、修改、替换和变型。