一种自动生成户型结构的方法及系统与流程

1.本发明涉及家具图像识别技术领域，尤其涉及一种自动生成户型结构的方法及系统。


背景技术：

2.目前家居设计师进行家装方案设计，必须先到现场进行房间尺寸测量，得到房屋的数据，再通过计算机辅助设计软件将房屋的数据进行整合处理，从而进而房屋墙体和门窗绘制，最终得到完整的户型设计图。在整个过程中，由于受到测量的误差和设计师软件使用的熟练程度等因素的影响，设计师绘制户型图的精度和效率参差不齐，时间成本高，效果难于得到保证，不利于提高生产效率，如何快速精确地绘制户型图是设计师亟需解决的问题。


技术实现要素：

3.本发明的目的在于提出一种自动生成户型结构的方法及系统，通过自动生成户型结构，节省户型绘制时间，减少人为因素产生的误差。
4.为达此目的，本发明采用以下技术方案：一种自动生成户型结构的方法，包括下述步骤：
5.预处理墙体图像：对需要识别的楼书图片进行预处理，获得第一墙体图像；
6.识别门窗结构：对需要识别的楼书图片的门窗结构进行检测和识别，获得门窗结构集合；
7.扫描检测连通域：对第一墙体图像进行检测和扫描，去除面积小的连通域，获得第二墙体图像；
8.图像细化处理：将第二墙体图像转换成墙体中心线表示，去除第二墙体图像的冗余信息；
9.矫正墙体中心线：对墙体中心线在水平方向和垂直方向进行矫正，得到墙体集合；
10.结合门窗结构和墙体图像：将门窗结构集合添加到在墙体集合中，完成门窗和墙体结构的识别描述；
11.房间信息补充：对门窗结构和墙体图像进行补充，查找封闭区域作为房间，生产房间信息集合；
12.比例尺换算：采用数字识别或根据门窗结构集合换算获得比例尺信息；
13.组装户型结构文件：结合墙体集合、门窗结构集合和房间信息集合生成户型结构文件。
14.优选的，在所述预处理墙体图像的步骤中，具体包括：需要识别的楼书图片通过双边滤波器完成图像去噪，对去噪的图像进行拉普拉斯锐化，并通过自适应阈值图像二值化操作预处理，得到第一墙体图像。
15.优选的，还包括：对第一墙体图像的图像进行膨胀处理，然后进行腐蚀的图像闭操
作。
16.优选的，在所述识别门窗结构的步骤中，具体包括对需要识别的楼书图片利用目标检测网络的fasterrcnn目标检测模型，进行门窗结构目标检测，通过fasterrcnn用标注门窗的楼书图片进行网络训练，使用resnet50进行特征提取，再用rpn网络生成候选框，得到分类目标前景和位置信息，再对候选框进行回归分类得到更精确的候选框，从而得到检测的门窗结构集合e。
17.优选的，在所述扫描检测连通域的步骤中，具体包括对预处理和平滑处理的第一墙体图像进行邻域的连通域检测，采用第一次扫描和第二次扫描模式，完成两次扫描后，将图像具有相同标记值的像素组成同一连通区域。
18.优选的，在所述图像细化处理的步骤中，具体包括对第二墙体图像进行zhangsuen图像细化处理，第二墙体图像细化处理包括循环所有的墙体像素，删除满足预设的第一条件的像素点，循环所有的墙体像素，删除满足预设的第二条件的像素点，将第二墙体图像转换成墙体中心线表示。
19.优选的，在所述矫正墙体中心线的步骤中，具体包括：
20.将带有墙体中心线的第二墙体图像在水平和垂直方向进行投影，得到墙体中心线的水平和垂直方向的分布直方图；
21.对墙体中心水平方向和垂直方向的分布直方图分别提取水平峰值点集合和垂直峰值点集合；
22.对墙体中心线的像素分别在水平垂直峰值点集合上进行投影矫正；
23.测量墙体中心线与其对应所在的墙体连通区域边界的距离，得到墙体的墙厚值，由此得到墙体集合。
24.优选的，在所述结合门窗结构和墙体图像的步骤中，具体包括：将门窗结构集合绘制在矫正后的墙体中心线的第二墙体图像上，门窗结构的包络框与墙体中心点存在交点时，补充墙体中心线段，并将墙体中心线段标记为门窗结构添加至墙体集合中，完成门窗和墙体结构的识别描述。
25.优选的，在所述房间信息补充的步骤中，具体包括：对门窗和墙体结构的图像进行补充，查找封闭区域作为房间，生产房间信息集合；
26.采取ocr模型和其中一个房间布置预测模型相结合的方式进行补充，对门窗结构和墙体图像，查找封闭区域作为房间，通过ocr模型进行识别提取，根据生成房间区域补充房间类型信息。
27.一种自动生成户型结构的系统，采用上述的自动生成户型结构的方法。
28.本发明的一个技术方案的有益效果：为了解决设计师绘制户型图精确性提升和时间成本的降低，本技术通过自动生成的户型结构，包含了每个房间的组成墙体以及房间门窗结构，房间类型信息。户型结构的准确快速描述，不但节省了设计师在户型绘制的时间，让设计师更多精力放在室内设计，而且能减少设计师绘制户型出现的人工误差，让户型结构绘制更为规范统一。自动生成户型结构能更准确便捷到转换为三维户型模型，提供更直观准确的设计效果。
附图说明
29.图1是本发明一个实施例的步骤示意图；
30.图2是本发明一个实施例的流程示意图。
具体实施方式
31.下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
32.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
33.在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
34.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
35.参阅图1和图2所示，一种自动生成户型结构的方法，包括下述步骤：
36.预处理墙体图像：对需要识别的楼书图片进行预处理，获得第一墙体图像；
37.识别门窗结构：对需要识别的楼书图片的门窗结构进行检测和识别，获得门窗结构集合；
38.扫描检测连通域：对第一墙体图像进行检测和扫描，去除面积小的连通域，获得第二墙体图像；
39.图像细化处理：将第二墙体图像转换成墙体中心线表示，去除第二墙体图像的冗余信息；
40.矫正墙体中心线：对墙体中心线在水平方向和垂直方向进行矫正，得到墙体集合；
41.结合门窗结构和墙体图像：将门窗结构集合添加到在墙体集合中，完成门窗和墙体结构的识别描述；
42.房间信息补充：对门窗结构和墙体图像进行补充，查找封闭区域作为房间，生产房间信息集合；
43.比例尺换算：采用数字识别或根据门窗结构集合换算获得比例尺信息；
44.组装户型结构文件：结合墙体集合、门窗结构集合和房间信息集合生成户型结构文件。
45.为了解决设计师绘制户型图精确性提升和时间成本的降低，本技术通过自动生成的户型结构包含了每个房间的组成墙体以及房间门窗结构，房间类型信息。户型结构的准确快速描述，不但节省了设计师在户型绘制的时间，让设计师更多精力放在室内设计，而且能减少设计师绘制户型出现的人工误差，让户型结构绘制更为规范统一。自动生成户型结构能更准确便捷到转换为三维户型模型，提供更直观准确的设计效果。
46.优选的，在所述预处理墙体图像的步骤中，具体包括：需要识别的楼书图片通过双边滤波器完成图像去噪，对去噪的图像进行拉普拉斯锐化，并通过自适应阈值图像二值化操作预处理，得到第一墙体图像。
47.同时，还包括：对第一墙体图像的图像进行膨胀处理，然后进行腐蚀的图像闭操作。
48.双边滤波是非线性的滤波方法，是结合图像的像素值相似度空间邻近度和空间邻近度的一种折中处理，同时考虑灰度相似性和空域信息，达到保边去找的目的，具有简单、非迭代、局部等特点，对边缘的保存效果好，不会出现较明显的模糊边缘。为了强调图像的边缘和细节，对图像进行拉普拉斯锐化，起到图像增强作用，提高对比度，增强墙体的边缘的显示效果。
49.自适应阈值图像二值化操作是根据图像的灰度图均值或灰度直方图进行制动分割，获得适合图像的二值化阈值，去除图像中干扰的数据量，凸显出墙体的轮廓。
50.通过对图像进行膨胀和腐蚀的闭操作，能够使得墙体轮廓平滑，消除部分较小的孔洞缝隙。
51.本实施例中，在所述识别门窗结构的步骤中，具体包括对需要识别的楼书图片利用目标检测网络的fasterrcnn目标检测模型，进行门窗结构目标检测，通过fasterrcnn用标注门窗的楼书图片进行网络训练，使用resnet50进行特征提取，再用rpn网络生成候选框，得到分类目标前景和位置信息，再对候选框进行回归分类得到更精确的候选框，从而得到检测的门窗结构集合e。
52.fasterrcnn直接利用rpn网络来计算候选框，rpn网络，region proposal networks，是区域建议网络。rpn以需要识别的楼书图片作为输入，输出一批矩形区域，每个区域对应一个目标分类目标前景和位置信息。
53.门窗结构集合e包含门窗的类型type，门窗结构在楼书图片的位置loc以及门窗结构的尺寸size；则门窗结构可表示为ei＝{type:n，loc:(x，y)，size:(w，h)}，n为门窗类型唯一编码，x,y为门窗包络框的左上角在图片的坐标，w,h为门窗包络框的长宽；门窗类型有单开门，双开门，平窗，飘窗，转角窗，转角飘窗的一种或多种。
54.具体地，在所述扫描检测连通域的步骤中，具体包括对预处理和平滑处理的第一墙体图像进行邻域的连通域检测，采用第一次扫描和第二次扫描模式，完成两次扫描后，将图像具有相同标记值的像素组成同一连通区域。
55.第一次扫描：访问当前墙体像素w(x,y)，如果w(x,y)＝＝1，如果b(x,y)的领域中像素值都为0，则赋予b(x,y)一个新的标记值label：label ＝1，b(x,y)＝label；如果b(x,y)的领域中有像素值》1的相邻像素：将领域中的最小值赋予给b(x,y)；记录领域中各个标记值(label)之间的相等关系，即这些标记值(label)同属同一个连通区域；labelset[i]＝{label_m,..,label_n}，labelset[i]中的所有label都属于同一个连通区域，label_m为连通区域内的一个起始点，label_n为连通区域内的一个终止点。
[0056]
第二次扫描：访问当前像素b(x,y)，如果b(x,y)》1，找到与label＝b(x,y)同属相等关系的一个最小label值，赋予给b(x,y)。
[0057]
通过第一次扫描和第二次扫描，将图像具有相同标记值的像素组成同一连通区域，能够去除面积小的连通区域，减小对后面户型生成的干扰。
[0058]
本技术中，在所述图像细化处理的步骤中，具体包括对第二墙体图像进行zhangsuen图像细化处理，第二墙体图像细化处理包括循环所有的墙体像素，删除满足预设的第一条件的像素点，循环所有的墙体像素，删除满足预设的第二条件的像素点，将第二墙
体图像转换成墙体中心线表示。
[0059]
在二值图像处理特别是ocr识别与匹配中，都要通过对字符进行细化以便获得图像的骨架，通过zhangsuen细化算法获得图像，作为图像的特征之一，常用来作为识别或者模式匹配。zhangsuen图像细化算法是一个迭代算法，整个迭代过程分为两步：
[0060]
像素点p1的像素位置如下：
[0061]
p9 p2 p3；
[0062]
p8 p1 p4；
[0063]
p7 p6 p5；
[0064]
循环所有的墙体像素p1，删除符合第一条件的像素点：
[0065]
2≤n(p1)≤6；
[0066]
s(p1)＝1；
[0067]
p2*p4*p6＝0；
[0068]
p4*p6*p8＝0；
[0069]
循环所有的墙体像素p1，删除符合第一条件的像素点：
[0070]
2≤n(p1)≤6；
[0071]
s(p1)＝1；
[0072]
p2*p4*p8＝0；
[0073]
p2*p6*p8＝0；
[0074]
其中，p2-p9为墙体像素p1的八个相邻的像素点；n(p1)为墙体像素p1的八个相邻的像素点为墙体像素的次数；s(p1)为墙体像素p1的八个相邻的像素点累计出现0/1的次数，其中0表示背景，1表示墙体像素。
[0075]
采用zhangsuen图像细化处理将墙体图像转换成墙体中心线表示，在保证墙体图像连通性的同时去掉墙体图像冗余信息。
[0076]
优选的，在所述矫正墙体中心线的步骤中，具体包括：
[0077]
将带有墙体中心线的第二墙体图像在水平和垂直方向进行投影，得到墙体中心线的水平和垂直方向的分布直方图；
[0078]
对墙体中心水平方向和垂直方向的分布直方图分别提取水平峰值点集合和垂直峰值点集合；
[0079]
对墙体中心线的像素分别在水平垂直峰值点集合上进行投影矫正；
[0080]
测量墙体中心线与其对应所在的墙体连通区域边界的距离，得到墙体的墙厚值，由此得到墙体集合。
[0081]
一个水平方向峰值x＝100，在x＝100就是将在水平峰值点附近9个像素点向x＝100的直线上投影，将附近像素点集中在峰值方向；完成水平垂直峰值集合投影矫正之后得到正交墙体中心线图像，测量墙体中心线与其对应所在的墙体连通区域边界的距离，得到该段墙体的墙厚值w，由此得到墙体集合w，一段墙体中心线由起始点spt和终止点ept组成，则墙体包含wi＝{spt:(x,y),ept:(x,y),width:w}。墙体细化得到的墙体中心线不是平整的直线，因此需要通过正交矫正的方式对墙体中心线进行矫正。
[0082]
具体地，在所述结合门窗结构和墙体图像的步骤中，具体包括：将门窗结构集合绘制在矫正后的墙体中心线的第二墙体图像上，门窗结构的包络框与墙体中心点存在交点
时，补充墙体中心线段，并将墙体中心线段标记为门窗结构添加至墙体集合中，完成门窗和墙体结构的识别描述。
[0083]
优选的，在所述房间信息补充的步骤中，具体包括：对门窗和墙体结构的图像进行补充，查找封闭区域作为房间，生产房间信息集合；
[0084]
采取ocr模型和其中一个房间布置预测模型相结合的方式进行补充，对门窗结构和墙体图像，查找封闭区域作为房间，通过ocr模型进行识别提取，根据生成房间区域补充房间类型信息。
[0085]
针对户型图中存在明显的房间信息如卧房，客餐厅，厨房，阳台等文字信息，通过ocr模型进行识别提取，对上述生成房间区域补充房间类型信息。而针对没有明显房间文字标注或者标注模糊的情况，我们通过区域内的房间关键布置特征对房间类型进行推断，如卧房的床，客餐厅的餐桌沙发等，实现对该房间区域的房间类型k补充，fi＝{region:[v0,v1,v2,...,vn],type:k}，其中region-房间封闭区域，vi-房间封闭区域轮廓点集，type-房间类型。
[0086]
比例尺换算，比例尺信息采取了两种方式进行获取，其中一种是常见的数字识别；如果楼书图片没有比例尺的话，则通过提取到的门窗结构集合e中，选择单开门与现实中场景的单开门尺寸进行换算得出比例尺信息。
[0087]
将墙体w，门窗e，房间信息f，通过xml来描述组装成可结构化表达的户型结构文件。
[0088]
一种自动生成户型结构的系统，采用上述的自动生成户型结构的方法。
[0089]
在本说明书的描述中，参考术语“实施例”、“示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0090]
以上结合具体实施例描述了本发明的技术原理。这些描述只是为了解释本发明的原理，而不能以任何方式解释为对本发明保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明的其它具体实施方式，这些方式都将落入本发明的保护范围之内。