基于图像识别技术的建筑图纸信息自动提取方法及系统与流程

1.本发明涉及建筑图纸信息的识别技术，特别涉及基于图像识别技术的建筑图纸信息自动提取方法及系统。


背景技术：

2.工业图纸的表格中一般含有文字、字母以及各种符号，且文字、字母以及符号有各种形式的组合。一般情况下，我们将文字、字母以及二者组合部分的内容称为正常区域，将含有符号和上下标记的内容称为非正常区域，在将纸质的工业图纸表格转化为计算机可编辑的表格时，可采用通用文字识别技术和高精度文字识别技术两种方式。
3.202110482907.6中公开了一种工程图纸的图像识别方法，包括：获取工程图纸数据；对所述工程图纸数据进行预处理，得到图像数据；将所述图像数据输入训练模型，得到图像识别结果；其中，所述训练模型为包含多边形训练模型、双平行线训练模型和门窗训练模型的混合模型。并且，将所述图像数据输入训练模型之前，还包括：训练所述多边形训练模型；训练所述双平行线训练模型；训练所述门窗训练模型；在全连接层整合所述多边形训练模型、所述双平行线训练模型和所述门窗训练模型，得到所述训练模型。
4.事实上，该些模型无法穷举，碰到没有训练模型，图像无法识别率很高。


技术实现要素：

5.本发明提供一种识别率更高的基于图像识别技术的建筑图纸信息自动提取方法及对应的系统。
6.一种基于图像识别技术的建筑图纸信息自动提取方法，进一步包括：
7.预先通过人工标注每一建筑图纸模板的匹配锚点和关键词字符区，得到匹配类型模板库的类型匹配模板；
8.当前待识别建筑图纸与每一类型匹配模块的坐标体系对应，等比找到所述待识别建筑图纸相应锚点和对应的关键信息区，所述对应关键信息区进行识别数据提取时，只需确认该些信息是否与类型匹配模板上的信息是否匹配，匹配度最高的为所述建筑图纸对应的相似度最高类型匹配模板；匹配度最进一步为：
9.当前待识别图纸找到关键信息区，分别对每一块进行识别数据提取，与一类型匹配模块对应关键信息区的关键点，匹配计算相似度得到相似度向量，再通过欧几里德距离算法计算向量距离，从而得到相似度，相似度值最高为所述建筑图纸对应的相似度最高类型匹配模板；
10.找到该匹配度最高的类型匹配模板，找到该类型模板下适配的多个构件子匹配模板；
11.对待识别建筑图纸进行轮廓信息提取，每一轮廓信息与所述构件的子匹配模板时进行构件匹配，找到所述待识别建筑图纸的构件信息，或者将构件子匹配模板中的每一构件子匹配模板与待识别建筑图纸的轮廓进行比对由此找到所述待识别建筑图纸的构件信
息；
12.将所述待识别建筑图纸的所述构件信息截取，用ssd算法对所述待识别建筑图纸的所述非构件进行进行识别，并形成所述待识别建筑图纸的数字化信息。
13.与现有技术相比，本发明的图像识别率高，提取的信息更全。
附图说明
14.图1为基于图像识别技术的建筑图纸信息自动提取方法的流程图。
具体实施方式
15.以下结合附图，具体说明本发明。
16.一套完整的建筑图纸，根据其专业内容或作用的不同，一般包括：
17.1、图纸目录:包括每张图纸的名称、内容、图纸编号等，表明该工程图纸由哪几个专业的图纸及哪些图纸所组成，便于检索和查找。
18.2、设计总说明
19.主要说明工程的概况和总的要求。
20.3、建筑施工图:包括总平面图、平面图、立面图、剖面图和构造详图。表示建筑物的内部布置情况，外部形状，以及装修、构造、施工要求等。
21.4、结构施工图:包括结构平面布置图和各构件的结构详图。表示承重结构的布置情况，构件类型，尺寸大小及构造做法。
22.5、设备施工图:包括给水、排水、采暖通风、电气等设备的平面布置图、系统图和详图。表示上下水及暖气管线布置，卫生设备及通风设备等的布置，电气线路的走向和安装要求等。
23.建筑设计图纸按类型来分类，又分为：
24.1、建筑施工图。
25.主要用来表示建筑物的规划位置、外部造型、内部各房间的布置、内外装修构造和施工要求的图件。
26.主要图件有：施工首页图、建筑总平面图、建筑平面图、建筑立面图、建筑剖面图和建筑详图(主要详图有外墙身剖面详图、楼梯详图、门窗详图、厨厕详图)。简称“建施”。
27.2、结构施工图。
28.主要表示建筑物承重结构的结构类型、结构布置，构件种类、数量、大小及作法的图件。
29.主要图件有：结构设计说明、结构平面布置图[基础平面图、柱网平面图、楼层结构平面图及屋顶结构平面图和结构详图(基础断面图楼梯结构施工图、柱、梁等现浇构件的配筋图)]。简称“结施”。
[0030]
3、设备施工图。
[0031]
主要表达建筑物的给排水、暖气通风、供电照明等设备的布置和施工要求的图件。因此设备施工图又分为三类图件：
[0032]
(1)给排水施工图：表示给排水管道的平面布置和空间走向、管道及附件作法和加工安装要求的图件。包括管道平面布置图、管道系统图、管道安装详图和图例及施工说明。
[0033]
(2)采暖通风施工图：主要表示管道平面布置和构造安装要求的图件。包括管道平面布置图、管道系统图、管道安装详图和图例及施工说明。
[0034]
(3)电气施工图：主要表示电气线路走向和安装要求的图件。包括线路平面布置图、线路系统图、线路安装详图和图例及施工说明。简称“设施”。
[0035]
因此，每一种不同类型的图纸其对应的构件和非构件是不同的，本发明将图纸分为类型模板，又在每一类型模板下面建立构件库或称标准库，又通过ssd技术进行非构件的识别或提取。
[0036]
请参阅图1，一种基于图像识别技术的建筑图纸信息自动提取方法，它包括：
[0037]
s110:预先通过人工标注每一建筑图纸模板的匹配锚点和关键词字符区，得到匹配类型模板库的类型匹配模板；
[0038]
待识别建筑图像进行预处理进一步包括倾斜较正、图像二值化、图像去噪在内其中至少一种处理，
[0039]
所述图像去噪进一步包括：通过对比相邻的像素点，判断一个像素点是否是噪点，以目标像素点为中心的九宫格，计算该像素点周围的8个像素点中不是背景点的个数，如果大于给定的界定值，则说明目标点是字符内某个像素点的几率大些，故该点不能作为噪点处理，否则作为噪点处理，所述给定的界定值是通过图片噪点数目、噪点粘连，根据不同场景的表格图像特征，对比找到值。
[0040]
当前待识别建筑图纸与每一类型匹配模块的坐标体系对应，等比找到所述待识别建筑图纸相应锚点和对应的关键信息区，所述对应关键信息区进行识别数据提取时，只需确认该些信息是否与类型匹配模板上的信息是否匹配，匹配度最高的为所述建筑图纸对应的相似度最高类型匹配模板；匹配度最进一步为：
[0041]
当前待识别图纸找到关键信息区，分别对每一块进行识别数据提取，与一类型匹配模块对应关键信息区的关键点，匹配计算相似度得到相似度向量，再通过欧几里德距离算法计算向量距离，从而得到相似度，相似度值最高为所述建筑图纸对应的相似度最高类型匹配模板。
[0042]
匹配计算相似度得到相似度向量，再通过欧几里德距离算法计算向量距离进一步包括：
[0043]
欧几里德距离是指多维空间两点间的距离，这是一种用直尺测量出来的距离，当前待待识别图纸找到关键信息区的信息与模板对应关键信息区的字符分别标记为(x1,x2,x3....xn)和(y1,y2,y3.....yn)，则欧几里德距离的计算公式为：
[0044][0045]
通过一一对待识别关键信息区的字符在内的标识与匹配模板中对应区域的字符在内的标识进行相似度计算，可得到匹配模块对应的相似度，以得到匹配模板库中相似度最高的匹配模块。
[0046]
s120:找到该匹配度最高的类型匹配模板，找到该类型模板下适配的多个构件子匹配模板；
[0047]
对待识别建筑图纸进行轮廓信息提取，每一轮廓信息与所述构件的子匹配模板时
进行构件匹配，找到所述待识别建筑图纸的构件信息，或者将构件子匹配模板中的每一构件子匹配模板与待识别建筑图纸的轮廓进行比对由此找到所述待识别建筑图纸的构件信息。
[0048]
图纸中的轮廓信息提取可以现有的各种算法来实现，在此就不再详细说明。
[0049]
s130:将所述待识别建筑图纸的所述构件信息截取，用ssd算法对所述待识别建筑图纸的所述非构件进行进行识别，并形成所述待识别建筑图纸的数字化信息。
[0050]
用ssd算法对所述待识别建筑图纸的所述非构件进行进行识别，其方法很多种，可以采用专利号为201810685551.4中公开的内容进行非构件的识别，其进一步包括：
[0051]
遍历所有建筑图纸，获得原始图纸文件信息集和图纸文件集g1、g2，同时对g2进行格式转换和图纸预处理，获得预处理后的jpg格式的图纸文件集g3；
[0052]
采用ssd算法对jpg格式的图纸文件集g3进行训练，获得非构件检测模型f，输出建筑图纸非构件信息集g4，具体方法为：
[0053]
(2.1)定义c1、c2分别为单张图纸非构件类别信息集、识别准确率信息集，定义class、scoring分别为单个非构件的类别、识别准确率，c1＝{class1,class2,
…
,classd,
…
,classd}，classd为c1中的第d个类别，其中，d＝card(c1)，c2＝{scoring1,scoring2,
…
,scoringe,
…
,scoringe}，scoringe为c2中的第e个识别准确率，其中，e＝card(c2)；
[0054]
(2.2)定义data为单张非构件数据集，并且满足关系data＝{c1,c2}，定义建筑图纸测试集、训练集为r1、r2，r1、r2赋初值为0，定义循环变量j2用来遍历g3，j2赋初值为0；
[0055]
(2.3)对建筑图纸namea使用标注工具labelimg对门、底层楼梯、中间层楼梯、顶层楼梯、墙壁进行标注，生成与namea同名的xml文件，获得xml文件集r3；(2.4)j2＝j2 1；
[0056]
(2.5)如果j2<a，其中，a为建筑图纸的总数，转到步骤(2.3)，否则转到步骤(2.6)；
[0057]
(2.6)将g3中的建筑图纸和r3中对应的xml文件按照3:7的比例分别放入r1和r2中；
[0058]
(2.7)分别使用xml_to_csv.py和generate_tfrecord.py对r1和r2中的xml文件分别转换为csv格式文件和tfrecord格式文件，分别得到测试数据集r4和训练数据集r5；
[0059]
(2.8)使用ssd算法对r4、r5进行训练，获得非构件识别模型f；
[0060]
(2.9)将所得非构件识别模型f对建筑图纸进行非构件检测，获得建筑图纸非构件信息集g4，其中，g4＝{data1,data2,
…
,dataa,
…
,dataa}，dataa为g4中的第a张图纸的非构件信息集，同时以csv格式导出；
[0061]
步骤(3)等梯度调整衰减学习率decayed_learning_rate，获得最优检测模型集g5；输出最优检测模型集g5。
[0062]
形成所述待识别建筑图纸的数字化信息进一步包括：
[0063]
将所述待识别建筑图纸的坐标化，并所述识别出来的构件与非构件映射在其坐标化下的信息分别进行保存，并保存其每一构件与非构件的属性信息。
[0064]
比如：版面分析表格提取：类脉冲水平投影图实现表格解析分离，定义如下参数：
[0065]
i为工业图纸图片，其中宽高为h*w，j为图像中的特殊字符区域(公差和符号)；若图像满足如下：
[0066]
j(x,y)＝{(x,y)|x∈[w1,w2],y∈[h1,h2]≥nh}
[0067]
则表格的水平方向和垂直方向像素数如下：
[0068][0069]
d表格间角点距离；
[0070]
r为表格中间距的水平像素数；
[0071]
c为表格中间距的垂直像素数。
[0072]
在以上基础上通过连通性计算可以提取除表格中相关坐标点像素值和位置信息。
[0073]
通过以上的方法我们可以将表格中的文字前景和后景分离，如果我们遇到是文字表格是一个大的隔离多行我们采用像素坐标换算获取目标区域是先进行一个网格划分然后根据网格划分的中心点坐标分类，那些网格被确定为一个类型然后综合求解出一个预测值后通过分析损失函数的误差当最小时确定为一个目标，通过以上方法可以获取目标区域。将检测的每个目标划分成固定高度字条这个是为了实现对文字信号的预测专门处理图像矩阵设计，并进行保存。
[0074]
处理后的并所述识别出来的构件与非构件映射在其坐标化下的信息分别进行保存，形成一个完整的识别后数据库
[0075]
一种基于图像识别技术的建筑图纸信息自动提取系统，包括：
[0076]
类型模板库：存储类型模板库；
[0077]
构件子匹配模板：用于存储每一类型模板库对应的子构件模板；
[0078]
识别处理单元：用于找到该匹配度最高的类型匹配模板，找到该类型模板下适配的多个构件子匹配模板；对待识别建筑图纸进行轮廓信息提取，每一轮廓信息与所述构件的子匹配模板时进行构件匹配，找到所述待识别建筑图纸的构件信息，或者将构件子匹配模板中的每一构件子匹配模板与待识别建筑图纸的轮廓进行比对由此找到所述待识别建筑图纸的构件信息；将所述待识别建筑图纸的所述构件信息截取，用ssd算法对所述待识别建筑图纸的所述非构件进行进行识别，并形成所述待识别建筑图纸的数字化信息。
[0079]
本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机代码，当计算机代码被执行时，如上述方法被执行。本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(rom，read only memory)、随机存取存储器(ram，random access memory)、磁盘或光盘等。
[0080]
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
[0081]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0082]
本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，ram存
储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个功能或步骤的电路。如本说明书实施例所示实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(net work processor，np)等；还可以是数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
[0083]
实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子系统执行时，使得所述电子系统执行实施例一所述的方法。在此不再赘述。
[0084]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd
‑
rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0085]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd
‑
rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排
他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0086]
另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。