多模态识读与确定性核验的图纸审查方法、系统及设备与流程
本发明涉及计算机数据处理与图像识别,尤其是涉及多模态识读与确定性核验的图纸审查方法、系统及设备。
背景技术:
1、工程图纸是工程设计成果的核心载体,其审查涉及图面完整性、尺寸与高程标注一致性、材料与设备参数一致性、以及关键尺寸是否满足规范最低要求等。以水利水电工程为例,一套图册通常包含水工、地质、金属结构、建筑、电气、施工等多个专业的数十至上百张图纸,同一控制参数(如闸底板高程、启闭机平台高程)往往出现在多张不同专业的图纸上,人工跨图册跨专业核对工作量大、易疏漏。工程图纸的自动化智能审查因此成为工程数字化的重要需求,其核心挑战在于图纸信息以多模态形式(图形、标注文字、表格)分布于多张图幅,且需要在识别的基础上完成跨图一致性与规范符合性的可靠判定。
2、当前,针对工程图纸自动化审查,现有系统通常采用以下几类方案:一是基于目标检测与光学字符识别的方法,通过训练目标检测模型识别图纸中的构件、再由光学字符识别提取标注文字,然而该类方法依赖大量标注样本训练、对不同设计单位差异较大的图纸版式泛化能力有限,且通常止于"识别",不进一步完成跨图幅一致性核对;二是采用多模态大模型对图纸直接进行审查,由模型识别图纸内容并直接给出尺寸比对、规范符合性等判定结论,然而多模态模型不擅长精确的数值比对与限值比较,直接由模型进行算术判定容易产生误差,且判定结论缺乏可追溯的像素级定位证据;三是人工逐图核对,虽准确性依赖专家经验,但面对多专业、多图幅的大型图册时效率低、易因疲劳产生漏检与误判。
3、此外,工程图纸中存在新建工程与改扩建加固工程的区别,改扩建加固图册中的原结构图标注的是既有结构的历史尺寸,若不加区分地用现行新建规范的最低限值去核查,会将既有结构误判为不合格,产生大量误报。
4、例如,某图册中闸底板顶高程在平面图上标注为 50.00m、在剖面图上标注为49.80m,二者不一致,人工核对时因数字接近而易被忽略;又如,直接由多模态模型判断"底板厚度是否满足规范",模型可能因识别或算术偏差给出不可靠结论,且无法给出该结论对应的图纸位置,审查人员难以复核。
5、综上所述,现有工程图纸自动化审查方法存在如下主要问题:
6、1、泛化与核验能力不足:目标检测加字符识别的方法依赖训练样本、对多样图纸版式泛化差,且止于识别、不完成跨图幅一致性核对;
7、2、模型直接判定不可靠且不可追溯:多模态模型直接进行数值比对与规范判定容易产生算术误差,且结论缺乏像素级定位证据,难以复核;
8、3、跨图幅问题易漏检:同一参数分布于多张图幅,人工跨图册跨专业核对工作量大、易疏漏,且缺乏冲突双方的双向定位证据;
9、4、工程性质不加区分导致误报:对改扩建加固图册的原结构图套用新建规范最低限值,将既有结构误判为不合格。
10、因此,需要一种能够将识读与确定性核验分离、以跨图幅双向证据约束核对结果、并区分工程性质的工程图纸审查方案,以满足实际工程审查场景中的需求。
技术实现思路
1、有鉴于此,本发明目的在于提供一种多模态识读与确定性核验的图纸审查方法、系统及设备,实现对工程图纸审查可追溯、可定位、低误报。
2、为实现上述目的,本发明采取下述技术方案:
3、本发明所述多模态识读与确定性核验的图纸审查方法,包括以下步骤:
4、s1、获取待审查工程图纸的图册,将所述图册的各页转换为页面图像;对每页所述页面图像提取图签元信息建立全图索引表,所述图签元信息至少包括图号、图名、所属专业与比例;并依据封面、目录或说明栏中的工程性质标识判定所述图册的工程性质为新建或改扩建加固,对判定为改扩建加固的图册,进一步将其页面划分为原结构图与新建结构图;
5、s2、通过多模态识别模型对每页页面图像进行识读,提取控制参数并连同其位置证据写入结构化参数库;所述控制参数包括高程类参数、尺寸类参数、材料类参数与设备类参数中的至少一类,所述位置证据至少包括图号、页码与包围盒坐标;多模态识别模型在本步骤仅执行控制参数的识读与取值,不执行控制参数之间的数值比对与规范符合性判定;
6、s3、由确定性一致性核验脚本对所述结构化参数库按参数名聚合,对同一参数在不同页面的取值执行跨图幅一致性比对,比对时对数值类参数按预设容差与单位换算表判定是否等价、对文本类参数按归一化后判定是否等价,输出一致、冲突或单点结论;对冲突结论,绑定冲突双方各自的位置证据形成双向证据;
7、s4、由确定性限值核验脚本,将所述结构化参数库中属于新建结构图的标注值与规范限值库中记载的最低限值进行数值比对,输出通过、越限或数据不全结论,所述数值比对不执行公式推导与计算复算;对改扩建加固图册中的原结构图对应的标注值,不纳入所述限值核验;
8、s5、依据预设的跨专业接口矩阵,对不同专业图纸之间的接口参数执行核对,所述跨专业接口矩阵限定需核对的接口参数及其所涉及的专业对,核对结果输出一致或不一致结论并绑定相应位置证据;
9、s6、将步骤 s3 至 s5 得到的问题按严重等级生成图纸标注,为每个问题在其位置证据处绘制包围盒与编号标签,所述严重等级决定包围盒的标注颜色;对跨图幅冲突问题,在其双向证据对应的两处位置以相同编号与相同颜色标注;
10、s7、将步骤 s6 生成的标注图像提交所述多模态识别模型回读,核验各包围盒是否对准其对应的问题区域,对未对准目标或证据模糊的标注执行降级或剔除,再输出审查结果。
11、可选择地,步骤 s1 中,所述判定工程性质包括:当所述图签元信息、说明栏或图名中出现除险加固、加固、拆除重建、改建或原结构标识时,判定所述图册为改扩建加固图册;将图名或说明栏含原结构、现状标识的页面划分为原结构图,将含加固、重建、新建标识的页面划分为新建结构图;所述原结构图对应的标注值仅参与步骤 s3 的一致性比对,不参与步骤 s4 的限值核验。
12、可选择地,步骤 s2 中,所述提取控制参数为规则驱动的动态抽取,包括:获取审查规则中需要量化判断的参数项;所述审查规则包括所述规范限值库中的限值项以及需跨图幅核对的一致性项;将所述参数项动态关联至待识读的页面图像,由所述多模态识别模型按所关联的参数项从所述页面图像中定位并识读对应的控制参数取值;当所述审查规则或其参数项变更时,所述多模态识别模型按变更后的参数项抽取对应控制参数,而无需针对图纸版式重新训练所述多模态识别模型。
13、可选择地,步骤 s2 中,所述结构化参数库中的每条控制参数记录至少包含参数名、参数值、参数类别与位置证据;所述高程类参数包括底板高程、顶高程与特征水位,所述尺寸类参数包括孔口尺寸、厚度与长度,所述材料类参数包括混凝土强度等级与材料牌号,所述设备类参数包括设备型号与设备技术参数;所述包围盒坐标为基于该页面图像实际像素尺寸的左上角与右下角坐标。
14、可选择地,步骤 s3 中,所述数值类参数的等价判定为:将两取值经所述单位换算表归一化至同一单位后,相对偏差不超过预设容差阈值则判定为一致;所述文本类参数的归一化包括去除空白字符与统一同义材料表述后按字符串相等判定;所述单点结论表示该参数在所述结构化参数库中仅出现一次;所述双向证据包括冲突双方的图号、页码与包围盒坐标。
15、可选择地,步骤 s4 中,所述规范限值库中的每条限值记录包含限值项标识、条文号、最低限值与适用条件;核验时先根据所述控制参数所属的工程对象与工程规模匹配适用的限值记录,再执行数值比对;当所述结构化参数库中缺少某限值项对应的标注值时,输出数据不全结论并跳过该限值项,不代入推测值。
16、可选择地,所述工程图纸为水闸工程图纸;步骤 s4 中的所述数值比对的限值项包括以下至少一项:闸室底板顺水流向长度与上下游最大水位差的比值、闸室底板厚度、闸墩门槽处厚度、铺盖长度与上下游最大水位差的比值、铺盖厚度、垂直防渗体厚度、工作桥或交通桥梁底高程与最高洪水位的高差;且各限值项的最低限值按水闸设计规范及所述控制参数所属的地基类型或工程规模取值。
17、进一步地,对于水闸工程图纸,还包括构造闭环存在性核查步骤:沿渗流方向对地下轮廓的防渗路径、以及水平止水与垂直止水的连接关系执行存在性检查,当所述结构化参数库或识读结果中缺少路径衔接处的止水或防渗标注时,输出存在性缺口提示;所述构造闭环存在性核查仅判断标注的存在性与连续性,不执行渗流计算与水力计算。
18、可选择地,步骤 s5 中,所述跨专业接口矩阵所涉及的专业对包括水工与金属结构、水工与建筑、水工与地质中的至少一对,所述接口参数包括闸底板高程、启闭机平台高程、孔口尺寸、预埋件位置与设备型号中的至少一项;所述核对按位置证据获取各专业图纸中的接口参数取值后,按步骤 s3 的等价判定方式比对,并按高程类、孔口尺寸类、预埋件类、材料类的优先级顺序排列核对结果。
19、可选择地,步骤 s6 中,所述严重等级包括致命、严重与一般三级,分别对应第一颜色、第二颜色与第三颜色;所述第一颜色、第二颜色与第三颜色为在图纸底色上相互区分的三种色;所述编号标签与所述审查结果中的问题编号一一对应;所述跨图幅冲突问题的两处标注在不同页面时,拆分为具有相同编号与相同严重等级的两条标注记录,分别落于各自页码。
20、可选择地,步骤 s7 中,所述回读核验包括:将标注图像与对应问题的描述提交所述多模态识别模型,判断所述包围盒是否包围所述问题所指向的图纸内容;当判断为对准时保留该问题为确认问题,当判断为未对准时将该问题降级为待人工核实,当页面图像模糊或证据不足以判断时剔除该问题;所述审查结果中对确认问题与待人工核实问题进行区分标注。
21、进一步地,步骤s1中,当输入所述待审查工程图纸的图册包含多个工程图册时,还执行跨工程隔离步骤:为各工程图册分别建立独立的全图索引表、结构化参数库与标注输出目录,各工程图册的审查独立执行步骤 s1- s7;禁止将一个工程图册的控制参数作为另一个工程图册的比对基准或限值核验依据。
22、可选择地,步骤 s2 中,所述多模态识别模型在识读页面图像时,调用图像处理工具对所述页面图像的局部区域执行缩放或裁剪,并对缩放或裁剪后的局部区域识读控制参数的取值及其包围盒坐标。
23、一种实现权利要求1所述图纸审查方法的系统,包括:
24、图册预处理模块,用于执行权利要求 1 所述步骤 s1 中的页面转换、图签建库与工程性质判定操作;
25、多模态识读模块,用于执行权利要求 1 所述步骤 s2 中的控制参数识读与结构化参数库写入操作;
26、一致性核验模块,用于执行权利要求 1 所述步骤 s3 中的跨图幅一致性比对与双向证据绑定操作;
27、限值核验模块,用于执行权利要求 1 所述步骤 s4 中的规范限值数值比对操作;
28、接口核对模块,用于执行权利要求 1 所述步骤 s5 中的跨专业接口核对操作;
29、标注模块,用于执行权利要求 1 所述步骤 s6 中的分级标注操作;
30、回读核验模块,用于执行权利要求 1 所述步骤 s7 中的标注回读核验与审查结果输出操作。
31、一种执行权利要求1所述图纸审查方法的设备,包括处理器和可读存储介质,所述可读存储介质存储有计算机程序,所述计算机程序被所述处理器执行时,实现权利要求 1至 13中任一项所述图纸审查方法的各步骤。
32、所述的可读存储介质包括u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
33、本发明的有益效果:
34、1、通过多模态识别模型只执行识读取值、由确定性核验脚本执行数值比对与限值比较的识读与核验分离机制,避免了由多模态模型直接进行数值比对与限值判定所引入的算术误差,且规范限值与一致性判定由确定性脚本产出、结果稳定可复现。
35、2、通过控制参数连同位置证据入库、冲突结论绑定冲突双方双向证据的机制,使每个审查发现均可追溯至具体图号、页码与像素级包围盒,便于审查人员复核,并降低跨图幅问题的漏检。
36、3、通过工程性质判定与原结构图不参与限值核验的门控机制,避免了对改扩建加固图册中既有结构套用新建规范最低限值而产生的误报。
37、4、通过按严重等级分级标注与标注图像回读核验的闭环机制,剔除或降级未对准与证据不足的标注,提升输出审查结果的定位准确性;且识读与核验分离使本方法不依赖针对特定图纸版式的目标检测模型训练,对不同来源图纸具有适应性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com