基于大模型训练与推理的建筑墙体门窗识别方法及系统与流程
本发明涉及图形数据读取,具体涉及一种基于大模型训练与推理的建筑墙体门窗识别方法及系统。
背景技术:
1、在数字孪生、智慧消防等应用中,需要将建筑二维图纸转化为三维模型,以支撑火灾风险预警、烟气蔓延模拟、人员疏散推演等功能。国内大量老旧厂房、历史街区及早期商业建筑仅留存二维图纸,缺乏标准化bim模型;不同设计院制图规范不统一,图层命名自定义、门窗图块无统一标准,部分图纸为扫描矢量化文件,存在线条残缺、图层混乱等问题。传统cad解析软件依靠固定图层名称、线条颜色及线型规则提取构件,面对非标图纸时识别准确率大幅下降,需要人工描图与校正,建模周期长、人力成本高。
2、现有技术主要存在以下不足。其一,传统矢量化工具仅识别线条,不具备建筑专业语义认知能力,无法遵循门窗依附墙体、墙体连续闭合等行业规范,自动生成的模型频繁出现墙体断裂、门窗悬空、碎片误识别等缺陷,导入消防仿真系统后会造成疏散路径穿墙、防火分区划分失效等逻辑漏洞。其二,封闭集目标检测模型需要大批量标注样本训练,新增构件类别必须重新标注,迭代成本高,零样本泛化能力弱;早期多模态大模型仅输出像素坐标,缺少矢量几何真值校准,像素误差无法满足毫米级建模精度,仅支持固定分辨率输入,超大幅面平面图切片后墙体易在切片边缘截断漏检,全参数微调所需硬件成本高,难以支持涉密图纸本地私有化部署;纯矢量解析方案无法识别被文字、家具遮挡的构件。其三,现有技术将栅格图像与矢量cad数据分开独立处理,缺少图纸比例自动识别以及像素坐标与工程物理坐标的标准化映射方法,也不存在建筑领域规则校验闭环,识别结果无法直接对接三维建模引擎。
技术实现思路
1、本发明为了弥补现有技术中的不足,提供了一种基于大模型训练与推理的建筑墙体门窗识别方法及系统,在无统一制图标准的场景下实现墙体、门窗的高鲁棒识别,完成像素坐标到工程矢量坐标的精准转换与几何纠错,输出可直接对接下游建模系统的结构化矢量数据。
2、一种基于大模型训练与推理的建筑墙体门窗识别方法,包括对输入的建筑图纸进行预处理,还包括以下步骤:对输入图纸并行生成矢量流数据与栅格流数据,对矢量流数据解析后构建矢量实体空间索引库,对栅格流数据进行切片处理生成切片图像;将切片图像输入开集目标检测模型,以构件类别文本作为提示完成粗定位,输出墙体、门窗候选包围框;将切片图像与候选包围框对应的局部子图共同输入经轻量化微调的多模态大模型进行精细语义解析,输出墙体、门窗的全局像素坐标;将全局像素坐标换算为工程物理坐标,并与矢量实体空间索引库中的矢量实体进行匹配,得到墙体的中心线起点坐标、终点坐标与厚度,以及门窗的插入中心点、宽度与旋转角度;利用建筑语义规则引擎对匹配得到的构件参数进行校验与纠错,生成合规构件数据;基于合规构件数据重建矢量图元,输出结构化矢量数据。
3、进一步地,为了更好的实现本发明,预处理包括分层二值渲染与滑动切片处理;分层二值渲染按构件类型分别导出纯墙体二值底图与纯门窗二值底图,并剥离家具图层及尺寸标注图层;滑动切片处理采用1024×1024像素滑动窗口,切片重叠率为15%,并记录各切片的全局偏移坐标。
4、进一步地,为了更好的实现本发明,开集目标检测模型为yolo-world模型,以检测标注数据集微调训练,训练时以描述墙体、门、窗的文本作为类别提示;多模态大模型为qwen2.5-vl模型,采用4bit nf4量化结合qlora低秩适配方式,以图文指令数据集完成微调,微调后仅保存lora适配器权重供推理阶段离线加载;微调训练样本按纯墙体二值图、纯门窗二值图与完整混合图纸1:1:2的比例混合构成。
5、进一步地,为了更好的实现本发明,粗定位输出候选包围框后,过滤置信度小于0.6的候选框;精细语义解析通过约束型结构化提示词限定多模态大模型仅输出json格式坐标数据,并依托多模态旋转位置编码将切片局部像素坐标统一至整张图纸的全局像素坐标系。
6、进一步地,为了更好的实现本发明,换算为工程物理坐标包括:识别图框边界及标题栏比例文字,标定像素原点与工程物理原点的对应关系;按缩放因子完成换算;像素坐标(u,v)与工程物理坐标(x,y)满足线性变换关系,(x0,y0)为图纸物理坐标偏移量;所述匹配采用对矢量实体预先构建的二维kdtree空间索引,以换算后的构件中心点检索预设半径范围内最近的矢量实体,完成识别结果与矢量图元的绑定。
7、进一步地,为了更好的实现本发明,建筑语义规则引擎执行以下校验与纠错中的至少一种:墙体连续性修复,当两条墙体线段端点间距不大于50mm且线段夹角小于5°时判定为同一段墙体并合并为多段线;门窗-墙体依附校验,门窗中心点须落在墙体中线加减墙体厚度范围内,悬空门窗沿其法线方向吸附至最近墙体线段,同步修正门窗旋转角度使其垂直于所依附墙体,门窗宽度超过所属墙体段长度时按比例裁剪;噪声图元剔除,剔除长度小于300mm的墙体碎片、有效绘图区域外的构件以及与家具图层矢量实体重叠的虚假墙体;跨楼层拓扑关联,识别标题栏楼层文字,关联同一建筑多楼层构件数据。
8、进一步地,为了更好的实现本发明,校验与纠错完成后,合规构件数据一路用于矢量图元重建,另一路反向反馈至粗定位与精细语义解析环节,对误检区域动态调整检测置信度阈值与识别权重。
9、进一步地,为了更好的实现本发明,重建矢量图元时,墙体生成lwpolyline多段线实体,门窗生成insert图块实体;结构化矢量数据以dxf、json、ifc中的至少一种格式输出,并通过api接口对接三维消防建模系统、bim平台或cim平台。
10、本发明还提供一种基于大模型训练与推理的建筑墙体门窗识别系统,包括预处理模块,还包括训练模块、推理模块、坐标映射模块、语义纠错模块和输出模块;预处理模块对输入图纸并行生成矢量实体空间索引库与切片图像,并构建检测标注数据集与图文指令数据集;训练模块利用两类数据集分别对开集目标检测模型与多模态大模型进行轻量化微调,保存推理权重;推理模块加载推理权重,对切片图像执行粗定位与精细语义解析,输出构件全局像素坐标;坐标映射模块完成像素坐标至工程物理坐标的换算及矢量实体匹配;语义纠错模块通过建筑语义规则引擎对构件参数进行校验与纠错,并将纠错结果反馈至推理模块;输出模块重建矢量图元并输出结构化矢量数据。
11、进一步地,为了更好的实现本发明,系统部署于本地gpu服务器以离线方式完成训练与推理,或以容器化方式部署于云端并对外提供http api接口。
12、本发明的有益效果为:
13、本发明采用开集检测与多模态大模型分层协同的识别架构,以文本提示驱动构件类别识别,面对自定义图层、非标图块无需重新大批量标注训练,非标图纸与扫描图纸的识别覆盖率由传统方案的约40%提升至95%以上;采用4bit量化结合qlora低秩适配的轻量化微调方式,显存占用降低约75%,12g显存的消费级显卡即可完成训练,lora权重仅数十mb,支持涉密图纸内网离线部署;通过像素工程坐标相似变换与kdtree矢量实体匹配,将视觉识别结果绑定cad矢量真值,消除像素级误差,墙体识别f1值达到93%,门窗识别f1值达到89%,满足毫米级建模精度;建筑语义规则引擎自动修复墙体断裂、门窗悬空、噪声碎片等几何缺陷,识别结果符合建筑与消防规范,避免疏散仿真逻辑漏洞;单张a1平面图的处理时间由人工2至4小时缩短至5分钟以内,输出数据可直接对接数字消防三维建模系统及通用bim、cim平台。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com