一种工程图纸结构化信息提取方法、设备及介质与流程

本技术涉及工程图纸的数字化解析与信息结构化，尤其涉及一种工程图纸结构化信息提取方法、设备及介质。

背景技术：

1、计算机辅助设计（computer-aided design，cad）施工图纸一般是行业的核心文件，例如，建筑工程施工图纸是建筑行业的核心技术文件，承载着建筑设计方案的全部信息。随着建筑行业数字化转型的加速推进，将历史积累的海量cad施工图纸转化为可供计算机处理的数字化结构化数据，已成为建筑信息模型（bim）建设、工程造价核算、建筑规范智能审查等下游应用的基础性需求。

2、然而，cad施工图纸本质上是一种面向人类阅读的图形化表达，并非面向机器处理的结构化数据。图纸中的信息散落在几何图元、文字标注、尺寸标记、表格和图块等多种载体中。如何从这些非结构化的工程图纸中高效、准确地提取结构化信息，是该领域面临的核心技术难题。

技术实现思路

1、本技术实施例提供了一种工程图纸结构化信息提取方法、设备及介质，用以解决如下技术问题：如何从非结构化的工程图纸中高效、准确地提取结构化信息。

2、第一方面，本技术实施例提供一种工程图纸结构化信息提取方法，该方法包括：获取计算机辅助设计cad图纸对应的图形交换格式dxf文件，识别所述dxf文件中的图框实体，并获取图框在dxf全局坐标下的全局坐标范围，其中，所述图框为所述图框实体所限定的图纸区域；

3、将所述图框范围内的内容渲染为栅格图像，并将所述栅格图像输入至多模态解析模型进行区域识别，输出所述栅格图像中特征区域的像素坐标范围及区域内容，以得到所述dxf文件对应的图像通道识别结果，其中，所述特征区域为所述栅格图像内包含图纸主体绘图内容的区域；

4、基于所述图框的全局坐标范围与所述栅格图像的像素尺寸之间的线性映射关系，建立dxf全局坐标与像素坐标之间的双向线性映射关系；

5、基于各所述特征区域的像素坐标范围，通过所述双向线性映射关系计算图框单元的全局坐标范围，并基于所述图框单元的全局坐标范围从所述dxf文件中进行靶向提取，以得到所述dxf文件对应的矢量通道提取结果，其中，所述图框单元为所述图框内与所述特征区域对应的区域；

6、将所述图像通道识别结果与所述矢量通道提取结果进行交叉校验，得到所述dxf文件对应的修正信息；

7、将所述修正信息及所述图框单元的全局坐标范围进行整合，得到结构化的工程图纸信息数据。

8、在一个可能的实现方式中，所述特征区域包括文本区域、表格区域和图形区域；

9、针对识别出的文本区域，所述多模态解析模型输出所述文本区域的像素坐标范围和从所述文本区域识别出的文本字符串；

10、针对识别出的表格区域，所述多模态解析模型输出所述表格区域的像素坐标范围以及结构化表格文本；

11、针对识别出的图形区域，所述多模态解析模型输出所述图形区域的像素坐标范围和初始的图形类型。

12、在一个可能的实现方式中，在所述将所述栅格图像输入至多模态解析模型进行区域识别，输出所述栅格图像中特征区域的像素坐标范围及区域内容之后，所述方法还包括：

13、针对所述图形区域，使用多模态大语言模型对所述图形区域的局部图像进行语义理解，得到所述图形区域对应的精确的图形类型、所述图形区域的语义内容描述和所述图形区域内识别到的关键文字标注。

14、在一个可能的实现方式中，所述双向线性映射关系具体为：

15、对于所述特征区域r_i中任一像素点(px,py)，所述像素点对应的全局坐标(gx,gy)由以下公式进行计算：

16、gx=xmin_i+px(xmax_i-xmin_i)/w_i；

17、gy=ymax_i-py(ymax_i-ymin_i)/h_i；

18、对于所述像素点对应的全局坐标(gx,gy)，所述像素点在所述特征区域中对应的像素坐标(px,py)由以下公式进行计算：

19、px=w_i(gx-xmin_i)/(xmax_i-xmin_i)；

20、py=h_i(ymax_i-gy)/(ymax_i-ymin_i)；

21、其中，所述图框单元的全局坐标范围为(xmin_i,ymin_i)~(xmax_i,ymax_i)，xmin_i代表所述图框单元的全局坐标范围对应的x轴坐标最小值、ymin_i代表所述图框单元的全局坐标范围对应的y轴最小值、xmax_i代表所述图框单元的全局坐标范围对应的x轴最大值、ymax_i代表所述图框单元的全局坐标范围对应的y轴最大值，w_i和h_i为所述特征区域的像素宽度和高度。

22、在一个可能的实现方式中，在所述建立dxf全局坐标与像素坐标之间的双向线性映射关系之后，所述方法还包括：

23、对每个所述图形区域，检查所述图形区域在所述栅格图像中的像素尺寸，其中，所述图形区域以第一分辨率进行渲染；

24、在所述像素尺寸低于所述图形区域的图形类型对应的最小像素阈值的情况下，通过所述双向线性映射关系计算所述图形区域的全局坐标范围，从所述dxf文件中截取所述图形区域的全局坐标范围并以第二分辨率重新渲染，生成新的高分辨率图像，并针对所述高分辨率图像重新执行语义理解步骤，其中，所述第二分辨率高于所述第一分辨率。

25、在一个可能的实现方式中，所述基于所述图框单元的全局坐标范围从所述交换格式文件中进行靶向提取，包括：

26、调用dxf解析组件，在所述图框单元的全局坐标范围内搜索所有的文字实体，并提取每个所述文字实体的文字字符串、插入点坐标和所属的图层名称；

27、将提取到的所述文字实体按照图层名称进行分组，并将同一图层的文字按照空间位置进行排序，形成所述图层的文字序列；

28、在所述图框单元的全局坐标范围内，搜索所有的图块引用实体，并对每个所述图块引用实体，提取图块名称、图块内部文字以及属性字段。

29、在一个可能的实现方式中，所述将所述图像通道识别结果与所述矢量通道提取结果进行交叉校验，得到所述dxf文件对应的修正信息，包括：

30、针对所述文本区域，将所述图像通道识别结果中的第一字符串与所述矢量通道提取结果中的第二字符串作为两路独立的原始数据，输入大语言模型进行交叉校验，得到所述大语言模型输出的文本修正结果；其中，所述第一字符串与所述第二字符串在同一所述文本区域的同一坐标范围内，所述大语言模型的提示词包括将不一致的字符片段在字符错误修正知识库中进行向量检索得到的相似错误模式和正确的修正作为补充上下文提供给所述大语言模型；

31、针对所述表格区域，对所述图像通道识别结果中的结构化表格文本，与所述矢量通道提取结果中的表格相关文字进行交叉校验，得到表格修正结果，其中，所述结构化表格文本与所述表格相关文字在同一所述表格区域的同一坐标范围内；

32、针对所述图形区域，对所述图像通道识别结果中每个所述图形区域的语义内容描述，与所述矢量通道提取结果中在所述图形区域的全局坐标范围内提取到的文字和图块信息进行交叉校验，得到图形修正结果；

33、基于所述文本修正结果、所述表格修正结果与所述图形修正结果，得到所述dxf文件对应的修正信息。

34、在一个可能的实现方式中，所述将所述修正信息及所述图框单元的全局坐标范围进行整合，得到结构化的工程图纸信息数据，包括：

35、将所述修正信息以及所述图框单元的全局坐标范围，按照预设的结构化数据模板的要求，输入至大语言模型，得到结构化的工程图纸信息数据；

36、将所述工程图纸信息数据再次输入所述大语言模型，由所述大语言模型基于图纸制图规范推理补全各所述图形区域之间的语义索引关系，并将所述语义索引关系添加至所述工程图纸信息数据。

37、第二方面，本技术实施例还提供了一种工程图纸结构化信息提取设备，设备包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述任一项的一种工程图纸结构化信息提取方法。

38、第三方面，本技术实施例还提供了一种计算机存储介质，存储有计算机可执行指令，计算机可执行指令被执行时，实现如上述任一项的一种工程图纸结构化信息提取方法。

39、本技术实施例提供的一种工程图纸结构化信息提取方法、设备及介质，具有以下有益效果：

40、在本技术实施例中，通过构建图像通道与矢量通道并行处理的架构，实现双路数据独立提取，其中，图像通道利用多模态解析模型对栅格图像进行区域分析，分割出特征区域，并进行识别，得到图像通道识别结果。通过建立dxf全局坐标与像素坐标之间的双向线性映射关系，实现两通道数据在同一空间坐标系下的对齐融合，进而可以通过坐标变换，解析特征区域对应的矢量数据，得到矢量通道提取结果。然后，可以将图像通道识别结果与矢量通道提取结果进行交叉校验，得到修正信息，最终将修正信息及图框单元的全局坐标范围进行整合，得到结构化的工程图纸信息数据，实现从非结构化工程图纸到结构化数据的端到端自动化转换，在保证提取准确性的同时显著提升处理效率，为bim建模、图纸归档和智能审图等下游应用提供可靠的数据基础。