一种面向工程规范文档的图表提取与图文配对方法及系统

本发明涉及版面分析与人工智能交互，尤其涉及一种面向工程规范文档的图表提取与图文配对方法及系统。

背景技术：

1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

2、随着工业信息化与行业数字化转型的深入，各类工业领域积累了海量非结构化工程规范文档，其以标准、准则、施工规范等形式存在，不仅包含大量文本，更蕴含丰富例图与例表，承载着纯文本难以表达的工程结构与数据逻辑。对此类文档进行高精度版面分析与图表提取，是构建工业知识图谱、索引工程图集及支撑垂直领域大语言模型知识库构建的关键前置任务。然而，工程规范文档在物理载体与排版范式上具有高度特殊性与复杂性，如何高精度识别、定位并提取图表元素并建立其与名称的关联，成为当前亟需解决的技术难题。

3、现有技术中，基于深度学习的版面分析方法虽已取得一定进展，但面对复杂工程规范文档时，仍存在明显不足。具体表现为：其一，拍照或扫描引入的光照不均、透视畸变、三维卷曲及折痕阴影等物理退化，破坏了文档原本的规整排版，在使用深度学习检测算法时会产生误检；其二，图表与说明文本排版高度密集，现有检测算法难以区分相邻图表之间的物理界限，易产生合并框选，还易将周边的密集文本块或背景噪声误判为图表元素；其三，由于规范文档中的图表主体与其名称在页面空间上可能存在较大跨度，多数算法仅能输出孤立的目标边界框，缺乏对版面元素空间对应关系的分析能力，难以在复杂排版中准确完成“图与图名”、“表与表名”的配对。

技术实现思路

1、为了解决上述背景技术中存在的技术问题，本发明提供一种面向工程规范文档的图表提取与图文配对方法及系统，本发明从图像预处理、密集版面分割、小目标特征增强到图文逻辑关联形成了系统性改进，显著提升了复杂工程规范文档版面解析的整体精度与鲁棒性。

2、为了实现上述目的，本发明采用如下技术方案：

3、本发明的第一个方面提供一种面向工程规范文档的图表提取与图文配对方法。

4、一种面向工程规范文档的图表提取与图文配对方法，包括：

5、将获取的文档图像通过背景解耦与图像二值化处理，得到二值化图像；提取二值化图像的文本行骨架生成特征点集，推算纸张平面的四个虚拟基准角点，求解虚拟基准角点的投影关系，以反推相机拍摄时的外部参数，构建纸张的3d曲面模型，通过反向映射，得到展平图像；

6、采用横纵分离的rlsa算法对展平图像进行处理，提取所有宏观连通域的外部轮廓并生成相应的最小外接矩形，将最小外接矩形统一绘制在纯黑底图上，生成剔除背景噪声干扰的物理边界连通域；

7、基于文档图像，采用ssa-yolo目标检测网络，得到语义预测框；在所述ssa-yolo目标检测网络的主干网络中，将下采样跨步卷积节点均替换为spd卷积模块，并在输出路径上串联接入simam注意力模块；

8、若物理边界连通域与语义预测框之间的面积交并比大于设定重合度阈值，则将所述语义预测框的类别赋予对应的物理边界连通域，完成图表主体的定位与分类。

9、进一步地，所述将获取的文档图像通过背景解耦与图像二值化处理，得到二值化图像；方法包括：

10、将获取的文档图像转换为灰度图，并对所述灰度图进行形态学膨胀和中值滤波过滤操作，得到文档背景图像；

11、计算文档背景图像与文档图像的差别并进行反色处理，生成照度均衡的差分图像；

12、对所述差分图像进行线性归一化灰度拉伸，再利用最大类间方差法遍历整张图像的灰度级，寻找使类间差异达到最大的灰度界限作为最佳分割阈值，完成图像的二值化分割并输出二值化图像。

13、进一步地，所述提取二值化图像的文本行骨架生成特征点集；方法包括：

14、提取二值化图像的文本行骨架，对文本行骨架进行等间距的坐标采样，生成特征点集；所述文本行骨架指二值化图像中，提取字符的最小外接矩形、字符质心与局部倾斜特征后，串联离散字符形成的连续文本中心线轨迹，用于表征纸张局部卷曲、页面倾斜特征；所述连续文本中心线轨迹通过使边缘连接代价函数最小计算得到；所述边缘连接代价函数，采用以下公式表示：

15、

16、其中，表示任意两个节点a和b之间的中心直线距离；为角度差异的惩罚权重，表示倾斜角度偏差；为垂直方向非重叠惩罚权重；表示两字符矩形框在垂直方向上的非重叠比例。

17、进一步地，所述推算纸张平面的四个虚拟基准角点，求解虚拟基准角点的投影关系，以反推相机拍摄时的外部参数，构建纸张的3d曲面模型，通过反向映射，得到展平图像；方法包括：

18、对所述特征点集进行分析，提取纸张的水平与垂直主方向，并结合预估的纸张物理长宽比推算出纸张平面的四个虚拟基准角点，求解所述虚拟基准角点的投影关系，反推出相机拍摄时的旋转向量与平移向量以完成相机外部参数初始化；基于纸张仅沿水平方向卷曲而在垂直方向保持平直的物理规律，将图像水平方向的像素坐标线性映射至归一化水平坐标区间，采用三次多项式构建纸张的3d表面模型；所述3d表面模型采用以下公式表示：

19、

20、其中，和为决定纸张卷曲形态的未知形状参数；

21、依据3d表面模型的模型参数在三维空间中生成预测曲面点，结合相机内参矩阵、旋转向量及平移向量，计算预测曲面点与真实特征点之间的几何距离偏差函数；所述几何距离偏差函数，采用以下公式表示：

22、

23、其中，表示预测曲面点，表示真实特征点，、表示相机拍摄时的旋转向量、平移向量，表示相机内参矩阵；

24、通过微调与以最小化所述几何距离偏差函数，使预测曲面点的理论投影与真实特征点达到最大程度重合；基于获取的页面物理尺寸构建平整的二维目标网格，针对该网格上的每一个像素坐标，代入所述3d表面模型与相机参数，反向计算出该像素点在文档图像中的确切对应位置坐标，完成像素重映射，得到展平图像。

25、进一步地，所述采用横纵分离的rlsa算法对展平图像进行处理；方法包括：

26、对所述展平图像在水平方向上执行形态学闭运算，将水平方向上离散的字符连接为单行文本连通域；

27、基于水平平滑连通结果，动态设置垂直合并阈值，在垂直方向上再次执行形态学闭运算，将内部结构离散的图表物理区块纵向合并为完整的宏观连通域，同时利用行间距阻断单行正文文本在垂直方向上的错误粘连。

28、进一步地，所述spd卷积模块由一个spd周期性变换层和一个步长为1的标准卷积层串联构成，输入特征图通过所述spd周期性变换层在空间维度上进行等间距切片，拆分为若干个子特征图序列，随后将若干个子特征图序列沿通道维度进行拼接，生成高通道密度的中间特征图，再通过所述步长为1的标准卷积层进行通道信息融合与特征维度调整；

29、所述simam注意力模块利用特征图自身的局部统计量包括均值与方差，为每个特征点定义能量函数以评估其线性可分性，计算能量矩阵的倒数作为三维注意力权重，并通过激活函数将其缩放至标准区间，最终对原始输入特征执行逐元素的自适应重标定。

30、进一步地，所述将所述语义预测框的类别赋予对应的物理边界连通域；方法包括：

31、若目标类别为例图则以连通域底边为基准向下寻找图名；

32、若目标类别为例表则以连通域顶边为基准向上寻找表名；

33、同时，依据图表周边文本连通域的平均行高，动态计算出自适应距离阈值以确定合理的搜索范围，仅提取该距离范围内的文本连通域纳入图表名候选集。

34、本发明的第二个方面提供一种面向工程规范文档的图表提取与图文配对系统。

35、一种面向工程规范文档的图表提取与图文配对系统，包括：

36、图像预处理与三维展平模块，其被配置为：将获取的文档图像通过背景解耦与图像二值化处理，得到二值化图像；提取二值化图像的文本行骨架生成特征点集，推算纸张平面的四个虚拟基准角点，求解虚拟基准角点的投影关系，以反推相机拍摄时的外部参数，构建纸张的3d曲面模型，通过反向映射，得到展平图像；

37、rlsa算法模块，其被配置为：采用横纵分离的rlsa算法对展平图像进行处理，提取所有宏观连通域的外部轮廓并生成相应的最小外接矩形，将最小外接矩形统一绘制在纯黑底图上，生成剔除背景噪声干扰的物理边界连通域；

38、ssa-yolo目标检测网络模块，其被配置为：基于文档图像，采用ssa-yolo目标检测网络，得到语义预测框；在所述ssa-yolo目标检测网络的主干网络中，将下采样跨步卷积节点均替换为spd卷积模块，并在输出路径上串联接入simam注意力模块；

39、图表元素提取与语义关联模块，其被配置为：若物理边界连通域与语义预测框之间的面积交并比大于设定重合度阈值，则将所述语义预测框的类别赋予对应的物理边界连通域，完成图表主体的定位与分类。

40、本发明的第三个方面提供了一种计算机设备，该设备包括：

41、处理器，适于执行计算机程序；

42、计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时，实现如上述第一个方面所述的面向工程规范文档的图表提取与图文配对方法中的步骤。

43、本发明的第四个方面提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，计算机程序适于由处理器加载并执行如上述第一个方面所述的面向工程规范文档的图表提取与图文配对方法中的步骤。

44、与现有技术相比，本发明的有益效果是：

45、本发明首先借助3d曲面重建消除光照畸变以还原规整版面，继而利用rlsa算法生成宏观物理边界连通域以精准区分密集排列的图表界限，同时在ssa-yolo主干网络中以下采样spd卷积模块保留细粒度特征并结合无参simam注意力模块强化重要信号，最终通过物理连通域与语义预测框的ioa（交并比）联合判决实现类别赋予与区域归属的统一；由此，不仅从源头抑制了物理退化导致的误检、解决了密集排版下的合并框选与背景误判问题，而且依托物理边界提供的大跨度空间覆盖，有效建立了图表主体与其对应名称的逻辑关联，实现了复杂工程规范文档中图表元素的精准定位、分类与配对。