一种面向产品设计文档的文档处理方法及相关设备与流程
本技术涉及计算机,尤其涉及一种面向产品设计文档的文档处理方法及相关设备。
背景技术:
1、随着企业数字化转型的推进,产品设计指引文档(如产品规格书、设计规范、工艺指导书等)作为研发、生产、质检环节的核心知识载体,其数字化与结构化需求日益迫切。这类文档通常具有极强的工程属性,包含大量的产品细节说明图、cad设计图纸、尺寸标注以及复杂的图文混排表格。
2、目前,主流的文档智能解析技术通常采用“版面分析+ocr识别”的流水线方案。其基本处理流程如下:
3、首先,利用计算机视觉模型(如layoutlm、mask r-cnn等)对文档页面进行版面分析,识别并定位文本块、图片块、表格块等元素区域;其次,对识别出的文本块进行光学字符识别(ocr);最后,按照一定的阅读顺序将识别结果拼接输出为markdown、json等结构化数据。
4、尽管上述现有技术在处理常规文档(如论文、合同、报告)时表现出色,但在处理包含密集工程信息的产品设计指引文档时,存在明显的局限性,具体表现为以下两个方面:
5、(1)、图块识别的边界界定模糊,导致关键信息丢失或过度切分:
6、现有的版面分析模型主要依赖于视觉特征(如颜色、纹理、轮廓)来区分图片与文本区域。然而,产品设计文档中的“图片”往往是工程图纸,其特征复杂。
7、忽略周边标注:工程图纸的核心是产品结构,但其价值往往体现在周边的尺寸数值、引出线、文字说明(如公差配合、材料标注)中。这些数值和文字通常紧贴图片边缘分布,视觉特征与图片本身(如cad线条)差异较小但语义关联紧密。现有技术在识别时,容易将“纯图片”作为一个图块截取,而将周边的数值和说明文字作为独立的文本块处理或直接丢弃,导致图片与其关键参数分离,破坏了信息的完整性。
8、过度切分图文混合图标: 对于某些图文高度融合的图标(如带有内部文字标注的状态指示图标),现有技术容易因为视觉特征的显著差异,将其强行切割为独立的图片块和文本块,破坏了原本作为一个整体表达的含义。
9、(2)、表格解析采用扁平化处理,忽略单元格内部图片:
10、现有技术对表格的处理逻辑通常是将表格识别为一个整体对象,提取其行列结构,并逐单元格提取文本内容。这种方法隐含了一个假设:表格单元格内主要为文本数据。
11、然而,产品设计指引文档中大量存在“图文混排表格”,例如在“外观检查标准”表格中,某一列可能嵌入了产品缺陷示意图。现有技术在处理此类表格时,通常存在以下问题:
12、图片丢失:表格解析引擎往往专注于提取文本,直接忽略单元格内的图片区域,导致生成的结构化数据中缺失了关键的图片信息。
13、无法定位:即便检测到有图片,现有技术也难以在表格的markdown结构中准确标记图片的位置和内容,无法实现“文本描述+图片说明”的对应还原。
14、综上所述,现有技术缺乏对产品设计文档中“图文强耦合”特性的深度理解能力。单纯依靠视觉特征的版面分析无法准确界定图片的有效语义范围,也无法妥善处理表格内嵌图片这一特殊场景。因此,亟需一种能够结合视觉与语义理解能力的智能解析方法,以解决上述技术痛点。
技术实现思路
1、本技术实施例的主要目的在于提出一种面向产品设计文档的文档处理方法及相关设备,能够提高对设计文档中图文关系的解析精准度,并提升文档结构化数据的提取质量与还原度。
2、为实现上述目的,本技术实施例的一方面提出了一种面向产品设计文档的文档处理方法,包括:
3、获取待处理的原始产品设计文档,确定所述原始产品设计文档中的基础元素信息,得到初始元素列表;
4、根据所述初始元素列表,通过视觉语言模型对所述初始元素列表中的图片块进行处理,构建图文元素信息;
5、根据所述初始元素列表,通过视觉语言模型对所述初始元素列表中的表格块进行处理,确定表格元素信息;
6、根据所述图文元素信息和所述表格元素信息进行元素合并和渲染,得到目标文档。
7、在一些实施例中,所述获取待处理的原始产品设计文档,确定所述原始产品设计文档中的基础元素信息,得到初始元素列表,包括:
8、获取待处理的原始产品设计文档,通过光栅化处理将所述原始产品设计文档转换为目标分辨率的图像矩阵;
9、通过目标检测模型对所述图像矩阵进行特征提取与目标检测,得到候选检测框集合;
10、根据预设的置信度阈值,对所述候选检测框集合进行筛选,得到目标检测框;
11、根据所述目标检测框,确定各个文档页面的有效元素集合,并确定每个有效元素的第一位置信息;
12、对所述有效元素集合的各个元素进行逻辑排序,生成有序元素列表;
13、根据所述第一位置信息和所述有序元素列表,构建得到初始元素列表。
14、在一些实施例中,所述根据所述初始元素列表,通过视觉语言模型对所述初始元素列表中的图片块进行处理,构建图文元素信息,包括:
15、根据所述初始元素列表,筛选得到对应类别标签的元素集合,并截取得到上下文局部图像;
16、将选定的页面图像输入视觉语言模型进行语义分析,确定属于对应图片块的语义组成部分并得到对应的第二位置信息;
17、根据所述第二位置信息进行初始元素与非图片元素之间的重叠判别与元素合并处理,完成对元素列表的更新,进而构建图文元素信息。
18、在一些实施例中,所述根据所述初始元素列表,筛选得到对应类别标签的元素集合,并截取得到上下文局部图像,包括:
19、遍历所述初始元素列表,筛选出目标类别标签的目标元素集合,对于所述目标元素集合中的每一个初始图片块,执行以下操作:
20、截取包含该初始图片块及其周边区域的局部图像;
21、根据所述初始图片块的坐标、宽度和高度,定义一个扩展系数,进而计算扩展后的截图区域;
22、所述将选定的页面图像输入视觉语言模型进行语义分析,确定属于对应图片块的语义组成部分并得到对应的第二位置信息,包括以下步骤:
23、将选定的页面图输入视觉语言模型,设计特定的提示词引导所述视觉语言模型进行语义分析;
24、所述视觉语言模型通过跨模态注意力机制,对图像特征与文本语义进行对齐,确定属于当前页面图的语义组成部分的视觉元素;
25、将所述视觉语言模型输出的坐标映射变换,还原得到页面绝对坐标;
26、所述根据所述第二位置信息进行初始元素与非图片元素之间的重叠判别与元素合并处理,完成对元素列表的更新,进而构建图文元素信息,包括:
27、计算修正后的图片块区域与初始元素列表中其他非图片元素的重叠关系;
28、采用iou或覆盖率指标进行判定,定义两个区域的重叠面积计算公式;
29、根据预设的重叠阈值以及重叠面积的计算结果,判断文本块为图片块的附属说明内容,将文本块从元素列表中移除,并更新图片块的边界范围,使得完全包含其他非图片元素;
30、对所有修正后且经过合并处理的图片块进行更新,得到中间列表,构建图文元素信息。
31、在一些实施例中,所述根据所述初始元素列表,通过视觉语言模型对所述初始元素列表中的表格块进行处理,确定表格元素信息,包括:
32、遍历所述初始元素列表,筛选出表格类别标签的表格元素集合,并对所述表格元素集合的每个表格块,从原始页面图像中裁剪出包含该表格块的表格子图;
33、将所述表格子图输入视觉语言模型,输出结构化数据对象,当检测到单元格内包含图形内容时,输出该内嵌图片在表格子图中的相对边界框坐标;
34、将所述相对边界框坐标映射回原始页面图像的坐标系下,并根据内嵌图片在原始页面中的绝对坐标,从原始文档图像中裁剪出表格内嵌图片;
35、根据视觉语言模型的分析结果,构建包含图片位置信息的表格结构化数据;
36、将处理完成的表格结构化数据替换原元素列表中的对应表格块,形成新的元素列表。
37、在一些实施例中,所述根据所述图文元素信息和所述表格元素信息进行元素合并和渲染,得到目标文档,包括:
38、对页面元素区域进行去重与校验处理,提取所有识别出的图片块并保存为独立的图片文件;
39、遍历最终元素列表,根据元素类型调用相应的渲染函数,生成markdown字符串流;
40、将所有元素的渲染结果按顺序拼接,生成最终的markdown文档内容;
41、输出markdown文档内容以及关联的图片资源文件夹,完成产品设计指引文档的智能解析,得到目标文档。
42、在一些实施例中,所述遍历最终元素列表,根据元素类型调用相应的渲染函数,生成markdown字符串流,包括:
43、遍历最终元素列表,根据元素类型调用相应的渲染函数,将所有元素的渲染结果按顺序拼接,生成最终的markdown文档内容;
44、其中,对于文本块的元素类型,提取文本内容并输出纯文本;
45、对于图片块的元素类型,根据图片路径生成markdown图片语法;
46、对于表格块的元素类型,提取结构化数据,并在渲染过程中检测特殊标记,具体为:当遇到普通文本单元格,渲染为markdown表格符号;当遇到特殊标记,解析其中的坐标或id,替换为对应的图片markdown语法。
47、本技术实施例的另一方面还提供了一种面向产品设计文档的文档处理装置,包括:
48、获取模块,用于获取待处理的原始产品设计文档,确定所述原始产品设计文档中的基础元素信息,得到初始元素列表;
49、图片块处理模块,用于根据所述初始元素列表,通过视觉语言模型对所述初始元素列表中的图片块进行处理,构建图文元素信息;
50、表格块处理模块,用于根据所述初始元素列表,通过视觉语言模型对所述初始元素列表中的表格块进行处理,确定表格元素信息;
51、合并渲染模块,用于根据所述图文元素信息和所述表格元素信息进行元素合并和渲染,得到目标文档。
52、为实现上述目的,本技术实施例的另一方面提出了一种电子设备,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现前面所述的方法。
53、为实现上述目的,本技术实施例的另一方面提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现前面所述的方法。
54、本技术实施例还公开了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行前面的方法。
55、本技术实施例至少包括以下有益效果:本技术提供一种面向产品设计文档的文档处理方法及相关设备,该方案首先通过获取待处理的原始产品设计文档,确定所述原始产品设计文档中的基础元素信息,得到初始元素列表;接着根据所述初始元素列表,通过视觉语言模型对所述初始元素列表中的图片块进行处理,构建图文元素信息;然后根据所述初始元素列表,通过视觉语言模型对所述初始元素列表中的表格块进行处理,确定表格元素信息;最后根据所述图文元素信息和所述表格元素信息进行元素合并和渲染,得到目标文档。本技术能够提高对设计文档中图文关系的解析精准度,并提升文档结构化数据的提取质量与还原度。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com