一种基于语义的锅炉设计文档切片方法与流程
本发明涉及自然语言处理和信息检索,特别涉及一种基于语义的锅炉设计文档切片方法。
背景技术:
1、在锅炉设计与制造行业中,产生了大量的技术文档,如设计说明书、工艺规程、安全评估报告和运维手册等。这些文档通常篇幅较长、结构复杂,包含了海量的设计参数、性能指标、材料规格和操作流程等关键信息。为了实现对这些信息的有效利用,例如构建智能化问答系统、自动化参数提取或知识图谱构建,首先需要将这些长文档切分为更小、更易于处理的文本片段,即"切片"。
2、现有的长文档切片技术主要是基于规则的切片方法,例如固定大小的滑动窗口切片和基于关键符号的切片。滑动窗口方法通过设定固定的窗口大小和重叠长度来切分文本,但这种方法难以适应文档内部语义单元长度不一的特点,常常导致一个完整的语义单元被强行截断到两个或多个不同的切片中,破坏了信息的完整性。基于关键符号的方法,如使用句号、换行符等进行切分,虽然在一定程度上能与文本的自然边界对齐,但对于跨越多个句子或段落的复杂语义单元,又容易导致切片粒度过细,使得单个切片无法表达完整的语义。这两种方法都因为没有考虑文本的语义信息,导致切片质量不佳,直接影响后续检索和信息提取任务的准确性。
3、此外,现有切片算法通常将切片视为相互独立的文本段落,忽略了它们在原始文档中的内在关联。例如,在锅炉设计说明书中,相邻的章节内容具有逻辑上的延续性;图纸的标注可能链接到文档的特定说明部分;同一章节下的不同小节在结构上属于并列关系。这些上下文、链接和层次关系是理解整个文档不可或缺的一部分。如果这些结构信息在切片阶段丢失,后续的检索系统将难以进行跨片段的关联信息查询和推理,尤其是在处理需要综合多个部分信息才能回答的复杂问题时,其局限性尤为突出。
4、因此,如何开发一种能够保证切片语义完整性、同时保留切片间关联关系的自动化文档切片方法,是当前锅炉设计文档智能化处理领域亟待解决的技术难题。
技术实现思路
1、本公开的第一方面,提供一种基于语义的锅炉设计文档切片方法,包括以下步骤:
2、s1:将原始锅炉设计文档划分为基本文本单元,得到有序的基本文本单元序列;
3、s2:将每个基本文本单元编码为语义向量,基于所述语义向量,将文本切片问题建模为基于动态规划的优化问题,通过求解所述优化问题确定切片边界,将所述基本文本单元序列划分为若干语义切片;
4、s3:解析原始文档的结构信息,构建所述语义切片之间的关联关系,所述关联关系包括相邻关系、超链接关系和层级关系中的至少一种。
5、结合第一方面,步骤s1中,采用多级划分策略将原始锅炉设计文档划分为基本文本单元,所述多级划分策略包括:
6、第一级划分:使用强边界符号集合对文档进行初步划分,所述强边界符号包括句号和换行符;
7、第二级划分:识别长度超过预设阈值的异常长片段,使用弱边界符号集合对所述异常长片段进行二次划分,所述弱边界符号包括逗号和空格;
8、第三级划分:对经过第二级划分后仍然超长的片段,应用固定大小的窗口进行强制切分。
9、结合第一方面,所述预设阈值基于所有初步划分得到的片段的长度均值和标准差确定,具体为均值与三倍标准差之和。
10、结合第一方面,步骤s2中,使用预训练的嵌入模型将每个基本文本单元编码为高维语义向量。
11、结合第一方面,步骤s2中,所述优化问题基于双目标优化函数构建,所述双目标优化函数旨在同时最小化每个切片内部所有语义向量到其语义中心的距离平方和,以及最大化相邻切片边界处的语义向量之间的距离。
12、结合第一方面,所述优化问题的目标损失函数为:
13、,
14、其中,为切分点索引集合,为第个到第个基本文本单元所构成切片的内部语义距离,为第k个切分点处的边界收益,为平衡内部距离和边界距离权重的超参数。
15、结合第一方面,所述动态规划算法的状态转移方程为:
16、,
17、其中,为将前个基本文本单元进行最优切分所能达到的最小损失值;
18、通过动态规划算法求解使所述目标损失函数最小化的最优切分点集合。
19、结合第一方面,所述相邻关系用于连接在原始文档中顺序相邻的语义切片,以保留上下文信息;所述超链接关系用于连接由显式链接指向的语义切片;所述层级关系用于连接在文档目录结构中处于并列或从属关系的语义切片。
20、结合第一方面,步骤s3中,每个语义切片被存储为一个数据实体,所述数据实体包含唯一标识符、文本内容、语义向量以及关联关系列表,所述关联关系列表存储与当前切片存在关联的其他切片的标识符及关系类型。
21、本公开的第二方面,提供一种基于语义的锅炉设计文档切片装置,其特征在于,包括:
22、划分模块,用于将原始锅炉设计文档划分为基本文本单元,得到有序的基本文本单元序列;
23、切片边界求解模块,用于将每个基本文本单元编码为语义向量,基于所述语义向量,将文本切片问题建模为基于动态规划的优化问题,通过求解所述优化问题确定切片边界,将所述基本文本单元序列划分为若干语义切片;
24、关系构建模块,用于解析原始文档的结构信息,构建所述语义切片之间的关联关系,所述关联关系包括相邻关系、超链接关系和层级关系中的至少一种。
25、有益效果:本公开提供的一种基于语义的锅炉设计文档切片方法及装置,通过采用多级划分策略将原始锅炉设计文档划分为细粒度的基本文本单元,通过基于语义向量的动态规划优化方法求解同时最小化切片内部语义距离和最大化切片边界距离的最佳切片边界以形成语义独立的切片,并通过解析文档结构信息构建切片之间的相邻关系、超链接关系和层级关系,从而保证了每个切片的语义完整性和独立性,保留了文档原有的结构化关联信息,显著提升了后续信息检索、检索增强生成及知识图谱构建等下游任务的准确性和全面性,同时具有高度的自动化水平和良好的复杂文档适应能力。
1.一种基于语义的锅炉设计文档切片方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的方法,其特征在于,步骤s1中,采用多级划分策略将原始锅炉设计文档划分为基本文本单元,所述多级划分策略包括:
3.根据权利要求2所述的方法,其特征在于,所述预设阈值基于所有初步划分得到的片段的长度均值和标准差确定,具体为均值与三倍标准差之和。
4.根据权利要求1所述的方法,其特征在于,步骤s2中,使用预训练的嵌入模型将每个基本文本单元编码为高维语义向量。
5.根据权利要求1所述的方法,其特征在于,步骤s2中,所述优化问题基于双目标优化函数构建,所述双目标优化函数旨在同时最小化每个切片内部所有语义向量到其语义中心的距离平方和,以及最大化相邻切片边界处的语义向量之间的距离。
6.根据权利要求5所述的方法,其特征在于,所述优化问题的目标损失函数为:
7.根据权利要求6所述的方法,其特征在于,所述动态规划算法的状态转移方程为:
8.根据权利要求1所述的方法,其特征在于,步骤s3中,所述相邻关系用于连接在原始文档中顺序相邻的语义切片,以保留上下文信息;
9.根据权利要求1所述的方法,其特征在于,步骤s3中,每个语义切片被存储为一个数据实体,所述数据实体包含唯一标识符、文本内容、语义向量以及关联关系列表,所述关联关系列表存储与当前切片存在关联的其他切片的标识符及关系类型。
10.一种基于语义的锅炉设计文档切片装置,其特征在于,包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com