面向制造技术文档的专业术语的联合判定方法以及系统与流程

摘要: 本发明涉及制造技术文档的,尤其涉及一种面向制造技术文档的专业术语的联合判定方法以及系统。背景技术:1、随着高端装备制造行业的数字化发展,技术文档呈指数级增长,从...
面向制造技术文档的专业术语的联合判定方法以及系统与流程

本发明涉及制造技术文档的,尤其涉及一种面向制造技术文档的专业术语的联合判定方法以及系统。

背景技术:

1、随着高端装备制造行业的数字化发展,技术文档呈指数级增长,从这些非结构化文本中自动抽取专业术语并构建受控术语库,成为知识管理的核心需求;在高端装备制造技术文档中,大量高价值的专业术语常以长复合词或嵌套短语的形式存在。受限于分词算法的局限性,现有技术往往将主轴热误差补偿模型错误切分为主轴热误差补偿,导致候选词呈现出语义专业但边界残缺的特征,现有技术在遇到此类样本时,往往采取单一的直接拒绝策略,缺乏有效的边界校正路径,导致大量核心专业术语被漏标,严重降低了术语抽取的召回率。

技术实现思路

1、本发明的目的在于克服现有技术的不足,本发明提供了一种面向制造技术文档的专业术语的联合判定方法以及系统。

2、本发明实施例提供了一种面向制造技术文档的专业术语的联合判定方法,包括:

3、从制造技术文档中提取待判定候选词及其对应的多个原文上下文,基于待判定候选词的编码而得到候选词向量;在各个原文上下文中待判定候选词的起止位置插入边界标记,并得到上下文向量,基于多个上下文向量的聚合而得到聚合上下文向量,并与候选词向量生成融合特征;

4、将融合特征表示输入至多任务神经网络,多任务神经网络包括完整性任务头、专业性任务头和适宜性任务头,分别对应输出完整性概率、专业性概率和适宜性概率;

5、基于完整性概率和专业性概率确定逻辑联合概率,并获取逻辑联合概率与适宜性概率之间的冲突差值;若冲突差值超过预设冲突阈值,则将待判定候选词分流至人工复核路径;

6、若完整性概率、专业性概率和适宜性概率均达到对应的接纳阈值,判定待判定候选词作为规范专业术语,并进入直接入库路径;若专业性概率达到接纳阈值而完整性概率未达到接纳阈值,判定待判定候选词进入边界校正路径。

7、本发明实施例提供了一种面向制造技术文档的专业术语的联合判定系统,所述面向制造技术文档的专业术语的联合判定系统应用于上述的面向制造技术文档的专业术语的联合判定方法;所述面向制造技术文档的专业术语的联合判定系统包括:

8、融合特征模块,用于从制造技术文档中提取待判定候选词及其对应的多个原文上下文,基于待判定候选词的编码而得到候选词向量;在各个原文上下文中待判定候选词的起止位置插入边界标记,并得到上下文向量,基于多个上下文向量的聚合而得到聚合上下文向量,并与候选词向量生成融合特征;

9、概率模块,用于将融合特征表示输入至多任务神经网络,多任务神经网络包括完整性任务头、专业性任务头和适宜性任务头,分别对应输出完整性概率、专业性概率和适宜性概率;

10、第一判定模块,用于基于完整性概率和专业性概率确定逻辑联合概率,并获取逻辑联合概率与适宜性概率之间的冲突差值;若冲突差值超过预设冲突阈值,则将待判定候选词分流至人工复核路径;

11、第二判定模块,用于若完整性概率、专业性概率和适宜性概率均达到对应的接纳阈值,判定待判定候选词作为规范专业术语,并进入直接入库路径;若专业性概率达到接纳阈值而完整性概率未达到接纳阈值,判定待判定候选词进入边界校正路径。

12、与现有技术相比,本发明的有益效果是:

13、(1)从制造技术文档中提取待判定候选词及其对应的多个原文上下文,基于待判定候选词的编码而得到候选词向量;在各个原文上下文中待判定候选词的起止位置插入边界标记,并得到上下文向量,基于多个上下文向量的聚合而得到聚合上下文向量,并与候选词向量生成融合特征;将融合特征表示输入至多任务神经网络,多任务神经网络包括完整性任务头、专业性任务头和适宜性任务头,分别对应输出完整性概率、专业性概率和适宜性概率,摒弃了传统单一的二元分类模式,实现了对候选词从边界完整性、领域专业度及入库适宜性三个维度的细粒度评估,这种多维判定机制能够有效识别并剔除干扰项,确保入库术语的质量,防止低质量术语污染受控术语库。

14、(2)基于完整性概率和专业性概率确定逻辑联合概率,并获取逻辑联合概率与适宜性概率之间的冲突差值;若冲突差值超过预设冲突阈值,则将待判定候选词分流至人工复核路径;若完整性概率、专业性概率和适宜性概率均达到对应的接纳阈值,判定待判定候选词作为规范专业术语,并进入直接入库路径;若专业性概率达到接纳阈值而完整性概率未达到接纳阈值,判定待判定候选词进入边界校正路径,有效避免了模型因过拟合或边界模糊而输出错误判定结果的风险,确保了自动入库流程的安全性与可靠性,降低了人工审核的筛选成本。

1.一种面向制造技术文档的专业术语的联合判定方法,其特征在于,包括:

2.根据权利要求1所述的面向制造技术文档的专业术语的联合判定方法,其特征在于,所述从制造技术文档中提取待判定候选词及其对应的多个原文上下文,基于待判定候选词的编码而得到候选词向量;在各个原文上下文中待判定候选词的起止位置插入边界标记,并得到上下文向量,基于多个上下文向量的聚合而得到聚合上下文向量,并与候选词向量生成融合特征,包括:

3.根据权利要求2所述的面向制造技术文档的专业术语的联合判定方法,其特征在于,所述从制造技术文档中提取待判定候选词及其对应的多个原文上下文,基于待判定候选词的编码而得到候选词向量;在各个原文上下文中待判定候选词的起止位置插入边界标记,并得到上下文向量,基于多个上下文向量的聚合而得到聚合上下文向量,并与候选词向量生成融合特征,还包括:

4.根据权利要求1所述的面向制造技术文档的专业术语的联合判定方法,其特征在于,所述将融合特征表示输入至多任务神经网络,多任务神经网络包括完整性任务头、专业性任务头和适宜性任务头,分别对应输出完整性概率、专业性概率和适宜性概率,包括:

5.根据权利要求4所述的面向制造技术文档的专业术语的联合判定方法,其特征在于,所述将融合特征表示输入至多任务神经网络,多任务神经网络包括完整性任务头、专业性任务头和适宜性任务头,分别对应输出完整性概率、专业性概率和适宜性概率,还包括:

6.根据权利要求1所述的面向制造技术文档的专业术语的联合判定方法,其特征在于,所述基于完整性概率和专业性概率确定逻辑联合概率,并获取逻辑联合概率与适宜性概率之间的冲突差值;若冲突差值超过预设冲突阈值,则将待判定候选词分流至人工复核路径,包括:

7.根据权利要求6所述的面向制造技术文档的专业术语的联合判定方法,其特征在于,所述基于完整性概率和专业性概率确定逻辑联合概率,并获取逻辑联合概率与适宜性概率之间的冲突差值;若冲突差值超过预设冲突阈值,则将待判定候选词分流至人工复核路径,还包括:

8.根据权利要求1所述的面向制造技术文档的专业术语的联合判定方法,其特征在于,所述若完整性概率、专业性概率和适宜性概率均达到对应的接纳阈值,判定待判定候选词作为规范专业术语,并进入直接入库路径;若专业性概率达到接纳阈值而完整性概率未达到接纳阈值,判定待判定候选词进入边界校正路径,包括:

9.根据权利要求8所述的面向制造技术文档的专业术语的联合判定方法,其特征在于,所述若完整性概率、专业性概率和适宜性概率均达到对应的接纳阈值,判定待判定候选词作为规范专业术语,并进入直接入库路径;若专业性概率达到接纳阈值而完整性概率未达到接纳阈值,判定待判定候选词进入边界校正路径,还包括:

10.一种面向制造技术文档的专业术语的联合判定系统,其特征在于,所述面向制造技术文档的专业术语的联合判定系统应用于如权利要求1-9中任一项所述的面向制造技术文档的专业术语的联合判定方法;所述面向制造技术文档的专业术语的联合判定系统包括: