学术引文的情感倾向识别方法及装置、电子设备与流程
本公开涉及深度学习,具体而言,本公开涉及一种学术引文的情感倾向识别方法及装置、电子设备。
背景技术:
1、在数字化科研环境下,学术文献规模持续扩大,对大规模科研成果开展系统性量化分析的需求日益凸显。学术引文作为文献中知识关联关系的核心表征,其分析方法是科学计量研究和学术评价体系构建的重要基础。当前引文分析正经历从宏观数量统计向微观语义解析的转型,这一转型主要体现在通过细粒度引文上下文分析,对引文的情感倾向进行深入刻画,从而为准确理解学术对话机制、追踪知识演进路径以及构建精细化科研评价框架提供有力支撑。然而,相关研究的发展仍面临明显瓶颈:现有工作很大程度上依赖商业数据库的有限标注数据,在学科覆盖广度、数据时效性与可获取性等方面存在突出局限,难以支撑海量全文文献的深度挖掘。在此背景下,开发从学术全文中自动抽取引文信息并实现细粒度标注的可扩展方法,已成为突破该领域发展瓶颈亟待解决的关键技术问题。
2、现有引文分析研究为细粒度引文分析提供了较为坚实的理论基础和方法储备,但在很大程度上依赖商业数据库提供的预处理结构化文本,尚未解决如何从原始全文pdf出发,自动完成引文位置识别、上下文抽取与情感倾向识别的端到端处理问题,也难以在海量开放全文语料上实现可扩展应用。
技术实现思路
1、本公开实施例提供了一种基于scibert的学术引文分析方法及装置、电子设备,用于解决现有学术引文分析方法依赖商业数据库提供的预处理结构化文本,而无法从原始全文pdf出发自动完成引文位置识别、上下文抽取与情感倾向识别的端到端处理的技术问题。
2、本公开实施例的一个方面提供了一种学术引文的情感倾向识别方法,该方法包括:从文献中识别出指向特定参考文献的引文句;利用基于scibert的预训练深度学习模型对引文句进行分类,输出引文句在情感维度所属类别的概率分布;将概率分布最高的类别确定为引文句的情感分类标记。
3、可选地,从文献中识别出指向特定参考文献的引文句,包括:将文献包括的句子序列输入至scibert进行处理,输出每个句子的包含上下文信息的第一语义向量;将第一语义向量输入至条件随机场crf层进行处理,输出句子序列中的引文句集合。
4、可选地,将文献包括的句子序列输入至scibert进行处理,输出每个句子的包含上下文信息的第一语义向量,包括:对句子序列中的每个句子进行词元化处理,并在句首添加cls分类标记,在句尾添加分隔标记,生成词元序列;将词元序列输入至scibert中,利用深层双向transformer架构及自注意力机制对词元序列进行上下文编码;提取每个句子对应的cls分类标记的隐藏层状态,生成该句子的全局语义表征向量,其中,全局语义表征向量融合了句子内部的词汇、句法信息及句子在文献上下文中的逻辑角色。
5、可选地,将第一语义向量输入至条件随机场crf层进行处理,输出句子序列中的引文句集合,包括:将第一语义向量作为输入特征输入至crf层,利用crf层学习句子级别上标签之间的转移规律;其中,标签包括:引文开始、引文中间以及非引文;基于转移规律,通过全局解码算法计算并输出全局最优的标签序列;根据全局最优的标签序列,提取并聚合所有被标记为引文的句子,输出引文句集合。
6、可选地,利用crf层学习句子级别上标签之间的转移规律,包括:在crf层内部构建并维护一个可学习的标签转移矩阵;利用标签转移矩阵,计算前一个句子的标签与当前句子的标签之间的组合概率,以学习相邻标签之间的上下文转移约束,从而保证标签序列在语法和语义上的连贯性。
7、可选地,通过全局解码算法计算并输出全局最优的标签序列,包括:针对文献包括的句子序列中所有可能的标签路径,综合计算每个位置的发射得分以及相邻标签间的转移得分,得到各条路径的总分;采用维特比算法进行全局解码,从所有可能的标签路径中挑选出总分最高的路径,作为全局最优的标签序列。
8、可选地,根据全局最优的标签序列,提取并聚合所有被标记为引文的句子,输出引文句集合,包括:遍历全局最优的标签序列,识别出包含引文开始标签和引文中间标签的连续句子片段;将识别出的连续句子片段进行聚合提取,转化为结构化的引文句集合并输出。
9、可选地,利用基于scibert的预训练深度学习模型对引文句进行分类,包括:对引文句进行词元化处理,并在引文句的句首添加cls分类标记,在引文句的句尾添加分隔标记,生成引文句对应的词元序列;将引文句对应的词元序列输入至深度学习模型进行处理,输出引文句对应的包含上下文信息的第二语义向量;从第二语义向量中提取cls分类标记的向量,作为引文句的语义概括向量;将语义概括向量输入至全连接层进行分类,输出引文句的类别标签。
10、可选地,将语义概括向量输入至全连接层进行分类,输出引文句的类别标签,包括:通过全连接层将语义概括向量映射至预设的类别空间,计算各类别的概率分布;采用softmax 函数进行归一化处理,选取概率值最大的类别作为最终输出,生成引文句的类别标签。
11、可选地,深度学习模型的训练方法包括以下步骤:构建训练数据集;将数据集按照文献唯一标识符划分为训练集、验证集和内部测试集;其中,同一文献的所有引文句只出现在一个数据子集中;基于划分完成的数据集对scibert进行训练,得到深度学习模型。
12、可选地,构建训练数据集,包括:获取文献的原始pdf全文以及与文献对应的参考文献条目及其上下文标注数据;将文献的原始pdf全文与其对应的参考文献条目及上下文标注数据进行关联;识别文献的原始pdf全文中的引文标记,以引文标记为中心,向两端扩展至完整的句子边界,通过句法解析进行句子完整性校验,得到引文句;对得到的引文句进行数据清洗与整理,得到训练数据集。
13、可选地,构建训练数据集,还包括:根据不同功能类别的引文句的数量分布,对不同功能类别的引文句采用不同的采样策略。
14、根据本公开实施例的另一个方面,提供了一种基于学术引文的情感倾向识别装置,该装置包括:识别模块,用于从文献中识别出指向特定参考文献的引文句;分类模块,用于利用基于scibert的预训练深度学习模型对引文句进行分类,输出引文句在情感维度所属类别的概率分布;确定模块,用于将概率分布最高的类别确定为引文句的情感分类标记。
15、根据本公开实施例的另一个方面,提供了一种电子设备,该电子设备包括:存储器、处理器及存储在存储器上的计算机程序,处理器执行计算机程序以实现以上的方法。
16、根据本公开实施例的再一个方面,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以上的方法。
17、本公开实施例提供的技术方案带来的有益效果是:
18、充分利用高质量引文标注数据的基础上,引入面向科学文本优化的预训练模型scibert,构建了一种从全文pdf出发的学术引文上下文自动识别与情感倾向识别方法。该方法兼顾识别精度与处理效率,在内部测试中能够较好复现专家标注规则,并在外部语料上展现出一定的泛化能力,为大规模、自动化的细粒度引文分析提供了一条可行性的技术路径。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com