面向金融文献的数据资源提取方法、系统、介质和设备
本发明涉及金融数据治理领域,特别涉及一种面向金融文献的数据资源提取方法、系统、介质和设备。
背景技术:
1、金融文献中的数据资源信息并非集中出现在固定位置,而是分散于数据来源、变量构造、样本选择、实证设计等不同章节,还可能以脚注、括号注释或数据库缩写形式出现。
2、现有的关键词检索仅依赖于词面匹配,当文献中使用数据库别名(如将“csmar”写为“国泰安”)、中英文混用或隐含描述(如“数据取自常用的商业数据库”)时,关键词检索极易漏检;而检索词过于宽泛时又会引入大量无关段落,导致误检。
技术实现思路
1、本发明提供了一种面向金融文献的数据资源提取方法、系统、介质和设备,用以解决现有技术中存在的上述问题,即现有技术中如何提高金融文献候选片段定位不准确的问题,本发明提供一种面向金融文献的数据资源提取方法,该方法包括:
2、获取待处理的金融文献或金融业务文档,提取金融文献或金融业务文档中的多个文本片段;
3、基于每个文本片段与金融数据资源检索词之间词面或语义的相关性,确定相关性得分;通过预设的正则表达式规则集对每个文本片段进行结构化线索匹配,确定正则表达式命中得分;通过预先构建的包含结构化领域词条集合的金融数据资源词典对每个文本片段进行领域词条匹配,确定金融数据资源词典命中得分;对相关性得分、正则表达式命中得分和金融数据资源词典命中得分进行加权求和,确定每个文本片段对应的综合评分,将综合评分大于预设阈值的文本片段作为候选片段;
4、对候选片段进行结构化抽取,并基于预设的用于限定输出字段和格式的金融数据资源结构化抽取字段模式对抽取结果进行约束,确定包含预设字段的结构化记录;对结构化记录中的至少一个字段进行映射,生成标准化金融数据资源记录。
5、可选的,所述对结构化记录中的至少一个字段进行映射时,基于结构化记录中的待归一化字段ai与预设标准化词表中的候选项sj,确定二者的编辑距离相似度lev(ai,sj)和语义向量余弦相似度cos(e(ai),e(sj)),对lev(ai,sj)和cos(e(ai),e(sj))进行加权融合,采用如下方式确定综合相似度sim(ai,sj):
6、sim(ai,sj)=λ·lev(ai,sj)+(1-λ)·cos(e(ai),e(sj));
7、其中,ai表示结构化记录中的第i个待归一化字段值,sj表示与所述待归一化字段对应的预设标准化词表中的第j个候选项,i和j均为正整数;lev(ai,sj)为编辑距离相似度,cos(e(ai),e(sj))为语义向量余弦相似度,λ为权重系数;
8、当所述综合相似度大于预设阈值τ且辅助字段不存在冲突时,将待归一化字段映射为对应的标准化值;
9、当所述综合相似度小于或等于预设阈值τ,或存在样本区间、市场范围、变量集合、频率、数据提供方中的一种或多种冲突时,保留原始值并标记为低置信度或待人工复核。
10、可选的,所述预设字段的结构化记录为包括预设字段名称、字段值、原文证据和置信度信息的结构化记录。
11、可选的,采用大语言模型对所述候选片段进行结构化抽取。
12、可选的,所述金融数据资源结构化抽取字段模式,具体包括:
13、金融数据资源名称、资源别名、金融变量、样本区间、市场范围、数据频率、数据提供方名称、原文证据和置信度信息。
14、可选的,所述正则表达式规则集包括结构化的时间表达规则、频率表达规则、证券代码规则、市场表达规则、来源链接规则和标识符规则。
15、可选的,在提取所述金融文献或金融业务文档中的多个文本片段之前,对所述金融文献或金融业务文档进行预处理,具体包括:格式转换和正文抽取、文本清洗和切分操作。
16、本发明提供了一种面向金融文献的数据资源提取系统,包括:
17、文档预处理模块,用于获取待处理的金融文献或金融业务文档,提取金融文献或金融业务文档中的多个文本片段;
18、候选片段筛选模块,用于基于每个文本片段与金融数据资源检索词之间词面或语义的相关性,确定相关性得分;通过预设的正则表达式规则集对每个文本片段进行结构化线索匹配,确定正则表达式命中得分;通过预先构建的包含结构化领域词条集合的金融数据资源词典对每个文本片段进行领域词条匹配,确定金融数据资源词典命中得分;对相关性得分、正则表达式命中得分和金融数据资源词典命中得分进行加权求和,确定每个文本片段对应的综合评分,将综合评分大于预设阈值的文本片段作为候选片段;
19、归一化处理和结果输出模块,用于对候选片段进行结构化抽取,并基于预设的用于限定输出字段和格式的金融数据资源结构化抽取字段模式对抽取结果进行约束,确定包含预设字段的结构化记录;对结构化记录中的至少一个字段进行映射,生成标准化金融数据资源记录。
20、本发明提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述面向金融文献的数据资源提取方法。
21、本发明提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述面向金融文献的数据资源提取方法。
22、相对于现有技术,本发明的有益效果如下:本发明提供了一种面向金融文献的数据资源提取方法,该方法通过获取每个文本片段的相关性得分、正则表达式命中得分和金融数据资源词典命中得分,将三种信号加权融合后,确定综合得分,即使文献中使用别名或隐含描述(如仅出现时间区间“2010-2022”和市场范围“a股”而未直接写出“csmar”),正则表达式和词典信号仍能捕捉到该片段与金融数据资源的相关性,从而优先定位包含金融数据资源信息的文本片段,避免漏检。
1.一种面向金融文献的数据资源提取方法,其特征在于,包括:
2.如权利要求1所述的面向金融文献的数据资源提取方法,其特征在于,所述对结构化记录中的至少一个字段进行映射时,基于结构化记录中的待归一化字段ai与预设标准化词表中的候选项sj,确定二者的编辑距离相似度lev(ai,sj)和语义向量余弦相似度cos(e(ai),e(sj)),对lev(ai,sj)和cos(e(ai),e(sj))进行加权融合,采用如下方式确定综合相似度sim(ai,sj):
3.如权利要求1所述面向金融文献的数据资源提取方法,其特征在于,所述预设字段的结构化记录为包括预设字段名称、字段值、原文证据和置信度信息的结构化记录。
4.如权利要求1所述面向金融文献的数据资源提取方法,其特征在于,采用大语言模型对所述候选片段进行结构化抽取。
5.如权利要求1所述面向金融文献的数据资源提取方法,其特征在于,所述金融数据资源结构化抽取字段模式,具体包括:
6.如权利要求1所述面向金融文献的数据资源提取方法,其特征在于,所述正则表达式规则集包括结构化的时间表达规则、频率表达规则、证券代码规则、市场表达规则、来源链接规则和标识符规则。
7.如权利要求1所述面向金融文献的数据资源提取方法,其特征在于,在提取所述金融文献或金融业务文档中的多个文本片段之前,对所述金融文献或金融业务文档进行预处理,具体包括:格式转换和正文抽取、文本清洗和切分操作。
8.一种面向金融文献的数据资源提取系统,其特征在于,包括:
9.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1-7任一项所述面向金融文献的数据资源提取方法。
10.一种计算机设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述权利要求1-7任一所述面向金融文献的数据资源提取方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com