一种面向金融文档的多源异构知识治理方法、装置及存储介质与流程

摘要: 本发明涉及人工智能与金融科技,具体涉及一种面向金融文档的多源异构知识治理方法、装置及存储介质。背景技术:1、金融行业,特别是资产管理领域,其业务运营高度依赖于海...
一种面向金融文档的多源异构知识治理方法、装置及存储介质与流程

本发明涉及人工智能与金融科技,具体涉及一种面向金融文档的多源异构知识治理方法、装置及存储介质。

背景技术:

1、金融行业,特别是资产管理领域,其业务运营高度依赖于海量的文档资料。这些金融文档,例如基金合同、招募说明书、定期报告以及各类公告,不仅数量庞大,而且来源多样、格式各异,常见的包括pdf、word、扫描件等,其内部结构往往也较为复杂,包含了大量的表格、跨页条款和专业术语。

2、为了实现智能问答、风险监控、合规审查等上层应用,必须首先将这些非结构化或半结构化的文档转化为机器可理解、可检索的结构化知识。然而,在利用现有技术构建金融知识库的过程中,通常面临诸多挑战。首先,现有数据处理工具自动化程度较低。通用的etl(抽取、转换、加载)工具往往缺乏对金融文档特殊版式和语义结构的理解能力,导致大量的文档解析、信息抽取工作需要人工介入,这不仅成本高昂、效率低下,而且容易引入人为错误。其次,在文本处理过程中存在严重的语义信息损失问题。通用的文本分块方法,如按固定长度或按自然段落进行切分,在处理金融合同这类长文档时,极易将一个逻辑上完整的业务条款、一个跨页的表格或一个问答对粗暴地切分开,导致关键语义信息的割裂和丢失,进而严重影响下游检索和问答应用的准确性。此外,金融文档中包含的大量关键业务事件难以被有效捕捉和利用。例如,金融公告中包含了大量对业务运营至关重要的事件,如“开放申购”“暂停大额申购”“基金经理变更”“分红”等。如果这些事件信息不能被标准化、结构化地抽取出来,就无法进行有效的历史回溯、条件筛选和趋势分析,其应用价值大打折扣。

3、因此,现有技术在处理金融文档时,存在自动化程度低、语义信息易丢失、关键业务事件难以有效利用等问题,亟需一种能够自动化、智能化地完成多源异构金融文档知识化过程的解决方案。

技术实现思路

1、针对现有技术中处理金融文档时存在的自动化程度低、语义信息易丢失、关键业务事件难以有效利用等技术问题,本发明提供了一种面向金融文档的多源异构知识治理方法、装置及计算机可读存储介质。

2、本发明提供的一种面向金融文档的多源异构知识治理方法,包括:

3、对金融文档进行版面结构解析,以区分金融文档内的不同内容区块;

4、识别所述内容区块内的逻辑单元边界,并根据所述逻辑单元边界对所述内容区块内的文本进行分段,以生成语义完整的文本块;

5、从所述语义完整的文本块中,利用预设的信息抽取模型,识别并提取与金融实体关联的预设元数据;

6、从所述语义完整的文本块中,利用预设的事件抽取模型,识别并提取预定义的业务事件以及与所述业务事件关联的事件要素;

7、将所述语义完整的文本块输入预设的文本向量化模型,生成对应的文本向量,并构建用于语义检索的向量索引;

8、根据所述预设元数据和所述业务事件构建支持结构化查询的结构化索引。

9、可选地,在对金融文档进行版面结构解析之前,所述方法还包括以下步骤中的至少一项:

10、提供用于接入pdf、word、excel、txt格式文档中至少一种的接口;当所述金融文档为图片格式时,利用光学字符识别引擎将所述金融文档转换为文本。该方式确保了方法能够处理多源、多格式的金融文档,提高了方案的普适性和自动化接入能力。

11、进一步地,所述识别所述内容区块内的逻辑单元边界,包括:

12、采用基于预设规则集和预训练语言模型相结合的策略,识别所述逻辑单元边界;

13、所述逻辑单元边界包括条款编号、表格的起止标识以及问答对结构中的至少一种。

14、通过该领域自适应的分段策略,能够智能识别金融文档特有的逻辑结构,确保切分出的文本块在业务逻辑或语义上保持完整,从根本上避免了因盲目切分导致的语义割裂问题,为后续的精准检索奠定了基础。

15、在一种实施方式中,所述预设元数据包括产品代码、产品名称、管理人中的至少一种;和/或,所述业务事件包括开放申购、分红、基金经理变更中的至少一种。通过提取这些金融领域的核心信息,能够对知识进行更细粒度的组织和管理。

16、可选地,所述事件抽取模型为在金融公告语料上训练的模型。通过使用领域专属的语料进行训练,可以显著提升事件抽取模型在金融场景下的识别准确率和召回率,确保关键业务事件能够被可靠地捕获。

17、进一步地,所述文本向量化模型为在金融领域语料上进行过优化的金融领域增强文本向量化模型。该模型能够更准确地理解金融领域的专业术语和语义关系,生成的文本向量在表示金融文本时更具区分度,从而提升语义检索的精度。

18、可选地,所述方法还包括:响应用户查询请求,结合使用所述向量索引和所述结构化索引进行混合检索,以返回与查询请求相关的查询结果。该方式使得知识库能够同时响应模糊的语义查询和精确的条件查询,极大地增强了知识库的可用性和查询灵活性。

19、优选地,所述混合检索包括:利用所述结构化索引执行精确筛选,并利用所述向量索引在筛选后的结果范围内执行语义相似度匹配。例如,当处理“查找xx基金关于暂停大额申购的公告,并说明具体的限制金额”这类复杂查询时,系统首先通过结构化索引筛选出所有与“xx基金”和“暂停大额申购”事件相关的记录,然后在该小范围结果集对应的文本块内,再利用向量索引对“具体的限制金额”进行语义匹配,从而实现快速且精准的定位。这种两阶段的检索策略兼顾了效率与准确性。

20、本发明还提供了一种面向金融文档的多源异构知识治理装置,包括:

21、版面解析模块,用于对金融文档进行版面结构解析,以区分金融文档内的不同内容区块;

22、文本分段模块,用于识别所述内容区块内的逻辑单元边界,并根据所述逻辑单元边界对所述内容区块内的文本进行分段,以生成语义完整的文本块;

23、元数据提取模块,用于从所述语义完整的文本块中,利用预设的信息抽取模型,识别并提取与金融实体关联的预设元数据;

24、事件提取模块,用于从所述语义完整的文本块中,利用预设的事件抽取模型,识别并提取预定义的业务事件以及与所述业务事件关联的事件要素;

25、向量索引构建模块,用于将所述语义完整的文本块输入预设的文本向量化模型,生成对应的文本向量,并构建用于语义检索的向量索引;

26、结构化索引构建模块,用于根据所述预设元数据和所述业务事件构建支持结构化查询的结构化索引。

27、本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如前述任一项所述的方法。

28、与现有技术相比,本发明具有以下有益效果:

29、1.本发明通过金融语义自适应分段步骤,准确识别金融文档特有的逻辑单元边界(如条款编号、表格起止符、问答对结构等),从而确保分段后生成的语义完整的文本块最大限度地保留了原始文档的逻辑结构和语义完整性,避免了关键信息的割裂,为后续的精准检索和可信问答提供了高质量的数据源。

30、2.本发明通过业务事件抽取步骤,利用在金融公告语料上训练的专用模型,能够从非结构化的文本中识别并提取出预定义的业务事件及其关联要素(如生效日期、涉及金额等)。随后,通过将这些信息存入结构化索引,将原本散乱的事件描述转化为了可查询、可筛选、可聚合的结构化数据,为实现历史事件回溯、风险监控等深度数据应用创造了条件,实现了对关键业务事件的标准化管理与深度利用。

31、3.本发明通过将语义完整的文本块进行向量化以构建向量索引,同时将抽取的元数据和业务事件构建成结构化索引,形成了一种支持混合检索的知识架构。该架构不仅能利用向量索引响应模糊的语义查询,还能利用结构化索引执行精确的条件筛选,更能通过先精确筛选、后语义匹配的混合检索策略响应复杂查询,极大地增强了知识库的应用价值。