一种基于多模态大语言模型的金融授信数据录入方法与流程
本发明涉及一种基于多模态大语言模型的金融授信数据录入方法,属于金融数据采集录入。
背景技术:
1、多模态大模型已经在各个领域取得了显著的进展,这些模型能够处理和理解多种类型的数据,包括文本、图像、音频和视频,多模态的优点是能够从多种数据源中提取和结合信息,提供更丰富和更准确的输出。
2、然而在金融授信方面,多模态大模型仍存在一些挑战,处理金融数据需要高度的准确性和专业知识,而这些模型可能缺乏对金融数据特定上下文和复杂性的理解,并且金融数据通常涉及敏感信息,因此保证数据隐私和数据安全是一个重要的关注点,而且金融数据的处理和分析也需要遵守严格的法规和合规要求。
3、要解决授信审查报告需要录入企业资产信息以及过往财务报告的图表数据,现有的技术大致分为两种,一种是是通过cor(optical character recognition,光学字符识别)技术检测暗、亮的模式确定其形状,然后用字符识别方法将形状翻译成计算机文字,再调用规则引擎抽取信息;另一种则是使用多模态大语言模型进行信息抽取,通过融合文本与图像数据,旨在准确提取图像中的关键属性和相应值,从而形成有限的键值对信息,并录入到系统当中。
4、由于金融数据业务的特殊性,此类业务只能在开源ocr模型的基础上进一步开发,然而现有的开源ocr能力有限, 并不能够很好地识别出财报中的无线表格,存在合并单元格的表格、横向表格、跨页表格、以及其他复杂格式的表格等,开发者无法事先设计好所有规则引擎,致使抽取效率低下。
5、而且对于使用多模态大语言模型进行信息抽取的技术方案,也存在如下的问题:
6、1)多模态信息抽取十分依赖于schema的设计,例如身份证识别中,通常要提供“姓名”、“性别”、“身份证号”等schema。但在授信业务中,所面临的表格往往是复杂的,格式不统一,因此设计schema是困难的。
7、2)以往的多模态信息抽取主要使用小模型,泛化能力有限。目前,由于多模态大模型的问世,已经可以解决通用领域中的泛化问题,但面临授信业务中的特殊情况,其泛化能力还相对有限。
8、3)按照传统的技术解决方案,银行往往需要准备大量的财报类数据、价值评估类数据,再由人工进行图表标注,这极大地增加了业务部门、科技部门的工作量,难以施行。
技术实现思路
1、本发明所要解决的技术问题是提供一种基于多模态大语言模型的金融授信数据录入方法,针对企业财报中的表格,实现专业且准确的结构化数据提取。
2、本发明为了解决上述技术问题采用以下技术方案:本发明设计了一种基于多模态大语言模型的金融授信数据录入方法,执行如下步骤a至步骤f,构建表格分类方法,然后按步骤i,针对目标企业财报进行结构化数据提取并进行录入;
3、步骤a. 针对分别包含表格的预设数量样本企业财报,应用多模态大语言模型提取其中各表格并转换成目标格式,获得各个目标格式表格,构建训练数据集,然后进入步骤b;
4、步骤b. 分别针对各个目标格式表格,应用多模态大语言模型提取目标格式表格中的各属性信息与各特征信息,并经向量表示,结合属性信息与特征信息对应的权重组合,通过加权平均,获得目标格式表格向量表示,然后进入步骤c;
5、步骤c. 构建并训练获得用于实现同类特征高度聚集、且异类特征显著分离的特征变换矩阵,分别针对各目标格式表格向量表示,乘以特征变换矩阵进行变换更新,然后进入步骤d;
6、步骤d. 基于各个目标格式表格向量表示,针对各个目标格式表格进行划分归类,获得各个目标类别,然后进入步骤e;
7、步骤e. 由各个目标类别中分别随机选取预设比例数量个目标格式表格,作为各个目标格式验证表格,并确定各目标格式验证表格的预设各字段关键词,分别构成其所属目标类别的目标类别schema,然后进入步骤f;
8、步骤f. 基于各目标格式验证表格分别关于其所属目标类别分类准确与否的判断结果,若准确率低于预设准确率阈值,则依据各个目标类别,以分别已知所属目标类别的预设数量目标格式训练表格,结合目标格式训练表格向量表示,针对步骤a至步骤c执行过程中属性信息与特征信息对应的权重组合、以及多模态大语言模型中各参数进行训练更新;
9、步骤i. 针对目标企业财报,首先执行步骤a至步骤b,获得目标企业财报中各个目标格式表格向量表示;然后基于步骤c执行所获各个目标类别,针对目标企业财报中各个目标格式表格进行划分归类;最后依据目标企业财报中各目标格式表格分别所属目标类别的目标类别schema,针对目标企业财报中各目标格式表格进行结构化数据提取并进行录入。
10、作为本发明的一种优选技术方案:所述步骤a包括如下步骤a1至步骤a4;
11、步骤a1. 针对分别包含表格的预设数量样本企业财报,将各企业财报转换成pdf文档,并去除各pdf文档中预设各影响表格检测元素,更新各pdf文档,然后依据预设各表格检测元素,应用多模态大语言模型检测各pdf文档中的各个表格,再进入步骤a2;
12、步骤a2. 判断是否存在前后相邻两表格分布在前后相邻两pdf文档页面中前pdf文档页面底部、以及后pdf文档页面顶部,且前后相邻两表格之间没有其他文字信息,是则判定前后相邻两表格为跨页表格,并针对各跨页表格中的各组前后相邻两表格,进入步骤a3,否则判定不存在跨页表格,并进入步骤a4;
13、步骤a3. 分别针对各跨页表格中的各组前后相邻两表格,判断是否存在同一单元格中信息被划分在前后相邻两表格中,是则先针对划分在前后相邻两表格中的同一单元格中信息进行合并,再针对前后相邻两表格进行合并;否则直接针对前后相邻两表格进行合并;然后进入步骤a4;
14、步骤a4. 分别针对各个表格经图片格式转换为目标格式,获得各个目标格式表格,构建训练数据集。
15、作为本发明的一种优选技术方案:所述步骤b中分别针对各个目标格式表格,执行如下步骤b1至步骤b3;
16、步骤b1. 应用多模态大语言模型提取目标格式表格中的各属性信息与各特征信息,并获得各属性信息中各个词嵌入向量、以及各特征信息中各个词嵌入向量,然后进入步骤b2;
17、步骤b2. 针对全部各属性信息中的各个词嵌入向量,使用平均法,获得属性信息向量表示;同时针对全部各特征信息中的各个词嵌入向量,使用最大池法,获得特征信息向量表示,然后进入步骤b3;
18、步骤b3. 针对属性信息向量表示、以及特征信息向量表示,结合属性信息与特征信息对应的权重组合,通过加权平均,获得目标格式表格向量表示。
19、作为本发明的一种优选技术方案:所述步骤c中按如下步骤c1至步骤c6,构建并训练获得用于实现同类特征高度聚集、且异类特征显著分离的特征变换矩阵;
20、步骤c1. 初始化特征变换分析矩阵为单位矩阵,并进入步骤c2;
21、步骤c2. 由训练数据集中随机采样预设数量个伪类别,各伪类别分别包括预设数量个目标格式表格,构成当前迭代伪任务=,其中,表示当前迭代伪任务中第个伪类别,,表示训练数据集中目标格式表格的数量,然后进入步骤c3;
22、步骤c3. 分别针对当前迭代伪任务中各伪类别下的各目标格式表格,针对目标格式表格向量表示,乘以特征变换分析矩阵进行更新,然后进入步骤c4;
23、步骤c4. 针对当前迭代伪任务中各伪类别,分别计算其中各个类内相似度,以及各组类间相似度,并计算获得当前迭代伪任务所对应的对齐损失函数结果,其中,,,表示当前迭代伪任务中第个伪类别,然后进入步骤c5;
24、步骤c5. 判断自当前迭代起向历史迭代方向是否存在连续预设次数迭代下各对齐损失函数结果的波动处于预设波动范围内,是则特征变换分析矩阵即为特征变换矩阵;否则进入步骤c6;
25、步骤c6. 向最小化对齐损失函数结果方向,计算当前迭代伪任务所对应的对齐损失函数结果对特征变换分析矩阵的梯度=,并按,更新特征变换分析矩阵,其中,表示预设学习率,然后返回步骤c2。
26、作为本发明的一种优选技术方案:所述步骤c4包括如下步骤c4-1至步骤c4-3;
27、步骤c4-1. 分别针对当前迭代伪任务中的各伪类别,按如下公式:
28、;
29、计算获得,其中,表示当前迭代伪任务中第个伪类别下第个目标格式表格向量表示,表示当前迭代伪任务中第个伪类别所对应的特征向量均值;
30、再按如下公式:
31、;
32、计算获得伪类别所对应的类内相似度,其中,表示与之间的余弦相似度,表示当前迭代伪任务中第个伪类别所对应的类内相似度,然后进入步骤c4-2;
33、步骤c4-2. 确定当前迭代伪任务中各组分别由两不同伪类别构成的组合,分别针对各组合,按如下公式:
34、;
35、计算获得组合所对应的类间相似度,其中,表示当前迭代伪任务中第个伪类别所对应的特征向量均值,表示与之间的余弦相似度,表示当前迭代伪任务中第个伪类别与第个伪类别所构组合对应的类间相似度,然后进入步骤c4-3;
36、步骤c4-3. 按如下公式:
37、;
38、计算获得当前迭代伪任务所对应的对齐损失函数结果。
39、作为本发明的一种优选技术方案:所述步骤d包括如下步骤d1-1至步骤d1-6;
40、步骤d1-1. 分别针对训练数据集中各目标格式表格,确定目标格式表格所对应的预设数量个近邻其他目标格式表格,并获得目标格式表格向量表示与其所对应第个近邻其他目标格式表格向量表示之间的余弦距离,构成目标格式表格所对应的近邻距离,进而获得各目标格式表格分别对应的近邻距离,然后进入步骤d1-2;
41、步骤d1-2. 按近邻距离由高至低,针对各目标格式表格进行排序,基于,顺序针对第个目标格式表格,按如下公式:
42、=;
43、计算获得顺序第个目标格式表格所对应的斜率,进而获得顺序第2个目标格式表格至第个目标格式表格分别对应的斜率,并选择其中最大斜率所对应目标格式表格的近邻距离构成邻域半径;其中,表示顺序第个目标格式表格所对应的近邻距离,表示顺序第个目标格式表格所对应的近邻距离,表示目标格式表格的数量;然后进入步骤d1-3;
44、步骤d1-3. 以两目标格式表格向量表示之间余弦距离进行对应两目标格式表格之间距离分析,分别针对训练数据集中各目标格式表格,统计与目标格式表格距离不大于邻域半径的其他目标格式表格的数量,并按如下公式:
45、;
46、计算获得目标格式表格所对应的核心点最小样本数,其中,表示训练数据集中与第个目标格式表格距离不大于邻域半径的其他目标格式表格的数量,表示训练数据集中第个目标格式表格所对应的核心点最小样本数,表示预设比例系数,表示预设最小样本阈值数,表示向下取整;然后进入步骤d1-4;
47、步骤d1-4. 分别针对训练数据集中各个未定义的目标格式表格,判断目标格式表格所对应的是否不小于对应,是则定义目标格式表格为核心点,否则进一步判断是否存在与目标格式表格距离不大于邻域半径的核心点,是则定义目标格式表格为边界点,否则定义目标格式表格为异常表格,然后进入步骤d1-5;
48、步骤d1-5. 随机选择一个未归类的核心点,将核心点、以及与其距离不大于邻域半径且未归类的其他各核心点、各边界点归为一类,构成一个目标类别,然后进入步骤d1-6;
49、步骤d1-6. 判断是否存在未归类的核心点,是则返回步骤d1-5;否则即完成全部各目标格式表格的划分归类,获得各个目标类别。
50、作为本发明的一种优选技术方案:所述步骤d包括如下步骤d2-1至步骤d2-4;
51、步骤d2-1. 由训练数据集中随机选择两个目标格式表格,获得两个目标格式表格向量表示之间的余弦距离,并判断余弦距离是否小于预设划分距离阈值,是则将两个目标格式表格划分至两个不同目标类别,否则将两个目标格式表格划分至同一目标类别,然后进入步骤d2-2;
52、步骤d2-2. 分别针对各个目标类别,若目标类别中仅有一个目标格式表格,则以目标格式表格向量表示同时构成目标类别最小向量表示与目标类别最大向量表示;若目标类别中有两个目标格式表格,则根据预设基础向量,计算两个目标格式表格向量表示分别与之间的余弦距离,以其中小余弦距离所对应的目标格式表格向量表示构成目标类别最小向量表示,其中大余弦距离所对应的目标格式表格向量表示构成目标类别最大向量表示;然后进入步骤d2-3;
53、步骤d2-3. 判断训练数据集中是否存在未参与步骤d2-1至步骤d2-4处理的目标格式表格,是则进入步骤d2-4;否则即完成全部各目标格式表格的划分归类,获得各个目标类别;
54、步骤d2-4. 由训练数据集中取出一个未参与步骤d2-1至步骤d2-4处理的目标格式表格,然后执行如下步骤d2-4-1至步骤d2-4-3,实现目标格式表格的划分归类,然后返回步骤d2-3;
55、步骤d2-4-1. 随机选择一个未参与步骤d2-4-1至步骤d2-4-2处理的目标类别,计算目标格式表格向量表示分别与目标类别最小向量表示、目标类别最大向量表示之间的余弦距离、,并判断是否且,是则表示目标格式表格属于目标类别,将目标格式表格划分至目标类别,并进入步骤d2-4-2;否则进入步骤d2-4-3;
56、步骤d2-4-2. 计算目标格式表格向量表示与之间的余弦距离,若余弦距离大于,则以目标格式表格向量表示构成目标类别最小向量表示,若余弦距离小于,则以目标格式表格向量表示构成目标类别最大向量表示,否则对目标类别最大向量表示、目标类别最大向量表示不做更新;
57、步骤d2-4-3. 判断是否存在未参与步骤d2-4-1至步骤d2-4-2处理的目标类别,是则返回步骤d2-4-1,否则新建一个新目标类别,将目标格式表格划分至新目标类别,以目标格式表格向量表示同时构成新目标类别最小向量表示与新目标类别最大向量表示。
58、作为本发明的一种优选技术方案:基于执行所述步骤a至步骤f所获各个目标类别下的各个目标格式表格,还包括执行如下操作;
59、首先分别针对各个目标类别,构建目标类别所对应的思维链,思维链用于描述从其所对应目标类别下各目标格式表格中提取对应其目标类别schema的结构化数据的过程,并以思维链、以及其所对应目标类别下各目标格式表格中对应其目标类别schema的结构化数据,构建样本对,进而获得各个目标类别分别对应的样本对;
60、然后基于各个样本对,针对多模态大语言模型进行训练,更新多模态大语言模型;
61、所述步骤i中,基于所获目标企业财报中各目标格式表格分别对应的目标类别,由多模态大语言模型分别针对目标企业财报中的各个目标格式表格,依据目标格式表格所属目标类别对应的思维链,提取目标格式表格中对应其目标类别schema的结构化数据。
62、本发明所述一种基于多模态大语言模型的金融授信数据录入方法,采用以上技术方案与现有技术相比,具有以下技术效果:
63、本发明所设计一种基于多模态大语言模型的金融授信数据录入方法,首先应用多模态大语言模型提取样本企业财报中各目标格式表格,接着通过目标格式表格中各属性信息与各特征信息的向量表示,获得各目标格式表格向量表示,然后融合元学习任务级特征对齐与动态聚类方式,实现各目标格式表格的归类,并确定各目标类别schema,最后依据各目标类别下目标格式验证表格的核准结果,针对金融授信数据录入方法过程进行训练更新,进而构建表格分类方法,针对目标企业财报进行结构化数据提取并进行录入;本发明以多模态大语言模型贯穿设计方法,通过0样本训练,使得模型能够基于少量标注数据达到较高的识别精度,由此构建完整的表格数据提取链路,实现将表格自动转换为结构化数据的目的,丰富了金融授信业务数据的来源与录入方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com