一种基于多模态大模型的放款审核方法及系统与流程

本发明涉及人工智能与金融科技，具体为一种基于多模态大模型的放款审核方法及系统。

背景技术：

1、在当前金融信贷审核场景下，业务流程中涉及大量银行流水、购销合同及征信报告等原始信贷文档；这些文档通常以高分辨率位图形式存在，版面布局复杂且格式多样，蕴含借款金额、截止日期等关键风控要素，对数据提取的准确性要求极高；

2、为处理此类文档，现有方案通常采用通用光学字符识别或独立的多模态大模型进行处理；然而，单纯的字符识别缺乏对复杂语境的语义推理能力，而独立的生成式大模型在解码阶段易产生概率性幻觉，导致生成内容与原始图像数据不一致；此外，大模型子词生成粒度与字符识别粒度存在对齐困难，且全图盲目识别方式计算资源消耗大，难以兼顾审核的灵活性与录入数据的精准度；因此，如何在多模态大模型的语义推理过程中有效引入视觉字符识别的硬约束，以抑制生成式幻觉并提升信贷审核的自动化精度与可靠性，成为亟需解决的技术问题。

技术实现思路

1、本发明的目的在于提供一种基于多模态大模型的放款审核方法及系统，避免金融审核场景下生成式模型产生幻觉，且能够有效融合语义推理的灵活性与光学字符识别的确定性，避免对全图进行高算力消耗的盲目识别，从而确保金融账务数据的录入精度，具体的，本发明的技术方案如下：

2、一种基于多模态大模型的放款审核方法，包括：

3、接收原始信贷文档图像；

4、加载预设多模态大模型与预设光学字符识别模型；

5、基于原始信贷文档图像与预设风控要素查询向量，生成语义关注度分布矩阵；

6、基于语义关注度分布矩阵，确定识别文本序列与全序列平均置信度；

7、基于预设多模态大模型，生成原始语义逻辑值向量；

8、结合识别文本序列、全序列平均置信度与原始语义逻辑值向量，生成输出词元最终概率分布向量；

9、基于输出词元最终概率分布向量，生成放款审核报告；

10、响应于全序列平均置信度小于预设安全阈值或语义逻辑与识别文本序列存在冲突，触发人工审核闭环优化流程；

11、响应于全序列平均置信度大于或等于预设安全阈值且语义逻辑与识别文本序列不存在冲突，输出放款审核报告。

12、优选的，生成语义关注度分布矩阵，包括：

13、将原始信贷文档图像输入预设多模态大模型编码器，提取图像位置处的键向量特征；

14、计算预设风控要素查询向量与键向量特征的点积运算结果；

15、基于点积运算结果与预设向量维度缩放因子，生成归一化关注权重；

16、基于归一化关注权重，生成语义关注度分布矩阵；

17、其中，语义关注度分布矩阵表征特定风控字段与图像各区域的相关性概率分布。

18、优选的，确定识别文本序列与全序列平均置信度，包括：

19、计算语义关注度分布矩阵的全图关注权重均值与全图关注权重标准差；

20、基于全图关注权重均值、全图关注权重标准差与预设灵敏度调节系数，构建动态阈值；

21、筛选语义关注度分布矩阵中关注权重高于动态阈值的坐标点，生成高关注度离散点集；

22、基于高关注度离散点集，解算最小外接矩形边界框坐标；

23、基于最小外接矩形边界框坐标对原始信贷文档图像进行裁剪，生成高分辨率碎片图像；

24、将高分辨率碎片图像输入预设光学字符识别模型，输出识别文本序列与全序列平均置信度。

25、优选的，生成输出词元最终概率分布向量，包括：

26、确定识别文本序列中当前待验证字符；

27、构建指向当前待验证字符的稀疏偏置向量；

28、基于全序列平均置信度、预设视觉约束强度系数与稀疏偏置向量，生成视觉激励信号；

29、将视觉激励信号叠加至原始语义逻辑值向量，生成修正逻辑值向量；

30、对修正逻辑值向量进行归一化指数函数处理，生成输出词元最终概率分布向量。

31、优选的，还包括：

32、维护指向识别文本序列的对齐指针；

33、响应于预设多模态大模型上一时间步输出的词元与识别文本序列中当前待验证字符一致，将对齐指针移动至下一位；

34、响应于全序列平均置信度趋近于零，停止生成视觉激励信号。

35、优选的，人工审核闭环优化流程，包括：

36、接收人工修正后的关键区域掩码真值与文本真值；

37、基于输出词元最终概率分布向量与文本真值，计算负对数似然损失；

38、基于语义关注度分布矩阵与关键区域掩码真值，计算注意力平方和损失；

39、结合负对数似然损失与注意力平方和损失，生成总优化损失；

40、基于总优化损失，更新预设风控要素查询向量。

41、一种基于多模态大模型的放款审核系统，包括：

42、数据接入模块，用于接收原始信贷文档图像；

43、语义定位模块，用于基于原始信贷文档图像与预设风控要素查询向量，生成语义关注度分布矩阵；

44、视觉提取模块，用于基于语义关注度分布矩阵，确定识别文本序列与全序列平均置信度；

45、概率融合模块，用于结合识别文本序列、全序列平均置信度与原始语义逻辑值向量，生成输出词元最终概率分布向量；

46、闭环优化模块，用于响应于全序列平均置信度小于预设安全阈值或语义逻辑与识别文本序列存在冲突，触发人工审核闭环优化流程。

47、与现有技术相比，本发明具备以下有益效果：

48、1、本发明通过将光学字符识别结果作为视觉硬约束注入多模态大模型的解码过程，有效抑制了生成式模型易产生的概率性幻觉问题；利用视觉激励信号动态修正原始语义逻辑回归，确保生成的审核报告在保持语义推理灵活性的同时，兼具字符识别的数据精准度，显著提升了金融审核场景下关键要素提取的可靠性；

49、2、本发明利用语义关注度分布矩阵精准定位高价值风控区域，结合动态阈值筛选机制实现对原始文档的智能裁剪与局部识别；该方式避免了传统全图盲目识别带来的高算力消耗，有效过滤背景噪声干扰，在自适应处理不同清晰度文档的同时，大幅提升了系统的信贷文档处理效率与响应速度；

50、3、本发明通过构建稀疏偏置向量与维护对齐指针，解决了大模型子词生成粒度与字符识别粒度不一致的技术难题；该机制实现了识别文本序列与生成词元的逐步精准对齐，消除粒度错位导致的累积误差，通过视觉证据对生成结果的强约束，确保了金额、日期等敏感账务数据的录入精度与一致性；

51、4、本发明构建了包含人工审核的闭环优化流程，通过计算负对数似然损失与注意力平方和损失，定向更新预设风控要素查询向量；该机制不仅能基于专家反馈快速纠正模型偏差，还能使模型自适应学习新样本的分布特征，推动核心查询向量的持续进化，实现了智能审核系统的长期稳定运行与能力迭代。

1.一种基于多模态大模型的放款审核方法，其特征在于，包括：

2.根据权利要求1所述的一种基于多模态大模型的放款审核方法，其特征在于，生成语义关注度分布矩阵，包括：

3.根据权利要求1所述的一种基于多模态大模型的放款审核方法，其特征在于，确定识别文本序列与全序列平均置信度，包括：

4.根据权利要求1所述的一种基于多模态大模型的放款审核方法，其特征在于，生成输出词元最终概率分布向量，包括：

5.根据权利要求4所述的一种基于多模态大模型的放款审核方法，其特征在于，还包括：

6.根据权利要求1所述的一种基于多模态大模型的放款审核方法，其特征在于，人工审核闭环优化流程，包括：

7.一种基于多模态大模型的放款审核系统，应用于权利要求1-6中任一项所述的一种基于多模态大模型的放款审核方法，其特征在于，包括：