一种基于多模态特征融合的跨境贸易金融智能审单方法与流程

本发明涉及计算机处理，特别是涉及一种基于多模态特征融合的跨境贸易金融智能审单方法。

背景技术：

1、近年来，部分金融机构引入了基于单一模态数据的自动化审单系统。现有技术通过光学字符识别（ocr）技术提取发票或提单中的关键字段，再与预设规则进行比对，或者采用自然语言处理模型对贸易合同的文本内容进行风险条款识别。

2、参考中国公开专利，公开号cn120047235a，公开日2025.05.27，公开的一种贸易背景审核方法、装置、设备及存储介质，应用于金融科技领域，包括：获取客户多模态的贸易背景数据，其中，多模态的贸易背景数据包括文本贸易背景数据、图像贸易背景数据和视频贸易背景数据；通过贸易背景信息提取模型按照模态从贸易背景数据中提取不同的参数。

3、现有技术的不足在于，其虽然实现了多模态特征的提取与融合，但均未对各模态特征的质量，即ocr识别置信度、图像清晰度和文本语义可靠性进行量化评估，更未在特征可信度不足时触发补充采集或重新校验的闭环机制，导致融合模型在输入质量参差不齐时存在误判风险。

技术实现思路

1、针对上述技术问题，本发明采用的技术方案为一种基于多模态特征融合的跨境贸易金融智能审单方法，包括以下步骤：

2、s01、采集跨境贸易金融业务中的待审单据数据，所述待审单据数据包括文本模态单据数据、图像模态单据数据和数值模态单据数据；

3、s02、对所述待审单据数据进行特征提取得到数据集，然后再基于置信度评分的第一级校验规则对所述数据集进行交叉校验，生成第一校验置信度；

4、当所述数据集中包含的任一特征的第一校验置信度低于预设的置信度阈值时，触发补充采集信号以获取补充单据数据，重新执行特征提取与校验；

5、s03、将第一校验置信度高于置信度阈值的所述数据集包含的特征数据输入至预设的多模态特征融合模型中，通过所述多模态特征融合模型对不同模态的特征进行对齐与融合，生成特征集合；

6、s04、将所述特征集合与预设的风险特征库进行比对，计算特征集合与风险特征库中与对应所述特征匹配的风险模板的匹配度，并根据匹配度识别出待审单据数据中存在的一个或多个潜在风险点；

7、s05、基于识别出的所述潜在风险点，并结合预设的审单决策规则库，生成最终的审单结论，并同时定位输出所述潜在风险点在待审单据数据中的具体位置及对应的风险原因。

8、作为优选的，所述文本模态单据数据包括贸易合同、商业发票、装箱单中的非结构化文本；

9、所述图像模态单据数据包括加盖印章的提单、原产地证书的扫描件；

10、所述数值模态单据数据包括发票金额、数量、单价及税率。

11、作为优选的，所述s02中所述对所述文本模态单据数据进行文本特征提取，对所述图像模态单据数据进行图像特征提取，对所述数值模态单据数据进行数值特征提取，并采用基于置信度评分的第一级校验规则对提取出的文本特征、图像特征和数值特征进行交叉校验，生成第一校验置信度；

12、当任一特征的第一校验置信度低于预设的置信度阈值时，触发补充采集信号以获取补充单据数据，重新执行特征提取与校验，包括以下步骤：

13、s21、采用基于转换器的双向编码器表示模型对文本模态单据数据进行语义特征提取，获得文本特征向量；

14、s22、采用卷积神经网络对图像模态单据数据进行印章、签名及关键字段区域的特征提取，获得图像特征向量；

15、s23、对数值模态单据数据进行处理，获得数值特征向量；

16、s24、将文本特征向量、图像特征向量和数值特征向量分别与对应的预设业务规则进行比对，所述预设业务规则包括单据一致性规则、逻辑自洽规则及历史数据校验规则，生成初步校验结果。

17、作为优选的，所述s03中的多模态特征融合模型，通过注意力机制对不同模态的特征进行动态权重分配，并对分配权重后的多模态特征进行拼接与全连接层映射，生成所述特征集合；

18、而上述所述多模态特征融合模型的构建是通过收集历史跨境贸易金融单据数据及对应的历史风险标注数据作为训练样本，通过有监督学习方式，以最小化风险识别误差为目标，对初始融合模型的网络参数进行迭代优化以完成训练。

19、作为优选的，所述s04中所述预设的风险特征库包括多个风险类别，每个风险类别对应一个风险模板，所述风险模板由历史风险事件中提取的典型特征集合构成；

20、所述匹配度为特征集合与风险模板之间的余弦相似度或欧氏距离。

21、作为优选的，所述s04中当特征集合与任一风险模板的匹配度超过预设的第一阈值时，则判定存在对应的潜在风险点；

22、当所有匹配度均低于预设的第二阈值时，则判定为无风险；

23、所述第一阈值大于第二阈值。

24、作为优选的，所述s05中所述审单决策规则库包括多条决策路径，所述决策路径根据潜在风险点的类型、数量及严重等级进行组合；

25、当不存在潜在风险点时，审单结论为通过；

26、当存在一个或多个第一预设类型的潜在风险点时，审单结论为拒绝；

27、当存在一个或多个第二预设类型的潜在风险点且不存在第一预设类型的潜在风险点时，审单结论为人工复核。

28、作为优选的，所述s05中所述定位输出所述潜在风险点，包括当风险点来源于文本模态时，输出风险文本的起始字符索引；

29、当风险点来源于图像模态时，在图像上叠加热力图或边界框进行标注；当风险点来源于数值模态时，输出异常数值所在的单元格或字段名称。

30、作为优选的，所述步骤s05中所述审单决策规则库包含以潜在风险点的类型、数量和严重等级为条件的决策路径，且决策路径的输出结果受第二校验置信度动态修正；

31、所述第二校验置信度通过对所述特征集合的生成过程进行逆向置信度评估而获得，用于表征多模态特征融合模型输出结果的可靠性；

32、当所述第二校验置信度低于决策阈值时，将审单结论强制切换为人工复核并附加置信度偏低预警标签。

33、作为优选的，所述数据集包括从所述文本模态单据数据提取的文本特征、从所述图像模态单据数据提取的图像特征和从所述数值模态单据数据提取的数值特征。

34、本发明至少具有以下有益效果：

35、对文本、图像、数值三类特征进行交叉校验并生成第一校验置信度，当任一特征置信度低于阈值时自动触发补充采集信号并重新执行提取与校验。确保了多模态特征融合的输入质量，从根本上避免了因单模态数据异常或质量低下导致以偏概全的误判风险，显著提升了系统在真实复杂跨境贸易业务场景中的鲁棒性与可靠性。

36、第一校验置信度用于筛选特征融合前的输入质量，第二校验置信度通过对综合特征向量的生成过程进行逆向评估，量化表征多模态特征融合模型输出结果的可靠性。当第二校验置信度低于决策阈值时，审单结论被强制切换为人工复核并附加预警标签。实现了自动化审核与人工复核的智能衔接，在保证审单准确性的前提下最大化审核效率，同时为后续监管审计提供了可追溯的决策可靠性依据。

37、高匹配度（超过第一阈值）触发风险预警，低匹配度（均低于第二阈值）判定为无风险，介于二者之间则结合风险类型与数量进入决策路径。配合多模态特征的交叉校验与置信度动态修正，有效解决了传统审单方法风险识别粒度粗糙、误报率高、无法自适应处理复杂边缘的难题，大幅提升了跨境贸易金融智能审单的精准度与业务适应性。