多模态融合的合同联邦学习计算方法及系统与流程

本发明属于企业管理系统与人工智能交叉，具体涉及一种多模态融合的合同联邦学习计算方法及系统。

背景技术：

1、随着企业集团化发展，多组织使用异构erp系统管理合同数据已成为普遍现象。当前主流方案尝试联邦学习技术，通过模型参数交互避免原始数据直接汇聚。

2、然而，不同erp系统字段命名与结构差异大，联邦学习技术直接聚合参数方提供的模型参数更新导致特征维度错乱；且参与方汇总原始合同数据进行本地训练时存在隐私泄露风险，违反数据最小化原则。

技术实现思路

1、针对现有技术的上述不足，本发明提供一种多模态融合的合同联邦学习计算方法及系统，以解决上述技术问题。

2、第一方面，本发明提供一种多模态融合的合同联邦学习计算方法，包括：

3、各参与方在本地获取原始合同数据，从所述原始合同数据的多种格式数据分别提取对应的特征，将提取的所有特征融合为统一特征空间的融合特征；

4、对所述融合特征进行敏感度评分，根据敏感度评分将所述融合特征划分为核心特征块、统计特征块和元数据块；

5、对所述核心特征块采用同态加密，对所述统计特征块添加差分隐私噪声，对所述元数据块进行哈希签名，生成加密知识单元；

6、各参与方基于本地生成的加密知识单元训练机器学习模型，生成模型参数更新值，对所述模型参数更新值进行隐私保护处理后上传至聚合层，以使聚合层更新全局模型。

7、在一个可选的实施方式中，所述原始合同数据包括结构化表格数据和非结构化文本数据；从所述原始合同数据的多种格式数据分别提取对应的特征，将提取的所有特征融合为统一特征空间的融合特征，包括：

8、对所述结构化表格数据进行时序特征捕捉、数值增强和表格语义建模，提取表格特征；

9、对所述非结构化文本数据进行分词、语义编码和关键条款定位，提取文本特征；

10、将所述表格特征和所述文本特征通过全连接层映射至同一维度后，进行动态加权融合，生成所述融合特征。

11、在一个可选的实施方式中，所述动态加权融合包括：

12、对所述结构化表格数据中的连续型字段计算归一化信息熵，对离散型字段计算类别分布熵，对所有字段的熵值进行加权平均并归一化，得到表格质量评分；

13、采用预训练语言模型计算所述非结构化文本数据的困惑度，基于所述困惑度计算文本质量评分；

14、根据合同类型和所述表格质量评分，采用logistic函数计算表格模态权重和文本模态权重；

15、按所述表格模态权重和所述文本模态权重对表格特征和文本特征进行加权融合。

16、在一个可选的实施方式中，所述合同类型通过可学习的嵌入层映射为低维稠密向量；所述logistic函数的输入为所述表格质量评分的归一化值与合同类型嵌入向量的组合，所述logistic函数的参数作为本地模型的一部分在联邦学习过程中联合训练更新。

17、在一个可选的实施方式中，所述表格语义建模包括：将结构化表格转化为图网络，以合同实体为节点、字段关联关系为边，通过图卷积网络提取拓扑特征；所述关键条款定位基于多头注意力机制识别风险敏感条款并输出条款类型标签。

18、在一个可选的实施方式中，对所述融合特征进行敏感度评分，包括：

19、对于所述融合特征中的每一个特征字段，首先判断该字段是否属于预定义的敏感字段集；若属于敏感字段集，则将该字段对应的业务重要性预设权重作为该字段的敏感度评分值；若不属于敏感字段集，则其敏感度评分值为零；

20、所述敏感字段集基于业务规则预定义，至少包含金额字段、身份证号字段和银行账号字段。

21、在一个可选的实施方式中，根据敏感度评分将所述融合特征划分为核心特征块、统计特征块和元数据块，包括：

22、将各特征按敏感度评分降序排列，累计敏感度占比达到预设阈值的前k个特征划入所述核心特征块；

23、剩余特征划入所述统计特征块，计算其均值和方差后添加差分隐私噪声；

24、将样本数量、特征维度和版本号划入所述元数据块。

25、在一个可选的实施方式中，各参与方基于本地生成的加密知识单元训练机器学习模型时，所述加密知识单元中的各特征块在本地解密后汇合为完整的融合特征张量，作为所述机器学习模型的输入；所述机器学习模型为神经网络模型。

26、在一个可选的实施方式中，聚合层接收隐私保护处理后的模型参数更新值后，对接收的更新至进行恶意更新过滤，恶意更新过滤的方法包括：

27、从各参与方的模型参数更新值中选取代表性子空间向量；

28、计算各参与方代表性子空间向量之间的余弦相似度；

29、对每个参与方，计算其与所有其他参与方的平均相似度；

30、计算所有参与方平均相似度的中位数m和绝对偏差中位数mad；

31、若某参与方的平均相似度小于m-β×mad，则判定该参与方为恶意节点并剔除其更新值，其中β为预设系数。

32、第二方面，本发明提供一种多模态融合的合同联邦学习计算系统，包括：

33、特征提取模块，用于各参与方获取原始合同数据，从所述原始合同数据的多种格式数据分别提取对应的特征，将提取的所有特征融合为统一特征空间的融合特征；

34、特征划分模块，用于对所述融合特征进行敏感度评分，根据敏感度评分将所述融合特征划分为核心特征块、统计特征块和元数据块；

35、特征加密模块，用于对所述核心特征块采用同态加密，对所述统计特征块添加差分隐私噪声，对所述元数据块进行哈希签名，生成加密知识单元；

36、模型训练模块，用于各参与方基于本地生成的加密知识单元训练机器学习模型，生成模型参数更新值，对所述模型参数更新值进行隐私保护处理后上传至聚合层，以使聚合层更新全局模型。

37、本发明的有益效果在于，本发明提供的多模态融合的合同联邦学习计算方法及系统，通过本地知识提取与差异化加密策略，使原始合同数据全程不出本地，有效规避gdpr合规风险及内存攻击泄露隐患；基于合同类型与数据质量动态分配多模态特征权重，解决了异构erp系统字段维度错乱导致的联合分析失效问题；通过及时剔除恶意节点更新，保障全局模型收敛稳定性。本发明将隐私保护、特征深度与系统安全协同优化，为多组织企业集团在数据不出域前提下的合同风险分析与合规审查提供了可靠的技术支撑。

1.一种多模态融合的合同联邦学习计算方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述原始合同数据包括结构化表格数据和非结构化文本数据；从所述原始合同数据的多种格式数据分别提取对应的特征，将提取的所有特征融合为统一特征空间的融合特征，包括：

3.根据权利要求2所述的方法，其特征在于，所述动态加权融合包括：

4.根据权利要求3所述的方法，其特征在于，所述合同类型通过可学习的嵌入层映射为低维稠密向量；所述logistic函数的输入为所述表格质量评分的归一化值与合同类型嵌入向量的组合，所述logistic函数的参数作为本地模型的一部分在联邦学习过程中联合训练更新。

5.根据权利要求2所述的方法，其特征在于，所述表格语义建模包括：将结构化表格转化为图网络，以合同实体为节点、字段关联关系为边，通过图卷积网络提取拓扑特征；所述关键条款定位基于多头注意力机制识别风险敏感条款并输出条款类型标签。

6.根据权利要求1所述的方法，其特征在于，对所述融合特征进行敏感度评分，包括：

7.根据权利要求1所述的方法，其特征在于，根据敏感度评分将所述融合特征划分为核心特征块、统计特征块和元数据块，包括：

8.根据权利要求1所述的方法，其特征在于，各参与方基于本地生成的加密知识单元训练机器学习模型时，所述加密知识单元中的各特征块在本地解密后汇合为完整的融合特征张量，作为所述机器学习模型的输入；所述机器学习模型为神经网络模型。

9.根据权利要求1所述的方法，其特征在于，聚合层接收隐私保护处理后的模型参数更新值后，对接收的更新至进行恶意更新过滤，恶意更新过滤的方法包括：

10.一种多模态融合的合同联邦学习计算系统，其特征在于，包括：