一种合规风险反馈驱动的联邦大模型意图理解与权益生成方法及系统与流程

摘要: 本发明涉及联邦学习与自然语言处理,尤其涉及一种合规风险反馈驱动的联邦大模型意图理解与权益生成方法及系统。背景技术:1、在跨机构合作场景下,城商行、股份行与农商行...
一种合规风险反馈驱动的联邦大模型意图理解与权益生成方法及系统与流程

本发明涉及联邦学习与自然语言处理,尤其涉及一种合规风险反馈驱动的联邦大模型意图理解与权益生成方法及系统。

背景技术:

1、在跨机构合作场景下,城商行、股份行与农商行联盟之间存在客户重叠,但由于监管要求与商业边界,原始客户数据无法直接互通。为在不交换原始数据的前提下完成跨机构客户意图理解与权益文案生成,现有技术已分别提供了联邦学习、隐私集合求交、差分隐私、可信执行环境、向量检索与大语言模型生成等技术组件,并已有将其中若干组件串联使用的方案。

2、发明人发现,上述现有技术存在如下尚未解决的技术问题:联邦建模链路中的合规校验环节与底层技术参数相互割裂——合规校验仅作为生成结果的事后过滤器,其输出(合规置信度、风险等级、回退记录)无法反向作用于联邦微调的差分隐私预算与适配器秩、密态检索的检索深度、以及意图分类的模型融合权重。由此导致:同一高风险客户簇反复产生违规候选文案而训练参数不随之收紧;检索与生成算力无法按合规风险动态分配,低风险场景与高风险场景消耗同等资源;意图分类在监管审计场景下缺乏可解释性保障。系统整体的违规生成率与资源开销难以同时下降。

3、因此,亟需一种使合规风险信号能够作为反馈控制量、反向调控联邦学习全链路技术参数的方法。

技术实现思路

1、本发明的目的在于解决现有跨机构联邦建模链路中合规校验环节与底层技术参数相互割裂、合规风险信号无法反向调控训练与检索参数的技术问题。

2、为解决上述问题,本发明的核心构思是:在隐私对齐、联邦表征、联邦微调、密态检索、多智能体生成与意图分类构成的处理链路之上,建立以合规风险信号为反馈控制量的闭环控制结构——合规智能体输出的合规置信度、合规风险等级与回退记录,被分别反馈至检索深度控制、分类融合权重调节与差分隐私预算/适配器秩的联合求解,使金融监管合规要求被固化为全链路的技术参数约束。本发明的全部技术特征均服务于这一单一构思。

3、第一方面,本发明提供一种合规风险反馈驱动的联邦大模型意图理解与权益生成方法,包括步骤s1至s6:s1基于隐私集合求交协议获取按客户簇粒度组织的跨机构客户对齐结果;s2对客户对话文本、行为事件序列与客户-权益-商户异构图编码融合得到统一客户表征;s3在可信执行环境集群内由参数联合求解模块按客户簇风险等级、梯度方差与监管敏感度等级联合求解各簇差分隐私预算与本地适配器秩并完成低秩适配器联邦聚合,监管敏感度越高分配秩越小以压缩表达能力、抑制违规生成;s4以统一客户表征在密文域召回并于可信执行环境内精排得到候选权益集合;s5由多智能体编排生成权益触达文案并由合规智能体逐项校验输出合规置信度与合规风险等级;s6将大语言模型与梯度提升决策树双路logit按融合权重加权融合并经规则引擎硬约束输出意图分类结果与触达内容。步骤s1至s6构成闭环:合规置信度低于阈值时s4自动提升检索深度并触发二次生成;合规风险等级越高s6的越低以增强可解释性;累计触发合规回退超阈的客户簇被标记为高敏感簇并反向触发参数联合求解模块收紧该簇。

4、本发明所述步骤s1至步骤s6之间存在如下相互支持、彼此耦合的闭环协同关系,该协同关系是六个步骤各自单独使用时所不能达到的:

5、第一,步骤s1的密态对齐结果驱动步骤s3的客户级粒度划分。三态盐值体系生成的密态客户索引,使步骤s3能够按对齐客户簇的粒度而非机构粗粒度分配差分隐私预算与异构秩。

6、第二,步骤s3的风险感知秩分配机制将业务监管敏感度纳入技术约束。三级监管敏感度等级直接决定本地秩的取值区间:涉及未成年人保护、反诈话术、保本承诺等高敏感客户簇分配的低秩适配器,使其模型表达能力被压缩从而降低生成误判风险;一般营销触达类低敏感客户簇分配的高秩适配器以保留个性化能力。该机制将金融监管合规要求直接固化为联邦微调的技术参数约束。

7、第三,步骤s5合规智能体的判定结果反向调控步骤s3的客户簇。当合规智能体在24小时滑动窗口内对某客户簇累计触发第二级回退3次以上,该客户簇被自动标记为高敏感簇,反馈闭环强制收紧该簇至下界附近,从根源上抑制误生成。

8、第四,步骤s4的检索深度由步骤s5的合规置信度反向驱动。合规置信度低于0.85时检索深度由top-500提升至top-1000并触发二次生成;低于0.70时进一步提升至top-2000并对精排结果降序重排。检索资源分配与合规风险动态匹配,低风险场景保持低时延,高风险场景投入更多检索算力。

9、第五,步骤s6双路logit融合权重由步骤s5合规风险等级三档驱动。高合规风险时=0.3,降低大语言模型路径权重、提升梯度提升决策树路径权重以增强可解释性;低合规风险时=0.5,两路均衡。

10、第二方面,本发明提供实现上述方法的系统,包括客户标识对齐模块、三模态联邦表征模块、低秩适配器联邦微调模块(含参数联合求解模块)、密态向量检索模块、多智能体编排模块与意图分类输出模块,各模块按上述闭环连接。

11、相对于现有技术,本发明的有益效果及其机理如下:

12、(1)建立了现有方案不具备的合规风险反馈闭环。现有方案中合规校验是链路末端的事后过滤器,本发明使其成为反馈控制量,反向调控差分隐私预算、适配器秩、检索深度与融合权重四类底层参数。消融实验表明:11项消融配置的macro-f1下降幅度之和(0.372)大于完整方法相对基线的整体提升幅度(0.124),各模块单独贡献之和大于整体提升,证明模块间存在功能上彼此相互支持的协同效应;单独去除三级回退状态机或监管敏感度等级时合规违规率分别升至1.8%与0.9%,二者联合作用时降至0.3%,呈乘积式而非加和式协同。

13、(2)将监管合规要求固化为联邦微调的技术参数约束。低秩适配器的秩r决定模型表达能力与违规生成风险,本发明以三级监管敏感度直接约束各客户簇的秩取值区间,在高敏感场景主动压缩表达能力。秩区间边界由消融测试数据确定:r≤8时合规违规率收敛至0.4%以下,r≥32时升至1.5%以上。

14、(3)实现了客户簇粒度的隐私预算与适配器秩联合优化。该粒度由步骤s1的密态对齐结果使能,参数联合求解模块以验证集损失最小化为目标、在预算总量上界、候选秩集合与梯度方差约束下求解,实现机构级与客户级双粒度的隐私预算分配。

15、(4)实现了隐私保护与检索时延的动态平衡。局部敏感哈希密文域粗召回与可信执行环境内明文精排相结合,并由合规置信度驱动检索深度三档扩张,在权益库10万条规模下端到端检索耗时不超过200毫秒。

1.一种合规风险反馈驱动的联邦大模型意图理解与权益生成方法,应用于由多个参与机构与可信执行环境集群构成的联邦学习系统,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述步骤s1包括:通过机构内静态盐、会话动态盐与时间窗口轮换盐组成的三态盐值体系,对客户身份标识进行盐化哈希,得到密态对齐元素,所述时间窗口轮换盐的轮换周期不超过24小时;通过基于椭圆曲线的隐私集合求交协议,在两两机构之间计算密态交集,得到对齐客户集合;通过cuckoo filter辅助加速结构提供对齐查询索引,所述cuckoo filter的容量倍数为1.15、假阳率为1×10⁻4、指纹长度为20位;通过对齐审计模块对对齐过程的输入规模、输出规模与耗时进行登记,得到对齐审计记录。

3.根据权利要求1所述的方法,其特征在于,所述步骤s2包括:通过文本编码子模块对客户对话文本与客服坐席记录进行分词与位置编码,得到文本向量;通过行为序列编码子模块基于五维行为特征对行为事件进行嵌入,得到行为向量,所述五维行为特征至少包括用户标识、行为类型、时间戳、商户标识与金额;通过异构图编码子模块基于关系型图注意力网络对客户-权益-商户异构图进行邻居聚合,得到图向量;通过模态融合子模块基于多头注意力机制对所述文本向量、行为向量与图向量进行加权融合,得到统一客户表征,融合按的多头形式计算,查询矩阵q取自所述文本向量经线性映射的结果,键矩阵k与值矩阵v分别取自所述行为向量与所述图向量经线性映射的结果。

4.根据权利要求1所述的方法,其特征在于,所述步骤s3包括:通过异构秩分配子模块,从候选秩集合{4,8,16,32,64}中为各客户簇分配本地秩,其中所述监管敏感度等级按三级划分:高敏感等级涉及未成年人保护类、反诈话术类、保本承诺类客户簇,对应分配本地秩;中敏感等级涉及个人征信类、个体工商户经营类客户簇,对应分配本地秩;低敏感等级涉及一般营销触达类、企业客户类客户簇,对应分配本地秩;通过低秩适配器构建子模块,在大语言模型的目标模块{q_proj,v_proj,o_proj}上注入低秩矩阵a与b,得到低秩适配器,其前向计算为,其中w为冻结权重,r为秩,为缩放系数,x为输入,h为输出;通过客户级动态差分隐私子模块,接收所述参数联合求解模块输出的差分隐私预算,在松弛参数=1×10⁻5与梯度裁剪阈值c=1.0约束下,对客户级梯度按l2范数裁剪后叠加高斯噪声,得到密态梯度,隐私会计基于rényi散度;通过可信执行环境聚合子模块,在所述可信执行环境集群内对密态梯度按样本规模进行加权平均,得到全局适配器;其中所述可信执行环境集群为多元异构可信执行环境集群,至少包含两类不同类型的可信执行环境,所述可信执行环境的类型可实施为intel sgx、intel tdx、海光csv或arm cca,各类型可信执行环境之间通过遵循rfc 9334远程证明协议标准的统一证明链进行互信握手。

5.根据权利要求1所述的方法,其特征在于,所述步骤s4包括:通过密文索引构建子模块,基于局部敏感哈希对权益描述向量进行分桶映射,得到密文索引;通过密态召回子模块,在密文域内对所述统一客户表征进行哈希桶匹配,召回top-k候选权益得到粗召回集合,k的初始取值为500;通过可信执行环境精排子模块,在所述可信执行环境集群中的任一可信执行环境内对粗召回集合按余弦相似度进行明文排序,得到精排候选权益集合;通过检索深度自适应控制子模块,接收所述步骤s5输出的合规置信度,当合规置信度低于第一预设阈值0.85时,将top-k取值由500提升至1000并触发对所述步骤s5的二次生成请求;当合规置信度低于第二预设阈值0.70时,将top-k取值提升至2000并对所述精排候选权益集合做降序重排。

6.根据权利要求1所述的方法,其特征在于,所述步骤s5中各智能体按观察-思考-行动三阶段循环执行:洞察智能体接收所述统一客户表征与行为事件序列,输出客户当前意图标签与置信度;匹配智能体接收洞察智能体输出与所述步骤s4输出的候选权益集合,按语义相关度排序输出权益候选清单;文案智能体接收所述权益候选清单与客户分群标签,调用大语言模型生成候选触达文案集合;合规智能体对所述候选触达文案集合按预设的12类合规风险清单逐项执行二分类判定并输出合规置信度,所述12类合规风险至少包括误导宣传、保本承诺、收益夸大、资质瑕疵、个人信息越权、禁用词、比较广告、诱导转账、涉政涉宗教、未成年人保护、反诈话术与投诉应答违规;且对合规判定不通过情形按三级回退状态机处理:第一级回退,任一类合规风险判定不通过时,将不通过的风险类别与触发依据回传至文案智能体重新生成,最大重试次数为3次;第二级回退,连续3次重试仍不通过时,自动降级为通用模板文案并将合规告警写入审计存证账本;第三级回退,同一客户在24小时滑动窗口内累计触发第二级回退3次以上时,自动冻结对该客户的本类权益触达,并将该客户所属客户簇标记为高敏感簇、反向触发权利要求1所述参数联合求解模块对该簇差分隐私预算的收紧。

7.根据权利要求1所述的方法,其特征在于,所述步骤s6包括:通过大语言模型分类子模块,基于全局适配器对所述统一客户表征进行多分类预测,得到大语言模型logit向量;通过梯度提升决策树分类子模块,基于行为事件序列的统计特征进行多分类预测,得到梯度提升决策树logit向量,所述梯度提升决策树的关键超参数包括叶子数num_leaves=63、学习率learning_rate=0.05与树数n_estimators=500,多分类损失函数为交叉熵,为第i个样本第c类的真实标签,为第i个样本属于第c类的预测概率;通过logit加权融合子模块按进行线性加权,∈[0.3,0.5],当所述步骤s5输出的合规风险等级为高时取下界0.3,为中时取0.4,为低时取上界0.5;通过规则引擎硬约束子模块,基于客户黑名单、权益库存、监管禁售清单、年龄合规与触达频次规则对融合logit对应的预测结果进行硬约束修正,得到最终意图分类结果与权益触达内容,所述意图分类结果为四分类,至少包括立即领取、收藏待用、无兴趣与高流失风险四类标签。

8.根据权利要求1所述的方法,其特征在于,所述方法还包括反馈闭环优化步骤:通过线上反馈采集子模块对权益触达后的曝光、点击、领取与转化事件进行回流,得到反馈事件序列;通过观察标签窗口子模块设置14天观察窗口与7天标签窗口,基于t+1批处理生成反馈训练样本集;通过聚类分析子模块基于k-means聚类算法将反馈训练样本集划分为至少包括高响应簇、中响应簇与低响应簇的客户簇;通过梯度方差估计子模块对各客户簇估计本地梯度方差,并基于z-score阈值3.0剔除异常梯度;所述与权利要求6所述第三级回退输出的高敏感簇标签共同作为所述参数联合求解模块的输入约束,所述参数联合求解模块以验证集损失最小化为优化目标,在差分隐私预算总量上界、候选秩集合与梯度方差约束下,求解各客户簇的差分隐私预算与本地秩。

9.根据权利要求1所述的方法,其特征在于,所述方法所涉及的隐私集合求交协议、差分隐私机制、可信执行环境集群与远程证明协议按以下职责边界分工协作:所述隐私集合求交协议仅用于步骤s1的跨机构客户身份对齐,不参与步骤s3的梯度计算与步骤s6的推理输出;所述差分隐私机制仅作用于步骤s3的客户级梯度上传前的扰动,不作用于步骤s4的检索阶段与步骤s6的推理阶段;所述可信执行环境集群仅承担步骤s3的密态梯度解密、加权平均与全局适配器加密分发,以及步骤s4的精排明文计算,不承担各机构本地的训练本体;所述远程证明协议仅用于可信执行环境集群之间互信关系的建立,不承担训练本体或聚合本体。

10.一种合规风险反馈驱动的联邦大模型意图理解与权益生成系统,其特征在于,包括:客户标识对齐模块,用于执行权利要求1所述的步骤s1;三模态联邦表征模块,用于执行权利要求1所述的步骤s2;低秩适配器联邦微调模块,含参数联合求解模块,用于执行权利要求1所述的步骤s3;密态向量检索模块,用于执行权利要求1所述的步骤s4,且含检索深度自适应控制子模块以接收合规置信度并提升检索深度;多智能体编排模块,用于执行权利要求1所述的步骤s5,且含三级回退状态机以输出高敏感簇标记;意图分类输出模块,用于执行权利要求1所述的步骤s6,且其融合权重由所述多智能体编排模块输出的合规风险等级动态调整;所述各模块按权利要求1所述的以合规风险信号为反馈控制量的闭环连接。