数据处理方法、装置、设备、存储介质及程序产品与流程
本申请属于数据处理,尤其涉及一种数据处理方法、装置、设备、存储介质及程序产品。
背景技术:
1、金融机构客服、风控、保单分析等服务场景需高频调用外部算力比如行业共享算力节点或公共大语言模型,以完成文本摘要、情感分析、服务推理等任务。借助外部算力能够显著降低金融机构在人工智能研发与推理环节的投入成本,亦契合算力共建共享的政策导向。因此,出于降低人工智能落地成本、提升大语言模型服务处理能力的双重服务考虑,本领域普遍存在使用金融机构外部算力处理内部服务数据的刚需。
2、然而,真实的服务数据中承载着用户姓名、通讯号码、保单号、险种等大量敏感信息比如,个人信息与服务隐私内容,受相关法律法规的严格约束,明文服务数据禁止跨机构、跨域流出。若采用掩码、令牌化、格式保持加密等传统脱敏手段对敏感信息处理后再外发,不仅会破坏原始服务数据的语义完整性,导致大语言模型在语义理解与逻辑推理环节失效,还会致使机构无法获取大语言模型输出的推理结果,造成服务链路中断。因此,如何在保障数据安全合规前提下兼顾敏感数据语义可用,避免因大语言模型推理失效引发服务链路中断,已成为本领域关注的问题。
技术实现思路
1、本申请实施例提供一种数据处理方法、装置、设备、存储介质及程序产品,能够解决现有金融机构在调用外部大语言模型时,对敏感数据语义保真支持不足导致大语言模型推理失效,以及对模型推理结果缺乏还原能力造成服务链路中断的问题。
2、第一方面,本申请实施例提供一种数据处理方法,该方法包括:
3、获取机构内部服务系统的原始服务请求携带的第一敏感字段;
4、根据第一敏感字段的字段类型对应的脱敏策略,对第一敏感字段的原始字段值进行脱敏处理,得到第一敏感字段的第一脱敏数据,并生成仿造关系信息,仿造关系信息用于记录敏感字段的原始字段值与脱敏数据之间的映射关系;
5、将原始服务请求中第一敏感字段的原始字段值替换为第一脱敏数据,得到与原始服务请求对应的仿造服务请求;
6、向机构外部模型服务端发送仿造服务请求,仿造服务请求用于调用模型服务端的大语言模型生成与仿造服务请求对应的服务反馈信息;
7、在接收到模型服务端发送的服务反馈信息的情况下,基于仿造关系信息,将服务反馈信息中第二敏感字段的第二脱敏数据还原为对应的原始字段值,得到与原始服务请求对应的还原服务反馈信息。
8、第二方面,本申请实施例提供了一种数据处理装置,该装置包括:
9、确定模块,用于获取机构内部服务系统的原始服务请求携带的第一敏感字段;
10、处理模块,用于根据第一敏感字段的字段类型对应的脱敏策略,对第一敏感字段的原始字段值进行脱敏处理,得到第一敏感字段的第一脱敏数据,并生成仿造关系信息,仿造关系信息用于记录敏感字段的原始字段值与脱敏数据之间的映射关系;
11、替换模块,用于将原始服务请求中第一敏感字段的原始字段值替换为第一脱敏数据,得到与原始服务请求对应的仿造服务请求;
12、发送模块,用于向机构外部模型服务端发送仿造服务请求,仿造服务请求用于调用模型服务端的大语言模型生成与仿造服务请求对应的服务反馈信息;
13、还原模块,用于在接收到模型服务端发送的服务反馈信息的情况下,基于仿造关系信息,将服务反馈信息中第二敏感字段的第二脱敏数据还原为对应的原始字段值,得到与原始服务请求对应的还原服务反馈信息。
14、第三方面,本申请实施例提供了一种计算机设备,该计算机设备包括:处理器以及存储有计算机程序指令的存储器;处理器执行计算机程序指令时实现如第一方面所示的数据处理方法。
15、第四方面,本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序指令,该计算机程序指令被处理器执行时实现如第一方面。
16、第五方面,本申请实施例提供了一种计算机程序产品,该计算机程序产品被存储在存储介质中,该计算机程序产品被至少一个处理器执行以实现如第一方面。
17、本申请实施例的数据处理方法、装置、设备、存储介质及程序产品,获取机构内部服务系统的原始服务请求携带的第一敏感字段;根据第一敏感字段的字段类型对应的脱敏策略,对第一敏感字段的原始字段值进行脱敏处理,得到第一敏感字段的第一脱敏数据,并生成仿造关系信息,仿造关系信息用于记录敏感字段的原始字段值与脱敏数据之间的映射关系;将原始服务请求中第一敏感字段的原始字段值替换为第一脱敏数据,得到与原始服务请求对应的仿造服务请求;向机构外部模型服务端发送仿造服务请求,仿造服务请求用于调用模型服务端的大语言模型生成与仿造服务请求对应的服务反馈信息;在接收到模型服务端发送的服务反馈信息的情况下,基于仿造关系信息,将服务反馈信息中第二敏感字段的第二脱敏数据还原为对应的原始字段值,得到与原始服务请求对应的还原服务反馈信息。这样,通过对原始服务请求中的敏感字段执行仿造数据替换脱敏,并同步生成记录原始值与脱敏值之间映射关系的仿造关系信息,使得外部大语言模型能够在无需接触真实明文数据的前提下,基于语义结构完整、逻辑关系合理的仿造数据进行语义理解和逻辑推理,从而避免掩码、令牌化等传统脱敏手段因改变数据语义而导致的大语言模型推理效果下降的问题。同时,在接收到外部大语言模型返回的服务反馈信息后,可基于仿造关系信息将反馈信息中的脱敏数据还原为对应的原始字段值,使服务系统能够获得与直接处理真实数据效果相当的推理结果,形成请求时脱敏外发、响应时还原回传的服务处理闭环,有助于降低因大语言模型输出结果无法与原始数据对应而可能引起的服务链路异常风险。在整个处理流程中,原始敏感数据可以在机构内部网关侧完成识别和脱敏处理,对外部模型服务端而言,所接收到的内容为仿造数据而非真实明文数据,这为满足相关法律法规对敏感数据在跨机构、跨域场景下的合规要求提供了一种可行的技术实现路径。而且,该方案的脱敏与还原处理对服务系统和外部大语言模型均不具有强制性改造要求,在无需修改现有服务代码或对大语言模型进行特定适配的情况下,可与各类公共大语言模型应用程序编程接口服务进行对接。可见,前述方法可以在保障数据安全合规与保持大语言模型语义推理可用性之间提供了一种兼顾两者的技术方案,为外部大语言模型算力在金融机构的敏感服务场景中的应用提供了一种可供选择的实现方式。
1.一种数据处理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一敏感字段的字段类型对应的脱敏策略,对所述第一敏感字段的原始字段值进行脱敏处理,得到所述第一敏感字段的第一脱敏数据,包括:
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
4.根据权利要求3所述的方法,其特征在于,所述根据所述知识探测响应信息,确定所述样本字段值对应的脱敏策略,包括:
5.根据权利要求4所述的方法,其特征在于,所述根据所述知识探测响应信息,确定所述样本字段值所属的样本字段类型是否为知识键字段类型,包括:
6.根据权利要求2所述的方法,其特征在于,所述从仿造数据知识库中获取与所述第一敏感字段的字段类型匹配的仿造字段值之前,所述方法还包括:
7.根据权利要求2所述的方法,其特征在于,所述仿造关系信息包括实体级映射关系信息;所述根据所述第一敏感字段的原始字段值与所述第一脱敏数据之间映射关系,确定所述仿造关系信息,包括:
8.根据权利要求7所述的方法,其特征在于,所述仿造关系信息还包括组件级映射关系信息;所述根据所述第一敏感字段的原始字段值与所述第一脱敏数据之间映射关系,确定所述仿造关系信息,包括:
9.根据权利要求1所述的方法,其特征在于,所述仿造关系信息包括实体级映射关系信息;所述基于所述仿造关系信息,将所述服务反馈信息中第二敏感字段的第二脱敏数据还原为对应的原始字段值,得到与所述原始服务请求对应的还原服务反馈信息,包括:
10.根据权利要求9所述的方法,其特征在于,所述仿造关系信息还包括组件级映射关系信息;所述基于所述仿造关系信息,将所述服务反馈信息中第二敏感字段的第二脱敏数据还原为对应的原始字段值,得到与所述原始服务请求对应的还原服务反馈信息,包括:
11.根据权利要求10所述的方法,其特征在于,所述在所述组件级映射关系信息中分别查找各所述目标子组件匹配的目标仿造子组件,包括:
12.根据权利要求10所述的方法,其特征在于,所述方法还包括:
13.根据权利要求1所述的方法,其特征在于,所述获取机构内部服务系统的原始服务请求携带的第一敏感字段之前,所述方法还包括:
14.根据权利要求1所述的方法,其特征在于,所述方法还包括:
15.根据权利要求14所述的方法,其特征在于,所述复用所述仿造关系信息之前,所述方法还包括:
16.根据权利要求1所述的方法,其特征在于,所述向机构外部模型服务端发送所述仿造服务请求之前,所述方法还包括:
17.根据权利要求16所述的方法,其特征在于,所述对所述原始服务请求所在的当前会话中累计向所述模型服务端暴露的脱敏数据的组合进行风险评估,生成风险评分,包括:
18.根据权利要求16或17所述的方法,其特征在于,所述根据所述风险评分,确定是否向模型服务端发送所述仿造服务请求,包括:
19.根据权利要求1所述的方法,其特征在于,所述获取机构内部服务系统的原始服务请求携带的第一敏感字段之后,所述方法还包括:
20.根据权利要求1所述的方法,其特征在于,所述方法还包括:
21.根据权利要求20所述的方法,其特征在于,所述预设检测规则包括以下至少一项:主动探测规则、被动探测规则、受控验证规则;所述通过预设检测规则,确定所述模型服务端是否存在违规使用指纹服务请求中指纹数据值的行为,包括:
22.根据权利要求1所述的方法,其特征在于,所述基于所述仿造关系信息,将所述服务反馈信息中第二敏感字段的第二脱敏数据还原为对应的原始字段值,得到与所述原始服务请求对应的还原服务反馈信息之前,所述方法还包括:
23.一种数据处理装置,其特征在于,包括:
24.一种计算机设备,其特征在于,所述计算机设备包括:处理器以及存储有计算机程序指令的存储器;
25.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-22任意一项所述的数据处理方法。
26.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序被处理器执行时实现如权利要求1-22任意一项所述的数据处理方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com