数据处理方法、计算机系统及存储介质
本说明书涉及人工智能,尤其涉及一种数据处理方法、计算机系统及存储介质。
背景技术:
1、目前,随着人工智能技术的飞速迭代,大语言模型正快速地的速度融入各行各业,从日常办公到专业领域的复杂任务都能提供极大的帮助。用户可以向大语言模型输入提示词,大语言模型基于提示词进行分析推理,并输出对应的答复,从而通过大语言模型完成特定任务。
2、由于大语言模型的参数规模较大,大语言模型的训练和推理依赖于庞大的算力资源。对于绝大多数企业和个人来说,大语言模型的训练和推理、自建算力集群的成本是无法逾越的门槛。因此,使用第三方提供的大语言模型成为了主流选择。
3、然而,用户向第三方大语言模型输入的提示词中可能包括用户的敏感信息,可能会导致敏感信息泄露。如何保障用户隐私数据安全,成为亟待解决的问题。
4、背景技术部分的内容仅仅是发明人个人所知晓的信息,并不代表上述信息在本公开申请日之前已经进入公共领域,也不代表其可以成为本公开的现有技术。
技术实现思路
1、本说明书提供一种数据处理方法、计算机系统及存储介质,以提高使用大语言模型的过程中敏感信息的安全性。
2、第一方面,本说明书提供一种数据处理方法,包括:在可信执行环境tee内,对原始输入数据中的敏感信息进行去标识化处理,得到脱敏输入数据;其中,脱敏输入数据中不包含敏感信息;将脱敏输入数据发送至运行于tee外的大语言模型,并获取大语言模型基于脱敏输入数据进行推理生成的脱敏引导数据,脱敏引导数据用于提供答复脱敏输入数据的答复思路框架;在tee内,对脱敏引导数据进行敏感信息恢复处理,得到包含敏感信息的可信域引导数据;将原始输入数据和可信域引导数据作为提示词输入运行于tee内的目标语言模型,得到原始输入数据的答复;其中,提示词用于引导目标语言模型结合可信域引导数据和原始输入数据生成原始输入数据的答复。
3、在一些实施例中,对原始输入数据中的敏感信息进行去标识化处理,得到脱敏输入数据,包括:基于多种掩码策略,分别对原始输入数据中的敏感信息进行掩码处理,得到多种掩码策略分别对应的脱敏输入数据;将脱敏输入数据发送至运行于tee外的大语言模型,并获取大语言模型基于脱敏输入数据进行推理生成的脱敏引导数据,包括:将多种掩码策略分别对应的脱敏输入数据发送至运行于tee外的大语言模型,并获取大语言模型基于多种掩码策略分别对应的脱敏输入数据进行推理生成的脱敏引导数据,其中,大语言模型针对每种掩码策略对应的脱敏输入数据进行独立推理生成掩码策略对应的脱敏引导子数据,并基于多种掩码策略分别对应的脱敏引导子数据进行融合处理,得到脱敏引导数据。
4、在一些实施例中,获取大语言模型基于多种掩码策略分别对应的脱敏输入数据进行推理生成的脱敏引导数据,包括:获取大语言模型针对每种掩码策略对应的脱敏输入数据进行独立推理生成的掩码策略对应的脱敏引导子数据;在tee内对多种掩码策略分别对应的脱敏引导子数据进行敏感信息对齐处理,得到多种掩码策略分别对应的脱敏引导对齐数据,其中,各脱敏引导对齐数据中指向同一敏感信息的对齐符号相同;将多种掩码策略分别对应的脱敏引导对齐数据发送至大语言模型,并获取大语言模型基于多种掩码策略分别对应的脱敏引导对齐数据进行融合处理得到的脱敏引导数据。
5、在一些实施例中,方法还包括:建立敏感信息与各掩码策略中替换符号之间的第一映射关系;在tee内对多种掩码策略分别对应的脱敏引导子数据进行敏感信息对齐处理,包括:在tee内,基于第一映射关系,对多个脱敏引导子数据进行敏感信息对齐处理,以使指向同一敏感信息的不同替换符号被映射到统一的对齐符号表示。
6、在一些实施例中,方法还包括:在tee内,确定敏感信息对应的对齐符号;在tee内,基于第一映射关系,对多个脱敏引导子数据进行敏感信息对齐处理,包括:在tee内,基于第一映射关系,确定各掩码策略中敏感信息对应的替换符号;在tee内,确定敏感信息对应的各掩码策略中的替换符号在对应的脱敏引导子数据中的位置;基于敏感信息对应的各掩码策略中的替换符号在对应的脱敏引导子数据中的位置,在tee内,将多种掩码策略分别对应的脱敏引导子数据对应的替换符号替换为对齐符号,以得到多种掩码策略分别对应的脱敏引导对齐数据。
7、在一些实施例中,确定敏感信息对应的对齐符号包括:基于目标掩码策略,对敏感信息进行掩码处理,得到敏感信息对应的对齐符号;或,基于敏感信息对应的各掩码策略中的替换符号,确定敏感信息对应的对齐符号;或,基于敏感信息的类型确定敏感信息对应的对齐符号。
8、在一些实施例中,在tee内,基于敏感信息与各掩码策略中替换符号之间的第一映射关系,对多个脱敏引导子数据进行敏感信息对齐处理之后,还包括:建立敏感信息与对齐符号之间的第二映射关系;在tee内,对脱敏引导数据进行敏感信息恢复处理,得到包含敏感信息的可信域引导数据,包括:在tee内,基于第二映射关系,将脱敏引导数据中的对齐符号替换为所对应的敏感信息,得到包含敏感信息的可信域引导数据。
9、在一些实施例中,多种掩码策略包括下述中的至少两项:泛化掩码、伪名化掩码、部分保留掩码、加密掩码。
10、在一些实施例中,对原始输入数据中的敏感信息进行去标识化处理,得到脱敏输入数据包括:识别原始输入数据中的敏感信息,并采用掩码策略对原始输入数据中的敏感信息进行掩码处理,得到脱敏输入数据。
11、第二方面,本说明书还提供一种计算机系统,包括:至少一个存储介质,存储有至少一个指令集,用于进行数据处理;以及至少一个处理器,同所述至少一个存储介质通信连接,其中,所述计算机系统运行时所述至少一个处理器读取所述至少一个指令集,并且根据所述至少一个指令集的指示执行如第一方面任一项所述的数据处理方法。
12、由以上技术方案可知,本说明书提供的数据处理方法、计算机系统及存储介质,通过在tee内对原始输入数据中的敏感信息进行去标识化处理得到脱敏输入数据,并由tee外的大语言模型基于脱敏输入数据推理生成脱敏引导数据,然后在tee内对脱敏引导数据进行敏感信息恢复处理得到可信域引导数据,最后由tee内运行的目标语言模型基于原始输入数据和可信域引导数据进行推理生成答复,能够将敏感信息始终保留在tee内,tee外的大语言模型仅能够获取去标识后的脱敏输入数据,从而能够有效提高敏感信息的安全性。并且,由tee外的大语言模型基于脱敏输入数据推理生成脱敏引导数据,由tee内运行的目标语言模型基于可信域引导数据进行推理生成最终的答复,能够保证答复质量,以及在隐私保护和答复效率之间取得更好的平衡。
13、本说明书提供的数据处理方法、计算机系统及存储介质的其他功能将在以下说明中部分列出。本说明书提供的数据处理方法、计算机系统及存储介质的创造性方面可以通过实践或使用下面详细示例中所述的方法、装置和组合得到充分解释。
1.一种数据处理方法,所述方法包括:
2.根据权利要求1所述的方法,其中,所述对原始输入数据中的敏感信息进行去标识化处理,得到脱敏输入数据,包括:
3.根据权利要求2所述的方法,其中,所述获取所述大语言模型基于所述多种掩码策略分别对应的脱敏输入数据进行推理生成的脱敏引导数据,包括:
4.根据权利要求3所述的方法,其中,所述方法还包括:
5.根据权利要求4所述的方法,其中,所述方法还包括:
6.根据权利要求5所述的方法,所述确定所述敏感信息对应的对齐符号包括:
7.根据权利要求4所述的方法,其中,所述在所述tee内,基于敏感信息与各掩码策略中替换符号之间的所述第一映射关系,对所述多个脱敏引导子数据进行敏感信息对齐处理之后,还包括:
8.根据权利要求2-7任一项所述的方法,其中,所述多种掩码策略包括下述中的至少两项:
9.根据权利要求1所述的方法,其中,所述对原始输入数据中的敏感信息进行去标识化处理,得到脱敏输入数据包括:
10.一种计算机系统,其中,包括:
11.一种计算机可读非易失性存储介质,其中,所述计算机可读非易失性存储介质中存储有至少一个指令集,所述至少一个指令集被至少一个处理器执行时,实现如权利要求1-9中任一项所述的数据处理方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com