基于隐私计算的车舱多模态数据脱敏方法、装置及系统与流程
本发明涉及数据脱敏,特别是基于隐私计算的车舱多模态数据脱敏方法、装置及系统。
背景技术:
1、随着智能网联汽车技术的快速发展,现代汽车座舱已从单纯的驾驶空间演变为集成了多种传感器和智能交互功能的移动智能终端。当前,车载系统普遍部署了摄像头、麦克风、毫米波雷达、红外传感器等多模态感知设备,用于实现驾驶员疲劳监测、乘员识别、语音交互、手势控制等智能化功能。这些设备在运行过程中持续采集车舱内的图像、音频、文本及传感器时序数据等多模态信息。与此同时,车端与云端之间的数据交互日益频繁,大量车舱感知数据需要上传至云端用于模型训练、场景优化和功能迭代。
2、然而,车舱多模态数据的广泛采集与流通带来了严峻的隐私安全挑战。首先,车舱内采集的数据涉及驾驶员及乘员的面部图像、声纹信息、对话内容、位置轨迹等敏感个人信息,这些数据一旦泄露或被不当使用,将严重侵害个人隐私权益。目前部分车型在车端匿名化处理中存在人脸目标匿名化检出率偏低的问题,敏感个人信息的处理存在合规风险。现有技术中针对车舱多模态数据的脱敏处理方案仍存在以下缺陷:
3、1、缺乏跨模态关联维度的隐私风险识别能力。现有脱敏方案通常对图像、音频、文本等各模态数据进行独立处理,忽略了多模态数据之间在时间同步和空间对应关系下的语义关联。单一模态下单独来看不构成敏感信息的数据片段,在多模态融合后可能通过跨模态推理唯一识别乘员身份或推断乘员隐私状态,从而产生“模态孤立安全、融合后泄露”的隐蔽性隐私风险。现有技术尚未有效解决这一跨模态关联隐私泄露问题。
4、2、脱敏策略缺乏差异化的隐私预算分配机制。不同模态数据包含的敏感信息类型和敏感程度各不相同,不同车舱场景(如载客场景、驻车场景、行驶场景等)对隐私保护的需求也存在显著差异。现有脱敏方案多采用统一的脱敏参数或固定的脱敏规则,难以根据模态敏感等级、跨模态组合风险以及实时场景类型进行精细化的隐私预算分配与脱敏强度调节,导致隐私保护不足与数据效用过度损失之间的矛盾突出。
5、3、车端脱敏处理的安全隔离不足。多模态原始数据在车端采集后,若在常规操作系统环境中进行脱敏处理,原始数据在脱敏过程中仍面临被恶意程序或未授权实体访问的风险。现有技术尚未充分实现在硬件级隔离环境中完成脱敏全流程操作,并确保原始数据在脱敏完成后被彻底销毁的安全机制。
6、4、数据全流程防护体系不完善。在智能网联汽车智驾数据应用场景下,面临数据跨主体合规共享难、多模态数据脱敏处理难、数据全流程防护难等突出问题。车端脱敏后的数据在上传至云端后,仍可能在不同计算节点之间流转和融合分析,现有技术缺乏从车端采集、车端脱敏、加密上传到云端协同计算的端到端隐私保护闭环。如何在不解密各数据分片的条件下完成跨节点数据融合分析,同时防止任一计算节点单独获取完整的原始数据信息,是亟待解决的技术难题。
技术实现思路
1、本发明的目的在于克服现有技术在跨模态关联隐私风险识别、差异化隐私预算分配、车端安全隔离处理以及端到端全流程隐私保护等方面存在明显不足,提供基于隐私计算的车舱多模态数据脱敏方法、装置及系统,有效解决了现有技术的不足。
2、为了实现上述目的,本发明一方面提供了基于隐私计算的车舱多模态数据脱敏方法,包括以下步骤:
3、s1:通过车载多模态感知单元实时采集车舱内的多模态原始数据,所述多模态原始数据至少包括图像数据、音频数据、文本数据及传感器时序数据中的两种以上;
4、s2:对所述多模态原始数据分别进行模态识别与格式归一化处理,将不同模态的数据统一转换为预设的标准数据结构,生成标准化多模态数据;
5、s3:基于预设的多模态敏感信息识别模型,对所述标准化多模态数据中各模态数据进行并行敏感信息检测,识别出包含隐私敏感信息的数据区域或数据片段,并分别为各模态数据标注敏感类型标签和敏感等级标签;
6、s4:根据所述敏感类型标签和敏感等级标签,构建各模态数据之间的语义关联图谱,基于所述语义关联图谱进行跨模态隐私关联分析,识别单一模态下非敏感但在多模态融合后构成隐私泄露风险的潜在敏感组合;
7、s5:基于所述敏感等级标签和所述潜在敏感组合的分析结果,调用预配置的隐私预算分配策略,为不同敏感等级和不同模态的数据分配差异化的隐私预算;
8、s6:根据所述差异化的隐私预算,分别为各模态数据匹配对应的脱敏算法,生成多模态差异化脱敏策略,所述脱敏算法至少包括差分隐私噪声添加、k-匿名泛化、数据扰动及特征替代中的两种以上;
9、s7:在车载可信执行环境中执行所述多模态差异化脱敏策略,对各模态数据分别进行脱敏处理,生成多模态脱敏数据;
10、s8:基于联邦学习框架,将所述多模态脱敏数据或脱敏后提取的特征向量在车端进行本地存储,仅将脱敏后的非敏感特征或模型梯度参数通过加密通道上传至云端或边缘节点;
11、s9:通过安全多方计算协议,对上传至不同云端节点的脱敏数据分片进行协同计算,在不解密各数据分片的条件下完成跨节点数据融合分析,生成隐私计算后的脱敏结果;
12、s10:对所述脱敏结果进行脱敏效果评估,计算各模态数据的隐私泄露风险值,若所述隐私泄露风险值超过预设阈值则触发回退机制,重新执行步骤s5至步骤s9直至满足隐私保护要求。
13、由上述任一方案优选的是,所述步骤s3中多模态敏感信息识别模型的构建方法包括:
14、采用多任务学习架构,共享底层特征提取网络,分别通过独立的模态任务分支对图像模态、音频模态、文本模态和传感器时序模态进行敏感信息识别;
15、其中图像模态的敏感信息识别至少包括人脸检测、车牌检测及行为识别,音频模态的敏感信息识别至少包括语音指令识别及说话人身份识别,文本模态的敏感信息识别至少包括敏感关键词匹配及语义理解,传感器时序模态的敏感信息识别至少包括位置轨迹分析及驾驶行为模式识别;
16、所述步骤s4中跨模态隐私关联分析方法包括:
17、构建跨模态数据之间的时间同步关系和空间对应关系,基于所述时间同步关系和空间对应关系建立多模态数据间的语义关联边;
18、当第一模态数据与第二模态数据在预设时间窗口内同时出现且各自单独不构成敏感信息、但组合后能够唯一识别乘员身份或推断乘员隐私状态时,将所述第一模态数据与第二模态数据的组合标注为潜在敏感组合,并为其分配组合敏感等级。
19、由上述任一方案优选的是,所述步骤s5中隐私预算分配策略包括:
20、1)基于各模态数据的敏感等级确定基础隐私预算,
21、2)基于所述潜在敏感组合的组合敏感等级确定附加隐私预算,
22、3)基于当前车舱场景类型确定场景调整系数,将所述基础隐私预算与所述附加隐私预算之和乘以所述场景调整系数,得到各模态数据的最终差异化隐私预算;
23、所述车舱场景类型至少包括载客场景、驻车场景、行驶场景和紧急场景。
24、由上述任一方案优选的是,所述步骤s6中为不同模态数据匹配对应的脱敏算法包括:
25、1)对于图像模态数据,根据敏感区域面积占比选择局部差分隐私扰动或生成式对抗网络-based特征替代;
26、2)对于音频模态数据,根据语音内容的敏感程度选择语谱图扰动或语音特征泛化;
27、3)对于文本模态数据,根据敏感词密度选择同义词替换或差分隐私词向量加噪;
28、4)对于传感器时序数据,根据时序敏感度选择时序差分隐私或轨迹泛化;
29、5)各模态的脱敏算法相互独立配置,且脱敏参数根据实时隐私预算动态调整。
30、由上述任一方案优选的是,所述步骤s7中在车载可信执行环境中执行脱敏处理方法包括:
31、1)通过车载系统级芯片中集成的可信执行环境硬件单元,创建隔离的安全内存区域;
32、2)将所述多模态原始数据、所述多模态差异化脱敏策略及脱敏过程中涉及的加密密钥全部载入所述安全内存区域;
33、3)在所述安全内存区域内完成所有脱敏计算操作,确保原始数据在脱敏过程中不与车舱外的任何实体进行明文数据交换;
34、4)脱敏完成后,在所述安全内存区域内销毁原始数据副本,仅输出脱敏后的数据。
35、由上述任一方案优选的是,所述步骤s8中基于联邦学习框架进行本地存储与加密上传过程包括:
36、1)在车端部署本地联邦学习客户端,利用脱敏后的多模态数据在车端进行本地模型训练,生成模型梯度更新参数;
37、2)对所述模型梯度更新参数施加差分隐私噪声后进行加密,通过安全信道上传至联邦学习服务器;
38、3)不同车辆上传的加密梯度参数在联邦学习服务器端进行安全聚合,聚合过程中各车辆的原始数据始终不离开车端。
39、由上述任一方案优选的是,所述步骤s9中安全多方计算协议具体包括:将脱敏后的数据拆分为多个数据分片,分别发送至不同的云端计算节点;各云端计算节点在接收到数据分片后,基于秘密共享方案在密态下执行预设的数据融合分析计算;各计算节点将各自的密态计算结果返回至协调节点,所述协调节点对密态计算结果进行重组还原,得到隐私计算后的脱敏结果;整个计算过程中任一云端计算节点均无法单独获取完整的原始数据信息;
40、所述步骤s10中脱敏效果评估与回退机制具体包括:采用信息损失度量指标和隐私泄露风险度量指标构建多目标评估函数;所述信息损失度量指标至少包括各模态数据的结构相似性损失、语义完整性损失和可用性损失;所述隐私泄露风险度量指标至少包括成员推断攻击成功率、属性推断攻击成功率和重构攻击成功率;当所述多目标评估函数的综合评分低于预设标准时触发回退机制,回退过程中优先调整隐私预算分配比例,其次调整脱敏算法参数组合,直至综合评分满足预设标准。
41、本发明另一方面的实施例提供了基于隐私计算的车舱多模态数据脱敏装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的基于隐私计算的车舱多模态数据脱敏方法。
42、本发明又一方面的实施例提供了基于隐私计算的车舱多模态数据脱敏系统,用于实现如上任一项所述的基于隐私计算的车舱多模态数据脱敏方法,包括多模态数据采集模块、模态识别与归一化模块、敏感信息识别模块、跨模态关联分析模块、隐私预算分配模块、脱敏策略生成模块、可信执行环境脱敏模块、联邦学习上传模块、安全多方计算模块以及脱敏评估与回退模块;
43、所述多模态数据采集模块,用于实时采集车舱内的多模态原始数据,其输出端连接所述模态识别与归一化模块的输入端;
44、所述模态识别与归一化模块,用于对所述多模态原始数据进行模态识别与格式归一化处理,生成标准化多模态数据,其输出端分别连接所述敏感信息识别模块的输入端和所述可信执行环境脱敏模块的第一数据输入端;
45、所述敏感信息识别模块,用于基于多模态敏感信息识别模型对各模态数据进行并行敏感信息检测,标注敏感类型标签和敏感等级标签,其输出端分别连接所述跨模态关联分析模块的输入端和所述隐私预算分配模块的第一输入端;
46、所述跨模态关联分析模块,用于构建各模态数据之间的语义关联图谱,进行跨模态隐私关联分析,识别潜在敏感组合,其输出端连接所述隐私预算分配模块的第二输入端;
47、所述隐私预算分配模块,用于基于敏感等级和潜在敏感组合分析结果,为不同模态的数据分配差异化的隐私预算,其输出端连接所述脱敏策略生成模块的输入端;
48、所述脱敏策略生成模块,用于根据差异化的隐私预算为各模态数据匹配对应的脱敏算法,生成多模态差异化脱敏策略,其输出端连接所述可信执行环境脱敏模块的第二策略输入端;
49、所述可信执行环境脱敏模块,用于在车载可信执行环境中执行所述多模态差异化脱敏策略,生成多模态脱敏数据,其输出端分别连接所述联邦学习上传模块的输入端和所述脱敏评估与回退模块的第一输入端;
50、所述联邦学习上传模块,用于将脱敏数据或特征向量在车端本地存储,将脱敏后的非敏感特征或模型梯度参数通过加密通道上传,其输出端连接所述安全多方计算模块的输入端;
51、所述安全多方计算模块,用于通过安全多方计算协议对上传至不同节点的数据分片进行协同计算,生成隐私计算后的脱敏结果,其输出端连接所述脱敏评估与回退模块的第二输入端;
52、所述脱敏评估与回退模块,用于对脱敏结果进行脱敏效果评估,在隐私泄露风险值超过预设阈值时触发回退机制,其反馈输出端连接所述隐私预算分配模块的反馈输入端。
53、由上述任一方案优选的是,所述系统部署于车端与云端协同架构中,所述多模态数据采集模块、模态识别与归一化模块、敏感信息识别模块、跨模态关联分析模块、隐私预算分配模块、脱敏策略生成模块、可信执行环境脱敏模块及脱敏评估与回退模块中的本地评估部分部署于车端,所述联邦学习上传模块、安全多方计算模块及脱敏评估与回退模块中的协同评估部分部署于云端,车端与云端之间通过加密通信链路连接。
54、本发明具有以下优点:
55、1、该基于隐私计算的车舱多模态数据脱敏方法、装置及系统,通过构建多模态数据之间的语义关联图谱并进行跨模态隐私关联分析,能够识别单一模态下非敏感但多模态融合后构成隐私泄露风险的潜在敏感组合,有效弥补了现有技术忽视跨模态关联隐私风险的缺陷,解决了模态孤立安全、融合后泄露的隐蔽性隐私风险问题。
56、2、该基于隐私计算的车舱多模态数据脱敏方法、装置及系统,通过基于各模态敏感等级确定基础隐私预算、基于潜在敏感组合等级确定附加隐私预算、基于车舱场景类型确定场景调整系数的多层次差异化隐私预算分配机制,实现了模态敏感度、跨模态组合风险与实时场景需求的三维协同优化,解决了统一脱敏参数导致的隐私保护不足与数据效用过度损失之间的矛盾。
57、3、该基于隐私计算的车舱多模态数据脱敏方法、装置及系统,通过利用车载系统级芯片集成的可信执行环境硬件单元创建隔离的安全内存区域,将多模态原始数据、脱敏策略及加密密钥全部载入安全内存区域完成所有脱敏计算操作,脱敏后彻底销毁原始数据副本,实现了硬件级隔离环境中的脱敏全流程安全处理,有效防止了恶意程序或未授权实体对原始数据的访问和窃取。
58、4、该基于隐私计算的车舱多模态数据脱敏方法、装置及系统,通过联邦学习框架与安全多方计算协议的有机结合,车端脱敏数据仅用于本地模型训练,上传至云端的仅为加密梯度参数或数据分片,原始数据始终不离开车端,云端任一计算节点无法单独获取完整的原始数据信息,构建了从车端采集、车端脱敏、加密上传到云端协同计算的端到端隐私保护闭环。
59、5、该基于隐私计算的车舱多模态数据脱敏方法、装置及系统,通过构建包含信息损失度量指标和隐私泄露风险度量指标的多目标评估函数,实现了脱敏效果的量化评价与实时监测,配合优先调整隐私预算分配比例、其次调整脱敏算法参数组合的分级回退机制,在保证隐私保护效果的同时最大程度保留了各模态数据的可用性,实现了隐私保护与数据效用的动态平衡。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com