基于语义感知梯度引导的位置隐私保护方法及系统

摘要: 本发明涉及图像隐私保护与对抗机器学习,具体而言,涉及一种基于语义感知梯度引导的位置隐私保护方法及系统。背景技术:1、随着自动驾驶、众包地图、街景采集等应用的普及...
基于语义感知梯度引导的位置隐私保护方法及系统

本发明涉及图像隐私保护与对抗机器学习,具体而言,涉及一种基于语义感知梯度引导的位置隐私保护方法及系统。

背景技术:

1、随着自动驾驶、众包地图、街景采集等应用的普及,大量包含丰富场景信息的图像被上传、共享与训练使用。这类图像在被人眼观看时往往不会暴露明显的隐私信息,但借助以clip为代表的大规模视觉—语言模型以及各类地理定位模型,攻击者可以仅凭图像中的建筑风格、交通标志、植被特征等视觉线索,反推出图像的拍摄城市以及地区,造成地理位置隐私泄露。如何在不显著破坏图像可用性的前提下,阻止模型从图像中识别地理位置,成为亟待解决的问题。

2、现有方法主要存在三类局限。其一,传统的图像模糊、马赛克、像素遮挡等手段虽能降低可识别性,但会大面积破坏图像内容,导致视觉质量急剧下降、语义结构损毁,难以满足自动驾驶等下游任务对图像可用性的要求。其二,全图施加对抗扰动的方法虽然隐私保护强度较高,但需要在整幅图像上添加扰动,扰动覆盖面积大、对图像语义破坏严重,且效率低下。其三,基于人工先验设定语义敏感度权重的区域化扰动方法,所选取的“敏感区域”依赖人工经验,往往与模型实际用于地理判别的区域不一致,导致在较低扰动面积下保护效果不佳。因此,如何自动、精准地定位真正承载地理判别信息的图像区域,并在该区域内以最小的扰动代价实现高强度隐私保护,是本领域需要突破的核心技术难题。

技术实现思路

1、有鉴于此,本发明的目的在于提供一种基于语义感知梯度引导的位置隐私保护方法及系统,以解决现有技术中的至少部分技术问题。

2、为了实现上述目的,本发明采用的技术方案如下:

3、第一方面,本发明提供了一种基于语义感知梯度引导的位置隐私保护方法,包括:

4、获取待保护的原始图像的地理类别,基于所述地理类别计算所述原始图像的空间位置对应的地理敏感度;

5、基于所述地理敏感度从所述空间位置中选取高贡献像素集合,对所述原始图像进行语义分割并基于语义分割结果和所述高贡献像素集合生成语义扰动掩码;

6、对所述原始图像进行特征提取得到基准特征,根据所述原始图像和所述语义扰动掩码生产扰动后图像,根据所述基准特征和所述扰动后图像计算全局特征损失;

7、提取所述扰动后图像的扰动后特征,根据所述扰动后特征和所述基准特征计算局部特征损失,根据所述全局特征损失和所述局部特征损失计算总损失;

8、基于所述总损失对扰动量进行迭代更新得到最终对抗扰动,基于所述最终对抗扰动和所述原始图像生成隐私保护图像。

9、在可选的实施方式中,所述获取待保护的原始图像的地理类别,基于所述地理类别计算所述原始图像的空间位置对应的地理敏感度的步骤,包括:

10、将所述原始图像输入到训练后的地理位置分类器中以输出所述原始图像的地理类别;

11、按照所述地理类别对所述原始图像求梯度,并对所述梯度沿通道维度进行集合,得到所述原始图像中每个空间位置对应的地理敏感度。

12、在可选的实施方式中,基于所述地理敏感度从所述空间位置中选取高贡献像素集合的步骤,包括:

13、按照所述地理敏感度从高到低进行排序得到排序结果;

14、从所述排序结果中排序靠前的预设数量的空间位置对应的像素作为所述高贡献像素集合。

15、在可选的实施方式中,对所述原始图像进行语义分割并基于语义分割结果和所述高贡献像素集合生成语义扰动掩码的步骤,包括:

16、对所述原始图像进行语义分割得到与所述地理敏感度相同尺度的语义标签图;所述语义标签图包括多个语义类别标签,每个所述空间位置对应一个所述语义类别标签;

17、计算与每个语义类别对应的高贡献像素的密度,基于所述密度的排序筛选出高危类别集合,根据所述高危类别集合生成语义扰动掩码。

18、在可选的实施方式中,根据所述基准特征和所述扰动后图像计算全局特征损失的步骤,包括:

19、将所述扰动后图像输入到特征提取模型得到全局特征;

20、将所述全局特征与所述基准特征的余弦相似度作为所述全局特征损失。

21、在可选的实施方式中,提取所述扰动后图像的扰动后特征,根据所述扰动后特征和所述基准特征计算局部特征损失的步骤,包括:

22、从所述扰动后图像中采样出局部图像区域,所述局部图像区域的尺寸与所述特征提取模型的输入尺寸相同;

23、将所述局部图像区域输入到所述特征提取模型得到局部特征;

24、将所述局部特征与所述基准特征的余弦相似度作为所述局部特征损失。

25、在可选的实施方式中,基于所述总损失对所述扰动量进行迭代更新得到最终对抗扰动,基于所述最终对抗扰动和所述原始图像生成隐私保护图像的步骤,包括:

26、计算所述总损失对所述扰动量的梯度,并基于迭代式快速梯度符号法在掩码约束下迭代更新所述扰动量;

27、将迭代更新时的扰动幅值限制在预设强度范围内,并在每次迭代更新后将所述扰动量与语义掩码逐元素相乘;

28、在迭代预设次数后得到最终对抗扰动,将所述最终对抗扰动与所述原始图像进行叠加得到所述隐私保护图像。

29、第二方面,本发明提供了一种基于语义感知梯度引导的位置隐私保护系统,包括:

30、地理敏感度计算模块,用于获取待保护的原始图像的地理类别,基于所述地理类别计算所述原始图像的空间位置对应的地理敏感度;

31、语义扰动掩码生成模块,用于基于所述地理敏感度从所述空间位置中选取高贡献像素集合,对所述原始图像进行语义分割并基于语义分割结果和所述高贡献像素集合生成语义扰动掩码;

32、全局特征损失计算模块,用于对所述原始图像进行特征提取得到基准特征,根据所述原始图像和所述语义扰动掩码生产扰动后图像,根据所述基准特征和所述扰动后图像计算全局特征损失;

33、局部特征损失计算模块,用于提取所述扰动后图像的扰动后特征,根据所述扰动后特征和所述基准特征计算局部特征损失,根据所述全局特征损失和所述局部特征损失计算总损失;

34、隐私保护图像生成模块,用于基于所述总损失对扰动量进行迭代更新得到最终对抗扰动,基于所述最终对抗扰动和所述原始图像生成隐私保护图像。

35、第三方面,本发明提供了一种电子设备,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器可执行所述机器可执行指令以实现第一方面所述的基于语义感知梯度引导的位置隐私保护方法。

36、第四方面,本发明提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所述的基于语义感知梯度引导的位置隐私保护方法。

37、本发明实施例提供的一种基于语义感知梯度引导的位置隐私保护方法及系统,通过自动估计像素级地理敏感度,并以语义扰动进行损失计算,摆脱了对人工先验权重的依赖,所定位的扰动区域与模型实际用于地理判别的区域高度一致,避免了人工设定区域与模型关注区域不符导致的保护失效,显著提升了相同扰动面积下的隐私保护强度。

38、为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。