帧级图像保真控制方法、装置、设备、介质和程序产品

本技术涉及眼动交互，特别是涉及一种帧级图像保真控制方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

背景技术：

1、随着智能穿戴设备与眼动交互技术的发展，出现了基于注视点渲染的视频透视显示技术。该技术根据用户的注视位置，在当前视频帧中仅将注视点附近的区域（即感兴趣区域）保持较高保真度输出，其余区域则进行模糊或降采样处理，被广泛应用于智能眼镜的视频透视、远程协作及环境录像等场景。

2、然而，传统技术采用的目前的局部高清输出方式存在以下问题：首先，单帧感兴趣区域的保护不能限制连续多帧之间的累计覆盖。尽管每一帧中保持高保真的区域较小，但普通执行环境、录像模块或远程接收方仍可长期收集不同帧中不同位置的清晰图像块，并在时间维度上进行配准和拼接，从而重构出包含人脸、车牌、屏幕文字、证件等第三方敏感信息的完整场景。

3、其次，现有方案缺少对“已离开可信执行环境的局部高保真结果”的帧级输出门控。系统无法有效约束“什么结果可输出、授权对应哪一帧、授权区域多大、有效多久以及累计输出达到何种程度时必须停止”。上一帧的高清纹理或中间结果可能被维持或复用，即使当前眼动样本已失效，仍会触发错误的局部高清输出。

4、再次，当眼动数据与视频帧因采样率差异、延迟或丢帧而发生时序错配时，过期或低置信度的眼动数据会造成错误的授权判断。而在眼动超时、时间戳失配或系统处理异常时，传统方法缺少“默认更严格”的故障安全回退，容易形成隐私旁路。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够基于历史实际输出的跨帧泄露状态来约束当前帧局部保真授权，从而有效限制连续视频流中敏感信息被累计重构风险的基于跨帧泄露约束的帧级图像保真控制方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种帧级图像保真控制方法，包括：

3、获取当前视频帧和对应的眼动数据，并在预设的可信执行环境中根据所述眼动数据生成所述当前视频帧的候选感兴趣区域；

4、对历史视频帧的实际高保真输出区域进行衰减处理，得到跨帧泄露状态；

5、根据所述当前视频帧、所述候选感兴趣区域和所述跨帧泄露状态进行预测计算，得到预测累计泄露量；

6、当所述预测累计泄露量小于第一预设泄露阈值时，根据所述候选感兴趣区域确定授权感兴趣区域，并生成对所述当前视频帧有效的局部保真授权；

7、基于所述局部保真授权对所述当前视频帧进行隐私处理，得到隐私处理结果；

8、对所述隐私处理结果进行区域解析，得到局部高保真输出区域，并根据所述局部高保真输出区域对所述跨帧泄露状态进行更新，得到更新后的跨帧泄露状态；所述更新后的跨帧泄露状态用于下一视频帧的图像保真控制。

9、在其中一个实施例中，所述根据所述当前视频帧、所述候选感兴趣区域和所述跨帧泄露状态进行预测计算，得到预测累计泄露量，包括：

10、将所述当前视频帧划分为多个空间子区域，得到各子区域，并根据所述候选感兴趣区域与所述各子区域的区域重叠比例，确定所述各子区域的拟授权输出比例；

11、根据所述跨帧泄露状态中所述各子区域的当前泄露分值、预设的衰减系数和所述拟授权输出比例，计算各子区域的预测泄露分值，得到预测泄露状态；

12、基于所述预测泄露状态，计算预测累计泄露量。

13、在其中一个实施例中，所述基于所述局部保真授权对所述当前视频帧进行隐私处理，包括：

14、在所述局部保真授权的授权信息校验通过时，对所述授权感兴趣区域内保持指定保真等级，并对所述授权感兴趣区域外执行预设隐私扰动处理；

15、若显示链路因刷新率差异重复显示上一处理结果，则将所述重复显示计入原授权的有效时长和累计泄露量。

16、在其中一个实施例中，所述对所述隐私处理结果进行区域解析，得到局部高保真输出区域，包括：

17、对所述隐私处理结果进行授权边界校验，得到授权边界校验结果；

18、在所述授权边界校验结果表征为校验通过的情况下，以预设的原子事务方式对所述授权边界校验结果的输出结果进行区域解析，得到所述局部高保真输出区域；其中，所述局部高保真输出区域未超出所述授权感兴趣区域；

19、仅在所述原子事务提交成功后，允许普通执行环境访问所述隐私处理结果；

20、在授权边界校验结果未通过或所述原子事务提交失败的情况下，拒绝提交所述输出结果，并执行预设故障安全处理。

21、在其中一个实施例中，所述根据所述局部高保真输出区域对所述跨帧泄露状态进行更新，得到更新后的跨帧泄露状态，包括：

22、当所述当前视频帧的获取设备发生移动时，通过预设的场景运动补偿处理将所述实际高保真输出区域转换至所述当前视频帧的坐标系，或者根据预设的被跟踪敏感对象的对象标识对所述跨帧泄露状态进行维护更新，得到更新后的跨帧泄露状态；

23、当所述当前视频帧的获取设备未发生移动时，将所述当前视频帧划分为多个空间子区域，得到各子区域，并根据所述局部高保真输出区域与所述各子区域的重叠比例对所述各子区域的泄露分值进行更新，得到更新后的跨帧泄露状态。

24、在其中一个实施例中，所述方法还包括：

25、当所述预测累计泄露量不小于所述第一预设泄露阈值时，不生成所述局部保真授权并对所述当前视频帧执行全帧隐私扰动；

26、当所述更新后的跨帧泄露状态不小于所述第一预设泄露阈值或发生校验异常时，撤销所述局部保真授权并对后续帧限制局部高保真输出。

27、第二方面，本技术还提供了一种帧级图像保真控制装置，包括：

28、获取模块，用于获取当前视频帧和对应的眼动数据，并在预设的可信执行环境中根据所述眼动数据生成所述当前视频帧的候选感兴趣区域；

29、衰减模块，用于对历史视频帧的实际高保真输出区域进行衰减处理，得到跨帧泄露状态；

30、泄露量预测模块，用于根据所述当前视频帧、所述候选感兴趣区域和所述跨帧泄露状态进行预测计算，得到预测累计泄露量；

31、授权生成模块，用于当所述预测累计泄露量小于第一预设泄露阈值时，根据所述候选感兴趣区域确定授权感兴趣区域，并生成对所述当前视频帧有效的局部保真授权；

32、隐私处理模块，用于基于所述局部保真授权对所述当前视频帧进行隐私处理，得到隐私处理结果；

33、状态更新模块，用于对所述隐私处理结果进行区域解析，得到局部高保真输出区域，并根据所述局部高保真输出区域对所述跨帧泄露状态进行更新，得到更新后的跨帧泄露状态；所述更新后的跨帧泄露状态用于下一视频帧的图像保真控制。

34、第三方面，本技术还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

35、获取当前视频帧和对应的眼动数据，并在预设的可信执行环境中根据所述眼动数据生成所述当前视频帧的候选感兴趣区域；

36、对历史视频帧的实际高保真输出区域进行衰减处理，得到跨帧泄露状态；

37、根据所述当前视频帧、所述候选感兴趣区域和所述跨帧泄露状态进行预测计算，得到预测累计泄露量；

38、当所述预测累计泄露量小于第一预设泄露阈值时，根据所述候选感兴趣区域确定授权感兴趣区域，并生成对所述当前视频帧有效的局部保真授权；

39、基于所述局部保真授权对所述当前视频帧进行隐私处理，得到隐私处理结果；

40、对所述隐私处理结果进行区域解析，得到局部高保真输出区域，并根据所述局部高保真输出区域对所述跨帧泄露状态进行更新，得到更新后的跨帧泄露状态；所述更新后的跨帧泄露状态用于下一视频帧的图像保真控制。

41、第四方面，本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

42、获取当前视频帧和对应的眼动数据，并在预设的可信执行环境中根据所述眼动数据生成所述当前视频帧的候选感兴趣区域；

43、对历史视频帧的实际高保真输出区域进行衰减处理，得到跨帧泄露状态；

44、根据所述当前视频帧、所述候选感兴趣区域和所述跨帧泄露状态进行预测计算，得到预测累计泄露量；

45、当所述预测累计泄露量小于第一预设泄露阈值时，根据所述候选感兴趣区域确定授权感兴趣区域，并生成对所述当前视频帧有效的局部保真授权；

46、基于所述局部保真授权对所述当前视频帧进行隐私处理，得到隐私处理结果；

47、对所述隐私处理结果进行区域解析，得到局部高保真输出区域，并根据所述局部高保真输出区域对所述跨帧泄露状态进行更新，得到更新后的跨帧泄露状态；所述更新后的跨帧泄露状态用于下一视频帧的图像保真控制。

48、第五方面，本技术还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

49、获取当前视频帧和对应的眼动数据，并在预设的可信执行环境中根据所述眼动数据生成所述当前视频帧的候选感兴趣区域；

50、对历史视频帧的实际高保真输出区域进行衰减处理，得到跨帧泄露状态；

51、根据所述当前视频帧、所述候选感兴趣区域和所述跨帧泄露状态进行预测计算，得到预测累计泄露量；

52、当所述预测累计泄露量小于第一预设泄露阈值时，根据所述候选感兴趣区域确定授权感兴趣区域，并生成对所述当前视频帧有效的局部保真授权；

53、基于所述局部保真授权对所述当前视频帧进行隐私处理，得到隐私处理结果；

54、对所述隐私处理结果进行区域解析，得到局部高保真输出区域，并根据所述局部高保真输出区域对所述跨帧泄露状态进行更新，得到更新后的跨帧泄露状态；更新后的跨帧泄露状态用于下一视频帧的图像保真控制。

55、上述帧级图像保真控制方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，通过获取当前视频帧和对应的眼动数据，并在预设的可信执行环境中根据眼动数据生成当前视频帧的候选感兴趣区域；对历史视频帧的实际高保真输出区域进行衰减处理，得到跨帧泄露状态；根据当前视频帧、候选感兴趣区域和跨帧泄露状态进行预测计算，得到预测累计泄露量；当预测累计泄露量小于第一预设泄露阈值时，根据候选感兴趣区域确定授权感兴趣区域，并生成对当前视频帧有效的局部保真授权；基于局部保真授权对当前视频帧进行隐私处理，得到隐私处理结果；对隐私处理结果进行区域解析，得到局部高保真输出区域，并根据局部高保真输出区域对跨帧泄露状态进行更新，得到更新后的跨帧泄露状态；更新后的跨帧泄露状态用于下一视频帧的图像保真控制。因此，通过维护跨帧泄露状态并直接约束当前帧的局部保真授权，实现了历史实际输出对当前帧授权的精准限制，通过在可信执行环境内采用“授权前预测、输出后按实际区域记账”的两阶段机制，实现了泄露账本与实际输出的一致性，通过生成仅绑定当前视频帧标识的局部保真授权，并在可信执行环境内对输出结果进行授权边界校验，实现了精细化的可信输出门控，通过将敏感数据保存在可信执行环境安全存储中，实现了对普通执行环境篡改的全面防护，有效降低了多帧局部高清输出被累计重构的隐私泄露风险。