基于视线预测的电视渲染方法、装置、电视及计算机可读存储介质与流程

本申请涉及图像处理，例如涉及一种基于视线预测的电视渲染方法、装置、电视及计算机可读存储介质。

背景技术：

1、随着扩展现实技术的快速发展，轻量化xr眼镜逐步进入消费市场，为用户提供了沉浸式的空间计算体验。然而，轻量化xr眼镜受限于功耗和体积，无法搭载高性能gpu，难以在本地完成8k级三维渲染任务，而空间计算对渲染精度和交互延迟的要求极高，这对xr终端的算力提出了严苛挑战。

2、目前，相关技术中公开了一种基于边缘智能的实时交互预渲染方法，该方法通过获取显示设备在多个连续时刻的视野数据，基于自注意力机制的神经网络模型预测下一时刻的预测视野数据和预测交互动作，并根据预测结果获取预测画面，再根据实际画面需求对预测画面进行截取或补充渲染后推送至显示设备。该方案通过预渲染方式在一定程度上降低了渲染响应延迟，提升了用户的交互体验。

3、在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：

4、相关技术虽然解决了传统云端渲染延迟过高的问题，但未针对家庭本地算力资源进行调度利用，整体渲染算力仍依赖外部专用边缘服务设备，硬件部署门槛与使用成本偏高，难以适配家庭轻量化xr设备的日常使用场景。

5、需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键／重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。

2、本公开实施例提供了一种基于视线预测的电视渲染方法、装置、电视及计算机可读存储介质，用以提供可合理利用电视本地算力、降低部署成本且适配家庭轻量化xr设备使用的渲染方案。

3、在一些实施例中，所述基于视线预测的电视渲染方法包括：获取xr终端设备采集的多模态时序数据，多模态时序数据包括眼动追踪数据、头部姿态数据及交互行为数据；将多模态时序数据输入至部署于电视的时序预测模型，以预测未来时刻的视线焦点信息；根据视线焦点信息生成预渲染任务，预渲染任务包括对视线焦点信息对应的视野区域进行渲染操作；将渲染操作得到的渲染流推送至xr终端设备进行显示。

4、在一些实施例中，所述基于视线预测的电视渲染装置包括：处理器和存储有程序指令的存储器，处理器被配置为在运行程序指令时，执行前述的基于视线预测的电视渲染方法。

5、在一些实施例中，所述电视包括：电视本体；及前述的基于视线预测的电视渲染装置，安装于电视本体。

6、在一些实施例中，所述计算机可读存储介质存储有程序指令，程序指令在运行时，用以使得计算机执行前述的基于视线预测的电视渲染方法。

7、本公开实施例提供的基于视线预测的电视渲染方法、装置、电视及计算机可读存储介质，可以实现以下技术效果：

8、本方案通过将视线预测模型部署于电视，利用电视算力分担xr终端的高性能gpu运算需求，轻量化xr眼镜无需本地完成8k级渲染即可输出高画质画面；同时依托视线预测结果开展预渲染，在用户实际视野切换前提前完成渲染操作，有效缩短端到端渲染响应延迟；在此基础上，直接以家庭存量电视作为算力载体，无需额外配置外部专用边缘服务设备，大幅降低硬件部署门槛与使用成本，适配家庭轻量化xr设备日常使用场景，解决了现有轻量化xr终端算力短缺、家庭电视本地算力资源闲置未调度利用的技术问题。

9、以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。

1.一种基于视线预测的电视渲染方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述视线焦点信息生成预渲染任务，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于所述注视区域概率热力图对整体视野进行划分，得到多个具有不同渲染等级的视野分区，包括：

4.根据权利要求1所述的方法，其特征在于，所述将所述多模态时序数据输入至部署于电视的时序预测模型，以预测未来时刻的视线焦点信息，包括：

5.根据权利要求4所述的方法，其特征在于，所述基于所述时序滑动窗口输入序列，预测未来时刻的视线焦点信息，包括：

6.根据权利要求1至5任一项所述的方法，其特征在于，还包括：

7.根据权利要求1至5任一项所述的方法，其特征在于，还包括：

8.一种基于视线预测的电视渲染装置，包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在运行所述程序指令时，执行如权利要求1至7任一项所述的基于视线预测的电视渲染方法。

9.一种电视，其特征在于，包括：

10.一种计算机可读存储介质，存储有程序指令，其特征在于，所述程序指令在运行时，用以使得计算机执行如权利要求1至7任一项所述的基于视线预测的电视渲染方法。