分布式畸变校正的图像显示系统、方法及存储介质与流程

摘要: 本发明涉及扩展现实,尤其涉及一种分布式畸变校正的图像显示系统、一种分布式畸变校正方法、一种头戴式显示设备、一种计算机可读存储介质,以及一种计算机程序产品。背景技...
分布式畸变校正的图像显示系统、方法及存储介质与流程

本发明涉及扩展现实,尤其涉及一种分布式畸变校正的图像显示系统、一种分布式畸变校正方法、一种头戴式显示设备、一种计算机可读存储介质,以及一种计算机程序产品。

背景技术:

1、在虚拟现实头显(vr,virtualreality)的技术领域中,光学畸变是一个关键问题,它直接影响用户的视觉体验和舒适度。较大视场角下的光学显示模组往往伴随有更严重的光学畸变。同时该光学畸变会随着人眼视线的变化而发生变化,如果要给用户带来更好的体验,减小晕眩,需要根据用户的实时的视线位置做对应的光学畸变的补偿。

2、在虚拟现实相关领域,主要有两类去除光学畸变的技术方案。第一类是通过图形处理单元(graphics processing unit,gpu)运算来去除光学畸变。然而,这种方法会消耗大量gpu算力资源。并且,在每帧需要根据实时的人体位置、眼动位置等调整变化畸变表的情况下,gpu运算难以达到实时调整的效果。第二类是通过查表的方法来去除畸变。然而,使用查表法来去除光学畸变时,需要对原始输入渲染图像做重新映射,这在芯片中计算时就需要预留出行缓冲区,为畸变表格中的输入位置找到原始图像的对应位置。但当光学畸变严重时,会使硬件预留的补偿能力,例如行缓冲区的数量、单位输出像素对应的输入像素范围等,无法完全满足光学畸变校正的需求。

3、为了克服现有技术存在的上述缺陷,本领域亟需一种改进的分布式畸变校正的图像显示系统,用于节省对主处理器算力的占用,并降低对畸变校正的协处理器的内存需求。

技术实现思路

1、以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览,并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之前序。

2、为了克服现有技术存在的上述缺陷,本发明提供了一种分布式畸变校正的图像显示系统、分布式畸变校正方法、一种头戴式显示设备、一种计算机可读存储介质及一种计算机程序产品,可以通过主处理器对图像进行静态畸变校正,以消除图像中能用参数表示且与用户凝视方向无关的部分光学畸变,并通过协处理器对图像进行关于用户凝视点的动态畸变校正,以消除图像中无法用参数表示的,以及由用户凝视方向变化带来的残余光学畸变,从而在消除图像中各种畸变的前提下,节省对主处理器算力的占用,并降低对畸变校正的协处理器的内存需求。

3、具体来说,根据本发明的第一方面提供的上述分布式畸变校正的图像显示系统包括第一处理器、第二处理器及显示模块。所述第一处理器用于生成虚拟渲染图像,并对其进行静态畸变校正,以获得第一预畸变图像。所述第二处理器包括动态校正单元,用于根据用户的凝视点信息,对所述第一预畸变图像进行基于凝视点的动态畸变校正,以获得第二预畸变图像。所述显示模块用于根据所述第二预畸变图像,向用户显示无畸变的屏显图像。

4、进一步地,在本发明的一些实施例中,所述第一处理器中包括渲染单元和压缩单元。所述渲染单元根据模拟所述图像显示系统的畸变的拟合畸变参数,生成完成所述静态畸变校正的第一虚拟渲染图像。所述压缩单元压缩所述第一虚拟渲染图像,以获得所述第一预畸变图像。或者所述渲染单元生成未经过所述静态畸变校正的第二虚拟渲染图像。所述压缩单元根据由所述图像显示系统的拟合畸变参数确定的静态畸变校正表格,校正并压缩所述第二虚拟渲染图像,以获得所述第一预畸变图像。

5、进一步地,在本发明的一些实施例中,所述图像显示系统被应用于头戴式显示设备。所述显示模块中配置有增加视场角的显示光机。所述渲染单元采用鱼眼相机模型,其根据所述拟合畸变参数,生成适配所述显示光机的光机畸变的第一虚拟渲染图像。或者所述渲染单元采用针孔相机模型,以生成所述第二虚拟渲染图像。

6、进一步地,在本发明的一些实施例中,所述压缩单元连接眼动仪。所述压缩单元根据所述眼动仪提供的用户的凝视点信息,分组压缩所述第一虚拟渲染图像的多个区域,以获得所述第一预畸变图像。或者所述压缩单元根据所述眼动仪提供的用户的凝视点信息,以及所述静态畸变校正表格,分组校正并压缩所述第二虚拟渲染图像的多个区域,以获得所述第一预畸变图像。

7、进一步地,在本发明的一些实施例中,所述根据所述眼动仪提供的用户的凝视点信息,分组压缩所述第一虚拟渲染图像的多个区域,以获得所述第一预畸变图像的步骤包括:根据所述凝视点信息,确定对应的分组压缩表格。所述分组压缩表格记载了所述第一虚拟渲染图像的多个像素点与所述第一预畸变图像中对应像素点之间的位置对应关系;以及根据所述分组压缩表格,对所述第一虚拟渲染图像进行映射,以获得所述第一预畸变图像。

8、进一步地,在本发明的一些实施例中,所述根据所述眼动仪提供的用户的凝视点信息,以及所述静态畸变校正表格,分组校正并压缩所述第二虚拟渲染图像的多个区域,以获得所述第一预畸变图像的步骤包括:根据所述凝视点信息,确定对应的分组压缩表格。所述分组压缩表格记载了所述第二虚拟渲染图像的多个像素点与所述第一预畸变图像中对应像素点之间的位置对应关系;融合所述分组压缩表格与所述静态畸变校正表格,并将其插值到所述第一预畸变图像的分辨率,以获得静态压缩畸变补偿表;以及根据所述静态压缩畸变补偿表,对所述第二虚拟渲染图像进行映射,以获得所述第一预畸变图像。

9、进一步地,在本发明的一些实施例中,所述第二处理器连接眼动仪,并被配置为:经由所述眼动仪,获取所述用户的凝视点信息;根据所述凝视点信息,确定对应的残余畸变校正表格。所述残余畸变校正表格记载了针对所述图像显示系统对应所述凝视点信息的总畸变经过所述静态畸变校正后的残余畸变的校正参数;以及根据所述残余畸变校正表格,对所述第一预畸变图像进行映射,以获得所述第二预畸变图像。

10、进一步地,在本发明的一些实施例中,所述根据所述凝视点信息,确定对应的残余畸变校正表格的步骤包括:根据所述凝视点信息,确定与其指示的实际凝视点相邻的多个预设凝视点;以及获取各所述预设凝视点的残余畸变校正表格,并对其进行插值运算,以确定对应所述凝视点信息的残余畸变校正表格。

11、进一步地,在本发明的一些实施例中,所述第二处理器中还包括解压缩单元,并且还被配置为:根据所述凝视点信息,确定对应的分组压缩表格及压缩格式表格。所述分组压缩表格记载了所述虚拟渲染图像的多个像素点与所述第一预畸变图像中对应像素点之间的位置对应关系。所述压缩格式表格记载了完成所述静态畸变校正的虚拟渲染图像的多个区域在横方向和/或竖方向的压缩倍数及边界位置;以及根据所述压缩格式表格,将所述残余畸变校正表格插值到所述第一预畸变图像的分辨率,以获得动态压缩畸变补偿表。

12、进一步地,在本发明的一些实施例中,所述根据所述残余畸变校正表格,对所述第一预畸变图像进行映射,以获得所述第二预畸变图像的步骤包括:根据所述动态压缩畸变补偿表,对所述第一预畸变图像进行映射,以获得完成所述动态畸变校正的第三虚拟渲染图像;以及根据所述分组压缩表格,解压缩所述第三虚拟渲染图像,以获得所述第二预畸变图像。

13、进一步地,在本发明的一些实施例中,所述图像显示系统中还包括第三处理器,其被配置为:控制所述第一处理器生成一标定图像,并控制所述显示模块显示所述标定图像;控制一测量相机朝向所述显示模块预设的第一凝视点拍照,以采集对应所述第一凝视点的屏显标定图像;根据所述屏显标定图像相较所述标定图像的总畸变,确定对应所述第一凝视点的第一畸变校正表格;根据所述第一畸变校正表格,进行关于方位角度的多项式拟合,以确定模拟所述图像显示系统的畸变的第一模拟畸变表格和拟合畸变参数;根据所述拟合畸变参数,确定进行所述静态畸变校正的静态畸变校正表格;根据所述第一模拟畸变表格,拆分所述第一畸变校正表格,以获得对应所述第一凝视点的残余畸变校正表格。

14、进一步地,在本发明的一些实施例中,所述第三处理器中包括显示畸变补偿管线、畸变参数计算管线及残余畸变计算管线。所述显示畸变补偿管线被配置为:根据所述屏显标定图像相较所述标定图像的总畸变,确定对应所述第一凝视点的第一畸变校正表格。所述畸变参数计算管线被配置为:根据所述第一畸变校正表格,进行关于方位角度的多项式拟合,以确定模拟所述图像显示系统的畸变且与凝视点位置无关的第一模拟畸变表格和拟合畸变参数;以及根据所述拟合畸变参数,确定所述静态畸变校正表格。所述残余畸变计算管线被配置为:根据所述第一模拟畸变表格,拆分所述第一畸变校正表格,以获得对应所述第一凝视点的残余畸变校正表格。

15、进一步地,在本发明的一些实施例中,所述第三处理器还被配置为:控制所述测量相机朝向所述显示模块预设的至少一个第二凝视点拍照,以分别采集对应各所述第二凝视点的屏显标定图像;根据各所述屏显标定图像相较所述标定图像的总畸变,分别确定对应各所述第二凝视点的第一畸变校正表格;以及根据所述第一模拟畸变表格,拆分所述第一畸变校正表格,以分别获得对应各所述第二凝视点的残余畸变校正表格。

16、进一步地,在本发明的一些实施例中,所述第一处理器配置有第一存储单元。所述第二处理器配置有第二存储单元。所述畸变参数计算管线还被配置为:将所述静态畸变校正表格和/或所述拟合畸变参数存储到所述第一存储单元。所述残余畸变计算管线还被配置为:将对应所述第一凝视点及各所述第二凝视点的残余畸变校正表格,分别存储到所述第二存储单元。

17、进一步地,在本发明的一些实施例中,所述根据所述第一畸变校正表格,进行关于方位角度的多项式拟合,以确定模拟所述图像显示系统的畸变且与凝视点位置无关的第一模拟畸变表格和拟合畸变参数的步骤包括:对所述第一畸变校正表格进行前向插值,以获得模拟所述图像显示系统的畸变的第二模拟畸变表格;采用多项式拟合公式,对所述第二模拟畸变表格进行关于所述方位角度的多项式拟合,以确定所述拟合畸变参数;以及根据所述拟合畸变参数填充所述多项式拟合公式,以确定所述第一模拟畸变表格。

18、进一步地,在本发明的一些实施例中,所述采用多项式拟合公式,对所述第二模拟畸变表格进行关于所述方位角度的多项式拟合,以确定所述拟合畸变参数的步骤包括:以所述显示模块的屏幕分辨率和横向视场角,表示所述图像显示系统的等效成像焦距和等效成像光心坐标;根据所述成像焦距和所述成像光心坐标,对所述第二模拟畸变表格中记载的各像素点的x坐标和y坐标进行归一化处理,并以归一化的x坐标和y坐标,表示各所述像素点在归一化空间内相对所述成像光心的半径及方位角度;以及构建关于所述方位角度的多项式拟合公式,以求解所述拟合畸变参数。

19、进一步地,在本发明的一些实施例中,所述根据所述拟合畸变参数填充所述多项式拟合公式,以确定所述第一模拟畸变表格的步骤包括:根据所述多项式拟合公式对应所述拟合畸变参数的值,以及各所述像素点在所述归一化空间内相对所述成像光心的半径,确定第一反归一化系数;以及根据所述成像焦距、各所述像素点归一化的x坐标和y坐标、所述第一反归一化系数,以及所述成像光心坐标,分别计算各所述像素点在所述第一模拟畸变表格中的x坐标和y坐标。

20、进一步地,在本发明的一些实施例中,所述根据所述拟合畸变参数,确定所述静态畸变校正表格的步骤包括:根据所述第一模拟畸变表格中各所述像素点的x坐标和y坐标,确定所述多项式拟合公式的初始值;迭代求解所述多项式拟合公式,以确定其最终值;根据所述方位角度和所述最终值,确定第二反归一化系数;以及根据所述第一模拟畸变表格中各所述像素点的x坐标和y坐标、所述第二反归一化系数、所述成像焦距,以及所述成像光心坐标,分别计算各所述像素点在所述静态畸变校正表格中的x坐标和y坐标。

21、此外,根据本发明的第二方面提供的上述分布式畸变校正方法包括以下步骤:经由生成虚拟渲染图像的第一处理器,对所述虚拟渲染图像进行静态畸变校正,以获得第一预畸变图像;经由第二处理器根据用户的凝视点信息,对所述第一预畸变图像进行基于凝视点的动态畸变校正,以获得第二预畸变图像;以及经由显示模块根据所述第二预畸变图像,向用户显示无畸变的屏显图像。

22、此外,根据本发明的第三方面提供的上述头戴式显示设备包括眼动仪及如本发明的第一方面提供的分布式畸变校正的图像显示系统。所述眼动仪用于采集用户的凝视点信息。所述图像显示系统用于经由其第一处理器和第二处理器,对虚拟渲染图像进行静态和动态的分布式畸变校正,以向用户显示无畸变的屏显图像。

23、此外,根据本发明的第四方面提供的上述计算机可读存储介质,其上存储有计算机指令。所述计算机指令被处理器执行时,实施如本发明的第二方面提供的分布式畸变校正方法。

24、此外,根据本发明的第五方面提供的上述计算机程序产品,其中包括计算机指令。所述计算机指令被处理器执行时,实施如本发明的第二方面提供的分布式畸变校正方法。