本公开涉及投影技术领域，具体地，涉及一种投影校正方法、装置、存储介质以及投影设备。
背景技术
随着动向投影设备以及可旋转投影设备的普及，用户在使用动向投影设备或可旋转投影设备时，投影画面经常投射在复杂的立体面中。例如，墙的阴阳角、天花板墙角等复杂的立体面。
相关技术中，面对投影画面投射在复杂的立体面上的应用场景，一般通过根据投影设备的投影结构光对画面进行编码，再根据当前投影画面的畸变图像以及预先标定的编码画面对投影画面进行校正。然而，这种方法不仅需要漫长的标定过程，而且预先编码的编码画面只能满足一个观看视角，当用户的观看视角变化后，用户观看的投影画面依然会存在明显的畸变。
技术实现要素：
本公开的目的是提供一种投影校正方法、装置、存储介质以及投影设备，以在用户的视线角度变化时，均能够提供最佳的画面观看体验。
第一方面，本公开实施例提供一种投影校正方法，包括：
确定目标对象的当前视线角度；
根据投影设备投射在目标投影区域上的投影画面的第一位置信息以及所述当前视线角度，确定显示区域，其中，所述显示区域是所述投影画面在与所述当前视线角度对应的视线垂直的虚拟视角平面上的正投影所在的区域；
在所述显示区域中确定目标画面区域；
基于所述显示区域的第二位置信息以及所述目标画面区域的第三位置信息，对原始图像进行校正，获得校正后的原始图像，以使所述校正后的原始图像投射在所述目标投影区域中的画面与所述目标画面区域重合。
第二方面，本公开实施例提供一种投影校正装置，包括：
第一确定模块，配置为确定目标对象的当前视线角度；
第二确定模块，配置为根据投影设备投射在目标投影区域上的投影画面的第一位置信息以及所述当前视线角度，确定显示区域，其中，所述显示区域是所述投影画面在与所述当前视线角度对应的视线垂直的虚拟视角平面上的正投影所在的区域；
第三确定模块，配置为在所述显示区域中确定目标画面区域；
校正模块，配置为基于所述显示区域的第二位置信息以及所述目标画面区域的第三位置信息，对原始图像进行校正，获得校正后的原始图像，以使所述校正后的原始图像投射在所述目标投影区域中的画面与所述目标画面区域重合。
第三方面，本公开实施例提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述方法的步骤。
第四方面，本公开实施例提供一种投影设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面所述方法的步骤。
基于上述技术方案，通过根据目标对象的当前视线角度以及投影画面的第一位置信息，确定显示区域。然后在该显示区域中确定目标画面区域，进而根据显示区域的第二位置信息以及目标画面区域的第三位置信息，对原始图像进行校正，获得校正后的原始图像。其中，校正后的原始图像被投影设备投射在目标显示区域上时，其在目标对象的视角平面中呈现的画面与目标画面区域重合。根据本公开实施例提供的投影校正方法，不仅能够根据用户的视线角度的变化，对原始图像进行校正，使得无论用户的观看角度如何变化，始终能够获得最佳的画面观看体验，而且既适用于单一平面的投影校正，也适用于复杂多平面的投影校正。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据一示例性实施例提供的一种投影校正方法的流程示意图；
图2是根据一示例性实施例提供的投影画面的示意图；
图3是根据一示例性实施例提供的目标画面区域的示意图；
图4是根据一示例性实施例提供的校正后的原始图像的示意图；
图5是图1所示的步骤130的具体流程示意图；
图6是根据一示例性实施例提供的显示区域的示意图；
图7是图1所示的步骤140的具体流程示意图；
图8是根据一示例性实施例提供的对原始图像进行校正的原理示意图；
图9是根据一示例性实施例提供的投影校正后的效果图；
图10是根据另一示例性实施例提供的获得校正后的原始图像的原理示意图；
图11是根据一示例性实施例提供的确定投影画面的第一位置信息的流程图；
图12是根据一示例性实施例提供的确定第一位置信息的原理示意图；
图13是根据一示例性实施例提供的确定当前视线角度的流程图；
图14是根据另一示例性实施例提供的确定当前视线角度的流程图；
图15是根据一示例性实施例提供的投影校正装置的模块连接示意图；
图16是根据一示例性实施例示出的一种投影设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
图1是根据一示例性实施例提供的一种投影校正方法的流程示意图。本实施例公开的投影校正方法可以通过投影设备执行，具体可以通过投影校正装置来执行，该装置可以由软件和/或硬件的方式实现，配置于投影设备中。当然，本实施例公开的投影校正方法可以通过服务器执行，服务器将计算得到的校正后的原始图像发送至投影设备，以使投影设备根据校正后的原始图像进行投影。
在步骤110中，确定目标对象的当前视线角度。
这里，目标对象可以是指观看投影画面的用户。示例性地，当观看投影画面的用户的数量为一个时，目标对象则是该观看投影画面的用户。当观看投影画面的用户的数量为多个时，目标对象则可以是多个观看投影画面的用户中的主体用户。例如，当观看投影画面的用户数量为3名时，将3名用户中处于中间位置的用户作为目标对象。又例如，可以利用人体检测技术将首次出现在拍摄图像的画面中央的用户作为目标对象。
其中，当前视线角度可以是指在当前时刻下，目标对象的人眼与投影画面的中心点的连线与投影画面之间的夹角。应当理解的是，当前视线角度是目标对象的人眼与投影画面的中心点的连线与投影画面之间的夹角可以是在投影画面不跟随目标对象的视线角度变化而变化的情况下设定的。
在另一些实施方式中，投影设备的投影画面可以是跟随目标对象的视线角度变化而变化的，则目标对象的当前视线角度可以是指目标对象的头部的朝向。值得说明的是，投影设备的投影画面跟随目标对象的视线角度变化而变化是指当目标对象的视线角度变化时，投影设备投射的投影画面的中心点跟随视线角度变化。例如，当目标对象的视线角度向左偏移1°时，投影画面同时向左偏移1°，以使目标对象在变换观看角度时，依然能够观看到投影画面的中心点。其中，在具体实施上，投影设备可以安装在球形云台上，以使投影设备能够跟随目标对象的视线角度进行移动。当然，投影设备也可以基于投影光线的偏移跟随视线角度变化而进行动向投影。
在步骤120中，根据投影设备投射在目标投影区域上的投影画面的第一位置信息以及当前视线角度，确定显示区域，其中，显示区域是投影画面在与当前视线角度对应的视线垂直的虚拟视角平面上的正投影所在的区域。
这里，目标投影区域可以是指墙面或幕布等用于承载投影画面的介质。投影画面则是投影设备投射的图像在目标投影区域上的显示画面。图2是根据一示例性实施例提供的投影画面的示意图，如图2所示，当目标投影区域201为带有阴阳角的墙面时，则投影设备投射在目标投影区域201中的投影画面202也被阴阳角之间的交线分割为左右两个部分。其中，阴阳角是建筑构造的一种，阴角指凹进去的墙角，如顶面与四周墙壁的夹角；阳角指凸出来的墙角，如走道转弯处两堵墙形成的夹角。
值得说明的是，图2所示的目标投影区域仅用于举例说明，并不限制目标投影区域的形状。在实际使用场景中，目标投影区域可以是单个平面、相交的两个平面。
显示区域是指将投影设备投射在目标投影区域上的投影画面在与当前视线角度对应的视线垂直的虚拟视角平面上的正投影。其中，虚拟视角平面实际上是目标对象在当前视线角度下的成像平面。应当理解的是，在步骤120中，虚拟视角平面的空间位置是可变的，但是虚拟视角平面是与视线垂直的。显示区域作为投影画面在虚拟视角平面上的正投影，显示区域实际上也为一个虚拟平面。
示例性地，可以将投影画面以当前视线角度作为投影角度，将投影画面投影在虚拟视角平面上，获得显示区域。
在一些实施方式中，投影画面的第一位置信息可以是利用拍摄装置获取目标投影区域的拍摄图像，进而在拍摄图像中确定投影画面的第一位置信息。
在另一些实施方式中，投影画面的第一位置信息可以是对投影设备所在的空间进行建模，获得该空间的三维模型，进而根据投影设备的位姿以及参数确定到投影画面的第一位置信息。
值得说明的是，投影画面的第一位置信息以及当前视线角度可以是在同一参考坐标系中确定的。例如，投影画面的第一位置信息以及当前视线角度均是以投影设备所在的空间对应的参考坐标系中确定的。当然，投影画面的第一位置信息以及当前视线角度也可以是不在同一参考坐标系中确定的，则在确定显示区域时，需要将投影画面的第一位置信息以及当前视线角度转换在同一参考坐标系中。
在步骤130中，在显示区域中确定目标画面区域。
这里，目标画面区域是指在目标对象的视觉平面中最终呈现的画面形状。由于显示区域是在与目标对象的当前视线角度对应的视线垂直的虚拟视角平面上，因此，在显示区域中确定到的目标画面区域也在当前视线角度对应的视角平面中。
在一些实施方式中，在目标投影区域为单一平面时，在显示区域中确定目标画面区域可以从显示区域的任一边上任意选取一点，并以该点作为待构建的目标画面区域的顶点、以原始图像的宽高比作为待构建的目标画面区域的宽高比，在显示区域中生成矩形，并从生成的矩形中选取面积最大的矩形作为目标画面区域。其中，基于本实施方式获得的目标画面区域实际上是在基于原始图像的宽高比在显示区域中确定到的最大内接矩形。
应当理解的是，在上述实施方式中，目标画面区域为在显示区域中确定到的最大内接矩形可以在为用户提供最大的投影画面，为用户提供最佳的观看体验。
图3是根据一示例性实施例提供的目标画面区域的示意图，如图3所示，当目标投影区域301为带有阴阳角的墙面时，则投影设备投射在目标投影区域301中的投影画面302也被阴阳角分割为左右两个部分。根据目标对象的当前视线角度303，可以确定到与当前视线角度303垂直的虚拟视角平面304，然后以当前视线角度303作为投影角度，将投影画面302投影在虚拟视角平面304上，得到显示区域(图3中未示出)。进而在显示区域中确定出目标画面区域305。
在步骤140中，基于显示区域的第二位置信息以及目标画面区域的第三位置信息，对原始图像进行校正，获得校正后的原始图像，以使校正后的原始图像投射在目标投影区域中的画面与目标画面区域重合。
这里，原始图像是指用户想要进行投影的图像，其可以是视频、图片等。对原始图像进行校正是指对原始图像的各个顶点进行调整，以使投影设备将校正后的原始图像投射在目标投影区域时，在用户视角中成像的画面与目标画面区域一致。其中，目标画面区域是指在用户视觉呈现的画面，目标画面区域并非为最终用于承载投影画面的区域。
值得说明的是，投影画面的第一位置信息是投影画面在以投影设备所在的空间对应的全局坐标系作为参考坐标系中的坐标信息。显示区域的第二位置信息以及目标画面区域的第三位置信息，可以是显示区域以及目标画面区域在以显示区域中任意一点为坐标原点构建的参考坐标系中的坐标信息。
在一些实施方式中，可以基于显示区域的第二位置信息以及目标画面区域的第三位置信息，确定到显示区域各个顶点的位置信息以及目标画面区域各个角点的位置信息，然后根据确定到的显示区域各个顶点的位置信息以及显示区域对应的原始图像各个角点在调制平面中的位置信息，建立显示区域与原始图像之间的单应矩阵关系，然后根据目标画面区域各个角点的位置信息以及该单应矩阵关系，获得校正后的原始图像。
其中，调制平面是指投影设备的光调制器(芯片)生成图像的平面。调制平面对应的芯片包括反射式的图像调制芯片或透射式的图像调制芯片。反射式的图像调制芯片包括DMD芯片(Digital Micromirror Device，数字微镜设备)或LCOS芯片(Liquid Crystal on Silicon，硅基液晶)等，透射式的图像调制芯片包括LCD芯片(Liquid Crystal Display，液晶显示器)等。
图4是根据一示例性实施例提供的校正后的原始图像的示意图，如图4所示，当投影设备的投影场景如图3所示时，则可以根据显示区域与原始图像401之间的单应矩阵关系，结合目标画面区域305之间的第三位置信息，将目标画面区域305映射在调制平面中，获得校正后的原始图像402。其中，校正后的原始图像402投射在目标投影区域301上后，在目标对象的视角平面中呈现的画面与目标画面区域305一致。
应当理解的是，在本实施方式中，无论目标投影区域为单一平面，还是目标投影区域为由多个不共面的平面组成的立体面，均可以通过上述实施方式计算得到校正后的原始图像。
由此，通过根据目标对象的当前视线角度以及投影画面的第一位置信息，确定显示区域。然后在该显示区域中确定目标画面区域，进而根据显示区域的第二位置信息以及目标画面区域的第三位置信息，对原始图像进行校正，获得校正后的原始图像。其中，校正后的原始图像被投影设备投射在目标显示区域上时，其在目标对象的视角平面中呈现的画面与目标画面区域重合。根据本公开实施例提供的投影校正方法，不仅能够根据用户的视线角度的变化，对原始图像进行校正，使得无论用户的观看角度如何变化，始终能够获得最佳的画面观看体验，而且既适用于单一平面的投影校正，也适用于复杂多平面的投影校正。
图5是图1所示的步骤130的具体流程示意图。如图5所示，在一些可以实现的实施方式中，步骤130中，在显示区域中确定目标画面区域，可以包括以下步骤。
在步骤131中，在目标投影区域包括至少两个位于相交平面上的子投影区域的情况下，确定相交平面之间的第一交线的第四位置信息。
这里，目标投影区域包括至少两个位于相交平面上的子投影区域是指投影画面位于至少两个相交平面的子投影区域中。例如，投影画面落在墙体的阴阳角中。
第一交线是指两个子投影区域之间的交线。如图3所示，目标投影区域301为阴阳角的墙面，因此，第一交线是阴角与阳角之间的交线。
在一些实施方式中，第一交线的第四位置信息可以是对投影设备所在的空间进行建模，并根据建模结果获得第一交线在空间中的第四位置信息。
应当理解的是，对于其他更加复杂的目标投影区域，第一交线的含义是一致的，在本公开实施例中不再穷举说明。
在步骤132中，根据第一交线的第四位置信息，确定在显示区域中与第一交线对应的第二交线的第五位置信息。
这里，由于第一交线将投影画面分割为两部分，而且显示区域是投影画面在虚拟视角平面上的正投影，因此，在显示区域中也会存在与第一交线对应的第二交线。
图6是根据一示例性实施例提供的显示区域的示意图。如图6中的(a)图所示，第一交线CF将目标投影区域601分为第一子投影区域ABCF以及第二子投影区域CDEF。同样，第一交线CF将投影画面602分割为第一子投影画面GHKL以及第二子投影画面HIJK。如图6中的(b)图所示，在将投影画面602投影在虚拟视角平面(图6未示出)上之后，可以获得投影画面602对应的显示区域603。其中，显示区域603包括第一子显示区域G1H1K1L1和第二子显示区域H1I1J1K1，线段H1K1为第二交线。
值得说明的是，第二交线的第五位置信息是指第二交线的两个端点在以显示区域中任意一点为坐标原点构建的参考坐标系下的坐标信息。
在步骤133中，根据第二交线的第五位置信息，确定投影画面对应的原始图像上与第二交线对应的第三交线的第六位置信息。
这里，投影画面对应的原始图像是指在调制平面中的图像。原始图像经过投影设备投射在目标投影区域中，获得投影画面。由于第二交线将显示区域划分为至少两部分，因此，在原始图像上也存在第三交线将原始图像划分为至少两部分。
其中，第三交线的第六位置信息是指第三交线的两端点在以调制平面中任意一点为坐标原点构建的参考坐标系中的坐标信息。
在一些实施方式中，可以根据第二交线的第五位置信息，确定显示区域中的各个子显示区域之间的画面比例信息，其中，子显示区域是根据第二交线对显示区域进行划分而得到的；根据画面比例信息，确定原始图像上与第二交线对应的第三交线的第六位置信息。
其中，画面比例信息是指第二交线将显示区域分割为至少两个子显示区域，每个子显示区域之间的宽度比例。如图6中的(b)图所示，第二交线H1K1将显示区域603分割为第一子显示区域G1H1K1L1和第二子显示区域H1I1J1K1，则可以获得第一子显示区域G1H1K1L1和第二子显示区域H1I1J1K1之间的画面比例信息，根据该画面比例信息，将原始图像分割为两个部分，则获得第三交线的第六位置信息。
应当理解的是，根据第一交线以及投影画面获得各个子投影画面之间的画面比例信息，同样可以确定第三交线的第六位置信息，其原理是一致的。
在步骤134中，根据第二交线的第五位置信息以及第三交线的第六位置信息，将原始图像映射至显示区域中，以构建目标画面区域。
这里，在获得第二交线的第五位置信息以及第三交线的第六位置信息之后，可以将在调制平面中的原始图像映射至显示区域中，以确定目标画面区域。
在一些实施方式中，基于第二交线的第五位置信息以及第三交线的第六位置信息，以第二交线与第三交线重合为约束条件，将原始图像移动至显示区域中；对移动至显示区域中的原始图像进行等比缩放，并将等比缩放后的原始图像作为目标画面区域，其中，等比缩放后的原始图像为位于显示区域中的最大矩形。
这里，以第二交线与第三交线重合为约束条件，将在调制平面中的原始图像移动至拍摄图像中。在将原始图像移动至显示区域之后，对移动至显示区域中的原始图像进行等比缩放，并将等比缩放后的原始图像作为目标画面区域，其中，目标画面区域是经过等比缩放后的在显示区域内的最大图像。
具体地，可以将第二交线与第三交线进行对齐，且原始图像的底边与第二交线的下端点重合。然后，对原始图像进行放大或缩小，直至经过放大或缩小后的原始图像在显示区域内最大，从而将最大的图像作为目标画面区域。
应当理解的是，由于目标画面区域是根据原始图像进行放大或缩小获得的，因此，目标画面区域的宽高比与在调制平面中的原始图像的宽高比一致。而且，通过将最大矩形作为目标画面区域可以保证为用户提供最大的观看画幅，以提高用户的投影观看体验。
另外，由于显示区域是在虚拟视角平面中，因此，显示区域实际上相当于用户的视觉平面，因此，在显示区域中确定到的目标画面区域就是最终呈现在用户的视觉平面中的投影画面。
由此，通过第一交线、第二交线以及第三交线，在投影画面落在复杂平面上时，可以快速且准确地定位到目标画面区域，为后续投影校正提供数据支持。
图7是图1所示的步骤140的具体流程示意图。如图7所示，在一些可以实现的实施方式中，步骤140中，基于显示区域的第二位置信息以及目标画面区域的第三位置信息，对原始图像进行校正，获得校正后的原始图像，可以包括以下步骤。
在步骤141中，针对显示区域中的每一子显示区域，基于该子显示区域的第一坐标信息以及该子显示区域对应的子图像的第二坐标信息，建立该子显示区域与该子图像之间的单应矩阵关系，其中，子显示区域是根据第二交线对显示区域进行划分而得到的，子图像是根据第三交线对原始图像进行划分而得到的。
这里，子显示区域是指在第二交线将显示区域划分成的区域。子图像是指子显示区域映射在调制平面中的原始图像上的图像区域。子图像是根据第三交线对原始图像进行划分而得到的。应当理解的是，每一子显示区域实际上对应在子投影区域中的子投影画面，子投影画面对应在调制平面上的原始图像中的子图像。
图8是根据一示例性实施例提供的对原始图像进行校正的原理示意图，如图8所示，图8中的子图(a)为在显示区域中的示意图，图8中的子图(b)为投影设备的调制平面的示意图。
如图8中的(a)图所示，显示区域801包括第一子显示区域ABEF和第二子显示区域BCDE。如图8中的(b)图所示，原始图像803被第三交线MN划分为第一子图像A1MND1和第二子图像MB1C1N。
根据第一子显示区域ABEF各个顶点对应的第一坐标信息以及第一子图像A1MND1各个角点对应的第二坐标信息，建立第一子显示区域ABEF与第一子图像A1MND1之间的第一单应矩阵关系。以及根据第二子显示区域BCDE各个顶点对应的第一坐标信息以及第二子图像MB1C1N对应的第二坐标信息，建立第二子显示区域BCDE与第二子图像MB1C1N之间的第二单应矩阵关系。
值得说明的是，第一坐标信息是子显示区域在以显示区域中任意一点为坐标原点构建的参考坐标系中的坐标信息。第二坐标信息是子图像在以调制平面中任意一点为坐标原点构建的参考坐标系中的坐标信息。
应当理解的是，单应矩阵关系作为一个透视变换矩阵，其反映了调制平面中的像素投射在目标投影区域中的位置变化。
在步骤142中，针对目标画面区域中的每一子画面区域，根据该子画面区域对应的单应矩阵关系以及该子画面区域的第三坐标信息，确定该子画面区域映射在调制平面上的图像区域的第四坐标信息，其中，子画面区域是根据第二交线对目标画面区域进行划分而得到的。
这里，子画面区域是根据第二交线对目标画面区域进行划分而得到的。如图8中的(a)图所示，目标画面区域802被第二交线BE划分第一子画面区域GHEK和第二子画面区域HIJE。
其中，子画面区域的第三坐标信息可以是指子画面区域各个顶点对应的坐标信息。目标画面区域以及第二交线的位置信息是确定的，因此，每个子画面区域对应的第三坐标信息也是可以获得的。值得说明的是，第三坐标信息是子显示区域在以显示区域中任意一点为坐标原点构建的参考坐标系中的坐标信息。
在获得子画面区域的第三坐标信息之后，针对每一子画面区域，均根据该子画面区域对应的单应矩阵关系以及该子画面区域的第三坐标信息，获得该子画面区域映射在调制平面上的图像区域的坐标信息。具体是将子画面区域的第三坐标信息与对应的单应矩阵关系相乘，获得该子画面区域映射在调制平面上的图像区域的坐标信息。其中，该子画面区域映射在调制平面上的图像区域投射在对应的子投影区域上时，呈现为对应的子画面区域。
如图8所示，针对第一子画面区域GHEK，根据第一子画面区域GHEK的第三坐标信息以及第一单应矩阵关系，可以获得第一子画面区域GHEK映射在调制平面上的第一图像区域E1F1NJ1的第四坐标信息。针对第二子画面区域HIJE，根据第二子画面区域HIJE的第三坐标信息以及第二单应矩阵关系，可以获得第二子画面区域HIJE映射在调制平面上的第二图像区域F1G1H1N的第四坐标信息。
在步骤143中，根据各个子画面区域映射在调制平面上的图像区域的第四坐标信息，对原始图像进行校正，获得校正后的原始图像。
这里，各个子画面区域映射在调制平面上的图像区域的第四坐标信息构成的图像投射在目标投影区域上时，呈现的投影画面与目标画面区域一致。如图8所示，根据第一图像区域E1F1NJ1以及第二图像区域F1G1H1N，可以获得目标画面区域映射在调制平面上的目标图像区域E1F1G1H1NJ1的坐标信息。
其中，投影设备根据目标图像区域E1F1G1H1NJ1的坐标信息对原始图像进行校准，获得校正后的原始图像。
值得说明的是，由于投影校正是面对落在立体中的投影画面，在投影设备的投影过程中，投影设备的焦距可以以子投影区域之间的交线与投影设备的之间的距离确定，以保证良好的对焦效果。
图9是根据一示例性实施例提供的投影校正后的效果图，如图9所示，未经过本公开实施例提供的投影校正方法校正的原始图像投射在墙角的投影画面901如图所示，呈现在用户视角平面中的图像并不是矩形图像。经过本公开实施例提供的投影校正方法校正后的原始图像投射在墙角的投影画面902如图所示，呈现在用户视角平面中的图像为矩形图像。
值得说明的是，在上述实施方式中仅以包括两个子投影区域的目标投影区域进行举例说明，并不限制本公开实施例提供的投影校正方法仅用于包括两个子投影区域的目标投影区域的应用场景进行投影校正。针对包括一个子投影区域或包括三个及以上的子投影区域的目标投影区域，均可以通过本公开实施例提供的投影校正方法进行投影校正。其中，面对包括三个及以上的子投影区域的目标投影区域时，同样是根据各个子投影区域之间的交线来进行投影校正。
图10是根据另一示例性实施例提供的获得校正后的原始图像的原理示意图。如图10所示，当目标对象的当前视线角度811与目标投影区域812右侧的子投影区域垂直时，说明目标画面区域落在目标投影区域812右侧的子投影区域上。此时，根据投影画面813以及目标画面区域812，可以将调制平面中的原始图像814校正为校正后的原始图像815(如原始图像814右侧的虚线框所示)。可见，在本公开实施方式中，当投影画面保持不动时，若用户的视线角度从墙角处移动至目标投影区域812右侧的子投影区域时，依然能够根据用户的视线角度进行准确的投影校正。
另外，应当理解的是，本公开实施例提供的投影校正方法不仅适用于投影设备投射的投影画面保持不动的应用场景。例如，当投影设备固定朝向墙角进行投影时，投影设备可以根据用户的视线角度的变化811，对投影画面进行校正，以使校正后的投影画面在用户的当前视线角度下具有最佳观看体验。而且适用于投影设备投射的投影画面的中心点跟随用户的视线角度变化的应用场景，例如，当用户的视线角度落在平整墙面时，投影画面也落在平整墙面中，也可以根据本公开实施例提供的投影校正方法进行投影校正，当用户的视线角度移动至墙角处时，也可以根据本公开实施例提供的投影校正方法进行投影校正，以使用户能够在投影画面落在墙角位置时能够具有最佳观看体验。
图11是根据一示例性实施例提供的确定投影画面的第一位置信息的流程图。如图11所示，投影画面的第一位置信息可以通过以下步骤确定。
在步骤1101中，获取投影设备的第一当前位姿信息以及投影设备所在的空间的三维模型，其中，三维模型是通过深度相机对投影设备所在的空间进行建模而得到的。
这里，投影设备的第一当前位姿信息包括投影设备的位置信息以及姿态信息，其中，姿态信息包括投影设备的偏航角、俯仰角以及滚转角。示例性地，投影设备的姿态信息可以通过IMU(Inertial Measurement Unit,惯性测量单元)来获得。投影设备的位置信息则可以通过室内定位方法进行确定，如WiFi定位法。
投影设备所在的空间的三维模型是通过深度相机对投影设备所在的空间进行建模而得到的。示例性地，该深度相机可以设置在投影设备中。当然，该深度相机也可以设置在投影设备所在的空间中的任意位置，只要能够对投影设备所在的空间进行三维扫描完成建模即可。
三维模型具体建立过程如下：在深度相机的起始位置建立全局坐标系，并采集该起始位置对应的图像数据以及点云数据，然后控制深度相机进行旋转并在旋转过程中持续采集图像数据以及点云数据，同时，根据图像数据以及点云数据进行里程计跟踪，获得深度相机的位置变化信息。在深度相机转动360°之后，根据获得的位置变化信息，采用增量式方法将在旋转过程中采集到的图像数据以及点云数据融合到第一帧构建的全局坐标系下的图像数据和点云数据中。在深度相机完成360°旋转后，通过回环检测算法使得所有的点云数据形成闭环，得到投影设备所在的空间的三维模型。
在步骤1102中，基于投影设备的光心与深度相机之间的相对位置关系以及第一当前位姿信息，确定光心对应的光轴在三维模型对应的全局坐标系中的位姿信息。
这里，投影设备的光心与深度相机之间的相对位置关系是指投影设备的光机设置位置与深度相机的设置位置之间的相对位置。根据投影设备的光心与深度相机之间的相对位置关系，可以将第一当前位姿信息转换到三维模型对应的全局坐标系中，获得光心对应的光轴在全局坐标系中的位姿信息。
应当理解的是，如果深度相机的安装位置无限靠近于光心，则相对位置关系可以理解为“0”。此时，第一当前位姿信息无需转换即可理解为是光心对应的光轴在全局坐标系中的位姿信息。当然，在实际应用过程中，深度相机与光机一般安装在同一垂直面上，且朝向一致，此时，可以将深度相机与光机之间的物理高度差的值换算为空间位移变换矩阵，进而基于空间位移变换矩阵将第一当前位姿信息转换为光心对应的光轴在全局坐标系中的位姿信息。
在步骤1103中，根据位姿信息、投影设备的光机参数信息以及三维模型，确定投影设备投射在目标投影区域中的投影画面的第一位置信息。
这里，位姿信息实际上反映了光心对应的光轴在三维模型对应的全局坐标系中的位置以及姿态。光机参数信息包括光机的投射比以及宽高比，例如，投射比为1.2，宽高比为16:9，其根据投影设备的具体型号确定。根据位姿信息和投影设备的光机参数信息，则可以得到投影设备投射的投影画面在空间中的位置信息。进而根据投影设备投射的投影画面的位置信息与三维模型之间的交集，确定到投影设备投射在目标投影区域中的投影画面。由于投影设备投射在目标投影区域中的投影画面在三维模型中，则根据三维模型的尺寸信息可以计算得到投影设备投射在目标投影区域中的投影画面的第一位置信息。
图12是根据一示例性实施例提供的确定第一位置信息的原理示意图。如图12所示，根据光轴1201的位姿信息以及光机参数信息可以获得投影设备投射的投影画面1202，然后根据投影画面1202与三维模型1203中的面的交集，获得投影设备投射在目标投影区域中的投影画面的第一位置信息。
图13是根据一示例性实施例提供的确定当前视线角度的流程图。如图13所示，在投影画面不跟随目标对象的视线角度进行移动的情况下，目标对象的当前视线角度可以通过以下步骤确定。
在步骤1301中，通过深度相机获取目标对象的第一拍摄图像。
这里，关于目标对象的相关概念已在上述实施方式中进行详细说明，在此不再赘述。示例性地，可以定义深度相机的拍摄图像的宽度为W，人体识别的检测框的任意坐标点在(W/2，W/3)范围内，则可以确定拍摄图像中出现人体。此时，根据拍摄图像中出现的人体确定目标对象。
应当理解的是，深度相机可以持续获取目标对象的拍摄图像，以根据最新获得的拍摄图像更新目标对象的当前视线角度。例如，当目标对象移动时，深度相机可以基于深度学习的人体跟踪算法对目标对象进行实时跟踪，以更新目标对象的当前视线角度。示例性地，当目标对象的移动幅度过大时，可能会导致深度相机跟踪目标对象失败，此时，可以对深度相机进行初始化，并重新获取目标对象的第一拍摄图像。
在步骤1302中，基于第一拍摄图像以及深度相机的旋转角度，确定目标对象的人眼在目标投影区域所在的空间中的第七位置信息。
这里，深度相机的旋转角度是指深度相机从初始位置开始旋转至获取到第一拍摄图像时所旋转的角度。其中，该旋转角度可以通过倾角计获得。
由于通过深度相机获取到的目标对象的第一拍摄图像，包含有目标对象的在空间中的深度信息，同时，通过图像识别算法，可以确定到目标对象的人眼在第一拍摄图像中的位置信息以及深度信息。然后，结合深度相机的旋转角度，目标对象的人眼在第一拍摄图像中的位置信息以及深度信息转换到目标投影区域所在的空间中，获得第七位置信息。其中，目标投影区域所在的空间为上述三维模型。
在步骤1303中，基于第七位置信息以及投影画面的第一位置信息，获得当前视线角度。
这里，第七位置信息表征目标对象的人眼在三维模型中的位置信息，根据该第七位置信息以及投影画面的第一位置信息，可以获得当前视线角度。其中，该当前视线角度是指目标对象的人眼与投影画面的中心点之间的连线与水平线的投影画面的垂线的夹角。
由此，通过深度相机即可快速获得目标对象的当前视线角度，并且通过深度相机可以对目标对象的视线角度进行实时跟踪，以使校正后的图像能够与用户视线角度最贴切。
值得说明的是，上述实施方式提供的确定当前视线角度的方法，可以适用于投影设备保持不动的应用场景。当投影设备的投影画面跟随目标对象的视线角度进行移动时，可以通过以下方法确定目标对象的当前视线角度。
图14是根据另一示例性实施例提供的确定当前视线角度的流程图。如图14所示，在投影设备的投影画面跟随目标对象的视线角度进行移动的情况下，可以通过以下步骤获得目标对象的当前视线角度。
在步骤1401中，通过深度相机获取目标对象的第二拍摄图像。
这里，第二拍摄图像的获取方法与第一拍摄图像的获取方法一致，在此不再赘述。
在步骤1402中，根据第二拍摄图像，确定目标对象的头部的第二当前位姿信息。
这里，第二当前位姿信息包括目标对象的头部在投影设备所在的空间中的位置信息以及姿态信息，该姿态信息包括目标对象的头部的朝向信息。其中，可以根据目标检测算法在第二拍摄图像中确定目标对象的头部在第二拍摄图像中的位置信息，根据该位置信息以及第二拍摄图像包括的深度信息，确定目标对象的头部在投影设备所在的空间中的位置信息。
针对姿态信息，则可以利用图像检测算法检测头部关键点，然后基于检测到的头部关键点进行加权计算，获得目标对象的头部的朝向信息。例如，当检测到的头部关键点包括人眼、鼻子、嘴巴、脸部轮廓等关键点时，基于人眼、鼻子、嘴巴、脸部轮廓等关键点进行加权计算，从而获得目标对象的头部的朝向信息。
在步骤1403中，根据第二当前位姿信息确定目标对象的当前视线角度。
这里，目标对象的头部的第二当前位姿信息即可作为目标对象的当前视线角度。
应当理解的是，在本实施方式中，通过第二当前位姿信息确定到的当前视线角度与投影画面的位置信息无关。投影画面的位置信息是根据由第二当前位姿信息确定到的当前视线角度确定的。例如，投影设备通过深度相机跟踪目标对象的视线角度，在目标对象的视线角度变化时，投影画面的中心点跟随目标对象的视线角度变化。例如，当目标对象的视线角度向左偏移1°时，投影画面的中心点同时向左偏移1°。
由此，当投影画面跟随目标对象的视线角度进行移动时，也可以通过目标对象的头部的位姿信息来定位到目标对象的当前视线角度，从未为后续的投影校正提供数据支持。
图15是根据一示例性实施例提供的投影校正装置的模块连接示意图。如图15所示，本公开提出的投影校正装置1500可以包括：
第一确定模块1501，配置为确定目标对象的当前视线角度；
第二确定模块1502，配置为根据投影设备投射在目标投影区域上的投影画面的第一位置信息以及当前视线角度，确定显示区域，其中，显示区域是投影画面在与当前视线角度对应的视线垂直的虚拟视角平面上的正投影所在的区域；
第三确定模块1503，配置为在显示区域中确定目标画面区域；
校正模块1504，配置为基于显示区域的第二位置信息以及目标画面区域的第三位置信息，对原始图像进行校正，获得校正后的原始图像，以使校正后的原始图像投射在目标投影区域中的画面与目标画面区域重合。
可选地，第三确定模块1503包括：
第一交线确定单元，配置为在目标投影区域包括至少两个位于相交平面上的子投影区域的情况下，确定相交平面之间的第一交线的第四位置信息；
第二交线确定单元，配置为根据第一交线的第四位置信息，确定在显示区域中与第一交线对应的第二交线的第五位置信息；
第三交线确定单元，配置为根据第二交线的第五位置信息，确定投影画面对应的原始图像上与第二交线对应的第三交线的第六位置信息；
画面构建单元，配置为根据第二交线的第五位置信息以及第三交线的第六位置信息，将原始图像映射至显示区域中，以构建目标画面区域。
可选地，画面构建单元包括：
移动单元，配置为基于第二交线的第五位置信息以及第三交线的第六位置信息，以第二交线与第三交线重合为约束条件，将原始图像移动至显示区域中；
缩放单元，配置为对移动至显示区域中的原始图像进行等比缩放，并将等比缩放后的原始图像作为目标画面区域，其中，等比缩放后的原始图像为位于显示区域中的最大矩形。
可选地，第三交线确定单元包括：
比例确定单元，配置为根据第二交线的第五位置信息，确定显示区域中的各个子显示区域之间的画面比例信息，其中，子显示区域是根据第二交线对显示区域进行划分而得到的；
交线确定单元，配置为根据画面比例信息，确定原始图像上与第二交线对应的第三交线的第六位置信息。
可选地，校正模块1504包括：
矩阵建立单元，配置为针对显示区域中的每一子显示区域，基于该子显示区域的第一坐标信息以及该子显示区域对应的子图像的第二坐标信息，建立该子显示区域与该子图像之间的单应矩阵关系，其中，子显示区域是根据第二交线对显示区域进行划分而得到的，子图像是根据第三交线对原始图像进行划分而得到的；
映射单元，配置为针对目标画面区域中的每一子画面区域，根据该子画面区域对应的单应矩阵关系以及该子画面区域的第三坐标信息，确定该子画面区域映射在调制平面上的图像区域的第四坐标信息，其中，子画面区域是根据第二交线对目标画面区域进行划分而得到的；
图像校正单元，配置为根据各个子画面区域映射在调制平面上的图像区域的第四坐标信息，对原始图像进行校正，获得校正后的原始图像。
可选地，第二确定模块1502包括：
获取单元，配置为获取投影设备的第一当前位姿信息以及投影设备所在的空间的三维模型，其中，三维模型是通过深度相机对投影设备所在的空间进行建模而得到的；
位姿确定单元，配置为基于投影设备的光心与深度相机之间的相对位置关系以及第一当前位姿信息，确定光心对应的光轴在三维模型对应的全局坐标系中的位姿信息；
投影画面确定单元，配置为根据位姿信息、投影设备的光机参数信息以及三维模型，确定投影设备投射在目标投影区域中的投影画面的第一位置信息。
可选地，第一确定模块1501包括：
拍摄单元，配置为在投影设备的投影画面跟随目标对象的视线角度进行移动的情况下，通过深度相机获取目标对象的第二拍摄图像；
头部位姿确定单元，配置为根据第二拍摄图像，确定目标对象的头部的第二当前位姿信息；
角度确定单元，配置为根据第二当前位姿信息确定目标对象的当前视线角度。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图16是根据一示例性实施例示出的一种投影设备的框图。如图16所示，该投影设备700可以包括：处理器701，存储器702。该投影设备700还可以包括多媒体组件703，输入/输出(I/O)接口704，以及通信组件705中的一者或多者。
其中，处理器701用于控制该投影设备700的整体操作，以完成上述的投影校正方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该投影设备700的操作，这些数据例如可以包括用于在该投影设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该投影设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near Field Communication，简称NFC)，2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在一示例性实施例中，投影设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的投影校正方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的投影校正方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由投影设备700的处理器701执行以完成上述的投影校正方法。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的投影校正方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
