一种图像处理方法、装置及计算机可读存储介质与流程

1.本技术涉及图像处理领域，尤其涉及一种图像处理方法、装置及计算机可读存储介质。


背景技术：

2.在针对平面图像的特征点检测与匹配的深度学习方法中，用以对平面图像特征点检测模型进行训练的训练数据通常是一对具有不同视点的平面图像以及这两个平面图像之间的点对应关系，其中，该对应关系通常可以由一单应性矩阵来表示。
3.类似地，为了实现全景图像的特征点检测与匹配的准确性，还需要对全景图像特征点检测模型进行训练，并且希望获得一对具有不同视点的全景图像以及这两个全景图像之间的点对应关系，以作为训练数据。然而，目前常用的诸如matterport3d、sun3d等之类的公共全景图像数据集都是从多个rgb-d平面图像(深度图像)合成的全景图像，在将平面图像合成为全景图像时，相机的视点实际上并未发生变化。此外，对于平面图像，如上所述，通常可以通过单应性矩阵来表示两个不同视点的平面图像上的对应点之间的对应关系；但是对于全景图像而言，由于球面图像的投影特性，并不能通过几何运算而获得不同视点的球面图像的单应性变换关系。因此，目前尚不存在具有不同视点的公共全景图像数据集。
4.相应地，需要一种能够生成一对具有不同视点的全景图像并获得这两个全景图像之间的点对应关系的图像处理方法和装置，以便为训练全景图像特征点检测模型提供数据基础。


技术实现要素：

5.为解决上述技术问题，根据本发明的一个方面，提供了一种图像处理方法，包括：获取具有不同视点的第一平面图像和第二平面图像以及用于在所述不同视点之间进行转换的单应性矩阵；将所述第一平面图像和所述第二平面图像分别投影为第一全景图像和第二全景图像；基于所述投影获得第一对应关系以及第二对应关系，其中所述第一对应关系表示所述第一全景图像上的点的坐标与所述第一平面图像上的对应点的坐标之间的对应性，并且所述第二对应关系表示所述第二平面图像上的点的坐标与所述第二全景图像上的对应点的坐标之间的对应性；以及，基于所述单应性矩阵、所述第一对应关系和所述第二对应关系，确定表示所述第一全景图像上的点的坐标与所述第二全景图像上的对应点的坐标之间的对应性的第三对应关系。
6.根据本发明的又一个方面，提供一种图像处理装置，包括：获取单元，配置为获取具有不同视点的第一平面图像和第二平面图像以及用于在所述不同视点之间进行转换的单应性矩阵；投影单元，配置为将所述第一平面图像和所述第二平面图像分别投影为第一全景图像和第二全景图像；以及关系确定单元，配置为基于所述投影获得第一对应关系以及第二对应关系，其中所述第一对应关系表示所述第一全景图像上的点的坐标与所述第一平面图像上的对应点的坐标之间的对应性，并且所述第二对应关系表示所述第二平面图像
上的点的坐标与所述第二全景图像上的对应点的坐标之间的对应性；其中，所述关系确定单元还配置为基于所述单应性矩阵、所述第一对应关系和所述第二对应关系，确定表示所述第一全景图像上的点的坐标与所述第二全景图像上的对应点的坐标之间的对应性的第三对应关系。
7.根据本发明的再一个方面，提供一种图像处理装置，包括：处理器；和存储器，在所述存储器中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：获取具有不同视点的第一平面图像和第二平面图像以及用于在所述不同视点之间进行转换的单应性矩阵；将所述第一平面图像和所述第二平面图像分别投影为第一全景图像和第二全景图像；基于所述投影获得第一对应关系以及第二对应关系，其中所述第一对应关系表示所述第一全景图像上的点的坐标与所述第一平面图像上的对应点的坐标之间的对应性，并且所述第二对应关系表示所述第二平面图像上的点的坐标与所述第二全景图像上的对应点的坐标之间的对应性；以及，基于所述单应性矩阵、所述第一对应关系和所述第二对应关系，确定表示所述第一全景图像上的点的坐标与所述第二全景图像上的对应点的坐标之间的对应性的第三对应关系。
8.根据本发明的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现以下步骤：获取具有不同视点的第一平面图像和第二平面图像以及用于在所述不同视点之间进行转换的单应性矩阵；将所述第一平面图像和所述第二平面图像分别投影为第一全景图像和第二全景图像；基于所述投影获得第一对应关系以及第二对应关系，其中所述第一对应关系表示所述第一全景图像上的点的坐标与所述第一平面图像上的对应点的坐标之间的对应性，并且所述第二对应关系表示所述第二平面图像上的点的坐标与所述第二全景图像上的对应点的坐标之间的对应性；以及，基于所述单应性矩阵、所述第一对应关系和所述第二对应关系，确定表示所述第一全景图像上的点的坐标与所述第二全景图像上的对应点的坐标之间的对应性的第三对应关系。
9.根据本发明的上述图像处理方法、装置和计算机可读存储介质，可以基于具有不同视点的平面图像而模拟生成一对具有不同视点的全景图像并获得这两个全景图像之间的点对应关系，以便为训练全景图像特征点检测模型提供数据基础，从而改善了全景图像失真导致的特征点检测和匹配不准确的问题。
附图说明
10.通过结合附图对本发明的实施例进行详细描述，本发明的上述和其它目的、特征、优点将会变得更加清楚。
11.图1示出了根据本发明一个实施例的图像处理方法的流程图；
12.图2示出了根据本发明实施例一个实施例的具有不同视点的第一平面图像和第二平面图像的示例；
13.图3示出了根据本发明一个实施例的基于单应性矩阵对一个正方形子图像进行扭曲而获得扭曲后的子图像的示例；
14.图4示出了根据本发明一个实施例的将第一平面图像和第二平面图像分别投影为第一全景图像和第二全景图像的示例；
15.图5示出了根据本发明一实施例的确定表示第一全景图像上的点的坐标与第二全景图像上的对应点的坐标之间的对应性的第三对应关系的示例；
16.图6示出了根据本发明一个实施例的第一、第二和第三坐标网格表的示例；
17.图7示出了根据本发明一个实施例的图像处理装置的框图；
18.图8示出了根据本发明一个实施例的图像处理装置的框图。
具体实施方式
19.下面将参照附图来描述根据本发明实施例的图像处理方法、装置和计算机可读存储介质。在附图中，相同的参考标号自始至终表示相同的元件。应当理解：这里描述的实施例仅仅是说明性的，而不应被解释为限制本发明的范围。
20.下面将参照图1描述根据本发明实施例的图像处理方法。图1示出了该图像处理方法100的流程图。
21.如图1所示，在步骤s101中，获取具有不同视点的第一平面图像和第二平面图像以及用于在所述不同视点之间进行转换的单应性矩阵。
22.图2示出了根据本发明实施例一个实施例的具有不同视点的第一平面图像和第二平面图像的示例。如图2所示，第一平面图像由六个具有相同尺寸的正方形子图像s1～s6组成，以便在后续步骤中基于这六个正方形子图像生成立方体投影图。其中，正方形子图像s1～s6中的每一个可以是采用透视相机(以透视映射方式进行拍摄的相机，诸如单反相机、微单相机等)进行拍摄而获得平面图像，也可以是从开源网站上下载的用于深度学习的公共数据集中的平面图像。
23.在此需要注意的是，虽然在图2的示例中示出了第一平面图像由六个正方形子图像构成，然而本发明并不对此进行限制。具体地，第一平面图像中所包含的正方形子图像的数量也可以小于6，并且在此情况下所获得的立方体投影图并非在每个表面上均具有图像。例如，若第一平面图像仅由一个正方形子图像构成，则可以将其投影到立方体的其中一个表面上，并且因此获得的立方体投影图仅在一个表面上具有图像。然而，为了最大化获取训练数据的效率，第一平面图像优选地由六个正方形子图像构成，并且在下文中将以此为例进行描述。
24.其中，在此步骤中，所述获取具有不同视点的第一平面图像和第二平面图像以及用于在所述不同视点之间进行转换的单应性矩阵可以包括：获取六个具有相同尺寸的正方形子图像，以将其组合作为所述第一平面图像；基于各个正方形子图像的四个顶点的原始坐标以及目标坐标，分别计算对应于各个正方形子图像的单应性矩阵；以及基于所计算的单应性矩阵分别对各个相应的正方形子图像进行扭曲，以将扭曲后的子图像的组合作为所述第二平面图像。
25.继续参见图2，在图2中还进一步示出了与第一平面图像具有不同视点的第二平面图像的示例，其中第二平面图像由六个子图像s1’～s6’组成，这些子图像是基于单应性矩阵h1～h6分别对各个正方形子图像s1～s6进行扭曲而获得的、扭曲后的子图像，例如，子图像s1’是基于单应性矩阵h1对子图像s1进行扭曲而获得的子图像，子图像s2’是基于单应性矩阵h2对子图像s2进行扭曲而获得的子图像，以此类推。
26.其中，图3示出了根据本发明一个实施例的基于单应性矩阵对一个正方形子图像
进行扭曲而获得扭曲后的子图像的示例。如图3的左侧所示，已知第一平面图像中的一个正方形子图像的四个顶点的原始坐标分别为(x1，y1)、(x2,y2)、(x3,y3)和(x4,y4)，并且如图3的右侧所示，为了对该正方形子图像进行扭曲，可以设置该子图像的四个顶点的目标坐标分别(x
′1,y
′1)、(x
′2,y
′2)、(x
′3,y
′3)和(x
′4,y
′4)。在此步骤中，本领域技术人员可以任意设置四个顶点的目标坐标，只要满足扭曲后的子图像整体仍然在原始的正方形子图像的区域内即可(即，如图3中所示，四个顶点的目标坐标均落在与原始的正方形子图像具有相同大小的正方形框中)。
27.在设置了四个顶点的目标坐标，即可基于这四个顶点的原始坐标和目标坐标来计算一单应性矩阵。具体地，由于单应性矩阵具有8个自由度，因此将四个顶点的原始坐标和目标坐标总共8个坐标代入求解单应性矩阵的方程式中，即可求解出对应的单应性矩阵。在另一个示例中，还可以将四个顶点的原始坐标和目标坐标输入到opencv的cv2.getperspectivetransform函数中，从而获得对应求解出的单应性矩阵。在获得了上述单应性矩阵后，即可基于该单应性矩阵对图3左侧所示的原始正方形子图像进行扭曲，从而获得了如图3右侧所示的扭曲后的子图像，其中，将原始的正方形子图像上的每个点的坐标乘以该单应性矩阵，即可以获得扭曲后的子图像上的对应点的坐标。
28.通过上述方式，返回参照图2，可以分别设置六个正方形子图像s1～s6中的每一个子图像的四个顶点的目标坐标，从而基于各个正方形子图像的四个顶点的原始坐标以及目标坐标，分别计算对应于各个正方形子图像的单应性矩阵。随后，在计算出了对应于各个正方形子图像的单应性矩阵之后，即可以基于所计算的单应性矩阵分别对各个相应的正方形子图像进行扭曲，以将扭曲后的子图像的组合作为第二平面图像。在此步骤中，由于可以将每个单应性矩阵分别分解为旋转(r)矩阵和平移(t)矩阵，因此该单应性矩阵可以模拟将相机从一个视点变换到另一视点所经过的旋转变换和平移变换，从而模拟出视点的变化，并且由此获得了具有不同视点的第一平面图像和第二平面图像。在此需要说明的，可以基于相同或不同的单应性矩阵来对六个正方形子图像s1～s6分别进行扭曲，并且本发明不对此进行限制。
29.在步骤s102中，将所述第一平面图像和所述第二平面图像分别投影为第一全景图像和第二全景图像。
30.在此步骤中，所述将所述第一平面图像和所述第二平面图像分别投影为第一全景图像和第二全景图像可以包括：将所述第一平面图像所包含的六个正方形子图像以及所述第二平面图像所包含的六个子图像按照相同的投影表面对应性分别投影到立方体六个表面的不同表面上，以获得对应于所述第一平面图像的第一立方体投影图和对应于所述第二平面图像的第二立方体投影图；对所述第一立方体投影图和所述第二立方体投影图分别进行球面投影，以获得对应于所述第一立方体投影图的第一球面图像和对应于所述第二立方体投影图的第二球面图像；以及对所述第一球面图像和所述第二球面图像分别进行等距柱状投影，以获得对应于所述第一球面图像的所述第一全景图像和对应于所述第二球面图像的所述第二全景图像。
31.图4示出了根据本发明一个实施例的将第一平面图像和第二平面图像分别投影为第一全景图像和第二全景图像的示例。如图4所示，首先，按照相同的投影表面对应性，将第一平面图像所包含的六个正方形子图像和第二平面图像所包含的六个子图像分别投影到
立方体六个表面的不同表面上，以获得第一立方体投影图和第二立方体投影图。其中，相同的投影表面对应性指的是第一平面图像所包含的每个子图像和第二平面图像所包含的对应子图像均被投影到了立方体的同一个表面上。例如，如图4所示，第一平面图像所包含的子图像s2和第二平面图像所包含的子图像s2’均被投影到了立方体的上表面，并且第一平面图像所包含的子图像s5和第二平面图像所包含的子图像s5’均被投影到了立方体的下表面，以此类推。随后，在获得了第一立方体投影图和第二立方体投影图之后，可以对第一立方体投影图和第二立方体投影图分别进行球面投影，以获得对应于第一立方体投影图的第一球面图像和对应于第二立方体投影图的第二球面图像(在图4中未示出)。随后，在获得了第一球面图像和第二球面图像之后，即可分别对它们进行等距柱状投影，以获得对应于第一球面图像的第一全景图像和对应于第二球面图像的第二全景图像。在另一个示例中，还可以通过opencv的重映射功能将第一平面图像和第二平面图像分别投影为第一全景图像和第二全景图像，在此不进行限制。
32.在步骤s103中，基于所述投影获得第一对应关系以及第二对应关系，其中所述第一对应关系表示所述第一全景图像上的点的坐标与所述第一平面图像上的对应点的坐标之间的对应性，并且所述第二对应关系表示所述第二平面图像上的点的坐标与所述第二全景图像上的对应点的坐标之间的对应性。
33.具体地，基于以上步骤s102的投影的过程，可以首先基于预先定义的第一平面图像的尺寸以及立方体和球面投影变换关系，确定出第一平面图像上的各个点在第一球面图像上的对应点的坐标；随后，可以基于预先定义的第一全景图像的尺寸以及等距柱状投影变换关系，确定出第一球面图像上的各个点在第一全景图像上的对应点的坐标。由此，可以根据第一平面图像上的各个点的坐标、预先定义的第一平面图像的尺寸以及预先定义的第一全景图像的尺寸计算出第一全景图像上的对应点的坐标，并且可以获得表示第一全景图像上的点的坐标与第一平面图像上的对应点的坐标之间的对应性的第一对应关系。类似地，可以根据第二平面图像上的各个点的坐标、预先定义的第二平面图像的尺寸以及预先定义的第二全景图像的尺寸计算出第二全景图像上的对应点的坐标，并且可以获得表示第二全景图像上的点的坐标与第二平面图像上的对应点的坐标之间的对应性的第二对应关系。
34.在步骤s104中，基于所述单应性矩阵、所述第一对应关系和所述第二对应关系，确定表示所述第一全景图像上的点的坐标与所述第二全景图像上的对应点的坐标之间的对应性的第三对应关系。
35.如上所述，单应性矩阵可以表示第一平面图像上的点的坐标与第二平面图像上的对应点的坐标之间的对应性，第一对应关系可以表示第一全景图像上的点的坐标与第一平面图像上的对应点的坐标之间的对应性，而第二对应关系可以表示第二平面图像上的点的坐标与第二全景图像上的对应点的坐标之间的对应性。因此，在此步骤中，可以针对第一全景图像上的各个点，基于上述对应性关系逐步推导出其在第二全景上的对应点的坐标，即可获得表示所述第一全景图像上的点的坐标与所述第二全景图像上的对应点的坐标之间的对应性的第三对应关系。
36.具体地，所述基于所述单应性矩阵、所述第一对应关系和所述第二对应关系，确定表示所述第一全景图像上的点的坐标与所述第二全景图像上的对应点的坐标之间的对应
性的第三对应关系包括：针对所述第一全景图像上的每个特定点，基于所述第一对应关系确定所述第一平面图像上与该特定点相对应的第一对应点的坐标；将所述第一对应点的坐标乘以对应于其所在的正方形子图像的单应性矩阵，以获得所述第二平面图像上与该特定点相对应的第二对应点的坐标；以及，基于所述第二对应点的坐标以及所述第二对应关系，确定所述第二全景图像上与该特定点对应的第三对应点的坐标。
37.图5示出了根据本发明一实施例的确定表示第一全景图像上的点的坐标与第二全景图像上的对应点的坐标之间的对应性的第三对应关系的示例。如图5所示，针对第一全景图像上的一特定点501，可以基于第一对应关系确定第一平面图像上的第一对应点502的坐标；随后，可以将第一对应点502的坐标乘以子图像s2所对应的单应性矩阵，从而获得第二平面图像上的第二对应点503的坐标；最后，可以基于该第二对应点503的坐标以及第二对应关系，最终确定出第二全景图像上的第三对应点504的坐标。可以针对第一全景图像上的各个特定点重复上述操作，从而获得上述第三对应关系。
38.在一个示例中，可以利用在对应位置处存储有对应点坐标的坐标网格表来实现第一对应关系和第二对应关系。具体地，第一对应关系可以是与第一全景图像具有相同尺寸的第一坐标网格表，其中，在第一坐标网格表中与第一全景图像上的各个点的坐标对应的位置处存储有第一平面图像上的对应点的坐标；以及第二对应关系可以是与所述第二平面图像具有相同尺寸的第二坐标网格表，其中，在第二坐标网格表中与第二平面图像上的各个点的坐标对应的位置处存储有第二全景图像上的对应点的坐标。在此情况下，所述基于所述单应性矩阵、所述第一对应关系和所述第二对应关系，确定表示所述第一全景图像上的点的坐标与所述第二全景图像上的对应点的坐标之间的对应性的第三对应关系可以包括：针对所述第一全景图像上的每个特定点，查询所述第一坐标网格表以确定所述第一平面图像上与该特定点相对应的第一对应点的坐标；将所述第一对应点的坐标乘以对应于其所在的正方形子图像的单应性矩阵，以获得所述第二平面图像上与该特定点相对应的第二对应点的坐标；以及，基于所述第二对应点的坐标查询所述第二坐标网格表，以确定所述第二全景图像上与该特定点对应的第三对应点的坐标。
39.在此示例中，基于上述确定第三对应关系的具体过程，还可以获得表示第三对应关系的坐标网格表。具体地，第三对应关系可以是与第一全景图像具有相同尺寸的第三坐标网格表，其中，在第三坐标网格表中与第一全景图像上的各个点的坐标对应的位置处存储有第二全景图像上的对应点的坐标。
40.图6示出了根据本发明一个实施例的第一、第二和第三坐标网格表的示例。如图6所示，第一坐标网格表可以与第一全景图像具有相同尺寸，并且在第一坐标网格表中与第一全景图像上的特定点501具有相同坐标的位置601处存储有第一平面图像上的对应点502的坐标(i，j)。类似地，如图6所进一步示出的，第二坐标网格表可以与第二平面图像具有相同尺寸，并且在第二坐标网格表中与第二平面图像上的特定点503具有相同坐标的位置602处存储有第二全景图像上的对应点504的坐标(x，y)。相应地，为了确定第三对应关系，针对第一全景图像上的特定点501，可以基于该特定点501的坐标查询第一坐标网格表，以获得存储在相同坐标的位置601处的、第一对应点502的坐标(i，j)；随后，可以将第一对应点502的坐标(i，j)乘以子图像s2所对应的单应性矩阵，从而获得第二平面图像上的第二对应点503的坐标；最后，可以基于第二对应点503的坐标查询第二坐标网格表，以获得存储在相同
坐标的位置602处的、第三对应点504的坐标(x，y)。
41.可以针对第一全景图像上的各个点重复上述查询过程以获得其在第二全景图像上的对应点的坐标，并且最终可以获得如图6所示的第三坐标网格表，其中第三坐标网格表与第一全景图像具有相同尺寸，并且其在与第一全景图像上的特定点501具有相同坐标的位置603处存储有第二全景图像上的第三对应点504的坐标(x，y)。
42.在获得了上述第一全景图像、第二全景图像和第三对应关系之后，即可利用所述第一全景图像、所述第二全景图像以及所述第三对应关系对全景图像特征点检测模型进行训练，以获得训练后的全景图像特征点检测模型。因此，能够利用训练后的全景图像特征点检测模型来实现更加准确的全景图像特征点检测和匹配处理。
43.综上，根据本发明的图像处理方法，可以基于具有不同视点的平面图像而模拟生成一对具有不同视点的全景图像并获得这两个全景图像之间的点对应关系，以便为训练全景图像特征点检测模型提供数据基础，从而改善了全景图像失真导致的特征点检测和匹配不准确的问题。
44.下面，参照图7来描述根据本发明实施例的图像处理装置。图7示出了根据本发明实施例的图像处理装置700的框图。如图7所示，图像处理装置700包括获取单元710、投影单元720和关系确定单元730。除了这些单元以外，图像处理装置700还可以包括其他部件，然而，由于这些部件与本发明实施例的内容无关，因此在这里省略其图示和描述。
45.具体地，获取单元710获取具有不同视点的第一平面图像和第二平面图像以及用于在所述不同视点之间进行转换的单应性矩阵。
46.图2示出了根据本发明实施例一个实施例的具有不同视点的第一平面图像和第二平面图像的示例。如图2所示，获取单元710所获取的第一平面图像由六个具有相同尺寸的正方形子图像s1～s6组成，以便在后续步骤中基于这六个正方形子图像生成立方体投影图。其中，正方形子图像s1～s6中的每一个可以是采用透视相机(以透视映射方式进行拍摄的相机，诸如单反相机、微单相机等)进行拍摄而获得平面图像，也可以是从开源网站上下载的用于深度学习的公共数据集中的平面图像。
47.在此需要注意的是，虽然在图2的示例中示出了第一平面图像由六个正方形子图像构成，然而本发明并不对此进行限制。具体地，获取单元710所获取的第一平面图像中所包含的正方形子图像的数量也可以小于6，并且在此情况下所获得的立方体投影图并非在每个表面上均具有图像。例如，若第一平面图像仅由一个正方形子图像构成，则可以将其投影到立方体的其中一个表面上，并且因此获得的立方体投影图仅在一个表面上具有图像。然而，为了最大化获取训练数据的效率，第一平面图像优选地由六个正方形子图像构成，并且在下文中将以此为例进行描述。
48.其中，获取单元710获取具有不同视点的第一平面图像和第二平面图像以及用于在所述不同视点之间进行转换的单应性矩阵可以包括：获取六个具有相同尺寸的正方形子图像，以将其组合作为所述第一平面图像；基于各个正方形子图像的四个顶点的原始坐标以及目标坐标，分别计算对应于各个正方形子图像的单应性矩阵；以及基于所计算的单应性矩阵分别对各个相应的正方形子图像进行扭曲，以将扭曲后的子图像的组合作为所述第二平面图像。
49.继续参见图2，在图2中还进一步示出了与第一平面图像具有不同视点的第二平面
图像的示例，其中第二平面图像由六个子图像s1’～s6’组成，这些子图像是获取单元710基于单应性矩阵h1～h6分别对各个正方形子图像s1～s6进行扭曲而获得的、扭曲后的子图像，例如，子图像s1’是基于单应性矩阵h1对子图像s1进行扭曲而获得的子图像，子图像s2’是基于单应性矩阵h2对子图像s2进行扭曲而获得的子图像，以此类推。
50.其中，图3示出了根据本发明一个实施例的基于单应性矩阵对一个正方形子图像进行扭曲而获得扭曲后的子图像的示例。如图3的左侧所示，已知第一平面图像中的一个正方形子图像的四个顶点的原始坐标分别为(x1,y1)、(x2,y2)、(x3,y3)和(x4,y4)，并且如图3的右侧所示，为了对该正方形子图像进行扭曲，可以利用获取单元710设置该子图像的四个顶点的目标坐标分别(x
′1,y
′1)、(x
′2,y
′2)、(x
′3,y
′3)和(x
′4,y
′4)。本领域技术人员可以利用获取单元710来任意设置四个顶点的目标坐标，只要满足扭曲后的子图像整体仍然在原始的正方形子图像的区域内即可(即，如图3中所示，四个顶点的目标坐标均落在与原始的正方形子图像具有相同大小的正方形框中)。
51.在设置了四个顶点的目标坐标，即可由获取单元710基于这四个顶点的原始坐标和目标坐标来计算一单应性矩阵。具体地，由于单应性矩阵具有8个自由度，因此将四个顶点的原始坐标和目标坐标总共8个坐标代入求解单应性矩阵的方程式中，即可求解出对应的单应性矩阵。在另一个示例中，还可以将四个顶点的原始坐标和目标坐标输入到opencv的cv2.getperspectivetransform函数中，从而获得对应求解出的单应性矩阵。在获得了上述单应性矩阵后，即可由获取单元710基于该单应性矩阵对图3左侧所示的原始正方形子图像进行扭曲，从而获得了如图3右侧所示的扭曲后的子图像，其中，将原始的正方形子图像上的每个点的坐标乘以该单应性矩阵，即可以获得扭曲后的子图像上的对应点的坐标。
52.通过上述方式，返回参照图2，可以利用获取单元710分别设置六个正方形子图像s1～s6中的每一个子图像的四个顶点的目标坐标，从而基于各个正方形子图像的四个顶点的原始坐标以及目标坐标，分别计算对应于各个正方形子图像的单应性矩阵。随后，在计算出了对应于各个正方形子图像的单应性矩阵之后，即可以由获取单元710基于所计算的单应性矩阵分别对各个相应的正方形子图像进行扭曲，以将扭曲后的子图像的组合作为第二平面图像。在此步骤中，由于可以将每个单应性矩阵分别分解为旋转(r)矩阵和平移(t)矩阵，因此该单应性矩阵可以模拟将相机从一个视点变换到另一视点所经过的旋转变换和平移变换，从而模拟出视点的变化，并且由此获得了具有不同视点的第一平面图像和第二平面图像。在此需要说明的，可以基于相同或不同的单应性矩阵来对六个正方形子图像s1～s6分别进行扭曲，并且本发明不对此进行限制。
53.随后，投影单元720将所述第一平面图像和所述第二平面图像分别投影为第一全景图像和第二全景图像。
54.其中，投影单元720将所述第一平面图像和所述第二平面图像分别投影为第一全景图像和第二全景图像可以包括：将所述第一平面图像所包含的六个正方形子图像以及所述第二平面图像所包含的六个子图像按照相同的投影表面对应性分别投影到立方体六个表面的不同表面上，以获得对应于所述第一平面图像的第一立方体投影图和对应于所述第二平面图像的第二立方体投影图；对所述第一立方体投影图和所述第二立方体投影图分别进行球面投影，以获得对应于所述第一立方体投影图的第一球面图像和对应于所述第二立方体投影图的第二球面图像；以及对所述第一球面图像和所述第二球面图像分别进行等距
柱状投影，以获得对应于所述第一球面图像的所述第一全景图像和对应于所述第二球面图像的所述第二全景图像。
55.图4示出了根据本发明一个实施例的将第一平面图像和第二平面图像分别投影为第一全景图像和第二全景图像的示例。如图4所示，首先，投影单元720可以按照相同的投影表面对应性，将第一平面图像所包含的六个正方形子图像和第二平面图像所包含的六个子图像分别投影到立方体六个表面的不同表面上，以获得第一立方体投影图和第二立方体投影图。其中，相同的投影表面对应性指的是第一平面图像所包含的每个子图像和第二平面图像所包含的对应子图像均被投影到了立方体的同一个表面上。例如，如图4所示，第一平面图像所包含的子图像s2和第二平面图像所包含的子图像s2’均被投影到了立方体的上表面，并且第一平面图像所包含的子图像s5和第二平面图像所包含的子图像s5’均被投影到了立方体的下表面，以此类推。随后，在获得了第一立方体投影图和第二立方体投影图之后，投影单元720可以对第一立方体投影图和第二立方体投影图分别进行球面投影，以获得对应于第一立方体投影图的第一球面图像和对应于第二立方体投影图的第二球面图像(在图4中未示出)。随后，在获得了第一球面图像和第二球面图像之后，投影单元720即可分别对它们进行等距柱状投影，以获得对应于第一球面图像的第一全景图像和对应于第二球面图像的第二全景图像。在另一个示例中，还可以通过opencv的重映射功能将第一平面图像和第二平面图像分别投影为第一全景图像和第二全景图像，在此不进行限制。
56.随后，关系确定单元730基于所述投影获得第一对应关系以及第二对应关系，其中所述第一对应关系表示所述第一全景图像上的点的坐标与所述第一平面图像上的对应点的坐标之间的对应性，并且所述第二对应关系表示所述第二平面图像上的点的坐标与所述第二全景图像上的对应点的坐标之间的对应性。
57.具体地，基于以上投影单元720的处理，关系确定单元730可以首先基于预先定义的第一平面图像的尺寸以及立方体和球面投影变换关系，确定出第一平面图像上的各个点在第一球面图像上的对应点的坐标；随后，关系确定单元730可以基于预先定义的第一全景图像的尺寸以及等距柱状投影变换关系，确定出第一球面图像上的各个点在第一全景图像上的对应点的坐标。由此，关系确定单元730可以根据第一平面图像上的各个点的坐标、预先定义的第一平面图像的尺寸以及预先定义的第一全景图像的尺寸计算出第一全景图像上的对应点的坐标，并且可以获得表示第一全景图像上的点的坐标与第一平面图像上的对应点的坐标之间的对应性的第一对应关系。类似地，关系确定单元730可以根据第二平面图像上的各个点的坐标、预先定义的第二平面图像的尺寸以及预先定义的第二全景图像的尺寸计算出第二全景图像上的对应点的坐标，并且可以获得表示第二全景图像上的点的坐标与第二平面图像上的对应点的坐标之间的对应性的第二对应关系。
58.随后，关系确定单元730基于所述单应性矩阵、所述第一对应关系和所述第二对应关系，确定表示所述第一全景图像上的点的坐标与所述第二全景图像上的对应点的坐标之间的对应性的第三对应关系。
59.如上所述，单应性矩阵可以表示第一平面图像上的点的坐标与第二平面图像上的对应点的坐标之间的对应性，第一对应关系可以表示第一全景图像上的点的坐标与第一平面图像上的对应点的坐标之间的对应性，而第二对应关系可以表示第二平面图像上的点的坐标与第二全景图像上的对应点的坐标之间的对应性。因此，关系确定单元730可以针对第
一全景图像上的各个点，基于上述对应性关系逐步推导出其在第二全景上的对应点的坐标，即可获得表示所述第一全景图像上的点的坐标与所述第二全景图像上的对应点的坐标之间的对应性的第三对应关系。
60.具体地，关系确定单元730基于所述单应性矩阵、所述第一对应关系和所述第二对应关系，确定表示所述第一全景图像上的点的坐标与所述第二全景图像上的对应点的坐标之间的对应性的第三对应关系包括：针对所述第一全景图像上的每个特定点，基于所述第一对应关系确定所述第一平面图像上与该特定点相对应的第一对应点的坐标；将所述第一对应点的坐标乘以对应于其所在的正方形子图像的单应性矩阵，以获得所述第二平面图像上与该特定点相对应的第二对应点的坐标；以及，基于所述第二对应点的坐标以及所述第二对应关系，确定所述第二全景图像上与该特定点对应的第三对应点的坐标。
61.图5示出了根据本发明一实施例的确定表示第一全景图像上的点的坐标与第二全景图像上的对应点的坐标之间的对应性的第三对应关系的示例。如图5所示，针对第一全景图像上的一特定点501，关系确定单元730可以基于第一对应关系确定第一平面图像上的第一对应点502的坐标；随后，关系确定单元730可以将第一对应点502的坐标乘以子图像s2所对应的单应性矩阵，从而获得第二平面图像上的第二对应点503的坐标；最后，关系确定单元730可以基于该第二对应点503的坐标以及第二对应关系，最终确定出第二全景图像上的第三对应点504的坐标。关系确定单元730可以针对第一全景图像上的各个特定点重复上述操作，从而获得上述第三对应关系。
62.在一个示例中，可以利用在对应位置处存储有对应点坐标的坐标网格表来实现第一对应关系和第二对应关系。具体地，第一对应关系可以是与第一全景图像具有相同尺寸的第一坐标网格表，其中，在第一坐标网格表中与第一全景图像上的各个点的坐标对应的位置处存储有第一平面图像上的对应点的坐标；以及第二对应关系可以是与所述第二平面图像具有相同尺寸的第二坐标网格表，其中，在第二坐标网格表中与第二平面图像上的各个点的坐标对应的位置处存储有第二全景图像上的对应点的坐标。在此情况下，关系确定单元730基于所述单应性矩阵、所述第一对应关系和所述第二对应关系，确定表示所述第一全景图像上的点的坐标与所述第二全景图像上的对应点的坐标之间的对应性的第三对应关系可以包括：针对所述第一全景图像上的每个特定点，查询所述第一坐标网格表以确定所述第一平面图像上与该特定点相对应的第一对应点的坐标；将所述第一对应点的坐标乘以对应于其所在的正方形子图像的单应性矩阵，以获得所述第二平面图像上与该特定点相对应的第二对应点的坐标；以及，基于所述第二对应点的坐标查询所述第二坐标网格表，以确定所述第二全景图像上与该特定点对应的第三对应点的坐标。
63.在此示例中，基于上述关系确定单元730确定第三对应关系的具体处理，还可以获得表示第三对应关系的坐标网格表。具体地，第三对应关系可以是与第一全景图像具有相同尺寸的第三坐标网格表，其中，在第三坐标网格表中与第一全景图像上的各个点的坐标对应的位置处存储有第二全景图像上的对应点的坐标。图6示出了根据本发明一个实施例的第一、第二和第三坐标网格表的示例。如图6所示，第一坐标网格表可以与第一全景图像具有相同尺寸，并且在第一坐标网格表中与第一全景图像上的特定点501具有相同坐标的位置601处存储有第一平面图像上的对应点502的坐标(i，j)。类似地，如图6所进一步示出的，第二坐标网格表可以与第二平面图像具有相同尺寸，并且在第二坐标网格表中与第二
平面图像上的特定点503具有相同坐标的位置602处存储有第二全景图像上的对应点504的坐标(x，y)。相应地，为了确定第三对应关系，针对第一全景图像上的特定点501，关系确定单元730可以基于该特定点501的坐标查询第一坐标网格表，以获得存储在相同坐标的位置601处的、第一对应点502的坐标(i，j)；随后，关系确定单元730可以将第一对应点502的坐标(i，j)乘以子图像s2所对应的单应性矩阵，从而获得第二平面图像上的第二对应点503的坐标；最后，关系确定单元730可以基于第二对应点503的坐标查询第二坐标网格表，以获得存储在相同坐标的位置602处的、第三对应点504的坐标(x，y)。
64.可以由关系确定单元730针对第一全景图像上的各个点重复上述查询处理以获得其在第二全景图像上的对应点的坐标，并且最终可以获得如图6所示的第三坐标网格表，其中第三坐标网格表与第一全景图像具有相同尺寸，并且其在与第一全景图像上的特定点501具有相同坐标的位置603处存储有第二全景图像上的第三对应点504的坐标(x，y)。
65.在获得了上述第一全景图像、第二全景图像和第三对应关系之后，训练单元(未在图7中示出)即可利用所述第一全景图像、所述第二全景图像以及所述第三对应关系对全景图像特征点检测模型进行训练，以获得训练后的全景图像特征点检测模型。因此，能够利用训练后的全景图像特征点检测模型来实现更加准确的全景图像特征点检测和匹配处理。
66.综上，根据本发明的图像处理装置，可以基于具有不同视点的平面图像而模拟生成一对具有不同视点的全景图像并获得这两个全景图像之间的点对应关系，以便为训练全景图像特征点检测模型提供数据基础，从而改善了全景图像失真导致的特征点检测和匹配不准确的问题。
67.下面，参照图8来描述根据本发明实施例的图像处理装置。图8示出了根据本发明实施例的图像处理装置800的框图。如图8所示，该图像处理装置800可以是计算机或服务器。
68.如图8所示，图像处理装置800包括一个或多个处理器810以及存储器820，当然，除此之外，图像处理装置800还可能包括输入装置、输出装置(未示出)等，这些组件可以通过总线系统和/或其它形式的连接机构互连。应当注意，图8所示的图像处理装置800的组件和结构只是示例性的，而非限制性的，根据需要，图像处理装置800也可以具有其他组件和结构。
69.处理器810可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以利用存储器820中所存储的计算机程序指令以执行期望的功能，可以包括：获取具有不同视点的第一平面图像和第二平面图像以及用于在所述不同视点之间进行转换的单应性矩阵；将所述第一平面图像和所述第二平面图像分别投影为第一全景图像和第二全景图像；基于所述投影获得第一对应关系以及第二对应关系，其中所述第一对应关系表示所述第一全景图像上的点的坐标与所述第一平面图像上的对应点的坐标之间的对应性，并且所述第二对应关系表示所述第二平面图像上的点的坐标与所述第二全景图像上的对应点的坐标之间的对应性；以及，基于所述单应性矩阵、所述第一对应关系和所述第二对应关系，确定表示所述第一全景图像上的点的坐标与所述第二全景图像上的对应点的坐标之间的对应性的第三对应关系。
70.存储器820可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。在所述计算机
可读存储介质上可以存储一个或多个计算机程序指令，处理器810可以运行所述程序指令，以实现上文所述的本发明的实施例的图像处理装置的功能以及/或者其它期望的功能，并且/或者可以执行根据本发明实施例的图像处理方法。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据。
71.下面，描述根据本发明实施例的计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现以下步骤：获取具有不同视点的第一平面图像和第二平面图像以及用于在所述不同视点之间进行转换的单应性矩阵；将所述第一平面图像和所述第二平面图像分别投影为第一全景图像和第二全景图像；基于所述投影获得第一对应关系以及第二对应关系，其中所述第一对应关系表示所述第一全景图像上的点的坐标与所述第一平面图像上的对应点的坐标之间的对应性，并且所述第二对应关系表示所述第二平面图像上的点的坐标与所述第二全景图像上的对应点的坐标之间的对应性；以及，基于所述单应性矩阵、所述第一对应关系和所述第二对应关系，确定表示所述第一全景图像上的点的坐标与所述第二全景图像上的对应点的坐标之间的对应性的第三对应关系。
72.当然，上述的具体实施例仅是示例性的而非限制，且本领域技术人员可以根据本发明的构思从上述分开描述的各个实施例中合并和组合一些步骤和装置来实现本发明的效果，这种合并和组合而成的实施例也被包括在本发明中，在此不一一描述这种合并和组合。
73.注意，在本发明中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述发明的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。
74.本发明中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
75.本发明中的步骤流程图以及以上方法描述仅作为例示性的例子并且不意图要求或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人员将认识到的，可以按任意顺序进行以上实施例中的步骤的顺序。诸如“其后”、“然后”、“接下来”等等的词语不意图限制步骤的顺序；这些词语仅用于引导读者通读这些方法的描述。此外，例如使用冠词“一个”、“一”或者“该”对于单数的要素的任何引用不被解释为将该要素限制为单数。
76.另外，本文中的各个实施例中的步骤和装置并非仅限定于某个实施例中实行，事实上，可以根据本发明的概念来结合本文中的各个实施例中相关的部分步骤和部分装置以构思新的实施例，而这些新的实施例也包括在本发明的范围内。
77.以上所述的方法的各个操作可以通过能够进行相应的功能的任何适当的手段而进行。该手段可以包括各种硬件和/或软件组件和/或模块，包括但不限于电路、专用集成电路(asic)或处理器。
78.可以利用被设计用于进行在此所述的功能的通用处理器、数字信号处理器(dsp)、
asic、现场可编程门阵列信号(fpga)或其他可编程逻辑器件(pld)、离散门或晶体管逻辑、离散的硬件组件或者其任意组合而实现或进行所述的各个例示的逻辑块、模块和电路。通用处理器可以是微处理器，但是作为替换，该处理器可以是任何商业上可获得的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如dsp和微处理器的组合，多个微处理器、与dsp核协作的一个或多个微处理器或任何其他这样的配置。
79.结合本发明描述的方法或算法的步骤可以直接嵌入在硬件中、处理器执行的软件模块中或者这两种的组合中。软件模块可以存在于任何形式的有形存储介质中。可以使用的存储介质的一些例子包括随机存取存储器(ram)、只读存储器(rom)、快闪存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动盘、cd-rom等。存储介质可以耦接到处理器以便该处理器可以从该存储介质读取信息以及向该存储介质写信息。在替换方式中，存储介质可以与处理器是整体的。软件模块可以是单个指令或者许多指令，并且可以分布在几个不同的代码段上、不同的程序之间以及跨过多个存储介质。
80.在此发明的方法包括用于实现所述的方法的一个或多个动作。方法和/或动作可以彼此互换而不脱离权利要求的范围。换句话说，除非指定了动作的具体顺序，否则可以修改具体动作的顺序和/或使用而不脱离权利要求的范围。
81.所述的功能可以按硬件、软件、固件或其任意组合而实现。如果以软件实现，功能可以作为一个或多个指令存储在切实的计算机可读介质上。存储介质可以是可以由计算机访问的任何可用的切实介质。通过例子而不是限制，这样的计算机可读介质可以包括ram、rom、eeprom、cd-rom或其他光盘存储、磁盘存储或其他磁存储器件或者可以用于携带或存储指令或数据结构形式的期望的程序代码并且可以由计算机访问的任何其他切实介质。如在此使用的，盘(disc)包括紧凑盘(cd)、激光盘、光盘、数字通用盘(dvd)、软盘和蓝光盘。
82.因此，计算机程序产品可以进行在此给出的操作。例如，这样的计算机程序产品可以是具有有形存储(和/或编码)在其上的指令的计算机可读的有形介质，该指令可由一个或多个处理器执行以进行在此所述的操作。计算机程序产品可以包括包装的材料。
83.软件或指令也可以通过传输介质而传输。例如，可以使用诸如同轴电缆、光纤光缆、双绞线、数字订户线(dsl)或诸如红外、无线电或微波的无线技术的传输介质从网站、服务器或者其他远程源传输软件。
84.此外，用于进行在此所述的方法和技术的模块和/或其他适当的手段可以在适当时由用户终端和/或基站下载和/或其他方式获得。例如，这样的设备可以耦接到服务器以促进用于进行在此所述的方法的手段的传送。或者，在此所述的各种方法可以经由存储部件(例如ram、rom、诸如cd或软碟等的物理存储介质)提供，以便用户终端和/或基站可以在耦接到该设备或者向该设备提供存储部件时获得各种方法。此外，可以利用用于将在此所述的方法和技术提供给设备的任何其他适当的技术。
85.其他例子和实现方式在本发明和所附权利要求的范围和精神内。例如，由于软件的本质，以上所述的功能可以使用由处理器、硬件、固件、硬连线或这些的任意的组合执行的软件实现。实现功能的特征也可以物理地位于各个位置，包括被分发以便功能的部分在不同的物理位置处实现。而且，如在此使用的，包括在权利要求中使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“a、b或c的至少一个”的列举意味着a或b或c，或ab或ac或bc，或abc(即a和b和c)。此外，措辞“示例的”不意味着描述的例子是
优选的或者比其他例子更好。
86.可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本发明的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
87.提供所发明的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此发明的原理和新颖的特征一致的最宽范围。
88.为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本发明的实施例限制到在此发明的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。