全景图像处理方法、计算机设备和存储介质与流程

1.本技术涉及图像处理技术领域，特别是涉及一种全景图像处理方法、计算机设备、存储介质和计算机程序产品。


背景技术：

2.全景相机能够拍摄比传统镜头更广的视野，全景相机可以拍摄到传统镜头拍摄不到的侧面、上面和背面等多视角画面。
3.然而，广泛的视角也导致全景图像的成像存在一些扭曲和畸变，畸变成像会导致普通网络处理全景图像或全景视频的效果较差。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够提升网络对全景图像的处理效果的全景图像处理方法、计算机设备、计算机可读存储介质和计算机程序产品。
5.第一方面，本技术提供了一种全景图像处理方法。所述方法包括：
6.对待处理的全景图像进行可变形卷积处理，得到所述全景图像的特征图像；
7.对所述特征图像进行回归处理，得到所述全景图像的图像变换信息；
8.根据所述图像变换信息和所述全景图像的矫正像素位置，得到所述全景图像中与所述矫正像素位置对应的映射像素位置；所述矫正像素位置表示为所述全景图像对应的矫正图像中像素的坐标位置；
9.根据所述映射像素位置的像素信息，对所述全景图像进行像素矫正，得到所述全景图像对应的矫正图像。
10.在其中一个实施例中，对待处理的全景图像进行可变形卷积处理，得到所述全景图像的特征图像，包括：
11.根据所述全景图像的采样位置偏移量，对所述全景图像的采样位置进行偏移处理，得到所述全景图像的偏移后采样位置；
12.对所述偏移后采样位置进行线性插值处理，得到所述全景图像对应的偏移图像；
13.对所述偏移图像进行卷积处理，得到所述全景图像的特征图像。
14.在其中一个实施例中，在根据所述全景图像的采样位置偏移量，对所述全景图像的采样位置进行偏移处理，得到所述全景图像的偏移后采样位置之前，还包括：
15.对所述全景图像进行卷积处理，得到所述全景图像的采样位置偏移量；所述采样位置偏移量的数量与所述卷积处理中的卷积核的数量相等。
16.在其中一个实施例中，对所述特征图像进行回归处理，得到所述全景图像的图像变换信息，包括：
17.通过回归网络对所述特征图像进行仿射变换处理，得到所述全景图像的图像变换信息；所述回归网络是依据样本全景图像对待训练的回归网络进行训练得到。
18.在其中一个实施例中，根据所述图像变换信息和所述全景图像的矫正像素位置，
得到所述全景图像中与所述矫正像素位置对应的映射像素位置，包括：
19.将所述图像变换信息和所述矫正像素位置进行相乘，得到所述全景图像中与所述矫正像素位置对应的映射像素位置。
20.在其中一个实施例中，根据所述映射像素位置的像素信息，对所述全景图像进行像素矫正，得到所述全景图像对应的矫正图像，包括：
21.在所述映射像素位置的坐标值不是整数的情况下，对所述映射像素位置的坐标值进行线性插值处理，得到目标像素位置；所述目标像素位置的坐标值为整数；
22.根据所述目标像素位置的像素信息，对所述全景图像进行像素矫正，得到所述全景图像对应的矫正图像。
23.在其中一个实施例中，根据所述映射像素位置的像素信息，对所述全景图像进行像素矫正，得到所述全景图像对应的矫正图像，包括：
24.在所述映射像素位置的坐标值是整数的情况下，将所述矫正像素位置的像素信息，更新为所述矫正像素位置对应的映射像素位置的像素信息，得到所述全景图像对应的矫正图像。
25.在其中一个实施例中，所述方法还包括：
26.对所述矫正图像进行图像处理，得到所述矫正图像对应的目标全景图像。
27.在其中一个实施例中，对所述矫正图像进行图像处理，得到所述矫正图像对应的目标全景图像，包括：
28.对所述矫正图像进行超分处理，得到所述矫正图像对应的目标超分辨率全景图像；所述目标超分辨率全景图像的图像分辨率高于基于所述待处理的全景图像得到的超分辨率图像；
29.或者，
30.对所述矫正图像进行去噪处理，得到所述矫正图像对应的目标去噪全景图像；所述目标去噪全景图像包含的图像噪声少于基于所述待处理的全景图像得到的去噪后全景图像。
31.第二方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
32.对待处理的全景图像进行可变形卷积处理，得到所述全景图像的特征图像；
33.对所述特征图像进行回归处理，得到所述全景图像的图像变换信息；
34.根据所述图像变换信息和所述全景图像的矫正像素位置，得到所述全景图像中与所述矫正像素位置对应的映射像素位置；所述矫正像素位置表示为所述全景图像对应的矫正图像中像素的坐标位置；
35.根据所述映射像素位置的像素信息，对所述全景图像进行像素矫正，得到所述全景图像对应的矫正图像。
36.第三方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
37.对待处理全景图像进行可变形卷积处理，得到所述全景图像的特征图像；
38.对所述特征图像进行回归处理，得到所述全景图像的图像变换信息；
39.根据所述图像变换信息和所述全景图像的矫正像素位置，得到所述全景图像中与
所述矫正像素位置对应的映射像素位置；所述矫正像素位置表示为所述全景图像对应的矫正图像中像素的坐标位置；
40.根据所述映射像素位置的像素信息，对所述全景图像进行像素矫正，得到所述全景图像对应的矫正图像。
41.第四方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
42.对待处理的全景图像进行可变形卷积处理，得到所述全景图像的特征图像；
43.对所述特征图像进行回归处理，得到所述全景图像的图像变换信息；
44.根据所述图像变换信息和所述全景图像的矫正像素位置，得到所述全景图像中与所述矫正像素位置对应的映射像素位置；所述矫正像素位置表示为所述全景图像对应的矫正图像中像素的坐标位置；
45.根据所述映射像素位置的像素信息，对所述全景图像进行像素矫正，得到所述全景图像对应的矫正图像。
46.上述全景图像处理方法、计算机设备、存储介质和计算机程序产品，对待处理的全景图像进行可变形卷积处理，得到全景图像的特征图像，能够增强卷积过程的感受野，从全景图像中提取到更多的特征信息；进而对特征图像进行回归处理，得到全景图像的图像变换信息；根据图像变换信息和全景图像的矫正像素位置，得到全景图像中与矫正像素位置对应的映射像素位置；矫正像素位置表示为全景图像对应的矫正图像中像素的坐标位置，实现了全景图像的像素位置与矫正像素位置之间的映射关系确定；根据映射像素位置的像素信息，对全景图像进行像素矫正，得到全景图像对应的矫正图像，解决了全景图像的成像畸变的问题，通过上述全景图像处理方法对待处理的全景图像进行处理，有利于提升后续其他模型对全景图像的处理效果，而且全景图像处理过程能够灵活的与其他模型或网络结合，适用范围较广。
附图说明
47.图1为一个实施例中全景图像处理方法的流程示意图；
48.图2为一个实施例中全景图像处理方法的结构环境图；
49.图3为一个实施例中得到全景图像的特征图像步骤的流程示意图；
50.图4为一个实施例中全景图像处理方法的流程示意图；
51.图5为另一个实施例中全景图像处理方法的结构示意图；
52.图6为一个实施例中全景图像处理方法的流程环境图；
53.图7为一个实施例中计算机设备的内部结构图。
具体实施方式
54.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
55.在一个实施例中，如图1所示，提供了一种全景图像处理方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括
终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
56.步骤s101，对待处理的全景图像进行可变形卷积处理，得到全景图像的特征图像。
57.步骤s102，对特征图像进行回归处理，得到全景图像的图像变换信息；
58.其中，待处理的全景图像是指需要进行图像处理的全景图像。待处理的全景图像可以是预先存储在服务器中的，也可以是终端发送到服务器中的，当然还可以是通过其他方式得到的。其中，全景图像是指360度球形范围内景致的图像。需要说明的是，在本方法的各步骤中，除了可以使用全景图像，还可以使用全景视频。
59.其中，图像变换信息指的是全景图像进行图像旋转、缩放和平移等线性变换的信息。图像变换信息包括但不限于是全景图像的仿射变换信息和投影变换信息。
60.图2为上述全景图像处理方法的结构示意图，如图2所示，上述步骤s101和步骤s102中，通过可变形空间变换模型中的可变形定位网络(deformable localisation net)对该全景图像进行处理，得到全景图像的图像变换信息。具体地，服务器获取待处理的全景图像，对该全景图像进行卷积处理，得到该全景图像对应的采样位置偏移量；先将采样位置偏移量加在全景图像的像素位置上，再使用卷积核对叠加后的全景图像进行多次卷积处理，得到全景图像的特征图像。服务器将该特征图像输入到回归网络进行回归处理；通过回归网络对特征图像进行变换，得到全景图像的图像变换信息(例如图像变换矩阵)。其中，图像变换矩阵的维度是依据回归网络选择的针对特征图像的变换类型确定的。其中，变换类型可以但不限于是仿射变换和投影变换。例如，回归网络对特征图像进行仿射变换，则可以得到一个维度为2*3的图像变换矩阵。
61.进一步地，图2中的可变形定位网络可以采用全卷积的网络结构，还可以采用全连接的网络结构，也可以是卷积和连接两者结合的网络结构，当然更可以根据全景图像的后续图像处理方式对可变形定位网络中的网络结构进行调整。
62.步骤s103，根据图像变换信息和全景图像的矫正像素位置，得到全景图像中与矫正像素位置对应的映射像素位置；矫正像素位置表示为全景图像对应的矫正图像中像素的坐标位置。
63.其中，全景图像的像素位置是指全景图像中各个像素的坐标。
64.其中，矫正像素位置指的是全景图像对应的矫正图像中各个像素的坐标。矫正像素位置是依据预先设置的全景图像对应的矫正图像的尺寸确定的。
65.如图2所示，在步骤s103中，通过可变形空间变换模型中的网络生成器(grid generator)来得到全景图像中与矫正像素位置对应的映射像素位置。具体地，服务器在获取矫正图像的尺寸后，可以确定矫正图像中的矫正像素位置，进而根据图像变换矩阵，来确定全景图像中与矫正像素位置对应的映射像素位置，即得到映射像素位置与矫正像素位置之间的映射关系，以便后续步骤将映射像素位置的像素信息矫正到矫正像素位置。例如，矫正像素位置为(2,4)，服务器根据图像变换矩阵，得到矫正像素位置(2,4)在全景图像中对应的映射像素位置为(5,6)，可建立映射像素位置(5,6)与矫正像素位置为(2,4)之间的映射关系。
66.步骤s104，根据映射像素位置的像素信息，对全景图像进行像素矫正，得到全景图像对应的矫正图像。
67.其中，矫正图像是指对待处理的全景图像进行处理后得到的图像，用于代替待处理的全景图像作为后续实施例中全景图像处理方法的处理对象，以提高该全景图像处理方法的处理效果。
68.如图2所示，在步骤s104中，通过可变形空间变换模型中的采样器(sampler)来对全景图像进行像素矫正，得到全景图像对应的矫正图像。具体地，针对上述步骤s104所获得的映射像素位置与矫正像素位置之间的映射关系，通过采样器将全景图像中的映射像素位置的像素信息添加到相应的矫正像素位置上，从而得到全景图像对应的矫正图像。例如，全景图像中的人物和动物存在图像畸变，可先确定全景图像中与矫正图像中矫正的人和动物的像素位置分别对应的映射像素位置，再将映射像素位置的像素信息(比如颜色、透明度等)添加到矫正像素位置的像素信息中，最后得到矫正的人物和动物的全景图像。
69.需要说明的是，如图2所示，本技术将空间变换(spatial transformer)网络中的定位网络(localisation net)里的传统卷积替换成可变形卷积，构建得到可变形空间变换(deformable spatial transformer)模型，可变形空间变换模型既可以增大卷积核的感受野，又可提高对全景图像中畸变对象的适应性，从而本技术能够更好地适应全景图像中不同位置的不同程度的畸变。其中，全景图像中的畸变对象指的是全景图像中存在成像扭曲或者成像变形的对象。例如，在全景图像中一面墙的成像可能出现墙面变宽、垂直的墙面发生弯曲等畸变情况，则该面墙可看作全景图像中的畸变对象。
70.上述全景图像处理方法中，对待处理的全景图像进行可变形卷积处理，得到全景图像的特征图像，能够增强卷积过程的感受野，从全景图像中提取到更多的特征信息；进而对特征图像进行回归处理，得到全景图像的图像变换信息；根据图像变换信息和全景图像的矫正像素位置，得到全景图像中与矫正像素位置对应的映射像素位置；矫正像素位置表示为全景图像对应的矫正图像中像素的坐标位置，实现了全景图像的像素位置与矫正像素位置之间的映射关系确定；根据映射像素位置的像素信息，对全景图像进行像素矫正，得到全景图像对应的矫正图像，解决了全景图像的成像畸变的问题，通过上述全景图像处理方法对待处理的全景图像进行处理，有利于提升后续其他模型对全景图像的处理效果，而且全景图像处理过程能够灵活的与其他模型或网络结合，适用范围较广。
71.在一个实施例中，如图3所示，上述步骤s101，对待处理的全景图像进行可变形卷积处理，得到全景图像的特征图像，具体包括如下步骤：
72.步骤s301，根据全景图像的采样位置偏移量，对全景图像的采样位置进行偏移处理，得到全景图像的偏移后采样位置。
73.其中，采样位置偏移量指的是针对全景图像中每个像素的偏移方向信息；偏移方向信息表示像素朝设定方向偏移的距离，具体包括x轴方向和y轴方向；采样位置偏移量用于在不改变卷积核的情况下，改变卷积核的感受野范围。
74.其中，偏移后采样位置表示针对全景图像进行采样的采样点的位置信息。
75.在图2的可变形定位网络(deformable localisation net)中加入采样位置偏移量的学习之后，可变形卷积核的感受野的大小和位置可以根据全景图像中需要识别的对象进行动态调整。例如，传统的卷积核的感受野一般是3*3的形式，而采样位置偏移量能够使卷积核的感受野从3*3的正方形变成与全景图像中需要识别的对象相似的形状和大小。具体地，服务器对待处理的全景图像进行标准的卷积处理，得到全景图像的采样位置偏移量；
由于采样位置偏移量包含全景图像中每个像素的偏移方向信息，所以采样位置偏移量的尺寸与待处理的全景图像的尺寸相同，可以将采样位置偏移量叠加到全景图像的各个像素的像素位置上，得到全景图像的偏移后采样位置。在实际应用中，将采样位置偏移量叠加在全景图像中的畸变对象上，得到畸变对象的偏移后采样位置，以便于卷积核对畸变对象的偏移后采样位置进行采样处理，使得卷积核能够采集到更多的畸变对象的像素信息，从而提高对全景图像中畸变对象的处理效果。
76.步骤s302，对偏移后采样位置进行线性插值处理，得到全景图像对应的偏移图像。
77.步骤s303，对偏移图像进行卷积处理，得到全景图像的特征图像。
78.具体地，上述步骤s301所得到的全景图像的偏移后采样位置的数值可以是非整数，而且偏移后采样位置是指像素的坐标值，偏移后采样位置中不包含该坐标位置在图像中的像素信息；进而服务器对偏移后采样位置进行双线性插值处理，得到偏移后采样位置对应的目标采样位置；根据目标采样位置对应的像素信息，生成全景图像对应的偏移图像；使用卷积核对偏移图像进行卷积处理，得到全景图像的特征图像。
79.本实施例中，通过采样位置偏移量对全景图像进行偏移处理，能够增强普通卷积核的感受野，从而提取到更多关于全景图像中的畸变对象的特征，有效的提高了全景图像的特征提取效果，有利于增强后续步骤中对全景图像中畸变对象的处理效果。
80.在一个实施例中，在根据全景图像的采样位置偏移量，对全景图像的采样位置进行偏移处理，得到全景图像的偏移后采样位置之前，还包括：对全景图像进行卷积处理，得到全景图像的采样位置偏移量；采样位置偏移量的数量与卷积处理中的卷积核的数量相等。
81.需要说明的是，图2中可变形定位网络的第二次卷积处理可以是多通道输出，第二次卷积处理中卷积核的数量与通道数量相等，需要为第二次卷积处理中每一个卷积核都计算得到一个采样位置偏移量，从而利用采样位置偏移量去改变输入到第二次卷积处理的卷积核中的全景图像的像素的位置，以实现卷积核的感受野增大的目的。
82.具体地，服务器对全景图像进行标准的卷积处理，得到全景图像中的畸变对象对应的采样位置偏移量，采样位置偏移量也可以通过梯度反向传播进行端到端的学习，在图2中的可变形空间变换模型的训练过程中，采样位置偏移量和传统的卷积处理中的卷积核同时更新。其中，由于采样位置偏移量中包含有全景图像的每个像素的偏移量，所以采样位置偏移量的尺寸与输入的全景图像的尺寸相同，得到的采样位置偏移量的数量与卷积处理中的卷积核的数量相等。
83.本实施例中，通过对全景图像进行卷积处理，来获取采样位置偏移量，有利于后续步骤通过采样位置偏移量来增强卷积核的感受野，有助于提取到更多关于全景图像中的畸变对象的特征。
84.在一个实施例中，上述步骤s102，对特征图像进行回归处理，得到全景图像的图像变换信息，具体包括如下内容：通过回归网络对特征图像进行仿射变换处理，得到全景图像的图像变换信息；回归网络是依据样本全景图像对待训练的回归网络进行训练得到。
85.具体地，服务器在对待训练的回归网络训练的初始阶段，通过待训练的回归网络对样本全景图像进行仿射变换处理，会得到样本全景图像的恒等变换矩阵；然后根据恒等变换矩阵对待训练的回归网络进行梯度更新，得到回归网络。将特征图像再次输入到梯度
更新后的回归网络中进行仿射变换处理，可以得到全景图像的仿射变换矩阵，即全景图像的图像变换信息。其中，仿射变换矩阵中包含有全景图像进行旋转、缩放和平移等处理的线性变换信息。
86.需要说明的是，可变形卷积虽然能提升卷积核的感受野范围，但是对于全景图像来说，其感受野范围仍旧不够大，例如全景图像在靠近两侧的极端时畸变程度会特别大，相关像素的距离可能为100像素甚至100像素以上，采样位置偏移量无法让感受野覆盖相关像素，因而需要通过回归网络对特征图像进行全局处理，得到全景图像的图像变换信息。
87.本实施例中，通过回归网络对特征图像进行仿射变换处理，能够弥补可变形卷积的感受野无法顾及全景图像中的全局畸变的缺陷，使得本实施例中所获取的图像变换信息能够全面反映出全景图像中不同位置、不同程度的畸变，有助于提高全景图像的处理效果。
88.在一个实施例中，上述步骤s103，根据图像变换信息和全景图像的矫正像素位置，得到全景图像与矫正像素位置对应的映射像素位置，具体包括如下内容：将图像变换信息和矫正像素位置进行相乘，得到全景图像中与矫正像素位置对应的映射像素位置。
89.具体地，服务器对全景图像的图像变换信息和矫正像素位置进行矩阵运算，得到全景图像中与矫正像素位置对应的映射像素位置；建立矫正像素位置与映射像素位置之间的映射关系。获取全景图像中与矫正像素位置对应的映射像素位置可以通过如下公式进行表示：
[0090][0091]
其中，xv和yv分别表示矫正像素位置的x轴坐标和y轴坐标；θ
11
、θ
12
、θ
13
、θ
21
、θ
22
和θ
23
表示图像变换矩阵中的全景图像对应的各项图像变换信息；xu和yu分别表示与矫正像素位置对应映射像素位置x轴坐标和y轴坐标。
[0092]
本实施例中，通过可变形定位网络(deformable localisation net)所输出的全景图像的图像变换信息和全景图像的矫正像素位置，可以实现将矫正像素位置和全景图像中的映射像素位置一一对应起来，以便于后续步骤中以映射像素位置为依据，对全景图像进行矫正。
[0093]
在一个实施例中，上述步骤s104，根据映射像素位置的像素信息，对全景图像进行像素矫正，得到全景图像对应的矫正图像，具体包括如下内容：在映射像素位置的坐标值不是整数的情况下，对映射像素位置的坐标值进行线性插值处理，得到目标像素位置；目标像素位置的坐标值为整数；根据目标像素位置的像素信息，对全景图像进行像素矫正，得到全景图像对应的矫正图像。
[0094]
具体地，服务器根据图像变换信息所确定的与矫正像素位置对应的映射像素位置的坐标值可能不是整数，在与矫正像素位置对应的映射像素位置的坐标值不是整数的情况下，是无法直接在全景图像中获取到相应的像素信息，进而服务器也无法确定需要放置在矫正像素位置的像素信息。因此，服务器需要对与矫正像素位置对应的映射像素位置的坐标值进行双线性插值处理，得到坐标值为整数的目标像素位置。
[0095]
进一步地，服务器将矫正像素位置对应的映射像素位置更新为目标像素位置，得到矫正像素位置和全景图像的目标像素位置之间的映射关系。根据目标像素位置的像素信
息，对全景图像进行像素矫正，得到全景图像对应的矫正图像。
[0096]
举例说明，矫正像素位置为(3,4)，矫正像素位置对应的全景图像的像素位置为(1.2,5.6)，由于全景图像的像素位置通常是整数，所以在全景图像中无法查找到像素位置为(1.2,5.6)的像素信息，无法执行后续步骤得到矫正图像。假设通过双线性插值处理后得到的目标像素位置为(1,6)，进而根据全景图像中目标像素位置(1,6)的像素信息，对矫正像素位置(3,4)的像素信息进行更新，得到全景图像对应的矫正图像。
[0097]
本实施例中，在映射像素位置的坐标值不是整数的情况下，对映射像素位置的坐标值进行线性插值处理，得到目标像素位置；然后根据目标像素位置的像素信息，对全景图像进行像素矫正，得到全景图像对应的矫正图像，实现了全景图像的目标像素位置与矫正图像中的矫正像素位置之间的映射关系的确定，有利于将全景图像的目标像素位置的像素信息更新到矫正图像的矫正像素位置中。
[0098]
在一个实施例中，上述步骤s104，根据映射像素位置的像素信息，对全景图像进行像素矫正，得到全景图像对应的矫正图像，具体包括如下内容：在所述映射像素位置的坐标值是整数的情况下，将矫正像素位置的像素信息，更新为矫正像素位置对应的映射像素位置的像素信息，得到全景图像对应的矫正图像。
[0099]
具体地，服务器通过采样器采集全景图像的映射像素位置或者目标像素位置的像素信息，然后将该像素信息填充到对应的矫正像素位置中；在所有的矫正像素位置均获取到像素信息之后，得到待处理的全景图像对应的矫正图像。
[0100]
本实施例中，通过将矫正像素位置的像素信息，更新为矫正像素位置对应的映射像素位置的像素信息，得到待处理的全景图像对应的矫正图像，解决了待处理的全景图像的成像畸变的问题，实现了对待处理的全景图像中的畸变成像进行矫正处理。
[0101]
在一个实施例中，在根据所述映射像素位置的像素信息，对所述全景图像进行像素矫正，得到所述全景图像对应的矫正图像之后，还包括如下内容：对矫正图像进行图像处理，得到矫正图像对应的目标全景图像。
[0102]
在本实施例中，先通过对待处理的全景图像进行处理，能够得到待处理的全景图像对应的矫正图像，再让图像处理模型对矫正图像进行图像处理，在不改变图像处理模型的原有结构的同时，还能提升图像处理模型对矫正图像的处理效果，大大提升了得到的目标全景图像的质量。
[0103]
在一个实施例中，如图4所示，提供了一种全景图像处理方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
[0104]
步骤s401，获取待处理的全景图像对应的矫正图像。
[0105]
其中，矫正图像通过上述步骤s101至s104实现，在此不再赘述。
[0106]
步骤s402，对矫正图像进行图像处理，得到矫正图像对应的目标全景图像。
[0107]
其中，图像处理可以是超分辨率处理，也可以是去噪处理，还可以是插帧处理，具体的图像处理的方式可以根据需求灵活变更，在此不进行具体限定。
[0108]
具体地，图5为上述全景图像处理方法的应用环境示意图，如图5所示，服务器获取待处理的全景图像；在对待处理的全景图像进行图像处理之前，先通过上述全景图像处理
方法对待处理的全景图像进行处理，得到待处理的全景图像对应的矫正图像。进而服务器将矫正图像输入到其它的图像处理模型或者网络中进行图像处理，得到矫正图像对应的目标全景图像。
[0109]
本实施例中，由于全景图像具有畸变成像，使得图像处理模型在处理全景图像时图像处理效果较低，通过上述全景图像处理方法对待处理的全景图像进行处理，能够得到待处理的全景图像对应的矫正图像，让图像处理模型对矫正图像进行图像处理，在不改变图像处理模型的原有结构的同时，还能提升图像处理模型的处理效果，大大提升了得到的目标全景图像的质量。
[0110]
在一个实施例中，对矫正图像进行图像处理，得到矫正图像对应的目标全景图像，具体包括如下内容：对矫正图像进行超分处理，得到矫正图像对应的目标超分辨率全景图像；目标超分辨率全景图像的图像分辨率高于基于待处理的全景图像得到的超分辨率图像；或者，对矫正图像进行去噪处理，得到矫正图像对应的目标去噪全景图像；目标去噪全景图像包含的图像噪声少于基于待处理的全景图像得到的去噪后全景图像。
[0111]
需要说明的是，通过上述步骤s101至s104所得到的矫正图像，可以输入到多种类型的图像处理模型中进行图像处理。例如，超分模型、去噪模型和插帧模型。
[0112]
具体地，可以将矫正图像输入到超分模型中进行超分处理，得到矫正图像对应的目标超分辨率全景图像，以提升矫正图像的分辨率；由于矫正图像预先经过了矫正处理，使得超分模型能够更准确的对矫正图像中的各个对象进行超分处理，而待处理的全景图像中畸变对象会影响超分模型的处理效果，所以目标超分辨率全景图像的图像分辨率高于基于待处理的全景图像得到的超分辨率图像。或者可以将矫正图像输入到去噪模型中进行去噪处理，得到矫正图像对应的目标去噪全景图像，以降低全景图像中的噪声；由于矫正图像预先经过了矫正处理，使得超分模型能够更准确的对矫正图像进行去噪处理，而待处理的全景图像中的畸变对象容易被去噪模型误认为是噪点，使得去噪模型对待处理的全景图像的去噪效果差于对矫正图像的去噪效果，所以目标去噪全景图像包含的图像噪声少于基于待处理的全景图像得到的去噪后全景图像。
[0113]
本实施例中，通过上述全景图像处理方法得到的矫正图像，不仅能够与多种类型的图像处理模型结合使用，还无需改变图像处理模型的原有结构，在算力受限的场景中能够有效提升图像处理模型处理得到的目标全景图像的质量，使得本实施例中的全景图像处理方法适用范围较广，处理全景图像的效果较好。
[0114]
在一个实施例中，如图6所示，提供了另一种全景图像处理方法，以该方法应用于服务器为例进行说明，包括以下步骤：
[0115]
步骤s601，对待处理的全景图像进行卷积处理，得到全景图像的采样位置偏移量；采样位置偏移量的数量与卷积处理中的卷积核的数量相等。
[0116]
步骤s602，根据全景图像的采样位置偏移量，对全景图像的采样位置进行偏移处理，得到全景图像的偏移后采样位置。
[0117]
步骤s603，对偏移后采样位置进行线性插值处理，得到全景图像对应的偏移图像；对偏移图像进行卷积处理，得到全景图像的特征图像。
[0118]
步骤s604，通过回归网络对特征图像进行仿射变换处理，得到全景图像的图像变换信息；回归网络是依据样本全景图像对待训练的回归网络进行训练得到。
[0119]
步骤s605，将图像变换信息和矫正像素位置进行相乘，得到全景图像中与矫正像素位置对应的映射像素位置；矫正像素位置表示为全景图像对应的矫正图像中像素的坐标位置。可以理解的是，映射像素位置指的是全景图像中像素的坐标位置，矫正像素位置指的是矫正图像中像素的坐标位置，两种像素的坐标位置之间具有映射关系。
[0120]
步骤s606-1，在映射像素位置的坐标值不是整数的情况下，将矫正像素位置的像素信息，更新为矫正像素位置对应的映射像素位置的像素信息，得到全景图像对应的矫正图像。
[0121]
步骤s606-2，在映射像素位置的坐标值不是整数的情况下，对映射像素位置的坐标值进行线性插值处理，得到目标像素位置；目标像素位置的坐标值为整数；根据目标像素位置的像素信息，对全景图像进行像素矫正，得到全景图像对应的矫正图像。
[0122]
可以理解的是，在步骤s606-1和步骤s606-2之前可以对全景图像中映射像素位置的坐标值是否为整数进行判断，从而根据判断结果确定执行步骤s606-1或步骤s606-2。
[0123]
上述全景图像处理方法，具有以下有益效果：对待处理的全景图像进行可变形卷积处理，得到全景图像的特征图像，能够增强卷积过程的感受野，从全景图像中提取到更多的特征信息；进而对特征图像进行回归处理，得到全景图像的图像变换信息；根据图像变换信息和全景图像的矫正像素位置，得到全景图像中与矫正像素位置对应的映射像素位置；矫正像素位置表示为全景图像对应的矫正图像中像素的坐标位置，实现了全景图像的像素位置与矫正像素位置之间的映射关系确定；根据映射像素位置的像素信息，对全景图像进行像素矫正，得到全景图像对应的矫正图像，解决了全景图像的成像畸变的问题，通过上述全景图像处理方法对待处理的全景图像进行处理，有利于提升其他模型对全景图像的处理效果，而且全景图像处理过程能够灵活的与其他模型或网络结合，适用范围较广。
[0124]
为了更清晰阐明本公开实施例提供的全景图像处理方法，以下以一个具体的实施例对该全景图像处理方法进行具体说明。在一个实施例中，提供了又一种全景图像处理方法，可以应用于如图2所示的应用环境中，具体包括如下内容：
[0125]
先通过一个卷积层对待处理的全景图像进行卷积处理，得到待处理的全景图像的采样位置偏移量，将学习到的采样位置偏移量加在原始输入的待处理的全景图像上，通过双线性插值得到待处理的全景图像的偏移图像，然后将偏移图像进行普通卷积，得到特征图像；将特征图像通过回归网络进行矩阵变换后得到图像变换矩阵；在通过可变形卷积增大了卷积核的感受野的同时，又可通过矩阵变换来提高在全景图像中不同位置、不同程度的畸变的适应性。其中，图像变换矩阵在初始的时候是恒等变换矩阵，在经历训练学习梯度更新后，图像变换矩阵会变成仿射变换矩阵，该仿射变换矩阵包含有全景图像的旋转、缩放、平移等一切线性变换信息。对全景图像的图像变换矩阵和全景图像的矫正像素位置进行矩阵运算，得到全景图像中与矫正像素位置对应的映射像素位置，最后将该映射像素位置的像素信息填充到对应的矫正像素位置的像素信息中，得到全景图像对应的矫正图像。
[0126]
在本实施例中，针对全景图片畸变这一特性，提出全景图像处理方法，可广泛用于任何模型或者网络对全景图像的图像处理之前，从而提升模型或者网络的图像处理效果，而无需对原模型或者网络进行改动，只需在对全景图像的图像处理之前运用本全景图像处理方法即可，操作方便的同时也可以带来效果的提升，适用范围广。
[0127]
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头
的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0128]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待处理的全景图像、矫正图像和目标全景图像等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种全景图像处理方法或者一种全景图像处理方法。
[0129]
本领域技术人员可以理解，图7中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0130]
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
[0131]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0132]
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0133]
需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据和图像数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
[0134]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，
不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0135]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0136]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。