图像处理方法、装置、终端设备以及可读存储介质与流程

1.本发明涉及数据处理技术领域，特别是涉及一种图像处理方法、装置、终端设备以及可读存储介质。


背景技术：

2.在视频拍摄场景中，为了使观众获得沉浸式观看体验，通常会在拍摄点的周围布设多个摄像装备，以从多方位拍摄视频。然而，这种布设方式需要较多的摄像装备，增大了摄像装备的安装、校准、调试、数据传输同步等工作量。相关技术中采用一种自由视角合成算法，利用摄像装备采集的真实图像合成未安装摄像装备的视角的虚拟视角图像，从而降低摄像装备的布设数量。然而，这种自由视角合成算法合成的虚拟视角图像会存在空洞区域(不包含有效像素)，如果直接将合成的虚拟视角图像等效为从虚拟视角采集的图像，将会限制用户的观看体验。因此，如何避免合成的虚拟视角图像存在空洞区域，成为亟待解决的问题。


技术实现要素：

3.本发明实施例的目的在于提供一种图像处理方法、装置、终端设备以及可读存储介质，可补全传统视角合成算法合成的虚拟视角图像存在的空洞区域，使得合成的虚拟视角图像更逼近虚拟视角处的真实图像。具体技术方案如下：
4.在本发明实施例的第一方面，首先提供了一种图像处理方法，所述方法包括：
5.确定距离目标视角预设范围内的多个真实视角，所述目标视角为无法采集真实图像的视角，所述真实视角为可采集真实图像的视角；
6.获得从各个所述真实视角采集的图像数据；
7.利用所述采集的图像数据合成所述目标视角的基础图像和填充图像，所述基础图像是虚拟视角图像中与所述目标视角处的实际图像相似度最高的图像，所述填充图像是所述虚拟视角图像中除所述基础图像外的其它图像，所述虚拟视角图像是利用所述采集的图像数据在所述目标视角下合成的图像；
8.以最小化所述基础图像中的无效区域为目标，利用所述填充图像中的像素值对所述无效区域进行填充，将填充后的所述基础图像作为从所述目标视角采集的图像，所述无效区域为无像素值的区域。
9.可选地，利用所述采集的图像数据合成所述目标视角的基础图像和填充图像，包括：
10.针对所述采集的图像数据中的每一帧真实图像，将各个像素点在真实视角的图像坐标系下的坐标转换为在真实视角的相机坐标系下的坐标；
11.将在真实视角的相机坐标系下的坐标转换为在世界坐标系下的坐标；
12.将在世界坐标系下的坐标转换为在所述目标视角的相机坐标系下的坐标；
13.将在所述目标视角的相机坐标系下的坐标转换为在所述目标视角的图像坐标系
下的坐标；
14.根据坐标转换后得到的多帧图像获得所述目标视角的基础图像和填充图像，一帧所述真实图像用于得到一帧坐标转换后的图像。
15.可选地，得从各个所述真实视角采集的图像数据，包括：
16.获得第一图像数据和第二图像数据，所述第一图像数据与所述目标视角处的实际图像的相似度高于所述第二图像数据与所述目标视角处的实际图像的相似度；
17.利用所述采集的图像数据合成所述目标视角的基础图像和填充图像，包括：
18.利用所述第一图像数据合成所述目标视角的基础图像；
19.利用所述第二图像数据合成所述目标视角的填充图像。
20.可选地，获得第一图像数据和第二图像数据，包括：
21.从第一真实视角获得所述第一图像数据，所述第一真实视角为所述预设范围内距离所述目标视角最近的真实视角；
22.从第二真实视角获得所述第二图像数据，所述第二真实视角为所述预设范围内除所述第一真实视角外的其它真实视角。
23.可选地，以最小化所述基础图像中的无效区域为目标，利用所述填充图像中的像素值对所述无效区域进行填充，包括：
24.获得所述无效区域中的任意一个像素点在各个所述填充图像中相应位置处的像素值；
25.剔除各个像素值中的异常像素值；
26.将剩余的各个像素值的均值确定为处理后的像素值；利用所述处理后的像素值对所述像素点进行填充；
27.获得所述无效区域中的所有像素点的处理后的像素值并完成填充，直至所述无效区域最小。
28.可选地，剔除所述各个像素值中的异常像素值，包括：
29.获得各个所述像素值在预设颜色通道下的均值，所述预设颜色通道为r通道、g通道以及b通道中的任意一者；
30.根据所述预设颜色通道下的均值，获得各个所述像素值在预设颜色通道下的标准差；
31.获得所述预设颜色通道下的均值和预设数量倍所述标准差的和值；
32.将大于所述和值的像素值确定为异常像素值，并剔除所述异常像素值。
33.在本发明实施例的第二方面，还提供了一种图像处理装置，所述装置包括：
34.确定模块，用于确定距离目标视角预设范围内的多个真实视角，所述目标视角为无法采集真实图像的视角，所述真实视角为可采集真实图像的视角；
35.获得模块，用于获得从各个所述真实视角采集的图像数据；
36.合成模块，用于利用所述采集的图像数据合成所述目标视角的基础图像和填充图像，所述基础图像是虚拟视角图像中与所述目标视角处的实际图像相似度最高的图像，所述填充图像是所述虚拟视角图像中除所述基础图像外的其它图像，所述虚拟视角图像是利用所述采集的图像数据在所述目标视角下合成的图像；
37.填充模块，用于以最小化所述基础图像中的无效区域为目标，利用所述填充图像
中的像素值对所述无效区域进行填充，将填充后的所述基础图像作为从所述目标视角采集的图像，所述无效区域为无像素值的区域。
38.可选地，所述合成模块包括：
39.第一转换子模块，用于针对所述采集的图像数据中的每一帧真实图像，将各个像素点在真实视角的图像坐标系下的坐标转换为在真实视角的相机坐标系下的坐标；
40.第二转换子模块，用于将在真实视角的相机坐标系下的坐标转换为在世界坐标系下的坐标；
41.第三转换子模块，用于将在世界坐标系下的坐标转换为在所述目标视角的相机坐标系下的坐标；
42.第四转换子模块，用于将在所述目标视角的相机坐标系下的坐标转换为在所述目标视角的图像坐标系下的坐标；
43.第一获得子模块，用于根据坐标转换后得到的多帧图像获得所述目标视角的基础图像和填充图像，一帧所述真实图像用于得到一帧坐标转换后的图像。
44.可选地，所述获得模块包括：
45.第二获得子模块，用于获得第一图像数据和第二图像数据，所述第一图像数据与所述目标视角处的实际图像的相似度高于所述第二图像数据与所述目标视角处的实际图像的相似度；
46.所述合成模块包括：
47.第一合成子模块，用于利用所述第一图像数据合成所述目标视角的基础图像；
48.第二合成子模块，用于利用所述第二图像数据合成所述目标视角的填充图像。
49.可选地，所述第二获得子模块包括：
50.第三获得子模块，用于从第一真实视角获得所述第一图像数据，所述第一真实视角为所述预设范围内距离所述目标视角最近的真实视角；
51.第四获得子模块，用于从第二真实视角获得所述第二图像数据，所述第二真实视角为所述预设范围内除所述第一真实视角外的其它真实视角。
52.可选地，所述填充模块包括：
53.第五获得子模块，用于获得所述无效区域中的任意一个像素点在各个所述填充图像中相应位置处的像素值；
54.第一剔除子模块，用于剔除各个像素值中的异常像素值；
55.确定子模块，用于将剩余的各个像素值的均值确定为处理后的像素值；
56.填充子模块，用于利用所述处理后的像素值对所述像素点进行填充；
57.第六获得子模块，用于获得所述无效区域中的所有像素点的处理后的像素值并完成填充，直至所述无效区域最小。
58.可选地，所述第一剔除子模块包括：
59.第七获得子模块，用于获得各个所述像素值在预设颜色通道下的均值，所述预设颜色通道为r通道、g通道以及b通道中的任意一者；
60.第八获得子模块，用于根据所述预设颜色通道下的均值，获得各个所述像素值在预设颜色通道下的标准差；
61.第九获得子模块，用于获得所述预设颜色通道下的均值和预设数量倍所述标准差
的和值；
62.第二剔除子模块，用于将大于所述和值的像素值确定为异常像素值，并剔除所述异常像素值。
63.在本发明实施例的第三方面，还提供了一种终端设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
64.存储器，用于存放计算机程序；
65.处理器，用于执行存储器上所存放的程序时，实现本发明实施例的第一方面所述的图像处理方法中的步骤。
66.在本发明实施例的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一所述的图像处理方法中的步骤。
67.在本发明实施的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的图像处理方法。
68.本发明实施例提供的图像处理方法，首先确定距离目标视角预设范围内的多个真实视角，其中，目标视角为无法采集真实图像的视角，真实视角为可采集真实图像的视角。然后获得从各个真实视角采集的图像数据，利用采集的图像数据合成目标视角的基础图像和填充图像。最后以最小化基础图像中的无效区域为目标，利用填充图像中的像素值对无效区域进行填充，将填充后的基础图像作为从目标视角采集的图像，无效区域为无像素值的区域。该方法可补全传统视角合成算法合成的虚拟视角图像存在的空洞区域，使得合成的虚拟视角图像更逼近虚拟视角处的真实图像，可在摄像装备的布设数量较少的情况下，达到摄像装备的布设数量较多时的拍摄效果，保证了拍摄视频的流畅性，增强了用户的观看体验。
附图说明
69.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
70.图1是本技术一实施例示出的一种实施场景示意图；
71.图2是本技术一实施例示出的另一种实施场景示意图；
72.图3是本技术一实施例示出的一种图像处理方法的流程图；
73.图4是本发明一实施例示出的一种图像处理装置的结构框图；
74.图5是本技术一实施例示出的一种终端设备的结构示意图。
具体实施方式
75.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
76.在视频拍摄场景中，为了使观众获得沉浸式观看体验，通常会在拍摄点的周围布设多个摄像装备，以从多方位拍摄视频。例如，为了对舞台上的节目进行较好拍摄，通常会在舞台周围每隔一定距离布设摄像装备。然而，这种布设方式需要较多的摄像装备，增大了摄像装备的安装、校准、调试、数据传输同步等工作量，需要耗费大量的财力和物力。
77.相关技术中的一种解决方式为：采用自由视角合成算法，从安装有摄像装备的真
实视角采集真实图像，利用该真实图像中间合成一个中间的虚拟视角图像，将该虚拟视角图像等效为从距离该真实视角较近的虚拟视角采集的图像，从而降低摄像装备的布设数量。图1是本技术一实施例示出的一种实施场景示意图。在图1中，深色阴影部分(包括：l1
‑
l3和r1
‑
r3)为安装的摄像装备，每一个摄像装备对应一个真实视角，浅色阴影部分(包括：0)为虚拟摄像装备，对应一个虚拟视角。那么可以采用自由视角合成算法，利用l1或r1采集的真实图像合成一个虚拟视角图像，将该虚拟视角图像等效为虚拟摄像装备0采集的实际视角图像。
78.然而，通过相关技术中的自由视角合成算法合成的虚拟视角图像会存在空洞现象，也即，在虚拟视角可以看到的部分，在真实视角下可能会由于被遮挡而无法看到，此时如果将真实视角处的图像投影到虚拟视角下，就会产生空洞区域(利用真实视角处的图像合成的虚拟视角图像无法完全填充到虚拟视角处的实际视角图像中，未填充的部分则为空洞区域，空洞区域即无效区域)，空洞区域如下图2中白色部分所示。图2是本技术一实施例示出的另一种实施场景示意图。因此，如果直接将合成的虚拟视角图像等效为从虚拟视角处采集的实际视角图像，将会降低用户的观看体验。
79.为解决相关技术中通过自由视角合成算法合成的虚拟视角图像存在空洞区域的问题，本技术提供了一种技术构思：除了用于合成虚拟视角图像的真实图像外，通常还存在从其它多个真实视角采集的真实图像，因此可以利用从其它多个真实视角采集的图像数据所合成的虚拟视角图像对空洞区域的像素进行补全。例如，虚拟视角为a，可以利用从真实视角b采集的真实图像合成在虚拟视角a下的虚拟视角图像，进而计算出真实视角b投影到虚拟视角a时的空洞区域mask
b
‑
a
(在本技术中，利用从真实视角采集的真实图像合成在虚拟视角下的虚拟视角图像，相当于将从真实视角采集的真实图像投影到虚拟视角下，得到的投影则为虚拟视角图像)，同理，还可以计算出真实视角c投影到虚拟视角a时的空洞区域mask
c
‑
a
。以此类推，只要真实视角的数量足够多，所有的空洞区域的并集就能为空，即所有的空洞区域都可以被有效像素覆盖。
80.下面将对本技术的图像处理方法进行详细说明。图3是本技术一实施例示出的一种图像处理方法的流程图。参照图3，本技术的图像处理方法可以包括如下步骤：
81.步骤s31：确定距离目标视角预设范围内的多个真实视角，所述目标视角为无法采集真实图像的视角，所述真实视角为可采集真实图像的视角。
82.在本实施例中，目标视角为未安装有摄像装备的虚拟视角，无法采集真实图像。
83.通常情况下，从距离目标视角较近的真实视角采集的真实图像，与目标视角处的实际图像的差异较小，因此，在步骤s31可以获得距离目标视角预设范围内的真实视角，其中，预设范围可以任意设置。
84.步骤s32：获得从各个所述真实视角采集的图像数据。
85.在确定真实视角后，可以获得从各个真实视角采集的真实图像。以图1为例，真实视角包括：摄像装备l1
‑
l3和r1
‑
r3各自对应的视角，那么可以获得摄像装备l1
‑
l3和r1
‑
r3各自采集的共6帧真实图像。
86.为便于后续各个实施例的陈述，在此特别说明，在本技术中，从单个真实视角采集一帧真实图像，单帧真实图像用于合成一帧目标视角下的虚拟视角图像。
87.步骤s33：利用所述采集的图像数据合成所述目标视角的基础图像和填充图像，所
述基础图像是虚拟视角图像中与所述目标视角处的实际图像相似度最高的图像，所述填充图像是所述虚拟视角图像中除所述基础图像外的其它图像，所述虚拟视角图像是利用所述采集的图像数据在所述目标视角下合成的图像。
88.在本实施例中，每一帧采集的图像都可以合成一帧目标视角下的虚拟视角图像，多帧采集的图像都可以合成多帧目标视角下的虚拟视角图像。基础图像是多帧虚拟视角图像中与目标视角处的实际图像相似度最高的图像，填充图像为多帧虚拟视角图像中除基础图像外的其它图像。填充图像用于对基础图像进行修正，经过填充图像修正后的基础图像基本上与从目标视角采集的实际图像无较大差异，因此可以等效为从目标视角采集的实际视角图像。
89.结合以上实施例，在一种实施方式中，利用所述采集的图像数据合成所述目标视角的基础图像和填充图像，具体可以包括如下步骤：
90.针对所述采集的图像数据中的每一帧真实图像，将各个像素点在真实视角的图像坐标系下的坐标转换为在真实视角的相机坐标系下的坐标；
91.将在真实视角的相机坐标系下的坐标转换为在世界坐标系下的坐标；
92.将在世界坐标系下的坐标转换为在所述目标视角的相机坐标系下的坐标；
93.将在所述目标视角的相机坐标系下的坐标转换为在所述目标视角的图像坐标系下的坐标；
94.根据坐标转换后得到的多帧图像获得所述目标视角的基础图像和填充图像，一帧所述真实图像用于得到一帧坐标转换后的图像。在具体实施时，可以采用自由视角合成算法合成基础图像和填充图像。下面首先介绍合成过程中的几个参数，再介绍自由视角合成算法。
95.(一)、参数
96.图像数据：i
cam
97.深度数据：d
cam
98.相机内参：f
cam
(焦距)、cx
cam
(原点x轴偏移量)、cy
cam
(原点y轴偏移量)
99.相机外参：
[0100][0101][0102]
其中，cam表示相机序号，如i
l1
为从摄像装备l1采集的图像数据。
[0103]
(二)自由视角合成算法
[0104]
利用从摄像装备l1采集的真实图像(图像的长为w、宽为h)合成虚拟摄像装备0(虚拟视角0)处的图像为例，用src表示摄像装备l1，tar表示虚拟摄像装备0，有如下步骤：
[0105]
步骤1：首先生成内参矩阵intrinsics
src
和外参矩阵extrinsics
src
：
[0106]
[0107][0108]
步骤2：假设src采集的真实图像在图像坐标系下的一点p，坐标为(u
src
，v
src
)，该点的颜色为(r，g，b)，深度为d，构成齐次坐标
[0109]
步骤3：计算点p在src相机坐标系下的坐标
[0110][0111]
步骤4：计算点p在世界坐标系下的坐标
[0112]
步骤5：将世界坐标系下的p点投影到目标视角的tar相机坐标系：
[0113]
p点在tar相机坐标系下的坐标为：
[0114]
步骤6：p点在tar图像坐标系下的坐标：
[0115]
例如，src采集的真实图像中的一点p，坐标(u
src
＝0，v
src
＝0)，则：
[0116][0117][0118]
[0119][0120]
通过计算可知：
[0121]
点p在src相机坐标系下的坐标
[0122]
点p在世界坐标系下的坐标
[0123]
点p在tar相机坐标系下的坐标
[0124]
点p在tar图像坐标系下的坐标
[0125]
按照上述步骤1－步骤6，将src采集的真实图像的每一个点投影到tar图像坐标系下，即可得到src采集的真实图像在虚拟视角o下的投影。在本实施例中，src采集的每一帧真实图像可用于投影得到一帧虚拟视角o下的投影图像。将真实图像投影到虚拟视角o的过程，相当于对真实图像中的坐标进行转换的过程，也相当于合成虚拟视角o下的虚拟视角图像的过程。
[0126]
其中，关于图像坐标系、相机坐标系以及世界坐标系的描述请参照已有技术，本实施例在此不作赘述。
[0127]
因此，在步骤s33中，可以将用于合成基础图像的真实图像投影到目标视角下，将投影作为基础图像。可以将用于合成填充图像的真实图像投影到目标视角下，将投影作为填充图像。
[0128]
当然，在具体实施时，也可采用除了上述自由视角合成算法外的其它虚拟视角图像合成算法合成基础图像和填充图像，本实施例对此不作具体限制。
[0129]
在本实施例中，基础图像的数量为一帧，填充图像的数量为至少一帧。填充图像的数量可以根据实际需求任意选取，一般地，填充图像的数量越多，对基础图像的空洞区域的补全效果越好。
[0130]
步骤s34：以最小化所述基础图像中的无效区域为目标，利用所述填充图像中的像素值对所述无效区域进行填充，将填充后的所述基础图像作为从所述目标视角采集的图像，所述无效区域为无像素值的区域。
[0131]
在本实施例中，无效区域为基础图像中的空洞区域，如图2中的空白部分所示。一帧图像是由多个像素点组成的，有效区域中的各个像素点的像素值不为空(不为空是指像素值在0～255范围内)，无效区域中的各个像素点的像素值为空(一般用－1表示为空)。因此可以利用填充图像中的有效区域的像素值对基础图像中的无效区域进行填充，直到基础图像中的无效区域达到最小，此时可以将填充后的基础图像等效为从目标视角采集的实际
图像。
[0132]
在具体实施时，可以将基础图像中的无效区域划分为多个子区域，针对每一个子区域，从多个填充图像中获得相应位置的有效区域，再对获得的多个有效区域进行处理，获得综合区域，最后利用该综合区域中的像素值对子区域进行填充。其中，多个子区域的划分方式和综合区域的获得方式可采用任意方式实现，本实施例对此不作具体限制。
[0133]
通过本实施例，首先确定距离目标视角预设范围内的多个真实视角，其中，目标视角为无法采集真实图像的视角，真实视角为可采集真实图像的视角。然后获得从各个真实视角采集的图像数据，利用采集的图像数据合成目标视角的基础图像和填充图像。最后以最小化基础图像中的无效区域为目标，利用填充图像中的像素值对无效区域进行填充，将填充后的基础图像作为从目标视角采集的图像，无效区域为无像素值的区域。该方法可补全传统视角合成算法合成的虚拟视角图像存在的空洞区域，使得合成的虚拟视角图像更逼近虚拟视角处的真实图像，可在摄像装备的布设数量较少的情况下，达到摄像装备的布设数量较多时的拍摄效果，保证了拍摄视频的流畅性，增强了用户的观看体验。
[0134]
结合以上实施例，在一种实施方式中，获得从各个所述真实视角采集的图像数据，包括：
[0135]
获得第一图像数据和第二图像数据，所述第一图像数据与所述目标视角处的实际图像的相似度高于所述第二图像数据与所述目标视角处的实际图像的相似度。
[0136]
在此基础上，利用所述采集的图像数据合成所述目标视角的基础图像和填充图像，包括：
[0137]
利用所述第一图像数据合成所述目标视角的基础图像；
[0138]
利用所述第二图像数据合成所述目标视角的填充图像。
[0139]
在本实施例中，可以将采集的真实图像中与目标视角处的实际图像相似度最高的图像作为第一图像数据，将所有所有真实图像中除了第一图像数据外的其它真实图像作为第二图像数据。
[0140]
在本实施例中，由于第一图像数据与目标视角处的实际视角图像差异较小，因此，如果利用第一图像数据来合成基础图像，可以缩小空洞区域的范围，降低后续对空洞区域的调整量。
[0141]
在获得第一图像数据后，可以利用第一图像数据合成目标视角的基础图像，合成方法可采用前文所述的自由视角合成算法，也可以采用除了上述自由视角合成算法外的其它虚拟视角图像合成算法。
[0142]
在获得第二图像数据后，可以利用第二图像数据合成目标视角的填充图像，合成方法可采用前文所述的自由视角合成算法，也可以采用除了上述自由视角合成算法外的其它虚拟视角图像合成算法。
[0143]
在本实施例中，第一图像数据可以只包含一帧真实图像，也可以包含多帧真实图像。如果只包含一帧真实图像，可以利用该真实图像合成的虚拟视角图像作为基础图像。如果包含多帧真实图像，可以利用与目标视角处的实际图像相似度高的真实图像合成的虚拟视角图像作为初始图像，然后利用第一图像数据包含的其它真实图像所合成的虚拟视角图像对初始图像进行修正，将修正后的初始图像作为基础图像。
[0144]
在本实施例中，利用与目标视角处的实际图像相似度最高的真实图像来合成基础
图像，可以缩小空洞区域的范围，降低后续对空洞区域的调整量。
[0145]
结合以上实施例，在一种实施方式中，一个真实视角距离目标视角越近，表示从该真实视角处采集的真实图像与目标视角处的实际图像相似度越高，一个真实视角距离目标视角越远，表示从该真实视角处采集的真实图像与目标视角处的实际图像相似度越低。因此，可以通过真实视角与目标视角之间的距离来获得第一图像数据和第二图像数据。
[0146]
具体地，获得第一图像数据和第二图像数据，具体可以包括：
[0147]
从第一真实视角获得所述第一图像数据，所述第一真实视角为所述预设范围内距离所述目标视角最近的真实视角；
[0148]
从第二真实视角获得所述第二图像数据，所述第二真实视角为所述预设范围内除所述第一真实视角外的其它真实视角。
[0149]
在本实施例中，可以直接将预设范围内距离目标视角最近的真实视角确定为第一真实视角，并利用从该第一真实视角采集的真实图像合成基础图像。示例地，在图1中，由于摄像装备l1或摄像装备r1与虚拟摄像装备o之间的距离最近，因此可以将摄像装备l1对应的视角或摄像装备r1对应的视角确定为第一真实视角。
[0150]
在本实施例中，视角之间的距离是指：视角对应的摄像装备(包括：真实的摄像装备和虚拟摄像装备)之间的距离。
[0151]
在本实施例中，可以直接将预设范围内除第一真实视角外的其它真实视角确定为第二真实视角，并利用从各个第二真实视角采集的真实图像合成填充图像。示例地，在图1中，如果将摄像装备l1对应的视角确定为第一真实视角，那么可以将摄像装备l2－l3和r1－r3对应的视角确定为第二真实视角。
[0152]
在本实施例中，可直接根据目标视角与各个真实视角之间的距离来获得第一图像数据和第二图像数据，能显著加快图像处理效率。
[0153]
结合以上实施例，在一种实施方式中，本技术还提供了一种利用填充图像中的像素值对无效区域进行填充的方法。具体地，以最小化所述基础图像中的无效区域为目标，利用所述填充图像中的像素值对所述无效区域进行填充，可以包括如下步骤：
[0154]
获得所述无效区域中的任意一个像素点在各个所述第二图像数据中相应位置处的像素值；
[0155]
剔除各个像素值中的异常像素值；
[0156]
将剩余的各个像素值的均值确定为处理后的像素值；利用所述处理后的像素值对所述像素点进行填充；
[0157]
获得所述无效区域中的所有像素点的处理后的像素值并完成填充，直至所述无效区域最小。
[0158]
在本实施例中，可以以像素点为单位，对无效区域进行像素填充，当无效区域的每一个像素点都填充完毕后，该无效区域填充完成。假设无效区域为m，m为无效区域为m中的一个像素点，填充图像有n帧(填充图像1、填充图像2、
……
填充图像n)，可通过如下步骤完成像素点m的像素填充：
[0159]
step1：在填充图像1
‑
填充图像n中分别找到像素点m的对应位置(根据前文步骤s33中的自由视角合成算法，每一个真实图像中的一点p都可以获得在目标视角处的图像坐标系下的坐标，因此，像素点m可以在填充图像1
‑
填充图像n中找到对应位置)。
[0160]
step2：如果某个找到的位置处的像素值不为空，将该像素值放到候选像素值集合color
m
中。
[0161]
step3：剔除候选像素值集合color
m
中的异常像素值，将color
m
中剩余的各个像素值的均值确定为处理后的像素值。
[0162]
step4：将理后的像素值作为m点的像素值填充到像素点m。
[0163]
按照上述step1
‑
step4，计算完m中的每一个像素点并完成填充，直至无效区域m的范围最小。
[0164]
其中，在step1中，可采用任意方式在填充图像中找到像素点m的对应位置，本实施例对此不作具体限制。
[0165]
具体地，在一种实施方式中，剔除所述各个像素值中的异常像素值，可以包括：
[0166]
获得各个所述像素值在预设颜色通道下的均值，所述预设颜色通道为r通道、g通道以及b通道中的任意一者；
[0167]
获得各个像素值与对应均值的差值；
[0168]
将差值大于预设差值的像素值确定为异常像素值。
[0169]
一般地，在多个值中，如果某个值与均值差距较大，那么可以确定该值为异常值。因此，在本实施例中，可以将与均值之间差距较大的像素值确定为异常像素值。其中，差距的大小可以使用预设差值来衡量，预设差值可以根据经验值设定，本实施例对预设差值的设置不作具体限定。
[0170]
在具体实施时，针对无效区域中的某一个像素点m，在获得其在各个填充图像中相应位置处的像素值后，接着获得这些像素值在预设颜色通道下的均值，然后针对这些像素值中的每一个像素值，获得其与均值之间的差值，如果差值大于预设差值，那么可以确定该像素值为异常像素值。
[0171]
结合以上实施例，在一种实施方式中，预设差值可以设置为预设数量倍标准差，在此基础上，剔除所述各个像素值中的异常像素值的方法，具体可以包括：
[0172]
获得各个所述像素值在预设颜色通道下的均值，所述预设颜色通道为r通道、g通道以及b通道中的任意一者；
[0173]
根据所述预设颜色通道下的均值，获得各个所述像素值在预设颜色通道下的标准差；
[0174]
获得所述预设颜色通道下的均值和预设数量倍所述标准差的和值；
[0175]
将大于所述和值的像素值确定为异常像素值，并剔除所述异常像素值。
[0176]
在本实施例中，预设数量可以根据实际需求设置，例如按照经验可以取值为3。在具体实施时，可以从rgb颜色通道上分别进行剔除，只要有一个通道满足剔除条件，那么这个像素值就会被认定为异常像素值并被从候选像素值集合color
m
中剔除。
[0177]
以r通道为例，预设数量为3时，剔除条件可以为：
[0178]
[0179][0180]
如果则c
i
为异样像素值，应当从候选像素值集合color
m
中剔除。其中，avg
r
表示各个像素值在r通道下的均值，σ
r
表示各个像素值在r通道下的标准差。
[0181]
以g通道为例，预设数量为3时，剔除条件可以为：
[0182][0183][0184]
如果则c
i
为异样像素值，应当从候选像素值集合color
m
中剔除。其中，avg
g
表示各个像素值在g通道下的均值，σ
g
表示各个像素值在g通道下的标准差。
[0185]
以b通道为例，预设数量为3时，剔除条件可以为：
[0186][0187][0188]
如果则c
i
为异样像素值，应当从候选像素值集合color
m
中剔除。其中，avg
b
表示各个像素值在b通道下的均值，σ
b
表示各个像素值在b通道下的标准差。
[0189]
在完成剔除后，可以将候选像素值集合color
m
中剩余的像素值求取均值，作为处理后的像素值。
[0190]
结合以上实施例，在一种实施方式中，本技术还提供了一种识别出无效区域的方法，该方法可以包括：
[0191]
确定目标视角在图像坐标系的尺寸范围；
[0192]
获得基础图像在图像坐标系下的坐标；
[0193]
将确定的坐标中落在尺寸范围内的区域作为有效区域；
[0194]
将尺寸范围内除有效区域外的其它区域作为无效区域。
[0195]
在本实施例中，不同视角在图像坐标系中对应的尺寸范围不同，可以预先设置目标视角在图像坐标系的尺寸范围。在获得基础图像后，可以将基础图像中各个像素点的坐标转换到图像坐标系下。转换后，坐标落在尺寸范围内那些像素点组成了有效区域。尺寸范围内除有效区域外的其它区域则为无效区域。下面将以一个具体实施例，对本技术的图像处理方法进行详细说明。在该实施例中，设定目标视角为a，已知b，c、
…
等n个真实相机视角。
[0196]
那么可执行以下步骤：
[0197]
步骤1’：首先确定一个距离a视角最近的视角(例如视角b)进行投影，合成视角a的基础图像，并计算空洞区域。该步骤主要确定非空洞区域的像素值，这些像素值固定不变，除了非空洞区域，其它部分区域为空洞区域m。确定出空洞区域m，接下来的目标是将m中的像素填满。
[0198]
步骤2’将除b视角以外的所有视角投影到a视角，合成n
‑
1个虚拟视角图像。
[0199]
步骤3’：假设m为空洞区域m中的一个像素点，在n
‑
1个虚拟视角图像中找到像素点m的对应位置的像素值，如果该位置的像素值不为空，将该点的像素值放入m的候选像素值集合color
m
中。
[0200]
步骤4’将候选像素值集合color
m
中的各个像素值进行rgb颜色通道上剔除处理，求取剩余像素值的均值，将该均值填充到空洞区域m中的像素点m处。
[0201]
步骤5’：重复步骤3
’‑
步骤4’，直到计算完所有m中的点。
[0202]
通过本技术的图像处理方法，可补全传统视角合成算法合成的虚拟视角图像存在的空洞区域，使得合成的虚拟视角图像更逼近虚拟视角处的真实图像，可在摄像装备的布设数量较少的情况下，达到摄像装备的布设数量较多时的拍摄效果，保证了拍摄视频的流畅性，增强了用户的观看体验。
[0203]
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
[0204]
基于同一发明构思，本发明一实施例提供一种图像处理装置400。参考图4，图4是本发明一实施例示出的一种图像处理装置的结构框图。如图4所示，该装置400包括：
[0205]
确定模块401，用于确定距离目标视角预设范围内的多个真实视角，所述目标视角为无法采集真实图像的视角，所述真实视角为可采集真实图像的视角；
[0206]
获得模块402，用于获得从各个所述真实视角采集的图像数据；
[0207]
合成模块403，用于利用所述采集的图像数据合成所述目标视角的基础图像和填充图像，所述基础图像是虚拟视角图像中与所述目标视角处的实际图像相似度最高的图像，所述填充图像是所述虚拟视角图像中除所述基础图像外的其它图像，所述虚拟视角图像是利用所述采集的图像数据在所述目标视角下合成的图像；
[0208]
填充模块404，用于以最小化所述基础图像中的无效区域为目标，利用所述填充图像中的像素值对所述无效区域进行填充，将填充后的所述基础图像作为从所述目标视角采集的图像，所述无效区域为无像素值的区域。
[0209]
所述合成模块403包括：
[0210]
第一转换子模块，用于针对所述采集的图像数据中的每一帧真实图像，将各个像素点在真实视角的图像坐标系下的坐标转换为在真实视角的相机坐标系下的坐标；
[0211]
第二转换子模块，用于将在真实视角的相机坐标系下的坐标转换为在世界坐标系下的坐标；
[0212]
第三转换子模块，用于将在世界坐标系下的坐标转换为在所述目标视角的相机坐
标系下的坐标；
[0213]
第四转换子模块，用于将在所述目标视角的相机坐标系下的坐标转换为在所述目标视角的图像坐标系下的坐标；
[0214]
第一获得子模块，用于根据坐标转换后得到的多帧图像获得所述目标视角的基础图像和填充图像，一帧所述真实图像用于得到一帧坐标转换后的图像。
[0215]
可选地，所述获得模块402包括：
[0216]
第二获得子模块，用于获得第一图像数据和第二图像数据，所述第一图像数据与所述目标视角处的实际图像的相似度高于所述第二图像数据与所述目标视角处的实际图像的相似度；
[0217]
所述合成模块403包括：
[0218]
第一合成子模块，用于利用所述第一图像数据合成所述目标视角的基础图像；
[0219]
第二合成子模块，用于利用所述第二图像数据合成所述目标视角的填充图像。
[0220]
可选地，所述第二获得子模块包括：
[0221]
第三获得子模块，用于从第一真实视角获得所述第一图像数据，所述第一真实视角为所述预设范围内距离所述目标视角最近的真实视角；
[0222]
第四获得子模块，用于从第二真实视角获得所述第二图像数据，所述第二真实视角为所述预设范围内除所述第一真实视角外的其它真实视角。
[0223]
可选地，所述填充模块404包括：
[0224]
第五获得子模块，用于获得所述无效区域中的任意一个像素点在各个所述填充图像中相应位置处的像素值；
[0225]
第一剔除子模块，用于剔除各个像素值中的异常像素值；
[0226]
确定子模块，用于将剩余的各个像素值的均值确定为处理后的像素值；
[0227]
填充子模块，用于利用所述处理后的像素值对所述像素点进行填充；
[0228]
第六获得子模块，用于获得所述无效区域中的所有像素点的处理后的像素值并完成填充，直至所述无效区域最小。
[0229]
可选地，所述第一剔除子模块包括：
[0230]
第七获得子模块，用于获得各个所述像素值在预设颜色通道下的均值，所述预设颜色通道为r通道、g通道以及b通道中的任意一者；
[0231]
第八获得子模块，用于根据所述预设颜色通道下的均值，获得各个所述像素值在预设颜色通道下的标准差；
[0232]
第九获得子模块，用于获得所述预设颜色通道下的均值和预设数量倍所述标准差的和值；
[0233]
第二剔除子模块，用于将大于所述和值的像素值确定为异常像素值，并剔除所述异常像素值。本发明实施例还提供了一种终端设备，如图5所示。图5是本技术一实施例示出的一种终端设备的结构示意图。参照图5，终端设备包括处理器51、通信接口52、存储器53和通信总线54，其中，处理器51，通信接口52，存储器53通过通信总线54完成相互间的通信；
[0234]
存储器53，用于存放计算机程序；
[0235]
处理器51，用于执行存储器53上所存放的程序时，实现如下步骤：
[0236]
确定距离目标视角预设范围内的多个真实视角，所述目标视角为无法采集真实图
像的视角，所述真实视角为可采集真实图像的视角；
[0237]
获得从各个所述真实视角采集的图像数据；
[0238]
利用所述采集的图像数据合成所述目标视角的基础图像和填充图像，所述基础图像为与所述目标视角处的实际图像相似度最高的图像，所述填充图像用于对所述基础图像进行修正；
[0239]
以最小化所述基础图像中的无效区域为目标，利用所述填充图像中的像素值对所述无效区域进行填充，将填充后的所述基础图像作为从所述目标视角采集的图像，所述无效区域为无像素值的区域。
[0240]
或者处理器51在执行存储器53上所存放的程序时，实现上述其他方法实施例中的步骤。
[0241]
上述终端提到的通信总线可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0242]
通信接口用于上述终端与其他设备之间的通信。
[0243]
存储器可以包括随机存取存储器(random access memory，简称ram)，也可以包括非易失性存储器(non－volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0244]
上述的处理器可以是通用处理器，包括中央处理器(centra lprocessing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digita lsigna lprocessing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field－programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0245]
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的网页显示方法。
[0246]
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的网页显示方法。
[0247]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘
solid state disk(ssd))等。
[0248]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0249]
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0250]
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。