图像处理方法、人脸识别方法、装置、设备及存储介质与流程

1.本技术涉及计算机视觉领域，特别涉及一种图像处理方法、人脸识别方法、装置、设备及存储介质。


背景技术：

2.在人脸识别技术中，会采用人脸的彩色图、红外图以及深度图来进行人脸识别。使用彩色图来进行人脸优选、对比识别，使用深度图来进行活体检测、辅助对比识别，使用红外图来进行活体检测。在进行人脸识别时需要将彩色图、深度图和红外图进行空间对齐。
3.由于彩色图、红外图分辨率较高，深度图分辨率较低，在进行三图对齐时，相关技术中，会将彩色图、红外图下采样到深度图的分辨率，以使三图的分辨率一致，进而进行三图对齐。
4.相关技术中的方法对彩色图、红外图进行下采样，会损失图像的分辨率精度和视场角(field of view，fov)。


技术实现要素：

5.本技术实施例提供了一种图像处理方法、人脸识别方法、装置、设备及存储介质，可以对深度图像进行上采样，保证图像对齐后的图像分辨率精度和fov。所述技术方案如下。
6.根据本技术的一方面，提供了一种图像处理方法，所述方法包括：
7.基于彩色图进行纹理结构图生成得到彩色纹理结构图，基于深度图进行纹理结构图生成得到深度纹理结构图，所述彩色图和所述深度图为同一画面的两种图像；
8.基于所述深度纹理结构图中像素间的邻接关系，以及所述深度纹理结构图中的像素和所述彩色纹理结构图中的像素的位置对应关系，获取所述深度图中像素的区域结构权重；
9.基于所述区域结构权重对所述深度图进行上采样得到上采样深度图。
10.在一种可选的实施例中，所述基于所述深度纹理结构图中像素间的邻接关系，以及所述深度纹理结构图中的像素和所述彩色纹理结构图中的像素的位置对应关系，获取所述深度图中像素的区域结构权重，包括：
11.计算邻接势能与关联势能之和得到势能函数，所述邻接势能是基于所述深度纹理结构图中像素的邻接权重计算得到的，所述关联势能是基于所述深度纹理结构图和所述彩色纹理结构图中具有所述对应关系的像素的关联权重计算得到的；
12.调整训练所述邻接权重和所述关联权重使所述势能函数满足训练停止条件；
13.将所述势能函数在取最小值时的所述邻接权重，确定为所述深度图中像素的所述区域结构权重。
14.在一种可选的实施例中，所述深度纹理结构图和所述彩色纹理结构图分别包括位置相同的n个像素，n为正整数；
15.所述计算邻接势能与关联势能之和得到势能函数，包括：
16.获取所述深度纹理结构图中所述n个像素的n个初始的所述邻接权重；计算所述深度纹理结构图中所述n个像素的高斯分布函数与所述邻接权重的加权和，得到所述邻接势能；
17.获取所述深度纹理结构图与所述彩色纹理结构图之间所述n个像素对应的n个初始的所述关联权重；计算所述深度纹理结构图和所述彩色纹理结构图中所述n个像素的多元高斯分布函数与所述关联权重的加权和，得到所述关联势能；
18.计算所述邻接势能与所述关联势能之和，得到所述势能函数。
19.在一种可选的实施例中，训练停止条件包括：所述势能函数小于阈值时停止训练、训练次数达到阈值时停止训练中的至少一种。
20.在一种可选的实施例中，所述方法还包括：
21.重复执行所述基于所述深度纹理结构图中像素间的邻接关系，以及所述深度纹理结构图中的像素和所述彩色纹理结构图中的像素的位置对应关系，获取所述深度图中像素的区域结构权重的步骤，得到所述深度图中像素的至少两个区域结构权重；
22.计算所述至少两个区域结构权重的加权平均，得到加权平均后的所述区域结构权重；
23.所述基于所述区域结构权重对所述深度图进行上采样得到上采样深度图，包括：
24.基于加权平均后的所述区域结构权重，对所述深度图进行上采样得到所述上采样深度图。
25.在一种可选的实施例中，所述方法还包括：
26.对原始彩色图进行下采样得到所述彩色图，所述原始彩色图的分辨率高于所述深度图的分辨率，所述彩色图的分辨率等于所述深度图的分辨率。
27.在一种可选的实施例中，所述深度图包括整像素点，所述上采样深度图包括所述整像素点和亚像素点；
28.所述基于所述区域结构权重对所述深度图进行上采样得到上采样深度图，包括：
29.基于所述亚像素点的坐标、与所述亚像素点距离最近的四个整像素点的深度值、与所述亚像素点距离最近的四个整像素点分别对应的所述区域结构权重，计算所述亚像素点的目标深度值；
30.基于所述整像素的深度值和所述亚像素点的所述目标深度值生成所述深度图像的所述上采样深度图。
31.在一种可选的实施例中，所述区域结构权重包括二元一次方程的三个系数；
32.所述基于所述亚像素点的坐标、与所述亚像素点距离最近的四个整像素点的深度值、与所述亚像素点距离最近的四个整像素点分别对应的所述区域结构权重，计算所述亚像素点的目标深度值，包括：
33.获取所述亚像素点相对于所述四个整像素点中的第i个整像素点的第i个坐标，i为不大于4的正整数；
34.将所述第i个坐标代入所述第i个整像素点对应的第i个区域结构权重，得到第i个区域结构权重值；
35.计算所述第i个区域结构权重值与所述第i个整像素点的深度值的乘积，得到第i
个加数；
36.重复上述步骤，得到所述四个整像素点分别对应的四个加数；
37.将所述四个加数之和确定为所述亚像素点的所述目标深度值。
38.根据本技术的另一方面，提供了一种人脸识别方法，所述方法包括：
39.基于人脸图像的彩色图进行纹理结构图生成得到彩色纹理结构图，基于所述人脸图像的深度图进行纹理结构图生成得到深度纹理结构图；
40.基于所述深度纹理结构图中像素间的邻接关系，以及所述深度纹理结构图中的像素和所述彩色纹理结构图中的像素的位置对应关系，获取所述深度图中像素的区域结构权重；
41.基于所述区域结构权重对所述深度图进行上采样得到上采样深度图；
42.基于所述彩色图和所述上采样深度图进行人脸识别。
43.在一种可选的实施例中，所述基于所述深度纹理结构图中像素间的邻接关系，以及所述深度纹理结构图中的像素和所述彩色纹理结构图中的像素的位置对应关系，获取所述深度图中像素的区域结构权重，包括：
44.计算邻接势能与关联势能之和得到势能函数，所述邻接势能是基于所述深度纹理结构图中像素的邻接权重计算得到的，所述关联势能是基于所述深度纹理结构图和所述彩色纹理结构图中具有所述对应关系的像素的关联权重计算得到的；
45.调整训练所述邻接权重和所述关联权重使所述势能函数满足训练停止条件；
46.将所述势能函数在取最小值时的所述邻接权重，确定为所述深度图中像素的所述区域结构权重。
47.在一种可选的实施例中，所述深度纹理结构图和所述彩色纹理结构图分别包括位置相同的n个像素，n为正整数；
48.所述计算邻接势能与关联势能之和得到势能函数，包括：
49.获取所述深度纹理结构图中所述n个像素的n个初始的所述邻接权重；计算所述深度纹理结构图中所述n个像素的高斯分布函数与所述邻接权重的加权和，得到所述邻接势能；
50.获取所述深度纹理结构图与所述彩色纹理结构图之间所述n个像素对应的n个初始的所述关联权重；计算所述深度纹理结构图和所述彩色纹理结构图中所述n个像素的多元高斯分布函数与所述关联权重的加权和，得到所述关联势能；
51.计算所述邻接势能与所述关联势能之和，得到所述势能函数。
52.在一种可选的实施例中，训练停止条件包括：所述势能函数小于阈值时停止训练、训练次数达到阈值时停止训练中的至少一种。
53.在一种可选的实施例中，所述方法还包括：
54.重复执行所述基于所述深度纹理结构图中像素间的邻接关系，以及所述深度纹理结构图中的像素和所述彩色纹理结构图中的像素的位置对应关系，获取所述深度图中像素的区域结构权重的步骤，得到所述深度图中像素的至少两个区域结构权重；
55.计算所述至少两个区域结构权重的加权平均，得到加权平均后的所述区域结构权重；
56.所述基于所述区域结构权重对所述深度图进行上采样得到上采样深度图，包括：
57.基于加权平均后的所述区域结构权重，对所述深度图进行上采样得到所述上采样深度图。
58.在一种可选的实施例中，所述方法还包括：
59.对原始彩色图进行下采样得到所述彩色图，所述原始彩色图的分辨率高于所述深度图的分辨率，所述彩色图的分辨率等于所述深度图的分辨率。
60.在一种可选的实施例中，所述深度图包括整像素点，所述上采样深度图包括所述整像素点和亚像素点；
61.所述基于所述区域结构权重对所述深度图进行上采样得到上采样深度图，包括：
62.基于所述亚像素点的坐标、与所述亚像素点距离最近的四个整像素点的深度值、与所述亚像素点距离最近的四个整像素点分别对应的所述区域结构权重，计算所述亚像素点的目标深度值；
63.基于所述整像素的深度值和所述亚像素点的所述目标深度值生成所述深度图像的所述上采样深度图。
64.在一种可选的实施例中，所述区域结构权重包括二元一次方程的三个系数；
65.所述基于所述亚像素点的坐标、与所述亚像素点距离最近的四个整像素点的深度值、与所述亚像素点距离最近的四个整像素点分别对应的所述区域结构权重，计算所述亚像素点的目标深度值，包括：
66.获取所述亚像素点相对于所述四个整像素点中的第i个整像素点的第i个坐标，i为不大于4的正整数；
67.将所述第i个坐标代入所述第i个整像素点对应的第i个区域结构权重，得到第i个区域结构权重值；
68.计算所述第i个区域结构权重值与所述第i个整像素点的深度值的乘积，得到第i个加数；
69.重复上述步骤，得到所述四个整像素点分别对应的四个加数；
70.将所述四个加数之和确定为所述亚像素点的所述目标深度值。
71.根据本技术的另一方面，提供了一种图像处理装置，所述装置包括：
72.第一纹理模块，用于基于彩色图进行纹理结构图生成得到彩色纹理结构图，基于深度图进行纹理结构图生成得到深度纹理结构图，所述彩色图和所述深度图为同一画面的两种图像；
73.第一权重模块，用于基于所述深度纹理结构图中像素间的邻接关系，以及所述深度纹理结构图中的像素和所述彩色纹理结构图中的像素的位置对应关系，获取所述深度图中像素的区域结构权重；
74.第一上采样模块，用于基于所述区域结构权重对所述深度图进行上采样得到上采样深度图。
75.在一种可选的实施例中，第一权重模块，用于计算邻接势能与关联势能之和得到势能函数，所述邻接势能是基于所述深度纹理结构图中像素的邻接权重计算得到的，所述关联势能是基于所述深度纹理结构图和所述彩色纹理结构图中具有所述对应关系的像素的关联权重计算得到的；
76.第一权重模块，用于调整训练所述邻接权重和所述关联权重使所述势能函数满足
训练停止条件；
77.第一权重模块，用于将所述势能函数在取最小值时的所述邻接权重，确定为所述深度图中像素的所述区域结构权重。
78.在一种可选的实施例中，所述深度纹理结构图和所述彩色纹理结构图分别包括位置相同的n个像素，n为正整数；
79.第一权重模块，用于获取所述深度纹理结构图中所述n个像素的n个初始的所述邻接权重；计算所述深度纹理结构图中所述n个像素的高斯分布函数与所述邻接权重的加权和，得到所述邻接势能；
80.第一权重模块，用于获取所述深度纹理结构图与所述彩色纹理结构图之间所述n个像素对应的n个初始的所述关联权重；计算所述深度纹理结构图和所述彩色纹理结构图中所述n个像素的多元高斯分布函数与所述关联权重的加权和，得到所述关联势能；
81.第一权重模块，用于计算所述邻接势能与所述关联势能之和，得到所述势能函数。
82.在一种可选的实施例中，训练停止条件包括：所述势能函数小于阈值时停止训练、训练次数达到阈值时停止训练中的至少一种。
83.在一种可选的实施例中，第一权重模块，用于重复执行所述基于所述深度纹理结构图中像素间的邻接关系，以及所述深度纹理结构图中的像素和所述彩色纹理结构图中的像素的位置对应关系，获取所述深度图中像素的区域结构权重的步骤，得到所述深度图中像素的至少两个区域结构权重；
84.第一权重模块，用于计算所述至少两个区域结构权重的加权平均，得到加权平均后的所述区域结构权重；
85.第一上采样模块，用于基于加权平均后的所述区域结构权重，对所述深度图进行上采样得到所述上采样深度图。
86.在一种可选的实施例中，所述装置还包括：
87.第一下采样模块，用于对原始彩色图进行下采样得到所述彩色图，所述原始彩色图的分辨率高于所述深度图的分辨率，所述彩色图的分辨率等于所述深度图的分辨率。
88.在一种可选的实施例中，所述深度图包括整像素点，所述上采样深度图包括所述整像素点和亚像素点；
89.第一上采样模块，用于基于所述亚像素点的坐标、与所述亚像素点距离最近的四个整像素点的深度值、与所述亚像素点距离最近的四个整像素点分别对应的所述区域结构权重，计算所述亚像素点的目标深度值；
90.第一上采样模块，用于基于所述整像素的深度值和所述亚像素点的所述目标深度值生成所述深度图像的所述上采样深度图。
91.在一种可选的实施例中，所述区域结构权重包括二元一次方程的三个系数；
92.第一上采样模块，用于获取所述亚像素点相对于所述四个整像素点中的第i个整像素点的第i个坐标，i为不大于4的正整数；
93.第一上采样模块，用于将所述第i个坐标代入所述第i个整像素点对应的第i个区域结构权重，得到第i个区域结构权重值；
94.第一上采样模块，用于计算所述第i个区域结构权重值与所述第i个整像素点的深度值的乘积，得到第i个加数；
95.第一上采样模块，用于重复上述步骤，得到所述四个整像素点分别对应的四个加数；
96.第一上采样模块，用于将所述四个加数之和确定为所述亚像素点的所述目标深度值。
97.根据本技术的另一方面，提供了一种人脸识别装置，所述装置包括：
98.第二纹理模块，用于基于人脸图像的彩色图进行纹理结构图生成得到彩色纹理结构图，基于所述人脸图像的深度图进行纹理结构图生成得到深度纹理结构图；
99.第二权重模块，用于基于所述深度纹理结构图中像素间的邻接关系，以及所述深度纹理结构图中的像素和所述彩色纹理结构图中的像素的位置对应关系，获取所述深度图中像素的区域结构权重；
100.第二上采样模块，用于基于所述区域结构权重对所述深度图进行上采样得到上采样深度图；
101.识别模块，用于基于所述彩色图和所述上采样深度图进行人脸识别。
102.在一种可选的实施例中，第二权重模块，用于计算邻接势能与关联势能之和得到势能函数，所述邻接势能是基于所述深度纹理结构图中像素的邻接权重计算得到的，所述关联势能是基于所述深度纹理结构图和所述彩色纹理结构图中具有所述对应关系的像素的关联权重计算得到的；
103.第二权重模块，用于调整训练所述邻接权重和所述关联权重使所述势能函数满足训练停止条件；
104.第二权重模块，用于将所述势能函数在取最小值时的所述邻接权重，确定为所述深度图中像素的所述区域结构权重。
105.在一种可选的实施例中，所述深度纹理结构图和所述彩色纹理结构图分别包括位置相同的n个像素，n为正整数；
106.第二权重模块，用于获取所述深度纹理结构图中所述n个像素的n个初始的所述邻接权重；计算所述深度纹理结构图中所述n个像素的高斯分布函数与所述邻接权重的加权和，得到所述邻接势能；
107.第二权重模块，用于获取所述深度纹理结构图与所述彩色纹理结构图之间所述n个像素对应的n个初始的所述关联权重；计算所述深度纹理结构图和所述彩色纹理结构图中所述n个像素的多元高斯分布函数与所述关联权重的加权和，得到所述关联势能；
108.第二权重模块，用于计算所述邻接势能与所述关联势能之和，得到所述势能函数。
109.在一种可选的实施例中，训练停止条件包括：所述势能函数小于阈值时停止训练、训练次数达到阈值时停止训练中的至少一种。
110.在一种可选的实施例中，第二权重模块，用于重复执行所述基于所述深度纹理结构图中像素间的邻接关系，以及所述深度纹理结构图中的像素和所述彩色纹理结构图中的像素的位置对应关系，获取所述深度图中像素的区域结构权重的步骤，得到所述深度图中像素的至少两个区域结构权重；
111.第二权重模块，用于计算所述至少两个区域结构权重的加权平均，得到加权平均后的所述区域结构权重；
112.第二上采样模块，用于基于加权平均后的所述区域结构权重，对所述深度图进行
上采样得到所述上采样深度图。
113.在一种可选的实施例中，所述装置还包括：
114.第二下采样模块，用于对原始彩色图进行下采样得到所述彩色图，所述原始彩色图的分辨率高于所述深度图的分辨率，所述彩色图的分辨率等于所述深度图的分辨率。
115.在一种可选的实施例中，所述深度图包括整像素点，所述上采样深度图包括所述整像素点和亚像素点；
116.第二上采样模块，用于基于所述亚像素点的坐标、与所述亚像素点距离最近的四个整像素点的深度值、与所述亚像素点距离最近的四个整像素点分别对应的所述区域结构权重，计算所述亚像素点的目标深度值；
117.第二上采样模块，用于基于所述整像素的深度值和所述亚像素点的所述目标深度值生成所述深度图像的所述上采样深度图。
118.在一种可选的实施例中，所述区域结构权重包括二元一次方程的三个系数；
119.第二上采样模块，用于获取所述亚像素点相对于所述四个整像素点中的第i个整像素点的第i个坐标，i为不大于4的正整数；
120.第二上采样模块，用于将所述第i个坐标代入所述第i个整像素点对应的第i个区域结构权重，得到第i个区域结构权重值；
121.第二上采样模块，用于计算所述第i个区域结构权重值与所述第i个整像素点的深度值的乘积，得到第i个加数；
122.第二上采样模块，用于重复上述步骤，得到所述四个整像素点分别对应的四个加数；
123.第二上采样模块，用于将所述四个加数之和确定为所述亚像素点的所述目标深度值。
124.根据本技术的另一方面，提供了一种计算机设备，所述计算机设备包括：处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上方面所述的图像处理方法和/或人脸识别方法。
125.根据本技术的另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上方面所述的图像处理方法和/或人脸识别方法。
126.根据本公开实施例的另一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述可选实现方式中提供的图像处理方法和/或人脸识别方法。
127.本技术实施例提供的技术方案带来的有益效果至少包括：
128.通过使用彩色图和深度图的纹理图，基于彩色图和深度图具有相同的纹理图案的特性，以及深度图中相邻像素点具有关联性的特性，计算深度图中各个像素店的区域结构权重，利用区域结构权重对深度图进行上采样，从而实现对深度图的上采样。在彩色图分辨
率较高、深度图分辨率较低的场景中，可以将深度图上采样至与彩色图相同分辨率，以使深度图适应彩色图，降低图像对齐后的分辨率损失，提高fov，提高对齐后图像的分辨率，进而提高在使用对其后图像进行图像识别、人脸识别的准确率。
附图说明
129.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
130.图1是本技术一个示例性实施例提供的计算机设备的框图；
131.图2是本技术另一个示例性实施例提供的图像处理方法的方法流程图；
132.图3是本技术另一个示例性实施例提供的图像处理方法的方法流程图；
133.图4是本技术另一个示例性实施例提供的图像处理方法的示意图；
134.图5是本技术另一个示例性实施例提供的图像处理方法的示意图；
135.图6是本技术另一个示例性实施例提供的图像处理方法的示意图；
136.图7是本技术另一个示例性实施例提供的图像处理方法的示意图；
137.图8是本技术另一个示例性实施例提供的人脸识别方法的方法流程图；
138.图9是本技术另一个示例性实施例提供的图像处理装置的框图；
139.图10是本技术另一个示例性实施例提供的人脸识别装置的框图；
140.图11是本技术另一个示例性实施例提供的服务器的结构示意图；
141.图12是本技术另一个示例性实施例提供的终端的框图。
具体实施方式
142.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
143.人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
144.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
145.计算机视觉技术(computer vision，cv)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检
索、ocr(optical character recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
146.机器学习(machine learning，ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
147.随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
148.图1示出了本技术一个示例性实施例提供的计算机设备101的示意图，该计算机设备101可以是终端或服务器。
149.终端可以包括数码相机、智能手机、笔记本电脑、台式电脑、平板电脑、智能音箱、智能机器人中的至少一种。可选地，该终端还可以是具有摄像头的设备，例如，人脸支付设备、监控设备、门禁设备等。在一种可选的实现方式中，本技术提供的图像处理方法可以应用于具有图像处理功能的应用程序中，该应用程序可以是：相机应用程序、图像处理应用程序、视频处理应用程序、图片发布应用程序、视频发布应用程序、社交应用程序、购物应用程序、直播应用程序、论坛应用程序、资讯应用程序、生活类应用程序、办公应用程序等。可选地，终端上安装有该应用程序的客户端。
150.示例性的，终端上存储有图像处理算法102，当客户端需要使用图像处理功能时，客户端可以调用图像处理算法完成对图像处理。示例性的，图像处理过程可以由终端来完成，也可以由服务器来完成。
151.终端与服务器之间通过有线或者无线网络相互连接。
152.终端包括第一存储器和第一处理器。第一存储器中存储有图像处理算法；上述图像处理算法被第一处理器调用执行以实现本技术提供的图像处理方法或人脸识别方法。第一存储器可以包括但不限于以下几种：随机存取存储器(random access memory，ram)、只读存储器(read only memory，rom)、可编程只读存储器(programmable read-only memory，prom)、可擦除只读存储器(erasable programmable read-only memory，eprom)、以及电可擦除只读存储器(electric erasable programmable read-only memory，eeprom)。
153.第一处理器可以是一个或者多个集成电路芯片组成。可选地，第一处理器可以是通用处理器，比如，中央处理器(central processing unit，cpu)或者网络处理器(network processor，np)。可选地，第一处理器可以通过运行程序或代码来实现本技术提供的图像处理方法或人脸识别方法。
154.服务器包括第二存储器和第二处理器。第二存储器中存储有图像处理算法；上述图像处理算法被第二处理器调用来实现本技术提供的图像处理方法或人脸识别方法。可选
地，第二存储器可以包括但不限于以下几种：ram、rom、prom、eprom、eeprom。可选地，第二处理器可以是通用处理器，比如，cpu或者np。
155.如图1所示，计算机设备101调用图像处理算法102对基于深度图和彩色图对深度图进行上采样得到上采样深度图。计算机设备101根据深度图得到深度纹理结构图，根据彩色图得到彩色纹理结构图，利用马尔可夫链的原理，基于深度纹理结构图中相邻像素点的关联关系，以及深度纹理结构图与彩色纹理结构图相同位置的像素点具有关联关系，调用区域结构权重模型计算深度图中每个像素点的区域结构权重，然后基于计算得到的区域结构权重对深度图进行上采样插值，在原有的整像素点间插值得到亚像素点的像素值，进而得到上采样深度图。
156.图2示出了本技术一个示例性实施例提供的图像处理方法的流程图。该方法可以由计算机设备来执行，例如，如图1所示的终端或服务器来执行。方法包括如下步骤。
157.步骤201，基于彩色图进行纹理结构图生成得到彩色纹理结构图，基于深度图进行纹理结构图生成得到深度纹理结构图，彩色图和深度图为同一画面的两种图像。
158.彩色图和深度图是同一张图像的两类图。例如，计算机设备使用图像采集装置拍摄同一个画面得到了该画面的彩色图(原始彩色图)和深度图。由于两类图像的采集精度不同，原始彩色图像和深度图的清晰度不同，为了更好地在后续处理中联合使用两张图像，需要将两张图像对对齐至同一清晰度，本实施例提供的方法，可以将深度图上采样，提高深度图的分辨率，进而提高对齐后图像的分辨率。
159.示例性的，计算机设备对原始彩色图进行下采样得到彩色图，原始彩色图的分辨率高于深度图的分辨率，彩色图的分辨率等于深度图的分辨率。步骤201中的彩色图和深度图具有相同的分辨率(清晰度)。
160.彩色图和深度图可以是计算机设备实时采集到的图像，也可以是计算机设备本地存储的图像，还可以是计算机设备从其他设备中读取或接收的图像。
161.纹理结构图指的是原始图像通过纹理映射后得到图像，纹理结构图用于表征物体的纹理特性。纹理结构图生成采用的纹理映射的方式，可以采用空间域方法：以图像的空间相邻为计算场，采用诸如直方图分析或自相关函数方法，提取出图像的纹理特征。
162.提取图像纹理特征生成纹理结构图的方式可以是任意的，例如，纹理结构图生成方法可以采用：灰度共生矩阵的纹理特征分析方法、图像的自相关函数提取纹理特征的方法、半方差图法、voronio棋盘格特征法、马尔可夫随机场模型法、gibbs随机场模型法、分形模型和自回归纹理模型等。
163.计算机设备分别对深度图和彩色图进行纹理特征提取，得到深度纹理结构图和彩色纹理结构图。其中，深度图、彩色图、深度纹理结构图、彩色纹理结构图皆为空间域图像，其分辨率相同且像素点一一对应。例如，四张图像都包含n个像素点，深度图的第i个像素点、彩色图的第i个像素点、深度纹理结构图的第i个像素点、彩色纹理结构图的第i个像素点具有对应关系。
164.步骤202，基于深度纹理结构图中像素间的邻接关系，以及深度纹理结构图中的像素和彩色纹理结构图中的像素的位置对应关系，获取深度图中像素的区域结构权重。
165.深度纹理结构图中相邻的两个像素点具有邻接关系。
166.深度纹理结构图和彩色纹理结构图相同位置的两个像素点具有位置上的对应关
系。
167.基于以上两种关系的限制，求出深度纹理结构图(深度图)中各个像素点(像素位置)的区域结构权重，基于区域结构权重对深度图进行上采样，进而得到上采样深度图。
168.区域结构权重用于表征深度纹理结构图中各个像素点间像素值的数值变化关系，以及深度纹理结构图与彩色纹理结构图间相同像素位置的两个像素点的像素值的数值变化关系。由于深度纹理结构图与深度图中相同位置的像素值的数值变化趋势相同，基于求得的区域结构权重对深度图进行上采样，可以提高上采样得到的像素点(亚像素点)的深度值的准确度。
169.示例性的，区域结构权重是深度图或深度纹理结构图中各个像素位置的权重。深度图和深度纹理结构图中相同像素位置对应相同的区域结构权重。
170.马尔可夫链是指具有马尔可夫性质且存在于离散的指数集和状态空间内的随机过程，可通过转移矩阵和转移图定义。在本实施例中，用于推导出两张纹理结构图之间的耦合关系，从而确定深度图的上采样权重。
171.区域结构权重是指能够同时体现深度图纹理和彩色图纹理结构的权重，从而保证上采样时，深度图保持原先的深度图(3d边缘)和彩色图(2d边缘)的边缘特性。
172.步骤203，基于区域结构权重对深度图进行上采样得到上采样深度图。
173.基于求得的各个像素位置的区域结构权重，以及深度图中各个像素位置的深度值，对深度图进行上采样插值，得到上采样深度图。
174.上采样插值是指深度图上采样后分辨率提高，相较于原深度图中多出的像素点(亚像素点)的像素值(深度值)，采用区域结构权重和原像素点(整像素点)的像素值进行加权运算，得到多出的像素点的像素值，进而得到上采样深度图。
175.综上所述，本实施例提供的方法，通过使用彩色图和深度图的纹理图，基于彩色图和深度图具有相同的纹理图案的特性，以及深度图中相邻像素点具有关联性的特性，计算深度图中各个像素店的区域结构权重，利用区域结构权重对深度图进行上采样，从而实现对深度图的上采样。在彩色图分辨率较高、深度图分辨率较低的场景中，可以将深度图上采样至与彩色图相同分辨率，以使深度图适应彩色图，降低图像对齐后的分辨率损失，提高fov，提高对齐后图像的分辨率，进而提高在使用对其后图像进行图像识别、人脸识别的准确率。
176.示例性的，给出一种计算区域结构权重的示例性实施例。
177.图3示出了本技术一个示例性实施例提供的图像处理方法的流程图。该方法可以由计算机设备来执行，例如，如图1所示的终端或服务器来执行。该方法包括以下步骤。
178.步骤201，基于彩色图进行纹理结构图生成得到彩色纹理结构图，基于深度图进行纹理结构图生成得到深度纹理结构图，彩色图和深度图为同一画面的两种图像。
179.示例性的，在步骤201之前，计算机设备对原始彩色图进行下采样得到彩色图，原始彩色图的分辨率高于深度图的分辨率，彩色图的分辨率等于深度图的分辨率。
180.步骤2021，计算邻接势能与关联势能之和得到势能函数，邻接势能是基于深度纹理结构图中像素的邻接权重计算得到的，关联势能是基于深度纹理结构图和彩色纹理结构图中具有对应关系的像素的关联权重计算得到的。
181.以深度图、彩色图包括m个像素，上采样深度图包括n个像素为例，m小于n。将深度
纹理结构图和彩色纹理结构图的m个像素上采样为n个像素。例如，将原本深度纹理结构图中的1个像素上采样为9*9个像素，上采样后的9*9个像素的像素值等于原本深度纹理结构图中该1个像素的像素值。将9*9个像素中中心位置的像素称为整像素点(原本的像素点)，将上采样插值产生的另外80个像素点称为亚像素点(新产生的像素点)。
182.例如，如图4所示，将深度纹理结构图和彩色纹理结构图中原本的一个像素点501上采样为9*9个像素点，上采样后的9*9个像素点的像素值与像素点501的像素值相同，9*9个像素点中心的像素点称为整像素点502，其他80个像素点称为亚像素点。
183.如此，如图5所示，以深度图、彩色图包括4个像素点为例，经过上采样后，深度纹理结构图可以包括4*9*9个像素点，则每两个整像素点之间间隔有8个亚像素点。
184.每个亚像素点与距离该亚像素点最近的四个整像素点分别对应有一个邻接权重，即，一个亚像素点对应有四个邻接权重。整像素点的邻接权重为0。
185.深度纹理结构图和彩色纹理结构图分别包括位置相同的n个像素，n为正整数；计算机设备获取深度纹理结构图中n个像素的n个初始的邻接权重；计算深度纹理结构图中n个像素的高斯分布函数与邻接权重的加权和，得到邻接势能；获取深度纹理结构图与彩色纹理结构图之间n个像素对应的n个初始的关联权重；计算深度纹理结构图和彩色纹理结构图中n个像素的多元高斯分布函数与关联权重的加权和，得到关联势能；计算邻接势能与关联势能之和，得到势能函数。
186.势能函数的公式如下：
187.e(x)＝-logp(y|x)-logp(x)＝∑
p∈v
θ
p
(x
p
) ∑
(p，q)∈e
θ
pq
(x
p
,xq)。
188.其中，e(x)为势能函数，p表征深度图(深度纹理结构图)，q表征彩色图(彩色纹理结构图),p和q表征深度纹理结构图和彩色纹理结构图中的相同位置。
189.v包括深度纹理结构图经过上采样后得到的n个像素点(包括整像素点和亚像素点)，e包括深度纹理结构图和彩色纹理结构图经过上采样后得到的具有对应关系的n对像素点(包括整像素点和亚像素点)。
190.x
p
为深度纹理结构图中的一个像素点的像素值，xq为彩色纹理结构图中与x
p
对应像素位置的像素点的像素值。
191.其中，θ
p
(x
p
)＝f(x
p
)*w
p
；
[0192][0193]wp
＝w
p1
w
p2
w
p3
w
p4
＝(a
p1
x
p1
b
p1yp1
c
p1
) (a
p2
x
p2
bp2yp2 cp2 ap3xp3 bp3yp3 cp3 ap4xp4 bp4yp4 cp4；
[0194]
f(x
p
)为x
p
的多元高斯分布函数，μ
p
为深度纹理结构图的全部像素值的平均值，σ
p
为深度纹理结构图的全部像素值的方差。
[0195]wp
为x
p
的邻接权重，w
p1
为x
p
相对于相邻四个整像素点中第1个整像素点的邻接权重；w
p2
为x
p
相对于相邻四个整像素点中第2个整像素点的邻接权重；w
p3
为x
p
相对于相邻四个整像素点中第3个整像素点的邻接权重；w
p4
为x
p
相对于相邻四个整像素点中第4个整像素点的邻接权重。
[0196]ap1
、b
p1
、c
p1
为x
p
相对于相邻四个整像素点中第1个整像素点的邻接权重的取值，x
p1
、y
p1
为x
p
相对于相邻四个整像素点中第1个整像素点的坐标距离；a
p2
、b
p2
、c
p2
为x
p
相对于
相邻四个整像素点中第2个整像素点的邻接权重的取值，x
p2
、y
p2
为x
p
相对于相邻四个整像素点中第2个整像素点的坐标距离；a
p3
、b
p3
、c
p3
为x
p
相对于相邻四个整像素点中第3个整像素点的邻接权重的取值，x
p3
、y
p3
为x
p
相对于相邻四个整像素点中第3个整像素点的坐标距离；a
p4
、b
p4
、c
p4
为x
p
相对于相邻四个整像素点中第4个整像素点的邻接权重的取值，x
p4
、y
p4
为x
p
相对于相邻四个整像素点中第4个整像素点的坐标距离。x
p1
、y
p1
、x
p2
、y
p2
、x
p3
、y
p3
、x
p4
、y
p4
的取值范围为[0/8,8/8]。
[0197]
θ
pq
(x
p
,xq)＝f(x
p
,xq)*w
pq
；
[0198][0199]wpq
＝(a
pq
x
p1
b
pqyp1
c
pq
) (a
pq
x
p2
b
pqyp2
c
pq
) (a
pq
x
p3
bpqyp3 cpp apqxp4 bpqyp4 cpq；
[0200]
f(x
p
,xq)为x
p
和xq的多元高斯分布函数，μ
p
为深度纹理结构图的全部像素值的平均值，σ
p
为深度纹理结构图的全部像素值的方差，μq为彩色纹理结构图的全部像素值的平均值，σq为彩色纹理结构图的全部像素值的方差。
[0201]wpq
为x
p
和xq的关联权重，a
pq
、b
pq
、c
pq
为x
p
和xq的关联权重的取值；x
p1
、y
p1
为x
p
相对于相邻四个整像素点中第1个整像素点的坐标距离；x
p2
、y
p2
为x
p
相对于相邻四个整像素点中第2个整像素点的坐标距离；x
p3
、y
p3
为x
p
相对于相邻四个整像素点中第3个整像素点的坐标距离；x
p4
、y
p4
为x
p
相对于相邻四个整像素点中第4个整像素点的坐标距离。
[0202]
综上，一个亚像素点对应有四个邻接权重和一个关联权重，四个邻接权重分别与该亚像素点相邻的四个整像素点相对应。在训练阶段计算机设备需要训练调整上述的五个权重(四个邻接权重和一个关联权重)中的a、b、c系数，以使势能函数e(x)取最小值。在势能函数e(x)取最小值时，可以得到深度纹理结构图中每个亚像素点对应的最终的四个邻接权重和一个关联权重，该四个邻接权重即为该亚像素点的区域结构权重，基于该区域结构权重计算以及相邻四个整像素点的像素值(深度值)计算该亚像素点的像素值(深度值)，实现精确上采样。
[0203]
示例性的，步骤2021中的邻接势能是指上述公式中的∑
p∈v
θ
p
(x
p
)，步骤2021中的关联势能是指上述公式中的∑
(p,q)∈e
θ
pq
(x
p
,xq)。
[0204]
如图6所示，以深度纹结构图中的亚像素点p为例，距离亚像素点p距离最近的四个整像素点包括：位于左上角的第一整像素点503、位于右上角的第二整像素点504、位于右下角的第三整像素点505以及位于右下角的第四整像素点506。亚像素点p相对于第一整像素点503的坐标距离为(7/8，7/8)，亚像素点p相对于第二整像素点504的坐标距离为(2/8，7/8)，亚像素点p相对于第三整像素点505的坐标距离为(7/8，2/8)，亚像素点p相对于第四整像素点506的坐标距离为(2/8，2/8)。亚像素点p在深度纹理结构图中的像素值与第四整像素点506的像素值相同。亚像素点p具有分别对应该四个整像素点的四个邻接权重，亚像素点p具有一个关联权重，计算机设备在训练过程中调整五个权重的取值，以使势能函数取值最小，最终得到压箱点p最终的五个权重的取值。
[0205]
可选地，深度纹理结构图和彩色纹理结构图包括m个像素点，计算机设备对深度纹理结构图和彩色纹理结构图进行上采样得到上采样后的深度纹理结构图和彩色纹理结构图，将每个像素点上采样为x*x个像素点，x为正整数，x*x个像素点的像素值取该像素点在
深度纹理结构图或彩色纹理结构图中的像素值，将x*x个像素点中的一个像素点确定为整像素点，除整像素点之外的(x*x-1)个像素点确定为亚像素点。上采样后的深度纹理结构图和彩色纹理结构图分别包括位置相同的n个像素，n＝m*x*x；计算机设备获取上采样后的深度纹理结构图中n个像素的n个初始的邻接权重；计算上采样后的深度纹理结构图中n个像素的高斯分布函数与邻接权重的加权和，得到邻接势能；获取上采样后的深度纹理结构图与上采样后的彩色纹理结构图之间n个像素对应的n个初始的关联权重；计算上采样后的深度纹理结构图和上采样后的彩色纹理结构图中n个像素的多元高斯分布函数与关联权重的加权和，得到关联势能；计算邻接势能与关联势能之和，得到势能函数。
[0206]
步骤2022，调整训练邻接权重和关联权重使势能函数满足训练停止条件。
[0207]
示例性的，计算机设备可以随机调整每个亚像素点的邻接权重和关联权重，也可以按照一定的数值调整方向和步进调整每个亚像素点的邻接权重和关联权重，还可以按照一定的调整策略调整邻接权重和关联权重中部分参数。
[0208]
例如，固定邻接权重和关联权重中的b、c取值不变，调整a的取值。
[0209]
计算机设备每调整一次邻接权重和关联权重后，计算一次势能函数，迭代训练调整，可以得到多个势能函数，在势能函数满足训练停止条件时，停止训练。
[0210]
训练停止条件可以包括：势能函数小于阈值时停止训练、训练次数达到阈值时停止训练中的至少一种。
[0211]
即，在势能函数的取值小于预设值时，停止调整邻接权重和关联权重，并将此时的邻接权重作为最终的区域结构权重。
[0212]
或，在得到预设数量的势能函数的取值后，停止调整邻接权重和关联权重，并从得到的多个势能函数中找到势能函数的最小值，将取最小值时的邻接权重作为最终的区域结构权重。
[0213]
步骤2023，将势能函数在取最小值时的邻接权重，确定为深度图中像素的区域结构权重。
[0214]
示例性的，将势能函数在取最小值时的邻接权重，作为各个亚像素点(亚像素点所在像素位置)的区域结构权重。即，每个亚像素点对应有四组区域结构权重，每组区域结构权重包括一组abc系数。也即，每个亚像素点得到了四组abc系数，每组abc系数与四个整像素点中的一个整像素点相对应。
[0215]
示例性的，计算机设备在经过一次训练后得到该深度图的区域结构权重后，还可以再将该深度图输入算法中，再次得到该深度图的区域结构权重，反复输入多次，可以得到多个区域结构权重。计算机设备可以对该多个区域结构权重进行加权平均，得到最终的区域结构权重。每个区域结构权重对应的加权系数可以是任意设置的，例如，可以将第一次得到的区域结构权重的加权系数设置为稍大值，如0.8，将之后得到的区域结构权重的加权系数设置为稍小值，如0.1、0.05，然后对多次训练得到的多个区域结构权重进行加权平均，得到最终的区域结构权重。
[0216]
示例性的，计算机设备重复执行基于深度纹理结构图中像素间的邻接关系，以及深度纹理结构图中的像素和彩色纹理结构图中的像素的位置对应关系，获取深度图中像素的区域结构权重的步骤，得到深度图中像素的至少两个区域结构权重；计算至少两个区域结构权重的加权平均，得到加权平均后的区域结构权重；基于加权平均后的区域结构权重，
对深度图进行上采样得到上采样深度图。
[0217]
例如，对于第一深度图和第一彩色图，计算机设备将其输入区域结构权重模型三次，获得了第一深度图的三个区域结构权重，第一深度图的每个区域结构权重包括了第一深度图中每个亚像素点对应的四组区域结构权重。区域结构权重模型用于执行基于深度纹理结构图中像素间的邻接关系，以及深度纹理结构图中的像素和彩色纹理结构图中的像素的位置对应关系，获取深度图中像素的区域结构权重的步骤。以第一深度图中第一亚像素点对应的第一组区域结构权重在三次计算中的计算结果分别为：a＝1，b＝1，c＝1；a＝2，b＝2，c＝2；a＝3，b＝3，c＝3为例，进行说明。假设，第一次的区域结构权重的加权系数为0.8，第二次和第三次的加权系数为0.1，则经过加权平均后，第一深度图中第一亚像素点对应的第一组区域结构权重的最终取值为：a＝0.8*1 2*0.1 3*0.1＝1.3，b＝0.8*1 2*0.1 3*0.1＝1.3，c＝0.8*1 2*0.1 3*0.1＝1.3。
[0218]
步骤2031，基于亚像素点的坐标、与亚像素点距离最近的四个整像素点的深度值、与亚像素点距离最近的四个整像素点分别对应的区域结构权重，计算亚像素点的目标深度值。
[0219]
原始的深度图中的像素点称为整像素点，对深度图进行上采样的方式是，在整像素点的基础上在整像素点之间插入新的亚像素点，例如，在没两个整像素点之间插入八个亚像素点。经过上采样插值之后得到的上采样深度图中包括了整像素点和亚像素点。
[0220]
例如，如图7所示，原始的深度图中包括了四个像素点：第一整像素点503、第二整像素点504、第三整像素点505、第四整像素点506；对原始的深度图进行上采样，在每两个整像素点之间插入八个亚像素点，得到经过插值上采样之后的10*10个像素点的上采样深度图。
[0221]
示例性的，也可以理解为，将原始的深度图中的整像素点下分为x*x个像素点，将x*x个像素点中位于中间位置的像素点作为新的整像素点，将其他(x*x-1)个像素点称为亚像素点，则上采样深度图中包括新的整像素点和亚像素点。
[0222]
例如，如图4所示，原始的深度图中包括了一个像素点：像素点501(整像素点)，对原始的深度图进行上采样，将深度图中的一个像素点拆分为9*9个像素点，得到经过上采样后的9*9个像素点的上采样深度图，其中，包括了新的整像素点502以及80个亚像素点。
[0223]
示例性的，区域结构权重包括二元一次方程(ax by c)的三个系数(a、b、c)，计算机设备获取亚像素点相对于四个整像素点中的第i个整像素点的第i个坐标，i为不大于4的正整数；将第i个坐标代入第i个整像素点对应的第i个区域结构权重，得到第i个区域结构权重值；计算第i个区域结构权重值与第i个整像素点的深度值的乘积，得到第i个加数；重复上述步骤，得到四个整像素点分别对应的四个加数；将四个加数之和确定为亚像素点的目标深度值。
[0224]
例如，如图6所示，以深度图上的第一整像素点503、第二整像素点504、第三整像素点505、第四整像素点506四个点为例，利用插值法插出亚像素点p的目标深度值，其公式如下：
[0225]
p＝q1*w1 q2*w2 q3*w3 q4*w4＝q1*(a1*x1 b1*y1 c1) q2*(a2*x2 b2*y2 c2) q3*(a3*x3 b3*y3 c3) q1*(a4*x4 b4*y4 c4)。
[0226]
其中，p为亚像素点p的目标深度值，q1、q2、q3、q4分别为第一整像素点503、第二整
像素点504、第三整像素点505、第四整像素点506的深度值，w1、w2、w3、w4为亚像素点p与第一整像素点503、第二整像素点504、第三整像素点505、第四整像素点506分别对应的区域结构权重。a1、b1、c1为亚像素点p与第一整像素点503对应的区域结构权重的取值，a2、b2、c2为亚像素点p与第二整像素点504对应的区域结构权重的取值，a3、b3、c3为亚像素点p与第三整像素点505对应的区域结构权重的取值，a4、b4、c4为亚像素点p与第四整像素点506对应的区域结构权重的取值。x1、y1为亚像素点p与第一整像素点503相对的距离坐标，取值为(7/8,7/8)；x2、y2为亚像素点p与第二整像素点504相对的距离坐标，取值为(2/8,7/8)；x3、y3为亚像素点p与第三整像素点505相对的距离坐标，取值为(7/8,2/8)；x4、y4为亚像素点p与第四整像素点506相对的距离坐标，取值为(2/8,2/8)。
[0227]
步骤2032，基于整像素的深度值和亚像素点的目标深度值生成深度图像的上采样深度图。
[0228]
在得到新插入的亚像素点的目标深度值后，结合原始深度图中整像素点的深度值即可完成对原始的深度图的上采样，得到上采样深度图。
[0229]
综上所述，本实施例提供的方法，通过使用彩色图和深度图的纹理图，基于两个纹理图计算深度图的区域结构权重，利用区域结构权重对深度图进行上采样，从而实现对深度图的上采样。在彩色图分辨率较高、深度图分辨率较低的场景中，可以将深度图上采样至与彩色图相同分辨率，以使深度图适应彩色图，降低图像对齐后的分辨率损失，提高fov，提高对齐后图像的分辨率，进而提高在使用对其后图像进行图像识别、人脸识别的准确率。
[0230]
本实施例提供的方法，通过区域自适应的权重模型去表征深度图像和彩色图像之间在空间和纹理结构上的一致性关系。该模型通过对深度图像局部区域特性的判断,以不同的方式耦合深度信息和彩色信息，实现不同的权重配比。权重用于上采样插值时的加权操作。
[0231]
示例性的，给出一种在人脸识别场景中应用本技术提供的图像处理方法的示例性实施例。
[0232]
图8示出了本技术一个示例性实施例提供的图像处理方法的流程图。该方法可以由计算机设备来执行，例如，如图1所示的终端或服务器来执行。方法包括如下步骤。
[0233]
步骤301，基于人脸图像的彩色图进行纹理结构图生成得到彩色纹理结构图，基于人脸图像的深度图进行纹理结构图生成得到深度纹理结构图。
[0234]
示例性的，彩色图和深度图对应同一张人脸图像。
[0235]
本实施例中的步骤301至步骤303的方法可以参照图2所示实施例的步骤201至步骤203，或，参照图3所示实施例的步骤201至步骤2032。本实施例将图2和图3所示实施例应用于通过人脸识别进行支付(刷脸支付)的场景中。
[0236]
在一种可选的实现方式中，计算机设备会实时拍摄人脸图像的彩色图、深度图和红外图用于进行人脸识别。
[0237]
彩色图是指由彩色sensor(传感器)采集自然光成像的彩色图。在人脸识别场景或通过人脸识别进行支付的场景中一般用于：人脸优选、对比识别。
[0238]
深度图是指由红外sensor采集散斑结构红外光，再由深度单元解析散斑得到的深度图。在3d计算机图形和计算机视觉中，深度图是一种图像或图像通道，其中包含与场景对象的表面到视点的距离有关的信息。深度图的每个像素点表示深度相机平面与被拍摄物体
平面之间的垂直距离，常用16位表示，单位毫米。在人脸识别场景或通过人脸识别进行支付的场景中一般用于：活体检测，辅助对比识别。
[0239]
红外图是指由红外sensor采集泛红外光成像的红外图，在人脸识别场景或通过人脸识别进行支付的场景中一般用于：活体检测。
[0240]
人脸优选是指选出一组符合活体检测和对比识别算法前置条件的彩色图、深度图、红外图。优选通过，人脸角度、人脸大小、人脸居中度、彩色图清晰度对彩色图进行优选，红外图亮度对红外图进行优选，深度图完整度对深度图进行优选。
[0241]
优选支付帧是指在多组彩色图、深度图、红外图中优选出一组彩色图、深度图、红外图，用于活体检测和对比识别。
[0242]
活体检测是指判断刷脸者是真人还是相片或者头模等的检测方法，一般通过深度图判断是否是相片，通过红外图的亮度判断是否是硅胶头模。
[0243]
辅助对比识别是指对比识别刷脸者是哪个用户，一般通过彩色图提取五点特种相似度，通过深度图辅佐对比五点特种三维相似度。
[0244]
在采集到人脸图像的彩色图、深度图和红外图后，需要对三张图像进行对齐。三图对齐是指在人脸识别场景或通过人脸识别进行支付的场景中，需要彩色图、深度图、红外图在时间和空间上绝对对齐，分辨率相同、fov相同、三图像素一一对齐。
[0245]
示例性的，深度图和彩色图对齐是指将彩色图和深度图调整至相同分辨率，使两张图像的像素粒度相同，且两张图上的像素点一一对应。
[0246]
在刷脸支付过程中，当彩色图、红外图、深度图需要三图对齐，且彩色图、红外图分辨率较高(常用1080x1920)，深度图分辨率较低(常用480x640)。
[0247]
相关技术中的方法是将彩色图、红外图下采样去适应深度图，该方法会损失对齐后图像的fov和分辨率精度。而采用本实施例的方法，将深度图上采样去适应彩色图，在对齐后可以保障图像的fov和分辨率精度。
[0248]
步骤302，基于深度纹理结构图中像素间的邻接关系，以及深度纹理结构图中的像素和彩色纹理结构图中的像素的位置对应关系，获取深度图中像素的区域结构权重。
[0249]
步骤303，基于区域结构权重对深度图进行上采样得到上采样深度图。
[0250]
步骤304，基于彩色图和上采样深度图进行人脸识别。
[0251]
采用本实施例提供的方法，可以将深度图上采样去适应彩色图、红外图，得到高分辨率大fov对齐的三图，从而提高刷脸支付速度、准确率、刷脸fov、最远距离。
[0252]
综上所述，本实施例提供的方法，由于在进行人脸识别时，图像分辨率越高，人脸特征提取越准确，采用本实施例提供的方法获得高分辨率大fov对齐的三图，可以提高人脸识别的准确率。
[0253]
本实施例提供的方法，由于在进行人脸识别时，图像的fov越大计算机设备采集图像所覆盖的拍摄范围越大，用户体验越好，特别是垂直方向的fov，可以适应更多身高范围的用户。采用本实施例提供的方法获得高分辨率大fov对齐的三图可以提高人脸识别支付的使用范围。
[0254]
本实施例提供的方法，由于在进行人脸识别时，人脸识别算法对人脸的最低像素有要求，而距离越远人脸越小对应的像素也就越小，大分辨率可以提升远距离人脸的像素的清晰度，从而提升人脸识别支付时摄像头采集人脸图像的使用距离。采用本实施例提供
的方法获得高分辨率大fov对齐的三图可以扩大人脸识别支付设备的使用距离。
[0255]
以下为本技术的装置实施例，对于装置实施例中未详细描述的细节，可以结合参考上述方法实施例中相应的记载，本文不再赘述。
[0256]
图9示出了本技术的一个示例性实施例提供的图像处理装置的结构示意图。该装置可以通过软件、硬件或者两者的结合实现成为计算机设备的全部或一部分，该装置包括：
[0257]
第一纹理模块401，用于基于彩色图进行纹理结构图生成得到彩色纹理结构图，基于深度图进行纹理结构图生成得到深度纹理结构图，所述彩色图和所述深度图为同一画面的两种图像；
[0258]
第一权重模块402，用于基于所述深度纹理结构图中像素间的邻接关系，以及所述深度纹理结构图中的像素和所述彩色纹理结构图中的像素的位置对应关系，获取所述深度图中像素的区域结构权重；
[0259]
第一上采样模块403，用于基于所述区域结构权重对所述深度图进行上采样得到上采样深度图。
[0260]
在一种可选的实施例中，第一权重模块402，用于计算邻接势能与关联势能之和得到势能函数，所述邻接势能是基于所述深度纹理结构图中像素的邻接权重计算得到的，所述关联势能是基于所述深度纹理结构图和所述彩色纹理结构图中具有所述对应关系的像素的关联权重计算得到的；
[0261]
第一权重模块402，用于调整训练所述邻接权重和所述关联权重使所述势能函数满足训练停止条件；
[0262]
第一权重模块402，用于将所述势能函数在取最小值时的所述邻接权重，确定为所述深度图中像素的所述区域结构权重。
[0263]
在一种可选的实施例中，所述深度纹理结构图和所述彩色纹理结构图分别包括位置相同的n个像素，n为正整数；
[0264]
第一权重模块402，用于获取所述深度纹理结构图中所述n个像素的n个初始的所述邻接权重；计算所述深度纹理结构图中所述n个像素的高斯分布函数与所述邻接权重的加权和，得到所述邻接势能；
[0265]
第一权重模块402，用于获取所述深度纹理结构图与所述彩色纹理结构图之间所述n个像素对应的n个初始的所述关联权重；计算所述深度纹理结构图和所述彩色纹理结构图中所述n个像素的多元高斯分布函数与所述关联权重的加权和，得到所述关联势能；
[0266]
第一权重模块402，用于计算所述邻接势能与所述关联势能之和，得到所述势能函数。
[0267]
在一种可选的实施例中，训练停止条件包括：所述势能函数小于阈值时停止训练、训练次数达到阈值时停止训练中的至少一种。
[0268]
在一种可选的实施例中，第一权重模块402，用于重复执行所述基于所述深度纹理结构图中像素间的邻接关系，以及所述深度纹理结构图中的像素和所述彩色纹理结构图中的像素的位置对应关系，获取所述深度图中像素的区域结构权重的步骤，得到所述深度图中像素的至少两个区域结构权重；
[0269]
第一权重模块402，用于计算所述至少两个区域结构权重的加权平均，得到加权平均后的所述区域结构权重；
[0270]
第一上采样模块403，用于基于加权平均后的所述区域结构权重，对所述深度图进行上采样得到所述上采样深度图。
[0271]
在一种可选的实施例中，所述装置还包括：
[0272]
第一下采样模块408，用于对原始彩色图进行下采样得到所述彩色图，所述原始彩色图的分辨率高于所述深度图的分辨率，所述彩色图的分辨率等于所述深度图的分辨率。
[0273]
在一种可选的实施例中，所述深度图包括整像素点，所述上采样深度图包括所述整像素点和亚像素点；
[0274]
第一上采样模块403，用于基于所述亚像素点的坐标、与所述亚像素点距离最近的四个整像素点的深度值、与所述亚像素点距离最近的四个整像素点分别对应的所述区域结构权重，计算所述亚像素点的目标深度值；
[0275]
第一上采样模块403，用于基于所述整像素的深度值和所述亚像素点的所述目标深度值生成所述深度图像的所述上采样深度图。
[0276]
在一种可选的实施例中，所述区域结构权重包括二元一次方程的三个系数；
[0277]
第一上采样模块403，用于获取所述亚像素点相对于所述四个整像素点中的第i个整像素点的第i个坐标，i为不大于4的正整数；
[0278]
第一上采样模块403，用于将所述第i个坐标代入所述第i个整像素点对应的第i个区域结构权重，得到第i个区域结构权重值；
[0279]
第一上采样模块403，用于计算所述第i个区域结构权重值与所述第i个整像素点的深度值的乘积，得到第i个加数；
[0280]
第一上采样模块403，用于重复上述步骤，得到所述四个整像素点分别对应的四个加数；
[0281]
第一上采样模块403，用于将所述四个加数之和确定为所述亚像素点的所述目标深度值。
[0282]
图10示出了本技术的一个示例性实施例提供的人脸识别装置的结构示意图。该装置可以通过软件、硬件或者两者的结合实现成为计算机设备的全部或一部分，该装置包括：
[0283]
第二纹理模块404，用于基于人脸图像的彩色图进行纹理结构图生成得到彩色纹理结构图，基于所述人脸图像的深度图进行纹理结构图生成得到深度纹理结构图；
[0284]
第二权重模块405，用于基于所述深度纹理结构图中像素间的邻接关系，以及所述深度纹理结构图中的像素和所述彩色纹理结构图中的像素的位置对应关系，获取所述深度图中像素的区域结构权重；
[0285]
第二上采样模块406，用于基于所述区域结构权重对所述深度图进行上采样得到上采样深度图；
[0286]
识别模块407，用于基于所述彩色图和所述上采样深度图进行人脸识别。
[0287]
在一种可选的实施例中，第二权重模块405，用于计算邻接势能与关联势能之和得到势能函数，所述邻接势能是基于所述深度纹理结构图中像素的邻接权重计算得到的，所述关联势能是基于所述深度纹理结构图和所述彩色纹理结构图中具有所述对应关系的像素的关联权重计算得到的；
[0288]
第二权重模块405，用于调整训练所述邻接权重和所述关联权重使所述势能函数满足训练停止条件；
[0289]
第二权重模块405，用于将所述势能函数在取最小值时的所述邻接权重，确定为所述深度图中像素的所述区域结构权重。
[0290]
在一种可选的实施例中，所述深度纹理结构图和所述彩色纹理结构图分别包括位置相同的n个像素，n为正整数；
[0291]
第二权重模块405，用于获取所述深度纹理结构图中所述n个像素的n个初始的所述邻接权重；计算所述深度纹理结构图中所述n个像素的高斯分布函数与所述邻接权重的加权和，得到所述邻接势能；
[0292]
第二权重模块405，用于获取所述深度纹理结构图与所述彩色纹理结构图之间所述n个像素对应的n个初始的所述关联权重；计算所述深度纹理结构图和所述彩色纹理结构图中所述n个像素的多元高斯分布函数与所述关联权重的加权和，得到所述关联势能；
[0293]
第二权重模块405，用于计算所述邻接势能与所述关联势能之和，得到所述势能函数。
[0294]
在一种可选的实施例中，训练停止条件包括：所述势能函数小于阈值时停止训练、训练次数达到阈值时停止训练中的至少一种。
[0295]
在一种可选的实施例中，第二权重模块405，用于重复执行所述基于所述深度纹理结构图中像素间的邻接关系，以及所述深度纹理结构图中的像素和所述彩色纹理结构图中的像素的位置对应关系，获取所述深度图中像素的区域结构权重的步骤，得到所述深度图中像素的至少两个区域结构权重；
[0296]
第二权重模块405，用于计算所述至少两个区域结构权重的加权平均，得到加权平均后的所述区域结构权重；
[0297]
第二上采样模块406，用于基于加权平均后的所述区域结构权重，对所述深度图进行上采样得到所述上采样深度图。
[0298]
在一种可选的实施例中，所述装置还包括：
[0299]
第二下采样模块409，用于对原始彩色图进行下采样得到所述彩色图，所述原始彩色图的分辨率高于所述深度图的分辨率，所述彩色图的分辨率等于所述深度图的分辨率。
[0300]
在一种可选的实施例中，所述深度图包括整像素点，所述上采样深度图包括所述整像素点和亚像素点；
[0301]
第二上采样模块406，用于基于所述亚像素点的坐标、与所述亚像素点距离最近的四个整像素点的深度值、与所述亚像素点距离最近的四个整像素点分别对应的所述区域结构权重，计算所述亚像素点的目标深度值；
[0302]
第二上采样模块406，用于基于所述整像素的深度值和所述亚像素点的所述目标深度值生成所述深度图像的所述上采样深度图。
[0303]
在一种可选的实施例中，所述区域结构权重包括二元一次方程的三个系数；
[0304]
第二上采样模块406，用于获取所述亚像素点相对于所述四个整像素点中的第i个整像素点的第i个坐标，i为不大于4的正整数；
[0305]
第二上采样模块406，用于将所述第i个坐标代入所述第i个整像素点对应的第i个区域结构权重，得到第i个区域结构权重值；
[0306]
第二上采样模块406，用于计算所述第i个区域结构权重值与所述第i个整像素点的深度值的乘积，得到第i个加数；
iv，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端900还可能被称为用户帐号设备、便携式终端、膝上型终端、台式终端等其他名称。
[0316]
通常，终端900包括有：处理器901和存储器902。
[0317]
处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用dsp(digital signal processing，数字信号处理)、fpga(field－programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以在集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
[0318]
存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器901所执行以实现本技术中方法实施例提供的图像处理方法或图像处理方法。
[0319]
在一些实施例中，终端900还可选包括有：外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地，外围设备包括：射频电路904、显示屏905、摄像头组件906、音频电路907、定位组件908和电源909中的至少一种。
[0320]
外围设备接口903可被用于将i/o(input/output，输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中，处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上；在一些其他实施例中，处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
[0321]
射频电路904用于接收和发射rf(radio frequency，射频)信号，也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。示例性的，射频电路904包括：天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户帐号身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wireless fidelity，无线保真)网络。在一些实施例中，射频电路904还可以包括nfc(near field communication，近距离无线通信)有关的电路，本技术对此不加以限定。
[0322]
显示屏905用于显示ui(user interface，用户帐号界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时，显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至
处理器901进行处理。此时，显示屏905还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏905可以为一个，设置终端900的前面板；在另一些实施例中，显示屏905可以为至少两个，分别设置在终端900的不同表面或呈折叠设计；在再一些实施例中，显示屏905可以是柔性显示屏，设置在终端900的弯曲表面上或折叠面上。甚至，显示屏905还可以设置成非矩形的不规则图形，也即异形屏。显示屏905可以采用lcd(liquid crystal display，液晶显示屏)、oled(organic light-emitting diode，有机发光二极管)等材质制备。
[0323]
摄像头组件906用于采集图像或视频。示例性的，摄像头组件906包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtual reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
[0324]
音频电路907可以包括麦克风和扬声器。麦克风用于采集用户帐号及环境的声波，并将声波转换为电信号输入至处理器901进行处理，或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路907还可以包括耳机插孔。
[0325]
定位组件908用于定位终端900的当前地理位置，以实现导航或lbs(location based service，基于位置的服务)。定位组件908可以是基于美国的gps(global positioning system，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
[0326]
电源909用于为终端900中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
[0327]
在一些实施例中，终端900还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于：加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。
[0328]
加速度传感器911可以检测以终端900建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号，控制显示屏905以横向视图或纵向视图进行用户帐号界面的显示。加速度传感器911还可以用于游戏或者用户帐号的运动数据的采集。
[0329]
陀螺仪传感器912可以检测终端900的机体方向及转动角度，陀螺仪传感器912可以与加速度传感器911协同采集用户帐号对终端900的3d动作。处理器901根据陀螺仪传感器912采集的数据，可以实现如下功能：动作感应(比如根据用户帐号的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。
[0330]
压力传感器913可以设置在终端900的侧边框和/或显示屏905的下层。当压力传感器913设置在终端900的侧边框时，可以检测用户帐号对终端900的握持信号，由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在显示屏905的下层时，由处理器901根据用户帐号对显示屏905的压力操作，实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
[0331]
指纹传感器914用于采集用户帐号的指纹，由处理器901根据指纹传感器914采集到的指纹识别用户帐号的身份，或者，由指纹传感器914根据采集到的指纹识别用户帐号的身份。在识别出用户帐号的身份为可信身份时，由处理器901授权该用户帐号执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置终端900的正面、背面或侧面。当终端900上设置有物理按键或厂商logo时，指纹传感器914可以与物理按键或厂商logo集成在一起。
[0332]
光学传感器915用于采集环境光强度。在一个实施例中，处理器901可以根据光学传感器915采集的环境光强度，控制显示屏905的显示亮度。具体地，当环境光强度较高时，调高显示屏905的显示亮度；当环境光强度较低时，调低显示屏905的显示亮度。在另一个实施例中，处理器901还可以根据光学传感器915采集的环境光强度，动态调整摄像头组件906的拍摄参数。
[0333]
接近传感器916，也称距离传感器，通常设置在终端900的前面板。接近传感器916用于采集用户帐号与终端900的正面之间的距离。在一个实施例中，当接近传感器916检测到用户帐号与终端900的正面之间的距离逐渐变小时，由处理器901控制显示屏905从亮屏状态切换为息屏状态；当接近传感器916检测到用户帐号与终端900的正面之间的距离逐渐变大时，由处理器901控制显示屏905从息屏状态切换为亮屏状态。
[0334]
本领域技术人员可以理解，图12中示出的结构并不构成对终端900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
[0335]
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，所述一个或者一个以上程序包含用于进行本技术实施例提供的图像处理方法和/或人脸识别方法。
[0336]
本技术还提供一种计算机设备，该计算机设备包括：处理器和存储器，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的图像处理方法和人脸识别方法。
[0337]
本技术还提供一种计算机可读存储介质，该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的图像处理方法和人脸识别方法。
[0338]
本技术还提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程
序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述可选实现方式中提供的图像处理方法和人脸识别方法。
[0339]
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。以上仅为本技术的可选实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。