一种图像超分辨率处理方法和计算机设备与流程

1.本发明涉及图像处理技术领域，特别是涉及一种图像超分辨率处理方法和计算机设备。


背景技术：

2.图像超分辨率技术是指根据低分辨率图像生成高分辨率图像的过程，视频超分辨率技术是要根据视频中的每一个图像帧生成高分辨率图像帧，以得到高分辨率的视频，实时视频超分技术可以在显示设备播放视频时将低分辨率视频渲染为高分辨率视频。
3.目前，可以通过神经网络加速芯片快速得到低分辨率图像对应的超分图像，进而，得到效果较好的实时视频超分效果，但是该芯片的成本高，只能用于高端产品，若将该芯片中基于深度学习的算法要求的运算能力较高，在低中端产品上，通过基于深度学习的算法无法快速得到超分图像，进而不能完成实时视频超分任务。
4.因此，现有技术有待进一步提高。


技术实现要素：

5.本发明提供一种图像超分辨率处理方法和计算机设备，以实现在低中端产品中快速生成超分图像，进而可以在低中端产品中实现实时视频超分。
6.第一方面，本发明实施例提供了一种图像超分辨率处理方法，包括：
7.获取待处理图像，根据所述待处理图像以及预设的超分倍数，确定所述待处理图像对应的放大图像；
8.对于所述放大图像中的每个目标像素点，基于该目标像素点的目标像素值以及所述超分倍数确定该目标像素点对应的目标梯度，基于所述目标梯度、所述超分倍数以及所述待处理图像确定该目标像素点对应的超分像素值；
9.根据各个目标像素点各自分别对应的超分像素值，对所述放大图像进行调整，得到所述待处理图像对应的超分图像。
10.在一种实现方式中，所述根据所述待处理图像以及预设的超分倍数，确定所述待处理图像对应的放大图像，具体包括：
11.根据所述待处理图像和所述超分倍数确定若干目标像素点；
12.对于每个目标像素点，根据所述待处理图像确定所述目标像素点的目标像素值；
13.根据若干目标像素点以及所述若干目标像素点各自分别对应的目标像素值确定放大图像。
14.在一种实现方式中，所述对于每个目标像素点，根据所述待处理图像确定所述目标像素点的目标像素值，具体包括：
15.对于每个目标像素点，在所述待处理图像中确定所述目标像素点对应的第一位置和若干第二位置，其中，所述目标像素点的坐标为所述第一位置的坐标与所述超分倍数的乘积，每个第二位置的坐标与所述第一位置的坐标之间的位移均相等；
16.获取所述第一位置对应的第一像素值，以及所述若干第二位置各自分别对应的第二像素值；
17.确定所述第一像素值和各第二像素值的平均像素值，并将所述平均像素值作为所述目标像素值。
18.在一种实现方式中，所述在所述待处理图像中确定所述目标像素点对应的第一位置和若干第二位置，具体包括：
19.在所述待处理图像中确定所述目标像素像素点对应的第一位置；
20.根据所述第一位置和预设的膨胀值，在所述待处理图像中确定所述若干第二位置，其中，每个第二位置与所述第一位置之间的位移均等于所述膨胀值。
21.在一种实现方式中，所述对于所述放大图像中的每个目标像素点，基于该目标像素点的目标像素值以及所述超分倍数确定所述目标像素点对应的目标梯度，具体包括：
22.对于所述放大图像中的每个目标像素点，获取所述目标像素值对应的若干参考像素值；
23.根据所述目标像素值和所述若干参考像素值确定所述目标像素值对应的初始梯度；
24.若所述初始梯度小于0，则根据所述超分倍数对所述初始梯度进行修正，以得到目标梯度。
25.在一种实现方式中，所述待处理图像为yuv格式，所述目标像素值包括目标y分量值，每个参考像素值均包括参考y分量值，所述初始梯度包括行方向的y分量初始梯度和列方向的y分量初始梯度；所述根据所述目标像素值和所述若干参考像素值确定所述目标像素值对应的初始梯度，具体包括：
26.根据所述目标y分量值和若干参考y分量值确定所述目标像素值对应的行方向的y分量初始梯度，以及列方向的y分量初始梯度。
27.在一种实现方式中，所述目标梯度包括行方向的y分量目标梯度；所述若所述初始梯度小于0，则根据所述超分倍数对所述初始梯度进行修正，以得到目标梯度，具体包括：
28.若所述行方向的y分量初始梯度小于0，则根据若干参考y分量值，确定所述行方向的y分量初始梯度的梯度方向，以得到行方向的y分量中间梯度；
29.对所述行方向的y分量中间梯度进行归一化处理，并根据所述超分倍数对归一化处理后的结果进行修正，以得到行方向的y分量目标梯度。
30.在一种实现方式中，所述对所述行方向的y分量中间梯度进行归一化处理，并根据所述超分倍数对归一化处理后的结果进行修正，以得到行方向的y分量目标梯度，具体包括：
31.对所述行方向的y分量中间梯度进行归一化处理，以得到行方向的y分量归一化梯度；
32.根据预设的边缘强度系数和所述超分倍数确定修正系数；
33.计算所述行方向的y分量归一化梯度与所述修正系数的乘积，以得到行方向的y分量目标梯度。
34.在一种实现方式中，所述目标梯度包括列方向的y分量目标梯度；所述若所述初始梯度小于0，则根据所述超分倍数对所述初始梯度进行修正，以得到目标梯度，具体包括：
35.若所述列方向的y分量初始梯度小于0，则根据所述若干参考y分量值，确定所述列方向的y分量初始梯度的梯度方向，以得到列方向的y分量中间梯度；
36.对所述列方向的y分量中间梯度进行归一化处理，并根据所述超分倍数对归一化处理后的结果进行修正，以得到列方向的y分量目标梯度。
37.在一种实现方式中，所述对所述列方向的y分量中间梯度进行归一化处理，并根据所述超分倍数对归一化处理后的结果进行修正，以得到列方向的y分量目标梯度，具体包括：
38.对所述列方向的y分量中间梯度进行归一化处理，以得到列方向的y分量归一化梯度；
39.根据所述列方向的y分量归一化梯度与所述修正系数的，得到列方向的y分量目标梯度。
40.在一种实现方式中，所述根据各个目标像素点各自分别对应的超分像素值，对所述放大图像进行调整，得到所述待处理图像对应的超分图像，具体包括：
41.对于每个目标像素点，根据该目标像素点对应的超分值替换该目标像素点对应的目标像素值，以得到所述待处理图像对应的超分图像。
42.在一种实现方式中，所述待处理图像为二维动画图像。
43.第二方面，本发明实施例提供了一种图像超分辨率处理装置，包括：
44.放大图像确定单元，用于获取待处理图像，根据所述待处理图像以及预设的超分倍数，确定所述待处理图像对应的放大图像；
45.超分像素值确定单元，用于对于所述放大图像中的每个目标像素点，基于该目标像素点的目标像素值以及所述超分倍数确定该目标像素点对应的目标梯度，基于所述目标梯度、所述超分倍数以及所述待处理图像确定该目标像素点对应的超分像素值；
46.超分图像生成单元，用于采用该目标像素点对应的超分像素值替换该目标像素点对应的目标像素值，以得到所述待处理图像对应的超分图像。
47.第三方面，本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如下步骤：
48.获取待处理图像，根据所述待处理图像以及预设的超分倍数，确定所述待处理图像对应的放大图像；
49.对于所述放大图像中的每个目标像素点，基于该目标像素点的目标像素值以及所述超分倍数确定该目标像素点对应的目标梯度，基于所述目标梯度、所述超分倍数以及所述待处理图像确定该目标像素点对应的超分像素值；
50.根据各个目标像素点各自分别对应的超分像素值，对所述放大图像进行调整，得到所述待处理图像对应的超分图像。
51.第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
52.获取待处理图像，根据所述待处理图像以及预设的超分倍数，确定所述待处理图像对应的放大图像；
53.对于所述放大图像中的每个目标像素点，基于该目标像素点的目标像素值以及所述超分倍数确定该目标像素点对应的目标梯度，基于所述目标梯度、所述超分倍数以及所
述待处理图像确定该目标像素点对应的超分像素值；
54.根据各个目标像素点各自分别对应的超分像素值，对所述放大图像进行调整，得到所述待处理图像对应的超分图像。
55.与现有技术相比，本发明实施例具有以下优点：
56.在本发明实施例中，获取待处理图像，根据所述待处理图像以及预设的超分倍数，确定所述待处理图像对应的放大图像；对于所述放大图像中的每个目标像素点，基于该目标像素点的目标像素值以及所述超分倍数确定该目标像素点对应的目标梯度，基于所述目标梯度、所述超分倍数以及所述待处理图像确定该目标像素点对应的超分像素值；根据各个目标像素点各自分别对应的超分像素值，对所述放大图像进行调整，得到所述待处理图像对应的超分图像。本发明中，只需要通过简单的运算即可确定目标像素点对应的目标梯度，以及确定目标像素点对应的超分像素值，也就是说，本发明对待处理图像进行超分辨率处理，得到超分图像的处理过程不涉及复杂运算，本方法所需要的运算能力远远小于深度学习的算法所需的运算能力，本方法可以应用于运算能力不高的产品中。本发明中，计算每个待处理像素点对应的目标梯度后，根据超分倍数得到目标像素点，进而根据目标梯度对目标像素点进行修正，以得到超分图像，在生成超分图像的过程中，遍历放大图像中的每个初始像素点，进而确定每个初始像素点的初始像素值，以得到放大图像，再次遍历放大图像中的每个初始像素点，进而确定每个目标像素点的超分像素值，整个过程只需要遍历两次，可以快速生成超分图像，进而可以在运算能力不高的产品中实现实时视频超分。
附图说明
57.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
58.图1为本发明实施例中一种图像超分辨率处理方法的流程示意图；
59.图2为本发明实施例中一种图像超分辨率处理装置的示意图；
60.图3为本发明实施例中一种图像增强的计算机设备的内部结构图。
具体实施方式
61.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
62.发明人经过研究发现，图像超分辨率技术是指根据低分辨率图像生成高分辨率图像的过程，视频超分辨率技术是要根据视频中的每一个图像帧生成高分辨率图像帧，以得到高分辨率的视频，实时视频超分技术可以在显示设备播放视频时将低分辨率视频渲染为高分辨率视频。
63.目前，针对基于深度学习的算法，高通、联发科、三星、海思等硬件厂商提出神经网络加速芯片，其优点是独立的算法芯片算力较强，深度学习算法的效果一般比传统图像处
理算法效果好，但此类芯片成本较高，基本只用于高端产品；此类芯片目前虽然在人脸、手势等低分辨率任务上保证实时性，但在超分辨率此类任务中还存在算力瓶颈，多用于图片超分辨率等非实时任务。通过深度学习的算法无法快速得到超分图像，进而无法完成实时视频超分任务。
64.为了解决上述问题，在本发明实施例中，获取待处理图像，根据所述待处理图像以及预设的超分倍数，确定所述待处理图像对应的放大图像；对于所述放大图像中的每个目标像素点，基于该目标像素点的目标像素值以及所述超分倍数确定该目标像素点对应的目标梯度，基于所述目标梯度、所述超分倍数以及所述待处理图像确定该目标像素点对应的超分像素值；根据各个目标像素点各自分别对应的超分像素值，对所述放大图像进行调整，得到所述待处理图像对应的超分图像。本发明中，只需要通过简单的运算即可确定目标像素点对应的目标梯度，以及确定目标像素点对应的超分像素值，也就是说，本发明对待处理图像进行超分辨率处理，得到超分图像的处理过程不涉及复杂运算，本方法所需要的运算能力远远小于深度学习的算法所需的运算能力，本方法可以应用于运算能力不高的产品中。本发明中，计算每个待处理像素点对应的目标梯度后，根据超分倍数得到目标像素点，进而根据目标梯度对目标像素点进行修正，以得到超分图像，在生成超分图像的过程中，遍历放大图像中的每个初始像素点，进而确定每个初始像素点的初始像素值，以得到放大图像，再次遍历放大图像中的每个初始像素点，进而确定每个目标像素点的超分像素值，整个过程只需要遍历两次，可以快速生成超分图像，进而可以在运算能力不高的产品中实现实时视频超分。
65.本发明实施例提出的一种图像超分辨率处理方法，可以应用到电子设备中，例如，pc机、服务器、手机、电视机等。另外，该方法所实现的功能可以通过电子设备中的处理调用应用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，所述电子设备至少包括处理器和存储介质。
66.参见图1，图1示出了本发明实施例中的一种图像超分辨率处理方法，在本实施例中，所述图像超分辨率处理方法，例如可以包括以下步骤：
67.s1、获取待处理图像，根据所述待处理图像以及预设的超分倍数，确定所述待处理图像对应的放大图像。
68.本发明实施例中，所述待处理图像是低分辨率视频中的一个图像帧，所述低分辨率视频可以是电子设备正在播放的视频，待处理图像可以是所述低分辨率视频中即将播放的一个图像帧。例如，低分辨率视频中的各帧图像按照低分辨率视频的播放时间排序，在播放完第100个图像帧时，获取第101个图像帧，则第101个图像帧为待处理图像；所述低分辨率视频可以是电子设备中的本地视频，待处理图像可以是低分辨率视频中的任意一个图像帧。
69.在本发明实施例中，所述待处理图像的分辨率小于所述放大图像的分辨率，所述放大图像的分辨率等于所述待处理图像的分辨率乘以所述超分倍数。根据待处理图像和超分倍数可以确定放大图像。
70.具体的，步骤s1包括：
71.s11、根据所述待处理图像和预设的超分倍数确定若干目标像素点。
72.在本发明实施例中，所述若干目标像素点是放大图像中的像素点，所谓确定若干
目标像素点，是指确定若干目标像素点各自分别对应的坐标，根据待处理图像的分辨率和所述超分倍数确定放大图像的分辨率，进而，根据放大图像的分辨率确定若干目标像素点。待处理图像中包括若干待处理像素点，待处理图像中待处理像素点的数量乘以预设超分倍数等于放大图像中目标像素点的数量。待处理图像的分辨率为h
×
w，预设超分倍数为2，放大图像的分辨率为h
×
w，其中h等于h的2倍，即h＝2h，同样的，w＝2w。
73.例如，待处理图像的分辨率是100*100，预设超分倍数为2，则放大图像的分辨率是200*200，可知，放大图像中的目标像素点为(x,y)，其中，x的取值范围为[1,200]，y的取值范围为[1,200]。
[0074]
s12、对于每个目标像素点，根据所述待处理图像确定所述目标像素点的目标像素值。
[0075]
在本发明实施例中，所述待处理图像中包括若干待处理像素点，各待处理像素点的像素值是已知的，根据各待处理像素点的像素值确定目标像素值。具体的，首先确定目标像素点对应的待处理像素点，根据待处理像素点和该待处理像素点的邻域像素点的像素值确定目标像素点的像素值。
[0076]
步骤s12包括：
[0077]
s121、对于每个目标像素点，在所述待处理图像中确定所述目标像素点对应的第一位置和若干第二位置，其中，所述第一位置的坐标乘以所述超分倍数等于所述目标像素点的坐标，每个第二位置的坐标与所述第一位置的坐标之间的位移均相等。
[0078]
在本发明实施例中，获取目标像素点的横坐标和纵坐标，所述目标像素点的坐标为所述第一位置的坐标与所述超分倍数的乘积，所述第一位置的纵坐标乘以所述超分倍数等于目标像素点的纵坐标。例如，将预设超分倍数记为：s，当所述目标像素点的坐标为(x,y)，则待处理像素点坐标为(x/s,y/s)。
[0079]
在本发明实施例中，每个第二位置的坐标与所述第一位置的坐标之间的位移均相等，即所述若干第二位置均处于所述第一位置的周围。
[0080]
具体的，步骤s121包括：
[0081]
s1211、在所述待处理图像中确定所述目标像素像素点对应的第一位置；
[0082]
s1212、根据所述第一位置和预设的膨胀值确定所述若干第二位置，其中，每个第二位置与所述第一位置之间的位移均等于所述膨胀值。
[0083]
在本发明实施例中，所述若干第二位置围绕在所述第一位置周围，并且若干第二位置中的每个第二位置与第一位置之间的位于均等于膨胀值。所述若干第二位置可以是8个，即以所述第一位置为中心，根据第一位置和膨胀值确定8个第二位置。
[0084]
为了减少数据量，所述第二位置为4个，每一个第二位置均处于第一位置的水平方向或者垂直方向，也就是说，若干第二位置分别处于第一位置的水平方向左侧、水平方向右侧、垂直方向上侧和垂直方向下侧。由于第二位置只有4个，减小了数据量，进而提高了图像超分处理速度。所述膨胀值(dilation,d)是人为设定的经验参数，所述膨胀值可以为0.5，或者所述膨胀值可以为1。
[0085]
例如，目标像素点的坐标为(x,y)，则待处理像素点坐标为(x/s,y/s)，则若干邻域像素点的坐标分别为：和
[0086]
s122、获取所述第一位置对应的第一像素值，以及所述若干第二位置各自分别对应的第二像素值，并根据所述第一像素值和各第二像素值计算平均像素值，并将所述平均像素值作为所述目标像素值。
[0087]
在本发明实施例中，若第一位置或者第二位置的坐标为整数，则直接在待处理图像中获取第一位置对应的待处理像素点的像素值，或者获取第二位置对应的待处理像素点的像素值。第一位置的横坐标或者纵坐标可能不是整数，因此，无法在待处理图像找到第一位置对应的待处理像素点，可以根据第一位置的邻域像素点确定第一位置对应的像素值，具体的，可以通过双线性采样法确定第一位置对应的像素值，或者，第二位置对应的坐标不为整数时，可以通过双线性采样法确定第二位置对应的像素值。
[0088]
例如，当第一位置的坐标为(2,2.5)时，获取待处理图像中坐标为(2,3)的待处理像素点的第一像素值和坐标为(2,2)待处理像素点的第二像素值，计算第一像素值和第二像素值的平均值，以得到坐标为(2,2.5)的第一位置所对应的像素值。
[0089]
在本发明实施例中，计算各候选像素值和所述待处理像素值的平均值，得到目标像素值。例如，目标像素点的坐标为p0＝(8,8)，预设超分倍数为4，预设膨胀值为0.5，则待处理像素点坐标为p0＝(2,2)，则若干邻域像素点的坐标分别为：p1＝(1.5,2)、p2＝(2.5,2)、p3＝(2,2.5)和p4＝(2,1.5)，分别获取p0、p1、p2、p3和p4的像素值，并根据p0、p1、p2、p3和p4的像素值得到目标像素点p0的像素值。
[0090]
根据公式(1)实现步骤s12的过程。
[0091][0092]
其中，sr是s的倒数，即sr＝1/s，为放大图像中坐标为(i,j)的目标像素点的目标像素值，为待处理图像中坐标为(i
×
sr,j
×
sr)的待处理像素点的待处理像素值，为待处理图像中坐标为(i
×
sr-d,j
×
sr)的待处理像素点的待处理像素值，为待处理图像中坐标为(i
×
sr d,j
×
sr)的待处理像素点的待处理像素值为待处理图像中坐标为(i
×
sr,j
×
sr-d)的待处理像素点的待处理像素值，为待处理图像中坐标为(i
×
sr,j
×
sr d)的待处理像素点的待处理像素值。
[0093]
接下来介绍公式(1)推导过程。
[0094]
确定待处理图像对应的放大图像的过程为:通过插值操作确定待处理图像对应的初始图像，初始图像是直接将放大图像放大超分倍数得到的图像；得到初始图像后，对初始图像进行滤波，得到所述放大图像。
[0095]
包括多个初始像素点，初始像素点的数量等于所述待处理图像中所有待处理像素点的数量乘以所述超分倍数；初始图像每个初始像素点的像素值可以根据待处理图像中待
处理像素点的像素值确定。请参见公式(2)。
[0096][0097]
其中，是初始图像中坐标为(i,j)的初始像素点的像素值，x＝i
×
sr，y＝j
×
sr，sr是s的倒数，即sr＝1/s。
[0098]
在本发明实施例中，得到初始图像后，对初始图像进行滤波，得到所述放大图像。现有技术中，可以通过卷积核大小为3*3的卷积层对初始图像进行滤波得到放大图像，具体的，通过初始图像中的9个初始像素点确定放大图像中坐标为(x,y)的目标像素点的像素值，9个初始像素点的坐标分别为：(x-1,y-1)、(x,y-1)、(x 1,y-1)、(x-1,y)、(x,y)、(x 1,y)、(x-1,y 1)、(x,y 1)、(x 1,y 1)；为了减小计算量，本发明中只采用5个初始像素点确定放大图像中坐标为(x,y)的目标像素点的像素值，也就是取坐标分别为(x,y-1)、(x-1,y)、(x,y)、(x 1,y)和(x,y 1)的像素点。
[0099]
更进一步的，通过膨胀值d和超分尺度计算偏移量，具体见公式(3)。
[0100]
d＝d
×sꢀꢀ
(3)
[0101]
其中，d为偏移量，d为膨胀值，s为超分倍数。
[0102]
根据偏移量和初始图像计算放大图像中各目标像素点的像素值，具体见公式(4)。
[0103][0104]
其中，为放大图像中坐标为(i,j)的目标像素点的目标像素值，是初始图像中坐标为(i,j)的初始像素点的像素值，d为偏移量。
[0105]
根据公式(4)可知，当超分倍数为2，膨胀值d为0.5时，偏移量d为1，通过大小为3*3的图像块中的5个初始像素点确定目标像素点的目标像素值，每个目标像素点对应的感受野为3；当超分倍数为4，膨胀值d为0.5时，偏移量d为2，5个初始像素点包括1个坐标为(i,j)的中心像素点，以及4个处于中心像素点周围的邻域像素点，每个邻域像素点与中心像素点之间的位移均为2，也就是说，通过大小为5*5的图像块中的5个像素点确定目标像素点的目标像素值，每个目标像素点对应的感受野为5。可见，超分倍数越大，目标像素点对应的感受野越大。目标像素点对应的感受野越大，表示影响目标像素点的区域越大，目标像素点包括的图像信息更多，因此，增大感受野，可以提高后续计算梯度的准确性。
[0106]
在本发明实施例中，将公式(4)中的替换为公式(2)中的xlq表达，可以得到公式(2)。也就是说，公式(2)包括了：只采用5个初始像素点确定放大图像中坐标为(x,y)的目标像素点的像素，提高了计算速度，可以更快得到放大图像，以及在初始图像中增加了偏移量，进而增大了目标像素点对应的感受野，提高了放大图像的质量。
[0107]
s2、对于所述放大图像中的每个目标像素点，基于该目标像素点的目标像素值以及所述超分倍数确定该目标像素点对应的目标梯度，基于所述目标梯度、所述超分倍数以及所述待处理图像确定该目标像素点对应的超分像素值。
[0108]
在本发明实施例中，为了更进一步增强放大图像中的边缘质量，计算出每个目标像素点对应的目标梯度，根据目标梯度确定每个目标像素点对应的目标梯度。所述待处理图像为二维动画图像，由于二维动画图像中的边缘一般为黑色线条，只需要将图像边缘保持不变，其余部分收缩，以平滑边缘。
[0109]
具体的，步骤s2包括：
[0110]
s21、对于所述放大图像中的每个目标像素点，获取所述目标像素值对应的若干参考像素值；
[0111]
s22、根据所述目标像素值和所述若干参考像素值确定所述目标像素值对应的初始梯度。
[0112]
在本发明实施例中，所述目标像素值是目标像素点的像素值，首先在放大图像中确定目标像素点对应的若干参考像素点，若干参考像素点均为目标像素点的邻域像素点。也就是说，所述放大图像包括多个目标像素点，对于一个目标像素点，将该目标像素点的邻域像素点作为该目标像素点的参考像素点(参考像素点的本质也是放大图像中的目标像素点)。再获取若干参考像素点各自分别对应的参考像素值。
[0113]
在本发明实施例中，所述目标像素点对应的参考像素点为4个，分别处于目标像素点的行方向的左侧、行方向的右侧、列方向的上侧，以及列方向的下侧。并且每个参考像素点与目标像素点之间的位移均等于所述初始梯度的阶数。所述初始梯度为二阶梯度，也就是说，每个参考像素点与目标像素点之间的位移均等于2。例如，当目标像素点的坐标为(i,j)时，若干参考像素点的坐标分别为(i-2,j)、(i 2,j)、(i,j-2)、(i,j 2)。
[0114]
在本发明实施例中，所述待处理图像为yuv格式，“y”表示明亮度，也就是灰度值；而“u”和“v”表示的则是色度，用于描述图像色彩及饱和度。进而，所述目标像素值包括目标y分量值，每个参考像素值均包括参考y分量值。所述初始梯度包括行方向的y分量初始梯度和列方向的y分量初始梯度。
[0115]
获取目标像素值对应的目标y分量值，以及每个参考像素值格子分别对应的参考y分量值。根据所述目标y分量值和若干参考y分量值确定所述目标像素值对应的行方向的y分量初始梯度，以及列方向的y分量初始梯度。
[0116]
根据公式(5)和公式(6)可以计算出目标像素值对应的行方向的y分量初始梯度，以及列方向的y分量初始梯度。
[0117][0118][0119]
其中，是坐标为(i,j)对应的行方向的y分量初始梯度，是坐标为(i,j-2)对应的参考y分量，是坐标为(i,j 2)对应的参考y分量；是坐标为(i,j)对应的目标y分量值；是坐标为(i,j)对应的列方向的y分量初始梯度，是坐标为(i-2,j)对应的参考y分量，是坐标为(i 2,j)对应的参考y分量。
[0120]
s23、若所述初始梯度小于0，则根据所述超分倍数对所述初始梯度进行修正，以得到目标梯度。
[0121]
在本发明实施例中，所述待处理图像为二维动画图像，由于二维动画图像中的边缘一般为黑色线条，只需要将图像边缘保持不变，其余部分收缩，以平滑边缘，也就是说，筛选出初始梯度小于0的目标像素点。对于一个目标像素点，若该目标像素点对应的初始梯度大于0，则将该目标像素点对应的初始梯度修改为0；若该目标像素点对应的初始梯度小于0，则对该目标像素点对应的初始梯度进行修正，以得到目标梯度。
[0122]
具体的，步骤s23包括：
[0123]
s231、若所述行方向的y分量初始梯度小于0，则根据若干参考y分量值，确定所述行方向的y分量初始梯度的梯度方向，以得到行方向的y分量中间梯度；对所述行方向的y分量中间梯度进行归一化处理，并根据所述超分倍数对归一化处理后的结果进行修正，以得到行方向的y分量目标梯度。
[0124]
s232、若所述列方向的y分量初始梯度小于0，则根据所述若干参考y分量值，确定所述列方向的y分量初始梯度的梯度方向，以得到列方向的y分量中间梯度；对所述列方向的y分量中间梯度进行归一化处理，并根据所述超分倍数对归一化处理后的结果进行修正，以得到列方向的y分量目标梯度。
[0125]
在本发明实施例中，初始梯度的正负不代表梯度变化方向，需要对和的方向进行修正。
[0126]
所述中间梯度包括行方向的y分量中间梯度和列方向的y分量中间梯度。具体的，当行方向的y分量初始梯度小于0时，可以根据公式(7)计算y分量中间梯度；当列方向的y分量初始梯度小于0时，可以根据公式(8)计算y分量中间梯度。
[0127][0128][0129]
其中，坐标为(i,j)的目标像素点的行方向的y分量中间梯度，是坐标为(i,j)的目标像素点的列方向的y分量中间梯度。sign(
·
)是符号函数，当()中大于0时，sign(
·
)取值为1，当()中小于0时，sign(
·
)取值为-1。
[0130]
在本发明实施例中，对所述行方向的y分量中间梯度进行归一化处理，以得到行方向的y分量归一化梯度；根据预设的边缘强度系数和所述超分倍数确定修正系数；计算所述行方向的y分量归一化梯度与所述修正系数的乘积，以得到行方向的y分量目标梯度。
[0131]
通过公式(9)和公式(10)对行方向的y分量中间梯度进行归一化处理。
[0132][0133][0134]
所述预设的边缘强度系数是认为设定的超参数，s＝strength*s，其中strength为
边缘强度系数，s为超分倍数，s为修正系数。计算修正系数和行方向的y分量归一化梯度之间的乘积，可以得到行方向的y分量目标梯度。
[0135]
在本发明实施例中，对所述列方向的y分量中间梯度进行归一化处理，以得到列方向的y分量归一化梯度；计算所述列方向的y分量归一化梯度与所述修正系数的乘积，以得到列方向的y分量目标梯度。
[0136]
通过公式(9)和公式(11)对列方向的y分量中间梯度进行归一化处理。
[0137][0138]
其中，是列方向的y分量归一化梯度，计算修正系数s和列方向的y分量归一化梯度之间的乘积，可以得到列方向的y分量目标梯度。
[0139]
在本发明实施例中，根据所述目标梯度、所述超分倍数实现边缘补偿，通过公式(12)可以得到目标像素点对应的超分像素值。
[0140][0141]
在待处理图像中确定坐标为的像素值，将该像素值作为(i,j)对应的超分像素值。
[0142]
s3、根据各个目标像素点各自分别对应的超分像素值，对所述放大图像进行调整，得到所述待处理图像对应的超分图像。
[0143]
在本发明实施例中，对于每个目标像素点，根据该目标像素点对应的超分值替换该目标像素点对应的目标像素值，以得到所述待处理图像对应的超分图像。
[0144]
在本发明实施例中，所述目标像素点是放大图像中的像素点，对于每个目标像素点，经过步骤s3确定该目标像素点对应的超分像素值，将该目标像素点对应的目标像素值替换为该目标像素点对应的超分像素值，得到超分图像。
[0145]
例如，对于目标像素点f1，f1的目标像素点值为g1，f1对应的超分像素值为g1,将f1的像素值设置为g1。对放大图像中的每个目标像素点执行上述操作，也就是说，放大图像的目标像素点包括：f1,f2,f3,
……
fn，对于f1,f2,f3,
……
fn中每个目标像素点，将该目标像素点的像素值设置为该目标像素点对应的超分像素值，以得到超分图像。
[0146]
本发明实施例中，获取待处理图像，根据所述待处理图像以及预设的超分倍数，确定所述待处理图像对应的放大图像；对于所述放大图像中的每个目标像素点，基于该目标像素点的目标像素值以及所述超分倍数确定该目标像素点对应的目标梯度，基于所述目标梯度、所述超分倍数以及所述待处理图像确定该目标像素点对应的超分像素值；根据各个目标像素点各自分别对应的超分像素值，对所述放大图像进行调整，得到所述待处理图像对应的超分图像。本发明中，只需要通过简单的运算即可确定目标像素点对应的目标梯度，以及确定目标像素点对应的超分像素值，也就是说，本发明对待处理图像进行超分辨率处理，得到超分图像的处理过程不涉及复杂运算，本方法所需要的运算能力远远小于深度学习的算法所需的运算能力，本方法可以应用于运算能力不高的产品中。本发明中，计算每个
待处理像素点对应的目标梯度后，根据超分倍数得到目标像素点，进而根据目标梯度对目标像素点进行修正，以得到超分图像，在生成超分图像的过程中，遍历放大图像中的每个初始像素点，进而确定每个初始像素点的初始像素值，以得到放大图像，再次遍历放大图像中的每个初始像素点，进而确定每个目标像素点的超分像素值，整个过程只需要遍历两次，可以快速生成超分图像，进而可以在运算能力不高的产品中实时视频超分。
[0147]
基于上述一种图像超分辨率处理方法，本发明实施例还提供了一种图像超分辨率处理装置，参见图2，包括：
[0148]
放大图像确定单元，用于获取待处理图像，根据所述待处理图像以及预设的超分倍数，确定所述待处理图像对应的放大图像；
[0149]
超分像素值确定单元，用于对于所述放大图像中的每个目标像素点，基于该目标像素点的目标像素值以及所述超分倍数确定该目标像素点对应的目标梯度，基于所述目标梯度、所述超分倍数以及所述待处理图像确定该目标像素点对应的超分像素值；
[0150]
超分图像生成单元，用于采用该目标像素点对应的超分像素值替换该目标像素点对应的目标像素值，以得到所述待处理图像对应的超分图像。
[0151]
基于上述一种图像超分辨率处理方法，本发明实施例还提供了一种计算机设备，该设备可以是终端，内部结构如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像超分辨率处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0152]
本领域技术人员可以理解，图3示的仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0153]
本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0154]
获取待处理图像，根据所述待处理图像以及预设的超分倍数，确定所述待处理图像对应的放大图像；
[0155]
对于所述放大图像中的每个目标像素点，基于该目标像素点的目标像素值以及所述超分倍数确定该目标像素点对应的目标梯度，基于所述目标梯度、所述超分倍数以及所述待处理图像确定该目标像素点对应的超分像素值；
[0156]
根据各个目标像素点各自分别对应的超分像素值，对所述放大图像进行调整，得到所述待处理图像对应的超分图像。
[0157]
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0158]
获取待处理图像，根据所述待处理图像以及预设的超分倍数，确定所述待处理图
像对应的放大图像；
[0159]
对于所述放大图像中的每个目标像素点，基于该目标像素点的目标像素值以及所述超分倍数确定该目标像素点对应的目标梯度，基于所述目标梯度、所述超分倍数以及所述待处理图像确定该目标像素点对应的超分像素值；
[0160]
根据各个目标像素点各自分别对应的超分像素值，对所述放大图像进行调整，得到所述待处理图像对应的超分图像。
[0161]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0162]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。