一种图像处理方法、终端以及存储介质与流程

1.本发明涉及图像处理领域，特别涉及一种图像处理方法、终端以及存储介质。


背景技术：

2.基于深度学习的图像处理方法已大量应用，在深度学习中，卷积是最关键的计算单元，卷积是通过卷积核参数对像素点的特征值进行运算。在现有技术中，卷积核参数在数据集上通过反向传播方式训练学习得到，然而，现有技术中卷积核参数为全局共享，即对于图像中的各像素点都是一样的，这使得图像处理过程中的边缘保持特性差，图像处理网络的图像处理性能低。
3.因此，现有技术还有待改进和提高。


技术实现要素：

4.针对现有技术的上述缺陷，提供一种图像处理方法、终端及存储介质，旨在解决现有技术中的卷积核参数全局共享导致图像处理网络的图像处理性能低的问题。
5.本发明的第一方面，提供一种图像处理方法，包括：
6.获取待处理图像中各像素点的位置特征向量和像素特征向量；
7.根据位置特征向量和像素特征向量获取相应的像素点的卷积核参数；
8.根据卷积核参数对相应的像素点进行处理。
9.所述的图像处理方法，其中，获取待处理图像中各像素点的位置特征向量，包括：
10.对待处理图像中各像素点的原始坐标进行归一化处理；
11.根据目标像素点的坐标和目标像素点的近邻像素点的坐标获取目标像素点对应的位置特征向量；
12.其中，目标像素点的近邻像素点为以目标像素点为中心的kxk个像素点，k为正整数。
13.所述的图像处理方法，其中，获取待处理图像中各像素点的像素特征向量，包括：
14.根据目标像素点的像素值和目标像素点的近邻像素点的像素值获取目标像素点对应的像素特征向量；
15.其中，目标像素点的近邻像素点为以目标像素点为中心的kxk个像素点，k为正整数。
16.所述的图像处理方法，其中，根据目标像素点的坐标和目标像素点的近邻像素点的坐标获取目标像素点对应的位置特征向量，包括：
17.获取目标像素点的坐标分别与目标像素点的近邻像素点的坐标的第一差值；
18.根据第一差值生成目标像素点对应的位置特征向量。
19.所述的图像处理方法，其中，根据目标像素点的像素值和目标像素点的近邻像素点的像素值获取目标像素点对应的像素特征向量，包括：
20.获取目标像素点的像素值分别与目标像素点的近邻像素点的像素值的第二差值；
21.根据第二差值生成目标像素点对应的像素特征向量。
22.所述的图像处理方法，其中，根据位置特征向量和像素特征向量获取相应的像素点的卷积核参数，包括：
23.对目标像素点的位置特征向量和像素特征向量进行特征融合并输入至预设的卷积核参数生成网络进行处理，输出目标像素点的卷积核参数；
24.其中，卷积核参数的尺寸为kxk，k为正整数。
25.所述的图像处理方法，其中，根据卷积核参数对相应的像素点进行处理，包括：
26.对目标像素点的特征值进行降维运算，得到降维运算后的目标像素点的特征值；
27.根据目标像素点对应的卷积核参数对降维运算后的目标像素点的特征值进行卷积，得到卷积运算后的目标像素点的特征值。
28.所述的图像处理方法，其中，根据目标像素点对应的卷积核参数对降维运算后的目标像素点的特征值进行卷积，得到卷积运算后的目标像素点的特征值，包括：
29.将降维运算后的目标像素点的特征值输入至图像处理网络，图像处理网络包括目标卷积模块；
30.在目标卷积模块中采用目标像素点对应的卷积核参数对降维运算后的目标像素点的特征值进行卷积，得到卷积运算后的目标像素点的特征值。
31.本发明的第二方面，提供一种终端，包括：处理器、与处理器通信连接的存储介质，存储介质适于存储多条指令，处理器适于调用存储介质中的指令，以执行实现上述任一项所述的图像处理方法的步骤。
32.本发明的第三方面，提供一种存储介质，其中，存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现上述任一项所述的图像处理方法的步骤。
33.有益效果：与现有技术相比，本发明提供了一种图像处理方法、终端及存储介质，本发明提供的图像处理方法对于待处理图像中的每个像素点，都结合像素点的位置特征和像素特征生成对应的卷积核参数，即对待处理图像进行卷积的卷积核参数处处独立，提高了图像处理网络的图像处理性能。
附图说明
34.图1为本发明提供的图像处理方法的实施例的流程图；
35.图2为本发明提供的图像处理方法的实施例中生成卷积核参数的流程框图；
36.图3为本发明提供的图像处理方法的实施例中残差模块的示意图；
37.图4为本发明提供的图像处理方法应用于一种图像分类网络时的网络参数配置图；
38.图5为本发明提供的图像处理方法应用于一种图像超分网络时的网络参数配置图；
39.图6为本发明提供的终端的实施例的结构原理图。
具体实施方式
40.为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对
本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
41.本发明提供的一种图像处理方法，是可以应用在终端中，终端可以但不限于是各种个人计算机、笔记本电脑、手机、平板电脑、车载电脑和便携式可穿戴设备。终端在获取到待处理图像后，可以通过本发明提供的图像处理方法对待处理图像进行处理。
42.实施例一
43.如图1所示，本发明提供的图像处理方法包括步骤：
44.s100、终端获取待处理图像中各像素点的位置特征向量和像素特征向量。
45.位置特征向量为反映了像素点的位置特征值的向量，像素特征向量为反映了像素点的像素特征值的向量。终端获取待处理图像中各像素点的位置特征向量，包括：
46.s111、终端对待处理图像中的各像素点的原始坐标进行归一化处理；
47.s112、终端根据目标像素点的坐标和目标像素点的近邻像素点的坐标获取目标像素点对应的位置特征向量。
48.目标像素点为待处理图像中的一个像素点，终端在需要获取某个像素点对应的位置特征向量时，将该像素点作为目标像素点，目标像素点的近邻像素点为以目标像素点为中心的kxk个像素点，k为正整数，在对待处理图像中的各像素点进行卷积时，采用的卷积核参数尺寸也为kxk。
49.在获取目标像素点的位置特征向量时，先对待处理图像中的各像素点的原始坐标进行归一化处理，即，将待处理图像中的各像素点的坐标都处理到(0,1)的范围内，对于原始坐标为(i，j)的目标像素点，进行归一化处理后，坐标为(i/h,j/w),其中，h、w为待处理图像的高和宽。目标像素点和目标像素点的近邻像素点的坐标为：
[0050][0051][0052][0053]
根据目标像素点的坐标和目标像素点的近邻像素点的坐标获取目标像素点对应的位置特征向量，包括：
[0054]
获取目标像素点的坐标分别与目标像素点的近邻像素点的坐标的第一差值；
[0055]
根据第一差值生成目标像素点对应的位置特征向量。
[0056]
不难看出，目标像素点的近邻像素点有kxk个(包括目标像素点)，那么，目标像素点的近邻像素点与目标像素点的坐标的差值也有kxk个，对这些差值进行reshape(重整)操作，得到一个尺寸为(1x(kxk))的特征向量，在一种可能的实现方式中，直接将尺寸为(1x(kxk))的特征向量作为位置特征向量。在本实施例中，对尺寸为(1x(kxk))的特征向量进一步处理，生成位置特征向量，具体地，是将尺寸为(1x(kxk))的特征向量输入至预设的位置特征网络，位置特征网络输出位置特征向量，位置特征向量的尺寸为(1x(kxk))，在一种可能的实现方式中，位置特征网络包括两个全连接层，在根据输入的尺寸为(1x(kxk))的特征向量输出位置特征向量的过程中能够实现更高维特征提取。位置特征网络可以为单独的网
络，也可以为图像处理网络中的一层，当位置特征网络为单独的网络时，位置特征网络单独地被训练，位置特征网络由多组训练数据训练完成，每组训练数据包括样本特征向量和样本特征向量对应的样本位置特征向量。当位置特征网络为图像处理网络中的一层时，图像处理网络被整体训练，位置特征网络在图像处理网络被训练时一同被训练。位置特征生成网络能够实现根据输入的特征向量，输出对应的位置特征向量。
[0057]
获取待处理图像中各像素点的像素特征向量，包括：
[0058]
根据目标像素点对应的像素值和目标像素点的近邻像素点的像素值获取目标像素点对应的像素特征向量。
[0059]
目标像素点为待处理图像中的一个像素点，在需要获取某个像素点对应的像素特征向量时，将该像素点作为目标像素点，目标像素点的近邻像素点为以目标像素点为中心的kxk个像素点，k为正整数，在对待处理图像中的各像素点进行卷积时，采用的卷积核参数尺寸也为kxk。
[0060]
根据目标像素点的像素值和目标像素点的近邻像素点的像素值获取目标像素点对应的像素特征向量，包括：
[0061]
获取目标像素点的像素值分别与目标像素点的近邻像素点的像素值的第二差值；
[0062]
根据第二差值生成目标像素点对应的位置特征向量。
[0063]
不难看出，目标像素点的近邻像素点有kxk个(包括目标像素点)，每个像素点对应有一个像素值，那么，目标像素点的近邻像素点与目标像素点的像素值的第二差值也有kxk个，对这些第二差值进行reshape(重组)操作，得到一个尺寸为(1x(kxkxc))的特征向量，其中，c为特征通道数，在一种可能的实现方式中，直接将尺寸为(1x(kxkxc))的特征向量作为像素特征向量。在本实施例中，对尺寸为(1x(kxkxc))的特征向量进一步处理，生成像素特征向量，具体地，是将尺寸为(1x(kxkxc))的特征向量输入至预设的像素特征网络，像素特征网络输出像素特征向量，像素特征向量的尺寸为(1x(kxkxc))，在一种可能的实现方式中，位置特征网络包括两个全连接层，在根据输入的尺寸为(1x(kxkxc))的特征向量输出像素特征向量的过程中能够实现更高维特征提取。像素特征网络可以为单独的网络，也可以为图像处理网络中的一层，当像素特征网络为单独的网络时，像素特征网络单独地被训练，像素特征网络由多组训练数据训练完成，每组训练数据包括样本特征向量和样本特征向量对应的样本像素特征向量。当像素特征网络为图像处理网络中的一层时，图像处理网络被整体训练，像素特征网络在图像处理网络被训练时一同被训练。像素特征生成网络能够实现根据输入的特征向量，输出对应的像素特征向量。
[0064]
请再次参阅图1，本实施例提供的图像处理方法还包括步骤：
[0065]
s200、终端根据位置特征向量和像素特征向量获取相应的像素点的卷积核参数。
[0066]
根据位置特征向量和像素特征向量获取相应的像素点的卷积核参数，包括：
[0067]
对目标像素点对应的位置特征向量和像素特征向量进行特征融合并输入至预设的卷积核参数生成网络进行处理，输出目标像素点的卷积核参数。
[0068]
卷积核参数的尺寸为kxk，在获取到目标像素点对应的位置特征向量和像素特征向量后，终端将位置特征向量和像素特征向量输入至预设的卷积核参数生成网络，卷积核参数生成网络为预先训练完成的网络，卷积核参数生成网络可以为单独的网络，也可以为图像处理网络中的一层，当卷积核参数生成网络为单独的网络时，卷积核参数生成网络是
通过多组样本数据训练完成的，每组样本数据包括样本位置特征向量和样本像素特征向量，和对应的样本卷积核参数。当卷积核参数生成网络为图像处理网络中的一层时，图像处理网络被整体训练，卷积核参数生成网络在图像处理网络被训练时一同被训练，卷积核参数生成网络能够实现根据输入的位置特征向量和像素特征向量输出对应的卷积核参数。卷积核参数生成网络具体包括融合模块、参数生成模块和重整模块，融合模块用于对位置特征向量和像素特征向量进行特征初步融合，融合模块的输出作为参数生成模块的输入，参数生成模块输出一个(1x(kxk))的向量，重整模块对其进行reshape(重整)得到尺寸为kxk的卷积核参数。融合模块可以采用concat方式进行特征融合，当然，可以理解的是，融合模块也可以采用其他的融合方式，例如add方式进行特征融合。
[0069]
不难看出，本实施例提供的图像处理方法，在分别生成各像素点对应的卷积核参数时，是结合了像素点与邻近像素点之间的位置坐标和像素值的关系来生成的，这样，生成的卷积核参数能够更加反映像素点与邻近像素点之间的关系，在使用卷积核参数对像素点进行卷积时，能够实现更好的边缘保持特征和去噪能力，提高图像处理性能。
[0070]
步骤s100、终端获取待处理图像中各像素点的位置特征向量和像素特征向量和步骤s200、终端根据位置特征向量和像素特征向量获取相应的像素点的卷积核参数的流程可以如图2所示。
[0071]
s300、终端根据卷积核参数对相应的像素点进行处理。
[0072]
对各像素点进行处理，是对各像素点的特征值进行处理，输出新的特征值，根据新的特征值得到处理后的图像。在一种可能的实现方式中，在对待处理图像中的各像素点进行特征值提取后，直接将提取的特征值作为输入进行处理输出新的特征值，在本实施例中，是先对各像素点的特征值进行降维运算后再进行处理，具体地，终端根据卷积核参数对相应的像素点进行处理，包括：
[0073]
s310、终端对目标像素点的特征值进行降维运算，得到降维运算后的目标像素点的特征值；
[0074]
s320、终端根据目标像素点对应的卷积核参数对降维运算后的目标像素点的特征值进行卷积，得到卷积运算后的目标像素点的特征值。
[0075]
对目标像素点的特征值进行降维运算可以是通过一个尺寸为1x1的卷积核参数对特征值进行卷积。如图2所示，步骤s310、终端对目标像素点的特征值进行降维运算、步骤s100和步骤s200可以是同步进行。
[0076]
对于进行降维运算后的目标像素点的特征值，是根据目标像素点对应的卷积核参数进行处理，具体地，根据目标像素点对应的卷积核参数对降维运算后的目标像素点的特征值进行卷积，得到卷积运算后的目标像素点的特征值，包括：
[0077]
s321、终端将降维运算后的目标像素点的特征值输入至图像处理网络，图像处理网络包括目标卷积模块；
[0078]
s322、终端在目标卷积模块中采用目标像素点对应的卷积核参数对降维运算后的目标像素点的特征值进行卷积，得到卷积运算后的目标像素点的特征值。
[0079]
图像处理网络可以包括位置特征网络、像素特征网络和卷积核参生成网络，也可以为与位置特征网络、像素特征网络和卷积核参数生成网络独立的图像处理网络，图像处理网络中包括目标卷积模块，在对待处理图像进行处理时，目标卷积模块中采用卷积核参
数生成网络输出的卷积核参数对待处理图像中各像素点的特征值进行卷积。图像处理网络通过多组样本数据被训练，每组样本数据包括样本待处理图像和样本待处理图像对应的样本目标图像，图像处理网络经过训练后，能够实现对待处理图像进行处理，输出目标图像。
[0080]
根据卷积核参数对各像素点的特征值进行卷积的公式可以如下：
[0081][0082]
其中，i
p
为像素点p卷积后的特征值，iq为像素点q的输入特征值，wq表示像素点p对应的卷积核参数，s表示像素点p的近邻像素点集合，由于获取待处理图像中各像素点的位置特征向量和像素特征向量、根据位置特征向量和像素特征向量获取相应的像素点的卷积核参数和根据卷积核参数对相应的像素点的特征值进行卷积的过程处处可微，在一种可能的实现方式中，图像处理网络是采用支持自动微分的深度学习框架，如tensorflow、pytorch等进行训练。
[0083]
在一种可能的实现方式中，图像处理网络是基于resnet(一种基础特征提取网络)的bottleneck(resnet的一种网络结构)构建的，bottleneck包括两个分支：identity分支和残差分支，根据卷积核参数对待处理图像中各像素点的特征值进行卷积是在残差分支中进行。在一种可能的实现方式中，如图3所示，图3为残差分支的结构示意图，残差分支包括两个1x1卷积(分别用于进行降维与升维)和目标卷积模块，目标卷积模块的输入为待处理图像中各像素点的特征值(上一层的输出)，对待处理图像中各像素点的特征值进行目标卷积模块可以执行步骤s100、步骤s200和步骤s310，即获取待处理图像中各像素点的位置特征向量和像素特征向量、根据位置特征向量和像素特征向量获取相应的像素点的卷积核参数、对目标像素点的特征值进行降维运算和采用目标像素点对应的卷积核参数对目标像素点的特征值进行卷积可以作为一个整体嵌入在残差分支中。
[0084]
本实施例提供的图像处理方法，可以是应用于多种图像处理网络中，如图4-5所示，图4-5为本实施例提供的图像处理方法分别应用于图像分类网络与图像超分网络中时对应的网络参数配置图。
[0085]
将本实施例提供的图像处理方法应用于图像分类和图像超分两种图像处理任务中进行实验验证，对于图像分类处理任务，对于现有的resnet50图像处理网络和采用本实施例提供的图像处理方法的图像处理网络，分别采用cifar10与imagenet两个数据集进行训练及验证，基于cifar10数据集的resnet50精度为93.62％，基于cifar10数据集的采用本实施例提供的图像处理方法的图像处理网络精度达到95.14％，精度提升1.52％。对于图像超分处理任务，对于现有的经典esdr网络和采用本实施例提供的图像处理方法的esdr网络，采用div2k训练数据集进行训练，采用set5进行性能评估，经典esdr网络在set5上的psnr/ssim指标为32.62/0.8984(4倍超分)，在采用本实施例提供的图像处理方法的esdr网络在set5上的psnr/ssim指标为33.95/0.9235(4倍超分)。从上述实验数据可以看出，本实施例提供的图像处理方法，在多种图像处理任务中都能够实现图像处理网络的性能提升。
[0086]
综上所述，本实施例提供一种图像处理方法，对于待处理图像中的每个像素点，都结合像素点的位置特征和像素特征生成对应的卷积核参数，即对待处理图像进行卷积的卷积核参数处处独立，提高了图像处理网络的图像处理性能。
[0087]
应该理解的是，虽然本发明说明书附图中给出的的流程图中的各个步骤按照箭头
的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，本发明中的步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，本发明步骤的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0088]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0089]
实施例二
[0090]
基于上述实施例，本发明还提供了一种终端，其原理框图可以如图6所示。该终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该终端的处理器用于提供计算和控制能力。该终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。该终端的显示屏可以是液晶显示屏或者电子墨水显示屏，该终端的温度传感器是预先在终端内部设置，用于检测内部设备的当前运行温度。
[0091]
本领域技术人员可以理解，图6中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0092]
在一个实施例中，提供了一种终端，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时至少可以实现以下步骤：
[0093]
获取待处理图像中各像素点的位置特征向量和像素特征向量；
[0094]
根据位置特征向量和像素特征向量获取相应的像素点的卷积核参数；
[0095]
根据卷积核参数对相应的像素点进行处理。
[0096]
其中，获取待处理图像中各像素点的位置特征向量，包括：
[0097]
对待处理图像中各像素点的原始坐标进行归一化处理；
[0098]
根据目标像素点的坐标和目标像素点的近邻像素点的坐标获取目标像素点对应的位置特征向量；
[0099]
其中，目标像素点的近邻像素点为以目标像素点为中心的kxk个像素点，k为正整数。
[0100]
其中，获取待处理图像中各像素点的像素特征向量，包括：
[0101]
根据目标像素点的像素值和目标像素点的近邻像素点的像素值获取目标像素点对应的像素特征向量；
[0102]
其中，目标像素点的近邻像素点为以目标像素点为中心的kxk个像素点，k为正整数。
[0103]
其中，根据目标像素点的坐标和目标像素点的近邻像素点的坐标获取目标像素点对应的位置特征向量，包括：
[0104]
获取目标像素点的坐标分别与目标像素点的近邻像素点的坐标的第一差值；
[0105]
根据第一差值生成目标像素点对应的位置特征向量。
[0106]
其中，根据目标像素点的像素值和目标像素点的近邻像素点的像素值获取目标像素点对应的像素特征向量，包括：
[0107]
获取目标像素点的像素值分别与目标像素点的近邻像素点的像素值的第二差值；
[0108]
根据第二差值生成目标像素点对应的像素特征向量。
[0109]
其中，根据位置特征向量和像素特征向量获取相应的像素点的卷积核参数，包括：
[0110]
对目标像素点的位置特征向量和像素特征向量进行特征融合并输入至预设的卷积核参数生成网络进行处理，输出目标像素点的卷积核参数；
[0111]
其中，卷积核参数的尺寸为kxk，k为正整数。
[0112]
其中，根据卷积核参数对相应的像素点进行处理，包括：
[0113]
对目标像素点的特征值进行降维运算，得到降维运算后的目标像素点的特征值；
[0114]
根据目标像素点对应的卷积核参数对降维运算后的目标像素点的特征值进行卷积，得到卷积运算后的目标像素点的特征值。
[0115]
其中，根据目标像素点对应的卷积核参数对降维运算后的目标像素点的特征值进行卷积，得到卷积运算后的目标像素点的特征值，包括：
[0116]
将降维运算后的目标像素点的特征值输入至图像处理网络，图像处理网络包括目标卷积模块；
[0117]
在目标卷积模块中采用目标像素点对应的卷积核参数对降维运算后的目标像素点的特征值进行卷积，得到卷积运算后的目标像素点的特征值。
[0118]
实施例三
[0119]
本发明还提供了一种存储介质，存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现上述实施例所述的图像处理方法的步骤。
[0120]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。