基于稀疏表达的图像处理方法、装置、终端以及存储介质与流程

1.本发明涉及图像处理技术领域，特别涉及一种基于稀疏表达的图像处理方法、装置、终端以及存储介质。


背景技术：

2.稀疏是信号的最基本特性之一，有助于采用最少的信息去描述更充分的信息，稀疏表达的研究已在信号处理、系统辨识、图像处理等各个领域取得了诸多研究成果。在传统的基于稀疏表达的图像处理技术中，需要确定过完备字典和稀疏表达系数，而现有技术中，图像的稀疏表达系数需要通过迭代优化的方式求解，需要大量的计算量。
3.因此，现有技术还有待改进和提高。


技术实现要素：

4.针对现有技术的上述缺陷，提供一种基于稀疏表达的图像处理方法、装置、终端及存储介质，旨在解决现有技术中基于稀疏表达的图像处理技术中计算量大的问题。
5.本发明的第一方面，提供一种基于稀疏表达的图像处理方法，包括：
6.提供待处理图像，通过已训练的深度学习模型确定所述待处理图像对应的稀疏表达系数；
7.根据所述稀疏表达系数和预设过完备字典获取所述待处理图像对应的目标特征；
8.根据所述目标特征获取所述待处理图像对应的目标图像。
9.所述的基于稀疏表达的图像处理方法，其中，所述通过已训练的深度学习模型确定所述待处理图像对应的稀疏表达系数，包括：
10.将所述待处理图像切分为若干待处理图像块，通过所述已训练的深度学习模型分别提取各所述待处理图像块对应的初始特征；
11.通过所述已训练的深度学习模型分别对各所述待处理图像块对应的初始特征进行第一卷积处理，获取各所述待处理图像块对应的稀疏表达系数。
12.所述的基于稀疏表达的图像处理方法，其中，所述根据所述稀疏表达系数和预设过完备字典获取所述待处理图像对应的目标特征，包括：
13.根据各所述待处理图像块对应的稀疏表达系数和所述预设过完备字典获取各所述待处理图像块对应的目标特征。
14.所述的基于稀疏表达的图像处理方法，其中，所述根据所述目标特征获取所述待处理图像对应的目标图像，包括：
15.通过所述已训练的深度学习模型分别对各所述待处理图像块对应的目标特征进行第二卷积处理，获取各所述待处理图像块对应的目标图像块；
16.对各所述待处理图像块对应的目标图像块进行图像重建，获取所述目标图像。
17.所述的基于稀疏表达的图像处理方法，其中，所述通过所述已训练的深度学习模型分别对各所述待处理图像块对应的目标特征进行第二卷积处理，获取各所述待处理图像
块对应的目标图像块，包括：
18.当所述目标图像的分辨率要求高于所述待处理图像时，对各所述待处理图像块对应的目标特征进行第二卷积处理之后进行上采样处理，得到各所述待处理图像块对应的目标图像块。
19.所述的基于稀疏表达的图像处理方法，其中，所述已训练的深度学习模型是根据多组训练数据训练得到的，每组训练数据包括样本待处理图像和所述样本待处理图像对应的样本目标图像。
20.所述的基于稀疏表达的图像处理方法，其中，所述将所述待处理图像输入至已训练的深度学习模型之前，所述方法还包括：
21.根据预设核函数生成所述预设过完备字典。
22.本发明的第二方面，提供一种基于稀疏表达的图像处理装置，包括：
23.稀疏表达单元，所述稀疏表达单元用于通过已训练的深度学习模型确定提供的待处理图像对应的稀疏表达系数；
24.目标特征获取单元，所述目标特征获取单元用于根据所述稀疏表达系数和预设过完备字典获取所述待处理图像的目标特征；
25.目标图像获取单元，所述目标图像获取单元用于根据所述目标特征获取所述待处理图像对应的目标图像。
26.本发明的第三方面，提供一种终端，包括：处理器、与处理器通信连接的存储介质，存储介质适于存储多条指令，处理器适于调用存储介质中的指令，以执行实现上述任一项所述的基于稀疏表达的图像处理方法的步骤。
27.本发明的第四方面，提供一种计算机可读存储介质，其中，计算机可读存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现上述任一项所述的基于稀疏表达的图像处理方法的步骤。
28.有益效果：与现有技术相比，本发明提供了一种基于稀疏表达的图像处理方法、装置、终端及存储介质，本发明提供的基于稀疏表达的图像处理方法通过预先训练的深度学习模型预测待处理图像的稀疏表达系数，并根据固定的过完备字典来提取待处理图像的目标特征以输出目标图像，不需要通过迭代优化的方式进行稀疏表达系数的求解，降低了基于稀疏表达的图像处理中的计算量。
附图说明
29.图1为本发明提供的基于稀疏表达的图像处理方法的实施例的流程图；
30.图2为本发明提供的基于稀疏表达的图像处理方法的实施例中特征提取模型的结构示意图；
31.图3为本发明提供的基于稀疏表达的图像处理方法的实施例的效果示意图一；
32.图4为本发明提供的基于稀疏表达的图像处理方法的实施例的效果示意图二；
33.图5为本发明提供的基于稀疏表达的图像处理装置的实施例的结构原理图；
34.图6为本发明提供的终端的实施例的结构原理图。
具体实施方式
35.为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
36.本发明提供的一种基于稀疏表达的图像处理方法，是可以应用在终端中，终端可以但不限于是各种个人计算机、笔记本电脑、手机、平板电脑、车载电脑和便携式可穿戴设备。终端在获取到待处理图像后，可以通过本发明提供的基于稀疏表达的图像处理方法对待处理图像进行处理得到目标图像。
37.实施例一
38.如图1所示，本发明提供的基于稀疏表达的图像处理方法包括步骤：
39.s100、提供待处理图像，通过已训练的深度学习模型确定所述待处理图像对应的稀疏表达系数。
40.本实施例提供的基于稀疏表达的图像处理方法可以应用于多种图像处理任务中，例如图像超分、去噪等，稀疏是信号的最基本特性之一，有助于采用最少的信息去描述更充分的信息，在稀疏表达中，最基本的概念是过完备字典d∈rn×k，它由大量冗余的源构成(k》n)，假设信号y可以表示成过完备字典上的稀疏线性组合，那么该过程可以描述为：y＝dα0，其中稀疏表达系数α0仅有少量值为非零。
41.在传统的基于稀疏表达的图像处理技术中，需要对稀疏表达系数α0采用迭代优化的方式进行求解，稀疏表达建模的这种求解过程导致了其求解的高计算复杂度，计算量大，难以真正的落地。在本实施例中，使用深度学习模型来获取稀疏表达稀疏。
42.具体地，所述通过已训练的深度学习模型确定所述待处理图像对应的稀疏表达系数，包括：
43.s110、将所述待处理图像切分为若干个待处理图像块，通过所述已训练的深度学习模型分别提取各个所述待处理图像块的初始特征；
44.s120、通过所述已训练的深度学习模型分别对各所述待处理图像块对应的初始特征进行第一卷积处理，获取各所述待处理图像块对应的稀疏表达系数。
45.所述已训练的深度学习模型可以为cnn(卷积神经网络)模型，提取所述已训练的深度学习模型的初始特征可以是将所述待处理图像的各个像素点的像素值作为所述待处理图像的初始特征，也可以是通过特征提取模块来实现，所述特征提取模块的架构可以为现有的深度学习神经网络中的特征提取模块的架构一致，例如包括一个或多个卷积层，通过一个或多个卷积层对所述待处理图像的各个像素点的像素值进行卷积处理后得到所述待处理图像的初始特征。所述特征提取模块的参数在训练所述深度学习模型的过程中被确定。
46.在一种可能的实现方式中，为了进一步地提升图像处理质量，借用传统的稀疏表达的方式，将所述待处理图像切分为多个待处理图像块后进行处理，在接收到所述待处理图像后，将所述待处理图像切分为若干个待处理图像块，对于每个待处理图像块，都可以通过前述提取所述待处理图像的目标特征的方式，即采用各所述待处理图像块中每个像素点的像素值作为初始特征或对每个像素点的像素值进行卷积后得到初始特征。
47.在获取到各所述待处理图像块的初始特征后，通过所述已训练的深度学习模型分
别对各所述待处理图像块对应的初始特征进行第一卷积处理，以得到各所述待处理图像块对应的稀疏表达系数。具体地，所述已训练的深度学习模型中可以设置有稀疏表达模块，所述稀疏表达模块中包括一个或多个卷积层，通过该一个或多个卷积层对所述待处理图像块的初始特征进行第一卷积处理。所述稀疏表达模块的具体参数在所述已训练的深度学习模型的训练过程中被确定，从而使得所述稀疏表达模块具有根据输入的所述待处理图像块获取对应的稀疏表达系数的能力。
48.在获取到所述待处理图像对应的稀疏表达系数之后，本实施例提供的基于稀疏表达的图像处理方法，还包括步骤：
49.s200、根据所述稀疏表达系数和预设过完备字典获取所述待处理图像对应的目标特征。
50.具体地，所述待处理图像对应的目标特征包括各所述待处理图像块对应的目标特性，所述根据所述稀疏表达系数和预设过完备字典获取所述待处理图像对应的目标特征包括：
51.根据各所述待处理图像块对应的稀疏表达系数和所述预设过完备字典获取各所述待处理图像块对应的目标特征。
52.在获取待处理图像块对应的稀疏表达系数之后，通过前述的稀疏表达公式：y＝dα0获取所述目标特征，即，将所述稀疏表达系数和预设的过完备字典相乘得到待处理图像块的目标特征。不难看出，在本实施例中，通过已训练的深度学习模型来获取待处理图像块对应的稀疏表达系数，而不需要采用传统的迭代优化的方式确定稀疏表达系数，可以降低实现稀疏表达的计算量，同时，稀疏表达能够实现采用更少的信息描述更充分的信息，在通过稀疏表达的方式获取到所述待处理图像的目标特征后再通过对所述待处理图像的目标特征进行处理，能够进一步地降低数据计算量。
53.请再次参阅图1，本实施例提供的基于稀疏表达的图像处理方法，还包括步骤：
54.s300、根据所述目标特征获取所述待处理图像对应的目标图像。
55.具体地，所述根据所述目标特征获取所述待处理图像对应的目标图像，包括：
56.s310、通过所述已训练的深度学习模型分别对各所述待处理图像块对应的目标特征进行第二卷积处理，获取各所述待处理图像块对应的目标图像块；
57.s320、对各所述待处理图像块对应的目标图像块进行图像重建，获取所述目标图像。
58.具体地，所述已训练的深度学习模型中可以设置有输出模块，所述输出模块中包括至少一个卷积层，将所述各个待处理图像块的目标特征输入至所述输出模块，所述输出模块中的卷积层分别对各所述待处理图像块对应的目标特征进行卷积处理(即所述第二卷积处理)，输出各所述待处理图像块对应的目标图像块。在获取到各所述待处理图像块对应的目标图像块之后，对各个所述目标图像块进行图像重建，获取所述目标图像。
59.对于图像去噪等图像处理任务，图像的分辨率大小不变，即尺寸不变，而对于图像超分任务，需要增大图像的分辨率，因此，对于图像超分任务，还需要增加上采样的步骤，即，所述分别对各所述待处理图像块对应的目标特征进行第二卷积处理，获取各所述待处理图像块对应的目标图像块，包括：
60.当所述目标图像的分辨率要求高于所述待处理图像时，对各所述待处理图像块对
应的目标特征进行第二卷积处理之后，进行上采样处理，得到各所述待处理图像块对应的目标图像块。
61.如图2所示，在一种可能的实现方式中，若所述目标图像的分辨率要求高于所述待处理图像，即，使用本实施例提供的基于稀疏表达的图像处理方法进行的图像处理任务是图像超分任务时，所述输出模块中包括上采样(upsample)层，所述上采样层可以通过现有的深度学习上采样实现方式进行上采样，实现分辨率的提升。
62.具体地，本实施例提供的基于稀疏表达的图像处理方法，可以实现端到端的训练，即，所述已训练的深度学习模型是通过多组训练数据训练得到的，每组训练数据包括样本待处理图像和所述样本待处理图像对应的样本目标图像。用于训练所述深度学习模型的训练数据中的样本待处理图像对应的样本目标图像可以是根据具体的图像处理任务来选择，例如当使用本实施例提供的基于稀疏表达的图像处理方法实现图像超分任务时，所述样本待处理图像对应的样本目标图像应为分辨率高于所述样本待处理图像的图像，当使用本实施例提供的基于稀疏表达的图像处理方法实现图像去噪任务时，所述样本待处理图像对应的样本目标图像应为分辨率与所述样本待处理图像一致但去除了噪声的图像等。所述已训练的深度学习模型的各个参数，如所述特征提取模块、所述稀疏表达模块和所述输出模块的参数，是在训练的过程中被确定。所述预设过完备字典可以是在对所述已训练的深度学习模型的训练过程中被确定，即在一种可能的实现方式中，可以先生成初始过完备字典，在生成所述初始过完备字典后，将所述初始过完备字典嵌入至所述深度学习模型中，并开始对所述深度学习模型进行训练，在所述深度学习模型的训练过程中，过完备字典中的元素也一同被更新，将训练完成后的过完备字典作为所述预设过完备字典，用于获取所述待处理图像对应的目标图像。但是过完备字典中元素数量很多，通过训练的方式来生成所述预设过完备字典的方式会导致模型的可变参数过多，训练效率低下。在本实施例中，可以直接生成所述预设过完备字典，并固定所述预设过完备字典中的元素，即在训练所述深度学习模型的过程中，过完备字典中的元素不变，使得所述已训练的深度学习模型中的其他模块能够与所述预设过完备字典相匹配达到获取所述待处理图像对应的目标图像的目的。即所述通过已训练的深度学习模型确定所述待处理图像对应的稀疏表达系数之前，本实施例提供的基于稀疏表达的图像处理方法还包括步骤：
63.根据预设核函数生成所述预设过完备字典。
64.所述预设核函数可以为异性高斯核函数、同性高斯核函数、dog核函数等，根据预设核函数生成过完备字典的方式为现有技术，在此不再赘述。
65.将根据预设核函数生成的过完备字典直接作为所述预设过完备字典，在训练过程中，采用的过完备字典始终保持不变，这样可以降低所述深度学习模型中可变参数的数量，以图像超分任务为例的实际试验中，采用l1损失函数进行监督，采用div2k与flickr2k两个数据集进行模型训练，在训练过程中保持过完备字典不变，仅需不超过150k的参数即可取得与当前超分算法模型中较为轻量型的falsr算法模型(小米开源的图像超分算法模型)、carn(cascading residual network，级联残差网络)模型相当甚至更有的超分效果，并且具有更少的计算量(约为carn的25％)。
66.如图3-4所示，图3和图4分别为本实施例提供的基于稀疏表达的图像处理方法应用于图像超分任务和图像模糊 噪声双重退化任务的效果，图3中从左至右分别为双三次插
值(bicubic)处理结果、本实施例提供的基于稀疏表达的图像处理方法的处理结果和对应的样本目标图像(groudtruth，gt)的比较，图4中从左至右分别为输入的待处理图、本实施例提供的基于稀疏表达的图像处理方法的处理结果和对应的样本目标图像(groudtruth，gt)的比较，从图3和图4可以看出，可以看出，本实施例提供的方法能够很好地复原图像的纹理与细节。
67.综上所述，本实施例提供一种基于稀疏表达的图像处理方法，通过预先训练的深度学习模型预测待处理图像的稀疏表达系数，并根据已训练的深度学习模型中固定的过完备字典来提取待处理图像的目标特征以输出目标图像，不需要通过迭代优化的方式进行稀疏表达系数的求解，降低了基于稀疏表达的图像处理中的计算量。
68.应该理解的是，虽然本发明说明书附图中给出的的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，本发明中的步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，本发明步骤的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
69.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
70.实施例二
71.基于上述实施例，本发明还提供了一种基于稀疏表达的图像处理装置，其结构原理图可以如图5所述，该装置包括：
72.处理单元，所述处理单元用于提供待处理图像，并通过已训练的深度学习模型确定提供的待处理图像对应的稀疏表达系数，具体如实施例一中所述；
73.目标特征获取单元，所述目标特征获取单元用于根据所述稀疏表达系数和预设过完备字典获取所述待处理图像的目标特征，具体如实施例一中所述；
74.目标图像获取单元，所述目标图像获取单元用于根据所述目标特征获取所述待处理图像对应的目标图像，具体如实施例一中所述。实施例三
75.基于上述实施例，本发明还提供了一种终端，其原理框图可以如图6所示。该终端包括处理器10和存储器20，存储器20中存储有计算机程序，该处理器10执行计算机程序时至少可以实现以下步骤：
76.提供待处理图像，通过已训练的深度学习模型确定所述待处理图像对应的稀疏表
达系数；
77.根据所述稀疏表达系数和预设过完备字典获取所述待处理图像对应的目标特征；
78.根据所述目标特征获取所述待处理图像对应的目标图像。
79.其中，所述通过已训练的深度学习模型确定所述待处理图像对应的稀疏表达系数，包括：
80.将所述待处理图像切分为若干待处理图像块，通过所述已训练的深度学习模型分别提取各所述待处理图像块对应的初始特征；
81.通过所述已训练的深度学习模型分别对各所述待处理图像块对应的初始特征进行第一卷积处理，获取各所述待处理图像块对应的稀疏表达系数。
82.其中，所述根据所述稀疏表达系数和预设过完备字典获取所述待处理图像对应的目标特征，包括：
83.根据各所述待处理图像块对应的稀疏表达系数和所述预设过完备字典获取各所述待处理图像块对应的目标特征。
84.其中，所述根据所述目标特征获取所述待处理图像对应的目标图像，包括：
85.通过所述已训练的深度学习模型分别对各所述待处理图像块对应的目标特征进行第二卷积处理，获取各所述待处理图像块对应的目标图像块；
86.对各所述待处理图像块对应的目标图像块进行图像重建，获取所述目标图像。
87.其中，所述通过所述已训练的深度学习模型分别对各所述待处理图像块对应的目标特征进行第二卷积处理，获取各所述待处理图像块对应的目标图像块，包括：
88.当所述目标图像的分辨率要求高于所述待处理图像时，对各所述待处理图像块对应的目标特征进行第二卷积处理之后进行上采样处理，得到各所述待处理图像块对应的目标图像块。
89.其中，所述已训练的深度学习模型是根据多组训练数据训练得到的，每组训练数据包括样本待处理图像和所述样本待处理图像对应的样本目标图像。
90.其中，所述通过已训练的深度学习模型确定所述待处理图像对应的稀疏表达系数之前，所述方法还包括：
91.根据预设核函数生成所述预设过完备字典。
92.实施例四
93.本发明还提供了一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现上述实施例所述的基于稀疏表达的图像处理方法的步骤。
94.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。