图像处理方法、装置、电子设备及存储介质与流程

1.本技术实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。


背景技术：

2.受到技术和成本制约，现有的数码相机大多采用单传感器方案，即在相机的ccd传感器或cmos传感器前安装彩色滤波阵列(color filter array,cfa)，用于对不同位置的不同颜色分量进行稀疏采样，以获取其红绿蓝(rgb)颜色信息，在此状态下，灰度图像(raw格式图像)呈现为噪声污染的“马赛克”状态，可在后续通过“去马赛克(demosaicking)”技术，对灰度图像中缺失的颜色信息进行插值复原。
3.然而，由于cfa采样会导致大量颜色信息的丢失，而传统的双线性插值或基于深度学习的卷积神经网络(convolutional neural network，cnn)等图像去马赛克处理技术，都会不可避免地产生伪彩色、颜色细节丢失等问题。
4.因此，亟需一种可提高成像质量的图像去马赛克技术。


技术实现要素：

5.有鉴于此，本技术实施例提供一种图像处理方法、装置、设备及存储介质，通过从连续的多帧图像中获取更多的颜色信息和纹理信息，以提高成像质量。
6.本技术实施例的第一方面，提供了一种图像处理方法，包括：对原始图像的原始图像集利用rgbw彩色滤波阵列执行采样，获取所述原始图像对应的训练样本集；利用所述原始图像和所述原始图像的训练样本集，训练图像处理模型，获取训练好的图像处理模型；利用所述训练好的图像处理模型，对目标图像序列中的多帧待处理图像执行去马赛克处理，获得所述目标图像序列对应的单帧目标图像。
7.可选地，通过以下方式获取原始图像的原始图像集：对所述原始图像执行多次的图像平移处理和/或图像旋转处理，获取所述原始图像的所述多个转换图像；根据各转换图像，获取所述原始图像的原始图像集。
8.可选地，所述图像平移处理的像素平移范围介于
±
24个像素之间；和/或所述图像旋转处理的旋转角度范围介于
±
3度之间。
9.可选地，所述原始图像与各转换图像为rgb图像；且其中，所述对原始图像的原始图像集利用rgbw彩色滤波阵列执行采样，获取所述原始图像对应的训练样本集，包括：利用所述rgbw彩色滤波阵列，对各转换图像的r通道值、g通道值、b通道值执行采样处理，并合成各转换图像的w通道值；根据各转换图像的r通道值、g通道值、b通道值、w通道值，获取所述原始图像的各训练图像；根据所述原始图像的各训练图像，确定所述原始图像对应的训练样本集；其中，各训练图像为rgbw灰度图像。
10.可选地，所述利用所述原始图像和所述原始图像的训练样本集，训练图像处理模型，获取训练好的图像处理模型，包括：利用所述图像处理模型，对所述训练样本集中的各
训练图像执行去马赛克的预测处理，获取所述训练样本集的一个预测图像；比对所述原始图像与所述预测图像，获取所述图像处理模型的损失函数；根据所述损失函数更新所述图像处理模型，直至所述图像处理模型的当前训练结果满足给定的训练结束条件，以获得所述训练好的图像处理模型。
11.可选地，所述利用所述图像处理模型，对所述训练样本集中的各训练图像执行去马赛克的预测处理，获取所述训练样本集的一个预测图像，包括：对所述训练样本集中的各训练图像执行特征提取，获取各训练图像的图像特征；根据所述原始图像的图像特征，对各训练图像的图像特征执行对齐处理，获取对齐的各训练图像；根据对齐的各训练图像中各像素点的位置，融合相同位置的像素点在各训练图像中的像素特征，获取各像素点的融合特征；对各像素点的融合特征，执行特征到图像的转换处理，获取各训练图像的一个预测图像。
12.可选地，所述对所述训练样本集中的各训练图像执行特征提取，获取各训练图像的图像特征，包括：利用所述图像处理模型的特征提取单元，对各训练图像执行特征提取，获取各训练图像的图像特征；其中，所述特征提取单元至少包括3
×
3卷积层和激活函数层。
13.可选地，所述根据所述原始图像的图像特征，对各训练图像的图像特征执行对齐处理，获取对齐的各训练图像，包括：利用所述图像处理模型的图像对齐单元，根据所述原始图像的图像特征，对各训练图像的图像特征执行对齐处理，获取对齐的各训练图像；其中，所述特征对齐单元至少基于可变形卷积技术、光流对齐技术、块匹配技术中的一个技术所构建；其中，在所述特征对齐单元为基于所述可变形卷积技术构建的情况下，所述特征对齐单元至少包括：3
×
3卷积层、激活函数层和可变形卷积层。
14.所述利用所述图像处理模型的图像对齐单元，根据所述原始图像的图像特征，对各训练图像的图像特征执行对齐处理，获取对齐的各训练图像，包括：利用所述特征对齐单元的参数学习子单元，将所述原始图像的各像素特征分别与待对齐的各训练图像的各像素特征执行比对，获取各训练图像的偏置参数；利用所述特征对齐单元的图像对齐子单元，根据各训练图像的偏置参数，对各训练图像的各像素特征执行对齐处理，获取与所述原始图像对齐的各训练图像。
15.可选地，在所述特征对齐单元为基于所述可变形卷积技术构建的情况下，所述参数学习子单元至少包括：3
×
3卷积层、5
×
5卷积层、拼接层和激活函数层；所述图像对齐子单元至少包括：可变形卷积层和激活函数层。
16.可选地，所述根据对齐的各训练图像中各像素点的位置，融合相同位置的像素点在各训练图像中的像素特征，获取各像素点的融合特征，包括：利用所述图像处理模型的特征融合单元，根据对齐的各训练图像中各像素点的位置，融合相同位置的像素点在各训练图像中的像素特征，获取各像素点的融合特征；其中，所述特征融合单元至少包括：3
×
3卷积层、归一化层、精细化处理模块、3
×
3且步长为2的卷积层、亚像素上采样层；其中，各精细化处理模块至少包括：归一化层、1
×
1卷积层、3
×
3深度可分离卷积层、激活函数层、全局平均池化层。
17.可选地，所述利用所述图像处理模型的特征融合单元，根据对齐的各训练图像中各像素点的位置，融合相同位置的像素点在各训练图像中的像素特征，获取各像素点的融合特征，包括：利用所述特征融合单元的融合子单元，根据对齐的各训练图像中各像素点的
位置，对相同位置的像素点在各训练图像中的像素特征执行融合处理，获取各像素点的初步特征；利用所述特征融合单元的优化子单元，对各像素点中的任意一个当前像素点，根据位于所述当前像素点的邻域范围内的各像素点的初步特征，优化所述当前像素点的初步特征，以获取各像素点的融合特征
18.可选地，所述融合子单元至少包括：3
×
3卷积层、归一化层；所述优化子单元至少包括：精细化处理模块、3
×
3且步长为2的卷积层、亚像素上采样层。
19.可选地，所述对各像素点的融合特征，执行特征到图像的转换处理，获取各训练图像的一个预测图像，包括：利用所述图像处理模型的图像重建单元，根据各像素点的各融合特征，执行特征到图像的转换处理，获取所述一个预测图像；其中，所述图像重建单元至少包括卷积层。
20.可选地，所述图像处理模型的损失函数至少包括：平均绝对误差、均方误差、感知损失中的一个。
21.可选地，若判断所述损失函数满足给定的收敛值时，获取所述图像处理模型的当前训练结果满足训练结束条件的判断结果；或者，若判断所述图像处理模型当前的迭代次数满足给定的最大迭代次数时，获取所述图像处理模型的当前训练结果满足训练结束条件的判断结果。
22.可选地，所述目标图像序列包含的待处理图像介于5帧至8帧之间。
23.本技术实施例的第二方面，提供了一种图像处理装置，包括：获取模块，用于对原始图像的原始图像集利用rgbw彩色滤波阵列执行采样，获取所述原始图像对应的训练样本集；训练模块，用于利用所述原始图像和所述原始图像的训练样本集，训练图像处理模型，获取训练好的图像处理模型；预测模块，用于利用所述训练好的图像处理模型，对目标图像序列中的多帧待处理图像执行去马赛克处理，获得所述目标图像序列对应的单帧目标图像。
24.本技术实施例的第三方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上述第一方面所述的图像处理方法对应的操作。
25.本技术实施例的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，可实现如上述第一方面所述的图像处理方法。
26.综上所述，本技术各实施例提供的图像处理方法、装置、电子设备及存储介质，通过对原始图像的原始图像集执行rgbw彩色滤波阵列采样，生成引入w通道的图像作为原始图像的训练样本集，以执行图像处理模型的训练，可提高模型输入数据的信噪比，缓解模型训练过程中的学习压力，从而提高模型训练效果。
27.此外，本技术各实施例提供的图像处理方法、装置、电子设备及存储介质，可供图像处理模型根据目标图像序列中的多帧待处理图像，获取更多的颜色信息和纹理信息，从而有效图像马赛克处理的成像质量。
附图说明
28.后文将参照附图以示例性而非限制性的方式详细描述本技术实施例的一些具体
实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比值绘制的。附图中：
29.图1为本技术示例性实施例的图像处理方法的处理流程图。
30.图2a为本技术另一示例性实施例的图像处理方法的处理流程图，图2b为图2a的简化示意图。
31.图3为本技术另一示例性实施例的图像处理方法的处理流程图。
32.图4a为本技术另一示例性实施例的图像处理方法的处理流程图，图4b为图4a的简化示意图。
33.图5为本技术的图像处理模型的特征提取单元的示例性结构示意图。
34.图6为本技术的图像处理模型的特征对齐单元的示例性结构示意图。
35.图7为本技术的图像处理模型的特征融合单元的示例性结构示意图。
36.图8为图7中的精细化处理模块的示例性结构示意图。
37.图9为本技术示例性实施例的图像处理装置的结构框图。
38.图10为本技术示例性实施例的电子设备的结构框图。
具体实施方式
39.下面将结合附图对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术的一部分实施例，而不是全部的实施例。
40.本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
41.本技术中，“上”、“下”、“前”、“后”等方位术语是相对于附图中的部件示意置放的方位来定义的，应当理解到，这些方向性术语是相对的概念，它们用于相对于的描述和澄清，其可以根据附图中部件所放置的方位的变化而相应地发生变化。
42.另外，除非在本技术的上下文中清楚地说明了指定的顺序，否则可与指定的顺序不同地执行在此描述的处理步骤，即，可以以指定的顺序执行每个步骤、基本上同时执行每个步骤、以相反的顺序执行每个步骤或者以不同的顺序执行每个步骤。
43.呈上在背景技术部分所述，由于彩色滤波阵列(color filter array，cfa)采样会造成严重的信息丢失，因此，在执行图像重建时，需要较强的先验信息进行正则化约束。传统的图像重建技术(也就是图像去马赛克技术)主要包括双线性插值方法以及基于深度学习的卷积神经网络(convolutional neural network，cnn)方法。
44.其中，基于插值的方法主要利用图像在空域上的局部相关性等先验信息，对缺失像素进行线性或非线性加权求和插值，然而，上述先验信息通常需要人为设计，局限性较大，无法覆盖复杂多变的真实场景，因此插值类方法存在较为明显的人工效应，例如，会不可避免地产生伪彩色，锯齿效应等问题。
45.再者，传统的基于学习的方法大都是基于rgb原始图像数据(也可称为rgb raw数据)所实现的，该方法尽管可以从丰富的图像数据中学习先验信息，但由于rgb raw数据所包含图像数据信息有限，会极大地增加模型的学习难度，限制了模型的处理性能。
46.有鉴于此，本技术提出一种图像处理方案，可有效提高图像成像质量。
47.图1示出了本技术示例性实施例的图像处理方法的处理流程图，其主要包括以下步骤：
48.步骤s102，对原始图像的原始图像集利用rgbw彩色滤波阵列执行采样，获取原始图像对应的训练样本集。
49.可选地，可对原始图像执行随机扰动处理，获取原始图像的多个转换图像，并根据各转换图像，获取原始图像的原始图像集。
50.于本实施例中，原始图像与各转换图像为rgb三通道颜色图像。
51.可选地，可利用rgbw彩色滤波阵列，对原始图像的各转换图像执行采样处理，获取各待训练图像，其中，各待训练图像为rgbw灰度图像，以通过引入w通道，提升训练数据的信噪比，借以缓解模型在训练过程中的学习压力。
52.步骤s104，利用原始图像和原始图像的训练样本集，训练图像处理模型，获取训练好的图像处理模型。
53.可选地，图像处理模型包括基于深度学习的卷积神经网络(convolutional neural network，cnn)。
54.于本实施例中，可将训练样本集中的各训练图像作为训练数据，并将原始图像作为标签数据，以执行图像处理模型的训练任务。
55.步骤s106，利用训练好的图像处理模型，对目标图像序列中的多帧待处理图像执行去马赛克处理，获得目标图像序列对应的单帧目标图像。
56.可选地，目标图像序列中的各待处理图像包括rgbw灰度图像(rgbw raw图像)。
57.具体地，可基于给定的帧间隔，间隔性地从影像数据中获取多个待处理图像，并按时序排列各待处理图像，获取目标图像序列。
58.可选地，可利用任意图像捕获设备(如相机等)执行拍摄任务，以实时地获取影像数据，或者，也可从影像数据库中获取预先录制好的影像数据。
59.可选地，目标图像序列中包含的待处理图像可介于5帧至8帧之间。
60.可选地，可利用训练好的图像处理模型，可根据目标图像序列中各帧待处理图像的颜色信息和纹理信息，执行图像去马赛克处理，输出目标图像序列对应的单帧目标图像。
61.可选地，可利用图像处理模型，对目标图像序列中的各待处理图像执行特征提取处理，获取各待处理图像的图像特征，并根据各待处理图像的图像特征执行特征对齐处理，获取对齐的各待处理图像，再基于对齐的各待处理图像执行逐像素的特征融合处理，获取各像素点的融合特征，并根据各像素点的融合特征执行重建处理，获取目标图像序列对应的一帧目标图像。
62.综上所述，本实施例提供的图像处理方法，通过对rgb图像执行rgbw cfa采样处理，生成引入w通道的图像作为训练数据，可提高模型输入数据的信噪比，以缓解模型训练过程中的学习压力，提高模型训练效果。
63.此外，本实施例提供的图像处理方法，通过对原始图像执行扰动处理，生成原始图像的多个转换图像，不仅可模拟出真实目标图像序列中连续的各帧图像之间的变化情况，更可提供模型在预测过程中从多个图像中获取更多颜色和纹理信息，以提高模型预测性能并提升模型训练效果。
64.再者，本实施例提供的图像处理方法，提供图像处理模型根据目标图像序列中的
多帧rgbw待处理图像，执行图像去马赛克处理，借由此基于多帧融合的图像去马赛克方案，不仅可利用颜色信息在时间维度上的高采样率，弥补在空间维度上的低采样率，且可从各待处理图像的w通道中获取更加丰富的亮度信息和纹理信息，从而有效提升目标图像的成像质量。
65.图2a为本技术另一示例性的图像处理方法的处理流程图，本实施例为上述步骤s102的具体实施方案，以下将结合图2b描述本实施例，其主要包括以下步骤：
66.步骤s202，对原始图像执行多次扰动处理，获取原始图像的多个转换图像。
67.可选地，可利用任意图像捕获设备(如相机等)获取一张原始图像，或者，也可从预建的图像数据库中随机抽取一张原始图像(参考图2b)。
68.于本实施例中，原始图像为rgb真值图像(rgb gt图像)。
69.可选地，可对原始图像执行随机扰动处理，获取原始图像的多个转换图像，并根据各转换图像，生成原始图像的rgb原始图像集(参考图2b)。
70.于本实施例中，可对原始图像执行多次的图像平移处理和/或图像旋转处理，获取原始图像的多个转换图像。
71.具体地，在实际应用中，相机与场景通常存在相对运动。有鉴于此，本实施例通过对原始图像执行多次的随机扰动处理，以真实模拟目标图像序列中连续的各帧图像(也就是本文所述的待处理图像)之间的变化趋势，以提高模型训练效果。
72.可选地，可对原始图像执行5至8次的图像平移处理和/或图像旋转处理，获取5个至8个的转换图像。
73.可选地，图像平移处理的像素平移范围可介于
±
24个像素之间。
74.可选地，图像旋转处理的旋转角度范围可介于
±
3度之间。
75.需说明的是，当图像平移处理的像素平移范围为0个像素，且图像旋转处理的旋转角度为0度时，转换图像即为原始图像本身。
76.步骤s204,利用rgbw彩色滤波阵列,对原始图像的各转换图像执行采样处理，获得原始图像的各训练图像，并根据原始图像的各训练图像，确定原始图像对应的训练样本集。
77.可选地，可对原始图像的rgb原始图像集执行rgbw cfa(color filter array，彩色滤波阵列)采样，获取原始图像的rgbw raw训练样本集(参考图2b)。
78.于本实施例中，可利用rgbw彩色滤波阵列，对各转换图像的r通道值、g通道值、b通道值执行采样处理，获取各转换图像的w通道值，并根据各转换图像的r通道值、g通道值、b通道值、w通道值，获取各转换图像对应的各训练图像，其中，各训练图像为rgbw灰度图像。
79.具体地，针对各转换图像中的任意一个当前转换图像，可利用rgbw彩色滤波阵列，采样当前转换图像的r通道值、g通道值、b通道值，并根据当前转换图像的r通道值、g通道值、b通道值，合成当前转换图像的w通道值，从而获取rgbw的采样值，并根据所述rgbw采样值，得到当前转换图像的rgbw raw图像。
80.于本技术实施例中，上述rgbw cfa采样模式可包括但不限于：“bayer rgb full w”、“quadbayer rgb full w”、hexw等。
81.借此，本实施例的训练图像通过引入w通道，可极大地提升训练数据的信噪比，从而缓解模型训练过程中的学习压力。
82.综上所述，本实施例的图像处理方法，通过对rgb格式的原始图像执行rgbw cfa采
样处理，生成引入w通道的图像作为训练图像，可提高图像处理模型的输入数据的信噪比，以缓解模型的学习压力，提高模型训练效果。
83.再者，本实施例提供的图像处理方法，通过对原始图像执行多次的图像平移处理和/或图像旋转处理，使得所生成的多个转换图像可模拟出真实目标图像序列中各连续的各帧图像之间的变化情况，并可提供图像处理模型通过融合各帧图像中的颜色信息和纹理信息，以执行图像去马赛克处理，借以提高模型预测效果。
84.图3为本技术另一示例性的图像处理方法的处理流程图，本实施例为上述步骤s104的具体实施方案，其主要包括以下步骤：
85.步骤s302，利用图像处理模型，对训练样本集中的各训练图像执行去马赛克的预测处理，获取训练样本集的一个预测图像。
86.可选地，可利用图像处理模型，根据训练样本集中的各训练图像，依次执行特征提取、特征对齐、特征融合以及图像重建处理，获取各训练图像的一个预测图像。
87.于本实施例中，训练样本集中的各训练图像包括rgbw灰度图像。
88.步骤s304，比对原始图像与预测图像，获取图像处理模型的损失函数。
89.可选地，可将原始图像作为标签图像，对图像处理模型输出的预测图像与原始图像进行比对，以确定图像处理模型的损失函数。
90.可选地，图像处理模型的损失函数可包括但不限于：平均绝对误差(mean absolute error，mae)、均方误差(mean square error,mse)、感知损失(perceptuallosses)中的一个。
91.于本技术实施例中，在采用平均绝对误差作为图像处理模型的损失函数的情况下，可基于下述公式1所示的误差计算公式，根据原始图像和预测图像，计算图像处理模型的损失函数。
92.于上述公式1中，x表示原始图像(也就是标签图像)，表示预测图像，‖
·
‖1代表l1范数。
93.其中，l1范数(l1 norm)经常用于机器学习的正则化中，是指向量中各个元素绝对值之和。
94.步骤s306，根据损失函数更新图像处理模型。
95.具体地，可根据当前的损失函数，对图像处理模型的模型参数执行迭代更新。
96.步骤s308，判断图像处理模型的当前训练结果是否满足给定的训练结束条件，若是，执行步骤s310，若否，执行步骤s302。
97.可选地，若判断损失函数满足给定的收敛值时，获取图像处理模型的当前训练结果满足训练结束条件的判断结果。
98.具体地，若所获取的损失函数的函数值并满足给定的收敛值时，代表损失函数的函数值趋于稳定(即损失函数的变化非常小)，在此情况下，可获取图像处理模型的当前训练结果满足训练结束条件的判断结果。
99.可选地，若判断图像处理模型的迭代次数满足给定的最大迭代次数时，获取图像处理模型的当前训练结果满足训练结束条件的判断结果。
100.具体地，可当判断图像处理模型的迭代次数，满足给定的最大迭代次数(如240000次)时，获取图像处理模型的当前训练结果满足训练结束条件的判断结果。
101.可选地，若图像处理模型的当前训练结果不满足给定的训练结束条件，则返回步骤s302，以基于优化更新后的图像处理模型，重新对训练样本集执行去马赛克的预测处理。
102.步骤s310，获取训练好的图像处理模型。
103.具体地，若当前图像处理模型的当前训练结果满足训练结束条件，可停止图像处理模型的优化更新，并基于图像处理模型当前的模型参数，获取训练好的图像处理模型。
104.较佳地，在获取训练好的图像处理模型后，可利用步骤s102所获取的训练样本集(或称为仿真数据)，或利用步骤s104所获取的目标图像序列(或称为真实数据)，对图像处理模型进行性能测试，以确保模型的训练效果。
105.于本实施例中，还可采用如下技术手段执行图像处理模型的训练任务：
106.可选地，可根据给定的模型训练参数，执行图像处理模型的训练任务。
107.示例性地，可将图像处理模型的优化算法设置为adam优化算法，将模型的初始学习率设为4
×
10-4
，并将模型的最大迭代次数设为240000次。
108.可选地，在执行模型的训练过程中，当模型的迭代次数满足给定的学习率更新批次时，对模型当前的学习率进行更新，并基于更新后的学习率继续执行模型训练。
109.示例性地，可每当模型的迭代次数满足60000次时，对模型当前的学习率进行减半更新。
110.综上所述，本实施例所提供的基于rgbw cfa模式的模型训练方案，通过引入w通道，可极大地提升图像处理模型的输入数据的信噪比，以缓解图像处理模型在训练过程中的学习压力，从而提高模型的训练效果。
111.具体地，本实施例通过将原始图像作为真实的标签图像，并将训练样本集作为训练数据，以执行图像处理模型的训练任务，可供图像处理模型从训练样本集的各训练图像中获取更多的颜色信息和纹理信息，以利用颜色信息在时间维度上的高采样率，弥补在空间维度上的低采样率，从而提高模型的图像处理性能。
112.另外，虽然图像处理模型输入为rgbw图像，但输出的预测图像为rgb图像，有鉴于此，本实施例通过采用rgb格式的原始图像作为标签图像，以基于具有相同图像格式的预测图像和标签图像，来确定图像处理模型的损失函数，可提高损失函数计算结果的准确性与客观性，有利于提升模型的训练效果。
113.图4a为本技术另一示例性实施例的图像处理方法的处理流程图。本实施例为上述步骤s302的具体实施方案，以下将结合图4b、图5至图8描述本实施例，其主要包括以下步骤：
114.步骤s402，对训练样本集中的各训练图像执行特征提取，获取各训练图像的图像特征。
115.具体地，可对rgbw raw训练样本集中的每一个训练图像执行特征提取，获取每一个训练图像的图像特征(参考图4b中的标号41)。
116.可选地，可利用图像处理模型的特征提取单元，对各训练图像执行特征提取，获取各训练图像的图像特征。
117.可选地，特征提取单元至少包括3
×
3卷积层和激活函数层。
118.参考图5，于本实施例中，特征提取单元可由交错连接的三组3
×
3卷积层(conv3)和三组激活函数层(relu)构成。
119.步骤s404，根据原始图像的图像特征，对各训练图像的图像特征执行对齐处理，获取对齐的各训练图像。
120.可选地，可利用图像处理模型的图像对齐单元，根据原始图像的图像特征(参考图4b中的标号41)，对各训练图像的图像特征执行对齐处理，获取对齐的各训练图像(参考图4b中的标号42)。
121.可选地，图像处理模型的特征对齐单元至少基于可变形卷积技术、光流对齐技术、块匹配技术中的一个技术所构建，以适应不同的图像处理应用场景。
122.于本实施例中，在特征对齐单元为基于可变形卷积技术所构建的情况下，特征对齐单元至少包括：3
×
3卷积层、激活函数层和可变形卷积层。
123.可选地，特征对齐单元可包括参数学习子单元和图像对齐子单元。
124.其中，可利用参数学习子单元，将原始图像中的各像素特征分别与待对齐的各训练图像中的各像素特征执行比对，获取各训练图像的偏置参数，并利用图像对齐子单元，根据各训练图像的偏置参数，对各训练图像中的各像素特征执行逐像素的矫正对齐，获取与原始图像对齐的各训练图像。
125.可选地，参数学习子单元至少包括：3
×
3卷积层、5
×
5卷积层、拼接层和激活函数层。
126.可选地，图像对齐子单元至少包括：可变形卷积层和激活函数层。
127.参考图6，于本实施例中，特征对齐单元可由四组3
×
3卷积层(conv3)，两组5
×
5卷积层(conv5)，一组可变形卷积层(dconv)，一组拼接层(concat)和七组激活函数层(relu)组成。
128.其中，图6中的“ ”号符号表示对各特征层输出的特征数据执行特征加和处理。
129.可选地，参数学习子单元中也可仅由图6中位于头端和尾端的两组conv3-relu构成。
130.步骤s406，根据对齐的各训练图像中各像素点的位置，融合相同位置的像素点在各训练图像中的图像特征，获取各像素点的融合特征。
131.可选地，可利用图像处理模型的特征融合单元，根据对齐的各训练图像中各像素点的位置(参考图4b中的标号42)，融合相同位置的像素点在各训练图像中的像素特征，获取对齐的各像素点的融合特征(参考图4b中的标号43)。
132.可选地，特征融合单元至少包括：3
×
3卷积层、归一化层、精细化处理模块、3
×
3且步长为2的卷积层、亚像素上采样层。
133.可选地，各精细化处理模块至少包括：归一化层、1
×
1卷积层、3
×
3深度可分离卷积层、激活函数层、全局平均池化层。
134.可选地，特征融合单元可包括融合子单元和优化子单元。
135.于本实施例中，可利用融合子单元，根据对齐的各训练图像中各像素点的位置，对相同位置的像素点在各训练图像中的像素特征执行融合处理，获取各像素点的初步特征。
136.于本实施例中，可利用优化子单元，对各像素点中的任意一个当前像素点，根据位于当前像素点的邻域范围内的各像素点的初步特征，优化当前像素点的初步特征，以获取
各像素点的融合特征。
137.于本实施例中，当前像素点的邻域范围的大小，可根据实际的图像处理需求进行任意调整。
138.于本实施例中，位于当前像素点的邻域范围中的像素点数量可设定在100个以下，以确保模型的处理效率。
139.可选地，融合子单元至少包括：3
×
3卷积层、归一化层。
140.可选地，优化子单元至少包括：精细化处理模块、3
×
3且步长为2的卷积层、亚像素上采样层。
141.参考图7，于本实施例中，特征融合单元可由两组3
×
3卷积层(conv3)，三组3
×
3且步长为2卷积层(conv3_s2)，两组激活函数层(relu)，一组softmax归一化层，三组亚像素上采样层(subpixel)以及十四组精细化模块(refblock)组成。
142.其中，图7中的
“×”
号表示对各特征层输出的特征数据执行特征相乘处理。
143.参考图8，于本实施例中，各精细化模块(refblock)可由两组层归一化层(layernorm)，五组1
×
1卷积层(conv1)，一组3
×
3深度可分离卷积层(dwconv3)，两组激活函数层(gelu)以及一个全局平均池化层(gap)组成。
144.其中，图8中的
“×”
号表示对各特征层输出的特征数据执行特征相乘处理，图8中的“ ”号表示对各特征层输出的特征数据执行特征加和处理。
145.借此，本技术通过构建以精细化模块为核心的多尺度特征融合单元，有利于提高特征的融合处理效果。
146.此外，在系统计算资源充足的情况下，可将精细化模块进一步升级为拟合能力更强的融合模块，以供在更高的尺度上进行特征融合处理，从而进一步提供模型的性能。
147.步骤s408，根据各像素点的融合特征，执行特征到图像的转换处理，获取各训练图像的一个预测图像。
148.可选地，可利用图像处理模型的图像重建单元，根据各像素点的融合特征(参考图4b中的标号43)，执行特征到图像的转换处理(也可称为特征重建处理)，获取各训练图像的去马赛克的预测图像(参考图4b中的标号44)。
149.可选地，图像重建单元至少包括一组卷积层(conv)。
150.综上所述，本实施例的图像处理方法，根据训练图像的w通道中包含的丰富的颜色信息(亮度信息)和纹理信息，有利于图像处理模型进行更好的特征提取、特征对齐和特征融合处理，并在最终重建的预测图像中展示出明显的视觉优化效果，以有效抑制高频区域伪彩色和伪影的产生，从而提供高质量的去马赛克成像结果。
151.再者，利用本实施例所构建的特征提取单元、特征对齐单元、特征融合单元与图像重建单元，可供图像处理模型分别执行效果较佳的特征提取、特征对齐、特征融合以及图像重建处理，有利于提高模型的图像处理性能，有利于进一步提高图像去马赛克的成像质量。
152.具体地，通过构建以可变形卷积为核心的特征对齐单元，通过学习偏置参数，以对未对齐的图像特征执行矫正处理，可有效降低特征融合难度，提升图像重建效果。此外，通过构建以精细化模块为核心的多尺度特征融合模块，可确保特征融合后的准确性，且利用此多尺度的特征融合方案，可保证模型在给定计算资源情况下具有更优的性能表现。
153.图9为本技术示例性实施例的图像处理装置的结构框图。如图所示，本实施例的图
像处理装置900主要包括获取模块902、训练模块904、预测模块906。
154.获取模块902，用于对原始图像的原始图像集利用rgbw彩色滤波阵列执行采样，获取所述原始图像对应的训练样本集。
155.训练模块904，用于利用所述原始图像和所述原始图像的训练样本集，训练图像处理模型，获取训练好的图像处理模型；
156.预测模块906，用于利用所述训练好的图像处理模型，对目标图像序列中的多帧待处理图像执行去马赛克处理，获得所述目标图像序列对应的单帧目标图像。
157.可选地，所述获取模块902还用于：对所述原始图像执行多次的图像平移处理和/或图像旋转处理，获取所述原始图像的多个转换图像；根据各转换图像，获取所述原始图像的原始图像集；其中，所述转换图像的图像数量介于5个至8个之间。
158.可选地，所述图像平移处理的像素平移范围介于
±
24个像素之间；和/或所述图像旋转处理的旋转角度范围介于
±
3度之间。
159.可选地，所述获取模块902还用于：利用所述rgbw彩色滤波阵列，对各转换图像的r通道值、g通道值、b通道值执行采样处理，并合成各转换图像的w通道值；根据各转换图像的r通道值、g通道值、b通道值、w通道值，获取所述原始图像的各训练图像；根据所述原始图像的各训练图像，确定所述原始图像对应的训练样本集；其中，各训练图像为rgbw灰度图像。
160.可选地，训练模块904还用于：利用所述图像处理模型，对所述训练样本集中的各训练图像执行去马赛克的预测处理，获取所述训练样本集的一个预测图像；比对所述原始图像与所述预测图像，获取所述图像处理模型的损失函数；根据所述损失函数更新所述图像处理模型，直至所述图像处理模型的当前训练结果满足给定的训练结束条件，以获得所述训练好的图像处理模型。
161.可选地，训练模块904还用于：对所述训练样本集中的各训练图像执行特征提取，获取各训练图像的图像特征；根据所述原始图像的图像特征，对各训练图像的图像特征执行对齐处理，获取对齐的各训练图像；根据对齐的各训练图像中各像素点的位置，融合相同位置的像素点在各训练图像中的像素特征，获取各像素点的融合特征；根据各像素点的融合特征，执行特征到图像的转换处理，获取各训练图像的一个预测图像。
162.可选地，训练模块904还用于：利用所述图像处理模型的特征提取单元，对各训练图像执行特征提取，获取各训练图像的图像特征；其中，所述特征提取单元至少包括3
×
3卷积层和激活函数层。
163.可选地，训练模块904还用于：利用所述图像处理模型的图像对齐单元，根据所述原始图像的图像特征，对各训练图像的图像特征执行对齐处理，获取对齐的各训练图像；其中，所述特征对齐单元至少基于可变形卷积技术、光流对齐技术、块匹配技术中的一个技术所构建；其中，在所述特征对齐单元为基于所述可变形卷积技术构建的情况下，所述特征对齐单元至少包括：3
×
3卷积层、激活函数层和可变形卷积层。
164.可选地，训练模块904还用于：利用所述特征对齐单元的参数学习子单元，将所述原始图像的各像素特征分别与待对齐的各训练图像的各像素特征执行比对，获取各训练图像的偏置参数；利用所述特征对齐单元的图像对齐子单元，根据各训练图像的偏置参数，对各训练图像的各像素特征执行对齐处理，获取与所述原始图像对齐的各训练图像。
165.可选地，在所述特征对齐单元为基于所述可变形卷积技术构建的情况下，所述参
数学习子单元至少包括：3
×
3卷积层、5
×
5卷积层、拼接层和激活函数层；所述图像对齐子单元至少包括：可变形卷积层和激活函数层。
166.可选地，训练模块904还用于：利用所述图像处理模型的特征融合单元，根据对齐的各训练图像中各像素点的位置，融合相同位置的像素点在各训练图像中的像素特征，获取各像素点的融合特征；其中，所述特征融合单元至少包括：3
×
3卷积层、归一化层、精细化处理模块、3
×
3且步长为2的卷积层、亚像素上采样层；其中，各精细化处理模块至少包括：归一化层、1
×
1卷积层、3
×
3深度可分离卷积层、激活函数层、全局平均池化层。
167.可选地，训练模块904还用于：利用所述特征融合单元的融合子单元，根据对齐的各训练图像中各像素点的位置，对相同位置的像素点在各训练图像中的像素特征执行融合处理，获取各像素点的初步特征；利用所述特征融合单元的优化子单元，对各像素点中的任意一个当前像素点，根据位于所述当前像素点的邻域范围内的各像素点的初步特征，优化所述当前像素点的初步特征，以获取各像素点的融合特征。
168.可选地，所述融合子单元至少包括：3
×
3卷积层、归一化层；所述优化子单元至少包括：精细化处理模块、3
×
3且步长为2的卷积层、亚像素上采样层。
169.可选地，训练模块904还用于：利用所述图像处理模型的图像重建单元，根据各像素点的各融合特征，执行特征到图像的转换处理，获取所述一个预测图像；其中，所述图像重建单元至少包括卷积层。
170.可选地，所述图像处理模型的损失函数至少包括：平均绝对误差、均方误差、感知损失中的一个。
171.可选地，训练模块904还用于：若判断所述损失函数满足给定的收敛值时，获取所述图像处理模型的当前训练结果满足训练结束条件的判断结果；或者，若判断所述图像处理模型当前的迭代次数满足给定的最大迭代次数时，获取所述图像处理模型的当前训练结果满足训练结束条件的判断结果。
172.可选地，所述目标图像序列包含的待处理图像介于5帧至8帧之间。
173.本技术另一实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，可实现上述各实施例所述的图像处理方法。
174.本发明另一实施例提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信。
175.图10为本发明示例性实施例的电子设备的结构框图，如图所示，本实施例的电子设备1000，其可包括处理器(processer)1002、通信接口(communication interface)1004、存储器(memory)1006。
176.处理器1002、通信接口1004、以及存储器1006可通过通信总线1008完成相互间的通信。
177.通信接口1004用于与其它电子设备如终端设备或服务器进行通信。
178.处理器1002，用于执行计算机程序1010，具体可以执行上述各方法实施例中的相关步骤，亦即，执行如上述各实施例所述的模型训练方法中的各步骤。
179.具体地，计算机程序1010可以包括程序代码，该程序代码包括计算机操作指令。
180.处理器1002可以是中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本发明实施例的一个或多个集成电
路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。
181.存储器1006，用于存放计算机程序1010。存储器1006可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
182.本发明另一实施例提供一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时，可实现上述各实施例所述的图像处理方法。
183.需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。
184.上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如cd rom、ram、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如asic或fpga)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，ram、rom、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的图像处理方法。此外，当通用计算机访问用于实现在此示出的代码时，代码的执行将通用计算机转换为用于执行在此示出的的专用计算机。
185.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。
186.至此，已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。
187.需要说明的是，在不冲突的前提下，本技术描述的各个实施例和/或各个实施例中的技术特征可以任意的相互组合，组合之后得到的技术方案也应落入本技术的保护范围。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
188.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。