图像处理方法、装置、电子设备及存储介质与流程

技术特征：
1.一种图像处理方法，其特征在于，包括：对原始图像的原始图像集利用rgbw彩色滤波阵列执行采样，获取所述原始图像对应的训练样本集；利用所述原始图像和所述原始图像的训练样本集，训练图像处理模型，获取训练好的图像处理模型；利用所述训练好的图像处理模型，对目标图像序列中的多帧待处理图像执行去马赛克处理，获得所述目标图像序列对应的单帧目标图像。2.根据权利要求1所述的方法，其特征在于，通过以下方式获取原始图像的原始图像集：对所述原始图像执行多次的图像平移处理和/或图像旋转处理，获取所述原始图像的多个转换图像；根据各转换图像，获取所述原始图像的原始图像集。3.根据权利要求2所述的方法，其特征在于，所述图像平移处理的像素平移范围介于
±
24个像素之间；和/或所述图像旋转处理的旋转角度范围介于
±
3度之间。4.根据权利要求2所述的方法，其特征在于，所述原始图像与各转换图像为rgb图像；且其中，所述对原始图像的原始图像集利用rgbw彩色滤波阵列执行采样，获取所述原始图像对应的训练样本集，包括：利用所述rgbw彩色滤波阵列，对各转换图像的r通道值、g通道值、b通道值执行采样处理，并合成各转换图像的w通道值；根据各转换图像的r通道值、g通道值、b通道值、w通道值，获取所述原始图像的各训练图像；根据所述原始图像的各训练图像，确定所述原始图像对应的训练样本集；其中，各训练图像为rgbw灰度图像。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述利用所述原始图像和所述原始图像的训练样本集，训练图像处理模型，获取训练好的图像处理模型，包括：利用所述图像处理模型，对所述训练样本集中的各训练图像执行去马赛克的预测处理，获取所述训练样本集的一个预测图像；比对所述原始图像与所述预测图像，获取所述图像处理模型的损失函数；根据所述损失函数更新所述图像处理模型，直至所述图像处理模型的当前训练结果满足给定的训练结束条件，以获得所述训练好的图像处理模型。6.根据权利要求5所述的方法，其特征在于，所述利用所述图像处理模型，对所述训练样本集中的各训练图像执行去马赛克的预测处理，获取所述训练样本集的一个预测图像，包括：对所述训练样本集中的各训练图像执行特征提取，获取各训练图像的图像特征；根据所述原始图像的图像特征，对各训练图像的图像特征执行对齐处理，获取对齐的各训练图像；根据对齐的各训练图像中各像素点的位置，融合相同位置的像素点在各训练图像中的
像素特征，获取各像素点的融合特征；根据各像素点的融合特征，执行特征到图像的转换处理，获取各训练图像的一个预测图像。7.根据权利要求6所述的方法，其特征在于，所述对所述训练样本集中的各训练图像执行特征提取，获取各训练图像的图像特征，包括：利用所述图像处理模型的特征提取单元，对各训练图像执行特征提取，获取各训练图像的图像特征；其中，所述特征提取单元至少包括3
×
3卷积层和激活函数层。8.根据权利要求6所述的方法，其特征在于，所述根据所述原始图像的图像特征，对各训练图像的图像特征执行对齐处理，获取对齐的各训练图像，包括：利用所述图像处理模型的图像对齐单元，根据所述原始图像的图像特征，对各训练图像的图像特征执行对齐处理，获取对齐的各训练图像；其中，所述特征对齐单元至少基于可变形卷积技术、光流对齐技术、块匹配技术中的一个技术所构建；其中，在所述特征对齐单元为基于所述可变形卷积技术构建的情况下，所述特征对齐单元至少包括：3
×
3卷积层、激活函数层和可变形卷积层。9.根据权利要求8所述的方法，其特征在于，所述利用所述图像处理模型的图像对齐单元，根据所述原始图像的图像特征，对各训练图像的图像特征执行对齐处理，获取对齐的各训练图像，包括：利用所述特征对齐单元的参数学习子单元，将所述原始图像的各像素特征分别与待对齐的各训练图像的各像素特征执行比对，获取各训练图像的偏置参数；利用所述特征对齐单元的图像对齐子单元，根据各训练图像的偏置参数，对各训练图像的各像素特征执行对齐处理，获取与所述原始图像对齐的各训练图像。10.根据权利要求9所述的方法，其特征在于，在所述特征对齐单元为基于所述可变形卷积技术构建的情况下，所述参数学习子单元至少包括：3
×
3卷积层、5
×
5卷积层、拼接层和激活函数层；所述图像对齐子单元至少包括：可变形卷积层和激活函数层。11.根据权利要求9所述的方法，其特征在于，所述根据对齐的各训练图像中各像素点的位置，融合相同位置的像素点在各训练图像中的像素特征，获取各像素点的融合特征，包括：利用所述图像处理模型的特征融合单元，根据对齐的各训练图像中各像素点的位置，融合相同位置的像素点在各训练图像中的像素特征，获取各像素点的融合特征；其中，所述特征融合单元至少包括：3
×
3卷积层、归一化层、精细化处理模块、3
×
3且步长为2的卷积层、亚像素上采样层；其中，各精细化处理模块至少包括：归一化层、1
×
1卷积层、3
×
3深度可分离卷积层、激活函数层、全局平均池化层。12.根据权利要求11所述的方法，其特征在于，所述利用所述图像处理模型的特征融合单元，根据对齐的各训练图像中各像素点的位置，融合相同位置的像素点在各训练图像中的像素特征，获取各像素点的融合特征，包括：
利用所述特征融合单元的融合子单元，根据对齐的各训练图像中各像素点的位置，对相同位置的像素点在各训练图像中的像素特征执行融合处理，获取各像素点的初步特征；利用所述特征融合单元的优化子单元，对各像素点中的任意一个当前像素点，根据位于所述当前像素点的邻域范围内的各像素点的初步特征，优化所述当前像素点的初步特征，以获取各像素点的融合特征。13.根据权利要求12所述的方法，其特征在于，所述融合子单元至少包括：3
×
3卷积层、归一化层；所述优化子单元至少包括：精细化处理模块、3
×
3且步长为2的卷积层、亚像素上采样层。14.根据权利要求6所述的方法，其特征在于，所述对各像素点的融合特征，执行特征到图像的转换处理，获取各训练图像的一个预测图像，包括：利用所述图像处理模型的图像重建单元，根据各像素点的各融合特征，执行特征到图像的转换处理，获取所述一个预测图像；其中，所述图像重建单元至少包括卷积层。15.根据权利要求5所述的方法，其特征在于，所述图像处理模型的损失函数至少包括：平均绝对误差、均方误差、感知损失中的一个。16.根据权利要求5所述的方法，其特征在于，通过以下方式，判断所述图像处理模型的当前训练结果是否满足训练结束条件：若判断所述损失函数满足给定的收敛值时，获取所述图像处理模型的当前训练结果满足训练结束条件的判断结果；或者，若判断所述图像处理模型当前的迭代次数满足给定的最大迭代次数时，获取所述图像处理模型的当前训练结果满足训练结束条件的判断结果。17.根据权利要求1所述的方法，其特征在于，所述目标图像序列包含的待处理图像介于5帧至8帧之间。18.一种图像处理装置，其特征在于，包括：获取模块，用于对原始图像的原始图像集利用rgbw彩色滤波阵列执行采样，获取所述原始图像对应的训练样本集；训练模块，用于利用所述原始图像和所述原始图像的训练样本集，训练图像处理模型，获取训练好的图像处理模型；预测模块，用于利用所述训练好的图像处理模型，对目标图像序列中的多帧待处理图像执行去马赛克处理，获得所述目标图像序列对应的单帧目标图像。19.一种电子设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1至17中任一项所述的图像处理方法对应的操作。20.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时，可实现如1至17中任一项所述的图像处理方法。

技术总结
本申请实施例提供一种图像处理方法、装置、电子设备及存储介质，包括：对原始图像的原始图像集利用RGBW彩色滤波阵列执行采样，获取原始图像对应的训练样本集，利用原始图像和原始图像的训练样本集，训练图像处理模型，获取训练好的图像处理模型，利用训练好的图像处理模型，对目标图像序列中的多帧待处理图像执行去马赛克处理，获得目标图像序列对应的单帧目标图像。借此，本申请通过从多帧图像数据中获取更多的颜色信息和纹理信息，以有效提高成像质量。质量。质量。


技术研发人员：何敬伟 古衡 顾钦 陈飞飞 冯籍澜
受保护的技术使用者：深圳市汇顶科技股份有限公司
技术研发日：2022.08.30
技术公布日：2022/11/29