图像处理模型的训练方法、装置、电子设备、存储介质及程序产品与流程
本技术涉及计算机,尤其涉及一种图像处理模型的训练方法、装置、电子设备、存储介质及程序产品。
背景技术:
1、图像处理(image processing)是指利用计算机对图像进行去噪、增强、复原、分割、特征提取等操作,以改善图像质量、丰富信息量、加强图像判读和识别效果,满足特定分析需求的过程。图像处理技术广泛应用于医学、遥感、工业、艺术等多个领域,有助于从图像中提取有用信息,支持决策和分析。
2、针对图像处理模型的训练,相关技术中,通常直接通过图像样本携带的图像标签对图像处理模型进行训练,由于训练维度单一,导致训练得到的目标图像处理模型的图像处理性能不佳。
技术实现思路
1、本技术实施例提供一种图像处理模型的训练方法、装置、电子设备、计算机可读存储介质及计算机程序产品,能够有效提高目标图像处理模型的图像处理性能。
2、本技术实施例的技术方案是这样实现的:
3、本技术实施例提供一种图像处理模型的训练方法,包括:
4、对图像样本进行多通道编码,得到分别对应一个通道的多个图像特征,并对通过所述图像处理模型,所述多个图像特征执行去相关操作,得到多个新图像特征;
5、确定任意两个所述新图像特征之间的相关性程度,并基于所述相关性程度,确定第一损失值;
6、对多个所述新图像特征进行融合,得到融合特征,并对所述融合特征进行解码,得到所述图像样本的解码图像;
7、基于所述解码图像和所述图像样本,确定第二损失值,以基于所述第一损失值和所述第二损失值,对所述图像处理模型进行训练。
8、本技术实施例提供一种图像处理方法,包括:
9、通过目标图像处理模型对待处理的图像进行多通道编码,得到分别对应一个通道的多个图像特征,并通过所述目标图像处理模型,对多个所述通道的图像特征执行去相关操作,得到多个新图像特征;
10、通过所述目标图像处理模型,对所述多个新图像特征进行融合,得到融合特征,并对所述融合特征进行解码,得到所述图像的解码图像;
11、其中,所述目标图像处理模型采用上述图像处理模型的训练方法训练得到。
12、本技术实施例提供一种图像处理模型的训练装置,包括:
13、去相关模块,用于对图像样本进行多通道编码,得到分别对应一个通道的多个图像特征,并通过所述图像处理模型,对所述多个图像特征执行去相关操作,得到多个新图像特征;
14、第一损失模块,用于确定任意两个所述新图像特征之间的相关性程度,并基于所述相关性程度,确定第一损失值;
15、解码模块,用于对多个所述新图像特征进行融合,得到融合特征,并对所述融合特征进行解码,得到所述图像样本的解码图像;
16、训练模块,用于基于所述解码图像和所述图像样本,确定第二损失值,以基于所述第一损失值和所述第二损失值,对所述图像处理模型进行训练。
17、上述方案中,上述所述多通道编码通过所述图像处理模型的编码层实现,所述编码层包括多个串行的子编码层;上述去相关模块,还用于对所述图像样本进行特征提取,得到所述图像样本的初始图像特征;通过所述多个串行的子编码层,对所述初始图像特征迭代多次进行多通道编码,得到所述分别对应一个通道的多个图像特征;上述去相关模块,还用于将每个所述子编码层输出的图像特征作为层图像特征,针对多个所述子编码层输出的层图像特征分别执行以下处理:对所述子编码层输出的多个不同通道的层图像特征执行去相关操作,得到所述子编码层的多个所述新图像特征。
18、上述方案中,上述去相关模块,还用于针对每个所述子编码层,确定所述子编码层的多个所述新图像特征中,任意两个所述新图像特征之间的相关性程度;第一损失模块,还用于针对每个所述子编码层,基于相应的所述相关性程度,确定所述子编码层的第一子损失值;基于各所述子编码层的所述第一子损失值,确定第一损失值。
19、上述方案中,上述子编码层的多个所述新图像特征包括第一新图像特征及第二新图像特征;上述第一损失模块,还用于确定所述第一新图像特征及所述第二新图像特征之间的协方差,以及所述第一新图像特征和所述第二新图像特征分别对应的标准差;获取所述第一新图像特征和所述第二新图像特征分别对应的标准差的乘积值,将所述第一新图像特征及所述第二新图像特征之间的协方差除以所述乘积值,得到所述第一新图像特征及所述第二新图像特征之间的相关性程度。
20、上述方案中,上述第一损失模块,还用于基于所述相关性程度,构建所述子编码层的互相关矩阵,所述互相关矩阵包括所述子编码层的多个所述新图像特征中任意两个所述新图像特征之间的相关性程度;获取所述互相关矩阵的谱范数,并基于所述互相关矩阵的谱范数确定所述子编码层的第一子损失值。
21、上述方案中,上述解码模块,还用于针对各所述子编码层执行以下处理:将所述子编码层的多个所述新图像特征进行融合,得到所述子编码层的融合特征;上述解码模块,还用于针对各所述子编码层的融合特征,对所述子编码层的融合特征进行特征转换,得到所述子编码层的转换特征;对各所述子编码层的转换特征进行融合,得到目标融合特征,并对所述目标融合特征进行解码,得到所述图像样本的解码图像。
22、上述方案中,当所述子编码层为所述编码层中的第一个所述子编码层时,上述解码模块,还用于获取所述子编码层的融合特征的随机掩码特征,所述子编码层的随机掩码特征的特征维度与所述子编码层的融合特征的特征维度相同;将所述子编码层的随机掩码特征融合至所述子编码层的融合特征,得到所述子编码层的转换特征。
23、上述方案中,当所述子编码层不是所述编码层中的第一个子编码层时,上述解码模块,还用于对所述编码层中的第一个子编码层的融合特征的转换特征进行两次不同的线性变换,得到键特征和值特征;获取所述子编码层的融合特征的随机掩码特征,所述子编码层的随机掩码特征的特征维度与所述子编码层的融合特征的特征维度相同;将所述子编码层的随机掩码特征融合至所述子编码层的融合特征,得到所述子编码层的候选转换特征;对所述候选转换特征进行线性变换,得到所述融合特征对应的查询特征,将所述融合特征对应的查询特征、所述键特征和所述值特征进行融合,得到所述子编码层的转换特征。
24、上述方案中,上述去相关模块,还用于通过所述图像处理模型,对所述多个图像特征执行去相关操作,得到多个候选图像特征;对具有量纲差异的所述多个候选图像特征进行标准化处理,得到不具有所述量纲差异的所述多个新图像特征。
25、上述方案中,所述候选图像特征中包括多个特征元素,上述去相关模块,还用于针对各所述候选图像特征分别执行以下处理:确定所述多个特征元素的特征值的均值,以及所述多个特征元素的特征值的标准差;将所述候选图像特征中的各特征元素的特征值分别减去所述均值,得到目标图像特征;将所述目标图像特征中的各特征元素的特征值分别除以所述标准差,得到所述新图像特征。
26、上述方案中,上述第一损失模块,还用于针对任意两个所述新图像特征执行以下处理:确定所述新图像特征之间的协方差,以及各所述新图像特征的标准差;获取各所述新图像特征的标准差的乘积值,将所述新图像特征之间的协方差除以所述乘积值,得到任意两个所述新图像特征之间的相关性程度。
27、上述方案中,上述第一损失模块,还用于基于所述相关性程度,构建所述多个新图像特征之间的互相关矩阵,所述互相关矩阵包括多个所述新图像特征中任意两个所述新图像特征之间的相关性程度;获取所述互相关矩阵的谱范数,并基于所述互相关矩阵的谱范数确定第一损失值。
28、上述方案中,上述训练模块,还用于获取所述图像样本的标签图像,对所述标签图像进行特征提取,得到标签图像特征;对所述解码图像进行特征提取,得到解码图像特征,并确定所述标签图像特征和所述解码图像特征之间的相似度,将所述相似度,确定为第二损失值。
29、本技术实施例提供一种图像处理装置,包括:
30、编码模块,用于通过目标图像处理模型对待处理的图像进行多通道编码,得到分别对应一个通道的多个图像特征,并通过所述目标图像处理模型,对多个所述通道的图像特征执行去相关操作,得到多个新图像特征;
31、解码模块,用于通过所述目标图像处理模型,对所述多个新图像特征进行融合,得到融合特征,并对所述融合特征进行解码,得到所述图像的解码图像;其中,所述目标图像处理模型采用上述图像处理模型的训练方法训练得到。
32、本技术实施例提供一种电子设备,包括:
33、存储器,用于存储计算机可执行指令或者计算机程序;
34、处理器,用于执行所述存储器中存储的计算机可执行指令或者计算机程序时,实现本技术实施例提供的图像处理模型的训练方法和图像处理方法。
35、本技术实施例提供一种计算机可读存储介质,存储有计算机可执行指令,用于引起处理器执行时,实现本技术实施例提供的图像处理模型的训练方法和图像处理方法。
36、本技术实施例提供了一种计算机程序产品,该计算机程序产品包括计算机程序或计算机可执行指令,该计算机程序或计算机可执行指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机可执行指令,处理器执行该计算机可执行指令,使得该电子设备执行本技术实施例上述的图像处理模型的训练方法和图像处理方法。
37、本技术实施例具有以下有益效果:
38、通过对图像样本进行处理,提取出分别对应一个通道的多个图像特征,由于图像特征可能包含冗余信息,因此通过图像处理模型,对图像特征进行去相关操作,以减少图像特征之间的线性依赖,从而得到多个新图像特征,有助于提高新图像特征之间的独立性,使得图像处理模型能够更有效地学习到图像样本的内在结构。计算任意两个新图像特征之间的相关性程度,由于相关性程度反映了新图像特征之间的线性关系强度和方向,基于相关性程度,确定了第一损失值,第一损失值可以衡量特征之间的相关性,从而引导图像处理模型学习到更加独立和有区分性的特征,在得到多个新图像特征之后,对新图像特征进行融合,以整合不同通道的信息,得到一个综合的融合特征。然后,对融合特征进行解码,重建出图像样本的解码图像。通过比较解码图像与原始图像样本,确定第二损失值,第二损失值可以衡量图像处理模型的图像处理性能,即图像处理模型是否能够准确地从融合特征中解码得到解码图像,通过基于第一损失值和第二损失值,对图像处理模型进行训练。通过第一损失值和第二损失值的训练,图像处理模型能够同时提高图像特征的独立性和图像处理的准确性,从而有效提高目标图像处理模型的图像处理性能。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com