一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

图像处理方法、图像处理装置、电子设备和可读存储介质与流程

2021-12-03 19:49:00 来源:中国专利 TAG:


1.本技术涉及图像处理技术领域,特别涉及一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。


背景技术:

2.在相关技术中,通常采用人像分割算法或者软分割技术(alpha matting)来抠图获得人像区域,然而,通过这些算法获得的人像区域的边缘不够准确,为了解决边缘不准确的问题,还需要单独对边缘区域进行优化,这无疑将会使得人像区域的计算量更大、获取速度变慢,提高了电子设备的运行功耗。


技术实现要素:

3.本技术的实施例提供了一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。
4.本技术实施方式的图像处理方法包括:利用初始深度学习网络处理训练人物图像以获得输出人像模板;处理预设人像模板以得到预设边缘过渡区域;确定所述输出人像模板中与所述预设边缘过渡区域对应的输出边缘过渡区域;根据所述预设边缘过渡区域中的每个像素点的像素值和所述输出边缘过渡区域中的每个像素点的像素值确定边缘损失;根据所述边缘损失对所述初始深度学习网络进行调整以得到调整深度学习网络。
5.本技术实施方式的图像处理装置包括第一处理模块、第二处理模块、第一确定模块、第二确定模块和第三处理模块。所述第一处理模块用于利用初始深度学习网络处理训练人物图像以获得输出人像模板。所述第二处理模块用于处理预设人像模板以得到预设边缘过渡区域。所述第一确定模块用于确定所述输出人像模板中与所述预设边缘过渡区域对应的输出边缘过渡区域。所述第二确定模块用于根据所述预设边缘过渡区域中的每个像素点的像素值和所述输出边缘过渡区域中的每个像素点的像素值确定边缘损失。所述第三处理模块用于根据所述边缘损失对所述初始深度学习网络进行调整以得到调整深度学习网络。
6.本技术实施方式的电子设备包括壳体和处理器,所述处理器安装在所述壳体上。所述处理器用于:利用初始深度学习网络处理训练人物图像以获得输出人像模板;处理预设人像模板以得到预设边缘过渡区域;确定所述输出人像模板中与所述预设边缘过渡区域对应的输出边缘过渡区域;根据所述预设边缘过渡区域中的每个像素点的像素值和所述输出边缘过渡区域中的每个像素点的像素值确定边缘损失;根据所述边缘损失对所述初始深度学习网络进行调整以得到调整深度学习网络。
7.本技术实施方式的计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现:利用初始深度学习网络处理训练人物图像以获得输出人像模板;处理预设人像模板以得到预设边缘过渡区域;确定所述输出人像模板中与所述预设边缘过渡区域对应的输出边缘过渡区域;根据所述预设边缘过渡区域中的每个像素点的像素值和所
述输出边缘过渡区域中的每个像素点的像素值确定边缘损失;根据所述边缘损失对所述初始深度学习网络进行调整以得到调整深度学习网络。
8.本技术实施方式的图像处理方法、图像处理装置、电子设备和计算机可读存储介质中,预设边缘过渡区域和输出边缘过渡区域能够反应边缘的相似度,根据预设边缘过渡区域和输出边缘过渡区域可以确定边缘损失,由于调整深度学习网络是根据边缘损失调整得到的,因此利用调整深度学习网络处理图像后得到的输出人像模板的边缘更加准确,因此,不需要再额外采用边缘优化算法,从而使得获取人像区域的计算量更小、获取速度更快。
9.本技术的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本技术的实践了解到。
附图说明
10.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
11.图1是本技术某些实施方式的图像处理方法的流程示意图。
12.图2是本技术某些实施方式的图像处理装置的示意图。
13.图3是本技术某些实施方式的电子设备的示意图。
14.图4是本技术某些实施方式的图像处理方法的流程示意图。
15.图5是本技术某些实施方式的图像处理装置的第二处理模块的示意图。
16.图6是本技术某些实施方式的图像处理方法的场景示意图。
17.图7是本技术某些实施方式的图像处理方法的流程示意图。
18.图8是本技术某些实施方式的图像处理装置的第一处理模块的示意图。
19.图9是本技术某些实施方式的图像处理方法的场景示意图。
20.图10是本技术某些实施方式的图像处理方法的流程示意图。
21.图11是本技术某些实施方式的图像处理装置的第一处理模块的第四处理单元的示意图。
22.图12是本技术某些实施方式的深度学习网络的工作原理示意图。
23.图13和图14是本技术某些实施方式的图像处理方法的流程示意图。
24.图15是本技术某些实施方式的图像处理装置的示意图。
25.图16是本技术某些实施方式的图像处理方法的流程示意图。
26.图17是本技术某些实施方式的图像处理装置的示意图。
27.图18是本技术某些实施方式的图像处理方法的流程示意图。
28.图19是本技术某些实施方式的图像处理装置的示意图。
29.图20是本技术某些实施方式的图像处理方法的场景示意图。
30.图21是本技术某些实施方式的计算机可读存储介质与电子设备的连接示意图。
具体实施方式
31.下面详细描述本技术的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附
图描述的实施例是示例性的,旨在用于解释本技术,而不能理解为对本技术的限制。
32.请参阅图1,本技术实施方式的图像处理方法包括:
33.012:利用初始深度学习网络处理训练人物图像以获得输出人像模板;
34.014:处理预设人像模板以得到预设边缘过渡区域;
35.016:确定输出人像模板中与预设边缘过渡区域对应的输出边缘过渡区域;
36.018:根据预设边缘过渡区域中的每个像素点的像素值和输出边缘过渡区域中的每个像素点的像素值确定边缘损失;
37.022:根据边缘损失对初始深度学习网络进行调整以得到调整深度学习网络。
38.请参阅图2,本技术实施方式的图像处理装置100包括第一处理模块12、第二处理模块14、第一确定模块16、第二确定模块18和第三处理模块22。本技术实施方式的图像处理方法可以由本技术实施方式的图像处理装置100实现,其中,步骤012可以由第一处理模块12实现,步骤014可以由第二处理模块14实现,步骤016可以由第一确定模块16实现,步骤018可以由第二确定模块18实现,步骤022可以由第三处理模块22实现。也即是说,第一处理模块12用于利用初始深度学习网络处理训练人物图像以获得输出人像模板。第二处理模块14用于处理预设人像模板以得到预设边缘过渡区域。第一确定模块16用于确定输出人像模板中与预设边缘过渡区域对应的输出边缘过渡区域。第二确定模块18用于根据预设边缘过渡区域中的每个像素点的像素值和输出边缘过渡区域中的每个像素点的像素值确定边缘损失。第三处理模块22用于根据边缘损失对初始深度学习网络进行调整以得到调整深度学习网络。
39.请参阅图3,本技术实施方式的电子设备1000包括壳体200和处理器300,处理器300安装在壳体200上,本技术实施方式的图像处理方法可以由本技术实施方式的电子设备1000实现。其中,步骤012、步骤014、步骤016、步骤018和步骤022均可以由处理器300实现,也即是说,处理器300可用于:利用初始深度学习网络处理训练人物图像以获得输出人像模板;处理预设人像模板以得到预设边缘过渡区域;确定输出人像模板中与预设边缘过渡区域对应的输出边缘过渡区域;根据预设边缘过渡区域中的每个像素点的像素值和输出边缘过渡区域中的每个像素点的像素值确定边缘损失;根据边缘损失对初始深度学习网络进行调整以得到调整深度学习网络。
40.本技术实施方式的电子设备1000可以包括手机、电脑等。在一个实施例中,本技术实施方式的图像处理方法中对初始深度学习网络进行调整的步骤可以由电脑完成,然后再将调整后的调整深度学习网络部署到手机中。当然,本技术实施方式的图像处理方法也可以由电脑或手机等独自完成,在此不做具体限定。
41.在相关技术中,通常采用人像分割算法或者软分割技术(alpha matting)来抠图获得人像区域,然而,通过这些算法获得的人像区域的边缘不够准确,为了解决这个问题,又得额外增加条件随机场crf(conditional random field,crf)和引导滤波等边缘优化算法。crf是给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型,其特点是假设输出随机变量构成马尔科夫随机场。条件随机场是一种判别式模型。根据颜色特征和位置特征构建势能函数,作为后处理迭代的方法,优化人像模板的边缘。引导滤波是一种自适应权重滤波器,能够在平滑图像的同时起到保持边界的作用。当引导图为输入rgb原图,被引导图为人像模板时,输出的滤波结果即为优化边缘后的人像模板。crf和引导滤波
等边缘优化算法的增加,会使得获取人像区域的计算量更大、获取速度更慢,并且提高了运行算法的电子设备的功耗。
42.本技术实施方式的图像处理方法、图像处理装置100、电子设备1000中,预设边缘过渡区域和输出边缘过渡区域能够反应边缘的相似度,根据预设边缘过渡区域和输出边缘过渡区域可以确定边缘损失,由于调整深度学习网络是根据边缘损失调整得到的,因此利用调整深度学习网络处理图像后得到的输出人像模板的边缘更加准确,因此,不需要再额外采用边缘优化算法,从而使得获取人像区域的计算量更小、获取速度更快。
43.本技术中的训练人物图像可以是从训练集中获取的任意一张图像,图像的类型包括但不限于raw图像、yuv图像、rgb图像、深度图像等。
44.本技术实施方式的输出人像模板的像素点与训练人物图像的像素点是相对应的。其中,输出人像模板的像素点与训练人物图像的像素点是相对应的,具体可以是指输出人像模板的像素点与训练人物图像的像素点是一一对应地,也可以是指输出人像模板的像素点与训练人物图像的像素点之间存在预设比例的对应性(例如输出人像模板的像素点与训练人物图像的部分像素点相对应)。输出人像模板的每个像素点的像素值可以用于表征训练人物图像对应的像素点是人像的概率。例如输出人像模板的一个像素点的像素值为0.2,则说明训练人脸图像对应的像素点是人像的概率为20%;又例如输出人像模板的另一个像素点的像素值为0.8,则说明训练人脸图像对应的像素点是人像的概率为80%。
45.预设人像模板的像素点与训练人物图像的像素点是相对应的。其中,预设人像模板的像素点与训练人物图像的像素点是相对应的,具体可以是指预设人像模板的像素点与训练人物图像的像素点是一一对应地,也可以是指预设人像模板的像素点与训练人物图像的像素点之间存在预设比例的对应性(例如预设人像模板的像素点与训练人物图像的部分像素点相对应)。预设人像模板是训练人脸图像的准确的人像模板,预设人像模板是预先标定好的。预设人像模板的像素点的像素值通常只有两个取值,在预设人像模板的像素点的像素值为0时,可将该像素点划分为预设非人像区域,说明训练人脸图像对应的像素点不是人像;在预设人像模板的像素点的像素值为255时,可将该像素点划分为预设人像区域,说明训练人脸图像对应的像素点是人像。
46.请参阅图4,在某些实施方式中,步骤014包括:
47.0142:对预设人像模板进行均值滤波处理以得到均值滤波图像,均值滤波图像包括滤波边缘过渡区域,滤波边缘过渡区域的像素值大于第一设定像素值且小于第二设定像素值;
48.0144:将预设人像模板中与滤波边缘过渡区域对应的区域确定为预设边缘过渡区域。
49.请参阅图5,在某些实施方式中,第二处理模块14包括第一处理单元142和第一确定单元144。步骤0142可以由第一处理单元142实现,步骤0144可以由第一确定单元144实现。也即是说,第一处理单元142可用于对预设人像模板进行均值滤波处理以得到均值滤波图像,均值滤波图像包括滤波边缘过渡区域,滤波边缘过渡区域的像素值大于第一设定像素值且小于第二设定像素值。第一确定单元144可用于将预设人像模板中与滤波边缘过渡区域对应的区域确定为预设边缘过渡区域。
50.请再次参阅图3,在某些实施方式中,步骤0142和步骤0144可以由处理器300实现。
也即是说,处理器300可用于对预设人像模板进行均值滤波处理以得到均值滤波图像,均值滤波图像包括滤波边缘过渡区域,滤波边缘过渡区域的像素值大于第一设定像素值且小于第二设定像素值;将预设人像模板中与滤波边缘过渡区域对应的区域确定为预设边缘过渡区域。
51.具体地,预设人像模板中的预设人像区域的像素值为255,预设非人像区域的像素值为0,此时第一设定像素值可以为0,第二设定像素值可以为255。对预设人像模板进行均值滤波时(例如采用大小为3*3的窗口进行均值滤波),由于预设人像区域的中心部分的像素值均为255,因此均值滤波后得到的像素值仍然为255;由于预设非人像区域的中心部分的像素值均为0,因此均值滤波后得到的像素值仍然为0;而在预设人像区域和预设非人像的交界处,由于同时存在像素值为0和像素值为255的情况,因此,此时通过均值滤波后得到的像素值会介于0和255之间,因此,可将交界处对应的这些区域确定为均值滤波图像的滤波边缘过渡区域。当然,在其他实施方式中,在预设人像区域和预设非人像的交界处,由于同时存在像素值为0和像素值为255的情况,此时通过均值滤波后得到的像素值不等于0,也不等于255,因此,也可以将像素值不等于第一设定像素值且不等于第二设定像素值的像素点划分为均值滤波图像的滤波边缘过渡区域。预设人像模板中与滤波边缘区域对应的区域即为预设边缘过渡区域。
52.在预设边缘过渡区域确定后,可以确定输出人像模板中与预设边缘过渡区域对应的输出边缘过渡区域。训练人物图像与预设边缘过渡区域对应的像素点,也与输出边缘过渡区域相对应。
53.根据预设边缘过渡区域中的每个像素点的像素值和输出边缘过渡区域中的每个像素点的像素值确定边缘损失,其中,边缘损失可以是指交叉熵损失,边缘损失可根据以下计算公式计算获得:le=∑-x
i
lny
i
,其中,x
i
可以是指预设边缘过渡区域中的一个像素点的像素值,y
i
可以是指输出边缘过渡区域中的对应像素点的像素值。根据计算公式计算得到le后,还可以将le除以预设边缘过渡区域的像素数量(或输出边缘过渡区域的像素数量)以得到平均损失。根据预设边缘过渡区域和输出边缘过渡区域确定的边缘损失,能够较为准确地对初始深度学习网络进行调整,从而使得调整后的调整深度学习网络输出的人像模板的边缘更加准确。
54.请参阅图6,在一个实施例中,可以对预设人像模板进行均值滤波以得到预设边缘过渡区域,根据预设边缘过渡区域和输出人像模板可以确定边缘损失。
55.请参阅图7和图9,在某些实施方式中,步骤012包括:
56.0122:对训练人物图像进行缩放处理以得到预设尺寸的缩放人物图像;
57.0124:对缩放人物图像进行归一化处理以得到归一化人物图像;
58.0126:利用初始深度学习网络处理归一化人物图像以获得输出人像模板。
59.请参阅图8和图9,在某些实施方式中,第一处理模块12包括第二处理单元122、第三处理单元124和第四处理单元126。步骤0122可以由第二处理单元122实现,步骤0124可以由第三处理单元124实现,步骤0126可以由第四处理单元126实现。也即是说,第二处理单元122可用于对训练人物图像进行缩放处理以得到预设尺寸的缩放人物图像。第三处理单元124可用于对缩放人物图像进行归一化处理以得到归一化人物图像。第四处理单元126可用于利用初始深度学习网络处理归一化人物图像以获得输出人像模板。
60.请再次参阅图3,在某些实施方式中,步骤0122、步骤0124和步骤0126均可以由处理器300实现。也即是说,处理器300可用于对训练人物图像进行缩放处理以得到预设尺寸的缩放人物图像;对缩放人物图像进行归一化处理以得到归一化人物图像;利用初始深度学习网络处理归一化人物图像以获得输出人像模板。
61.具体地,预设尺寸可以是指初始深度学习网络能够直接处理的图像尺寸,预设尺寸例如为480*640。通过将训练人物图像处理成缩放人物图像,可以便于后续初始深度学习网络的处理。另外,对缩放人物图像进行归一化处理,能够减小缩放人物图像的像素点的像素值大小,从而能够减小后续初始深度学习网络处理的工作量。具体地,可以获取缩放人物图像的所有像素点的像素值的平均值及其方差,先将缩放人物图像的所有像素点的像素值减去该平均值,再将得到的像素值除以方差,即可实现归一化处理,得到归一化人物图像。归一化人物图像能够输入到初始深度学习网络中,通过初始深度学习网络的处理即可获得输出人像模板。
62.请参阅图10和图12,在某些实施方式中,步骤0126包括:
63.01261:尺寸调整步骤,处理归一化人物图像以得到调整图像;
64.01262:特征提取步骤,提取调整图像的特征图;
65.01263:以预设提取次数循环执行尺寸调整步骤和特征提取步骤,以得到多个不同尺寸的调整图像的特征图,其中,多个不同尺寸包括第一尺寸和第二尺寸,第一尺寸小于第二尺寸;
66.01264:第一上采样步骤,对第一尺寸的调整图像的特征图进行上采样处理以得到第一上采样特征图;
67.01265:第一融合步骤,将与第一上采样特征图尺寸相同的调整图像的特征图融合到第一上采样特征图中以得到融合特征图;
68.01266:第二上采样步骤,对融合特征图进行上采样处理以得到第二上采样特征图;
69.01267:第二融合步骤,将于第二上采样特征图尺寸相同的调整图像的特征图融合到第二上采样特征图中以得到新的融合特征图;
70.01268:循环执行第二上采样步骤和第二融合步骤直至融合特征图的尺寸变成第二尺寸,具有第二尺寸的融合特征图作为输出人像模板。
71.请参阅图11和图12,在某些实施方式中,第四处理单元126包括尺寸调整子单元1261、特征提取子单元1262、第一循环子单元1263、第一上采样子单元1264、第一融合子单元1265、第二上采样子单元1266、第二融合子单元1267和第二循环子单元1268。步骤01261可以由尺寸调整子单元1261实现,步骤01262可以由特征提取子单元1262实现,步骤01263可以由第一循环子单元1263实现,步骤01264可以由第一上采样子单元1264实现,步骤01265可以由第一融合子单元1265实现,步骤01266可以由第二上采样子单元1266实现,步骤01267可以由第二融合子单元1267实现,步骤01268可以由第二循环子单元1268实现。也即是说,尺寸调整子单元1261可用于实现尺寸调整步骤:处理归一化人物图像以得到调整图像。特征提取子单元1262可用于实现特征提取步骤:提取调整图像的特征图。第一循环子单元1263可用于以预设提取次数循环执行尺寸调整步骤和特征提取步骤,以得到多个不同尺寸的调整图像的特征图,其中,多个不同尺寸包括第一尺寸和第二尺寸,第一尺寸小于第
二尺寸。第一上采样子单元1264可用于实现第一上采样步骤:对第一尺寸的调整图像的特征图进行上采样处理以得到第一上采样特征图。第一融合子单元1265可用于实现第一融合步骤:将与第一上采样特征图尺寸相同的调整图像的特征图融合到第一上采样特征图中以得到融合特征图。第二上采样子单元1266可用于实现第二上采样步骤:对融合特征图进行上采样处理以得到第二上采样特征图。第二融合子单元1267可用于实现第二融合步骤:将于第二上采样特征图尺寸相同的调整图像的特征图融合到第二上采样特征图中以得到新的融合特征图。第二循环子单元1268可用于循环执行第二上采样步骤和第二融合步骤直至融合特征图的尺寸变成第二尺寸,具有第二尺寸的融合特征图作为输出人像模板。
72.请再次参阅图3,在某些实施方式中,步骤01261、步骤01262、步骤01263、步骤01264、步骤01265、步骤01266、步骤01267和步骤01268均可以由处理器300实现。也即是说,处理器300可用于:尺寸调整步骤,处理归一化人物图像以得到调整图像;特征提取步骤,提取调整图像的特征图;以预设提取次数循环执行尺寸调整步骤和特征提取步骤,以得到多个不同尺寸的调整图像的特征图,其中,多个不同尺寸包括第一尺寸和第二尺寸,第一尺寸小于第二尺寸;第一上采样步骤,对第一尺寸的调整图像的特征图进行上采样处理以得到第一上采样特征图;第一融合步骤,将与第一上采样特征图尺寸相同的调整图像的特征图融合到第一上采样特征图中以得到融合特征图;第二上采样步骤,对融合特征图进行上采样处理以得到第二上采样特征图;第二融合步骤,将于第二上采样特征图尺寸相同的调整图像的特征图融合到第二上采样特征图中以得到新的融合特征图;循环执行第二上采样步骤和第二融合步骤直至融合特征图的尺寸变成第二尺寸,具有第二尺寸的融合特征图作为输出人像模板。
73.初始深度学习网络可以是指人像分割卷积神经网络cnn算法,可以包括但不限于deeplab系列分割算法、u-net、fcn等,该类算法通常包括encoder特征编码模块和decoder目标模板生成模块。其中,尺寸调整步骤和特征提取步骤可视作encoder特征编码模块的工作过程,encoder特征编码模块可以由mobilenet、shufflenet、resnet等基本backbone组成。第一上采样步骤、第一融合步骤、第二上采样步骤和第二融合步骤可视作decoder目标模板生成模块的工作过程。decoder目标模板生成模块可以通过反卷积或插值上采样实现。
74.其中,预设提取次数可以是一次或多次,在一个实施例中,预设提取次数为2-6中的任意整数,即预设提取次数可以为2、3、4、5或6。在预设提取次数为6时,已经能够较为全面地提取调整图像的特征,因此,预设提取次数大于6时,提取的特征的信息量基本不变,但是会增大特征提取的工作量。
75.在第一次执行尺寸调整步骤和特征提取步骤时,调整图像的尺寸可以为归一化人物图像的尺寸(也为缩放人物图像的尺寸,即预设尺寸)。尺寸调整步骤具体可以为,将归一化人物图像作为调整图像。特征提取步骤具体可以为,提取归一化人物图像的特征图。
76.在后续(第二次或第二次之后)执行尺寸调整步骤和特征提取步骤时,尺寸调整步骤具体可以为:对归一化人物图像进行下采样处理,其中,下采样可理解为对图像进行缩小处理,每次尺寸调整步骤对应的下采样程度可以不同,例如第二次执行尺寸调整步骤时,可以对归一化人物图像进行下采样处理以得到预设尺寸的二分之一的调整图像,第三次执行尺寸调整步骤时,可以对归一化人物图像进行下采样处理以得到预设尺寸的四分之一的调整图像。特征提取步骤具体可以为:提取当前尺寸调整步骤得到的调整图像的特征图。
77.通过循环尺寸调整步骤和特征提取步骤,即可得到多个不同尺寸的调整图像的特征图,多个不同尺寸包括第一尺寸和第二尺寸,第一尺寸小于第二尺寸,其中,第一尺寸可以是多个不同尺寸中的最小尺寸,第二尺寸可以是多个不同尺寸中的最大尺寸,第二尺寸可以是预设尺寸。多个不同尺寸的调整图像的特征图,可以分别表示归一化人物图像的不同层次的特征。
78.第一上采样步骤可以对第一尺寸的调整图像的调整图直接进行上采样处理,从而得到第一上采样特征图,其中,上采样可理解为对图像进行放大处理。然后再将第一上采样特征图尺寸相同的调整图像的特征图融合到第一上采样特征图中以得到融合特征图。
79.在第一次执行第二上采样步骤和第二融合步骤时,对第一融合步骤获得的融合特征图进行上采样处理以得到第二上采样特征图,将第二上采样特征图尺寸相同的调整图像的特征图融合到第二上采样特征图中,从而得到新的融合特征图。
80.在后续(第二次或第二次以上)执行第二上采样步骤和第二融合步骤时,对上一次执行第二上采样步骤和第二融合步骤获得的融合特征图进行上采样处理以得到新的第二上采样特征图,将新的第二上采样特征图尺寸相同的调整图像的特征图融合到新的第二上采样特征图中并重新作为融合特征图。如此,直到最后一次执行第二上采样步骤和第二融合步骤时,得到的融合特征图的尺寸变成第二尺寸,此时的融合特征图即可视作输出人像模板。
81.其中,将上采样特征图(第一上采样特征图或第二上采样特征图)尺寸相同的调整图像的特征融合到上采样特征图中以得到融合特征图的方式可视作跳跃连接,通过跳跃连接能够将浅层特征融合到深层特征处,从而增加初始深度学习网络的泛化能力。
82.请参阅图13,在某些实施方式中,初始深度学习网络包括权重和偏置,步骤022包括:
83.0222:根据边缘损失对权重和偏置进行调整以得到调整深度学习网络。
84.请再次参阅图2,在某些实施方式中,初始深度学习网络包括权重和偏置,步骤0222可以由第三处理模块22实现。也即是说,第三处理模块22可用于根据边缘损失对权重和偏置进行调整以得到调整深度学习网络。
85.请再次参阅图3,在某些实施方式中,初始深度学习网络包括权重和偏置,步骤0222可以由处理器300实现。也即是说,处理器300可用于根据边缘损失对权重和偏置进行调整以得到调整深度学习网络。
86.具体地,初始深度学习网络的表示方式可以理解为:输入与权重进行卷积后,再加上偏置,从而可以得到输出。可以利用反向传播算法并根据边缘损失对初始深度学习网络进行惩罚,从而实现对权重和偏置的调整,通过惩罚后,调整深度学习网络输出的人像模板的边缘更准确。
87.请参阅图9和图14,在某些实施方式中,图像处理方法还包括:
88.024:根据预设人像模板中的每个像素点的像素值和输出人像模板中的每个像素点的像素值确定交叉熵损失;
89.026:根据交叉熵损失对初始深度学习网络进行调整。
90.请参阅图9和图15,在某些实施方式中,图像处理装置100还包括第三确定模块24和第四处理模块26。步骤024可以由第三确定模块24实现,步骤026可以由第四处理模块26
实现。也即是说,第三确定模块24可用于根据预设人像模板中的每个像素点的像素值和输出人像模板中的每个像素点的像素值确定交叉熵损失。第四处理模块26可用于根据交叉熵损失对初始深度学习网络进行调整。
91.请再次参阅图3,在某些实施方式中,步骤024和步骤026均可以由处理器300实现。也即是说,处理器300可用于:根据预设人像模板中的每个像素点的像素值和输出人像模板中的每个像素点的像素值确定交叉熵损失;根据交叉熵损失对初始深度学习网络进行调整。
92.具体地,交叉熵损失具体可以是softmax交叉熵损失。交叉熵损失可根据以下计算公式计算获得:l4=∑-a
i
lnb
i
,其中,a
i
可以是指预设人像模板中的一个像素点的像素值,b
i
可以是指输出人像模板中的对应像素点的像素值。根据计算公式计算得到l4后,还可以将l4除以预设人像模板的像素数量(或输出人像模板的像素数量),再对初始深度学习网络进行调整,具体调整方式也可以根据反向传播算法实现。
93.在某些实施方式中,可以将边缘损失和交叉熵损失相加,然后根据相加结果,利用反向传播算法对初始深度学习网络进行调整以得到调整深度学习网络。
94.请参阅图16,在某些实施方式中,图像处理方法还包括:
95.028:将调整深度学习网络作为新的初始深度学习网络并进入利用初始深度学习网络处理训练人物图像以获得输出人像模板的步骤,以循环执行图像处理方法直至边缘损失满足收敛条件。
96.请参阅图17,在某些实施方式中,图像处理装置100还包括循环模块28。步骤028可以由循环模块28实现。也即是说,循环模块28可用于将调整深度学习网络作为新的初始深度学习网络并进入利用初始深度学习网络处理训练人物图像以获得输出人像模板的步骤,以循环执行图像处理方法直至边缘损失满足收敛条件。
97.请再次参阅图3,在某些实施方式中,步骤028可以由处理器300实现。也即是说,处理器300可用于将调整深度学习网络作为新的初始深度学习网络并进入利用初始深度学习网络处理训练人物图像以获得输出人像模板的步骤,以循环执行图像处理方法直至边缘损失满足收敛条件。
98.具体地,通过循环执行本技术实施方式的图像处理方法,可以对深度学习网络进行多次调整,直至边缘损失满足收敛条件,此时可以认为初始深度学习网络已经完成调整,从而能够利用最终的调整深度学习网络更加准确地形成人像模板。
99.在某些实施方式中,收敛条件为连续多次循环过程中的边缘损失的偏差小于预设偏差。多次可以是两次及以上,即,连续多次可以是相邻两次、连续3次,连续4次等。其中,在次数较少(尤其是在次数为2)时,容易因为调整结果不佳而被误认为初始深度学习网络已经完成调整,因此,本技术的连续多次可以为连续3次及3次以上。在一个实施例中,连续3次循环过程中的边缘损失分别为0.0053、0.0052和0.0051,预设偏差为0.001,则0.0053-0.0052=0.0001,0.0052-0.0051=0.0001,由于0.0001<0.001,因此,连续多次循环过程中的边缘损失的偏差小于预设偏差,此时可以认为边缘损失基本维持不变,说明继续对初始深度学习网络进行调整(即继续循环执行本技术实施方式的图像处理方法)已经没有明显的作用,因此,能够认为初始深度学习网络已经完成调整,最终获得的调整深度学习网络即可用于进行准确地形成人像模板。
unit,cpu),还可以是其他通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现成可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
116.在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
117.此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
118.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本技术的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本技术的实施例所属技术领域的技术人员所理解。
119.尽管上面已经示出和描述了本技术的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本技术的限制,本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献