已标注图像的背景的标记方法、皮肤问题识别方法及装置与流程

1.本发明涉及图像识别技术领域，特别涉及一种已标注图像的背景的标记方法，基于该标记方法实现的对用于皮肤问题识别的人工神经网络的训练方法，通过该训练方法训练好的皮肤问题识别网络实现的皮肤问题识别方法/装置，以及计算机可读存储介质，计算机可读存储介质被处理器执行时能实现上述标记方法、和/或训练方法、和/或皮肤问题识别方法。


背景技术：

2.现有技术利用经过预先训练的人工神经网络来自动识别人脸图像上的皮肤问题，如雀斑、老年斑、痤疮、痣。为此，需要先对大量图像进行皮肤问题的人工标注处理，即从图像上把具有皮肤问题的区域标注出来，然后把标注了皮肤问题的图像给到人工神经网络进行学习。在识别的时候，每张图像一次只识别所标注的其中一个问题，如雀斑，而未标注为雀斑(标注区域)的皮肤区域则为背景区域。但在真实的人脸上，多种皮肤问题往往同时存在，如老年斑a、痤疮b、痣c等，在识别一张人脸图像上的皮肤问题时，如果只识别标注的老年斑a，那么，在训练的时候，人工神经网络会把痤疮b、痣c当成背景区域而误认成是正常的皮肤，而后继续训练这个人工神经网络识别痤疮b/痣c，就会受到先前误认的影响。目前的解决办法是在训练时降低背景的权重，如当前识别的皮肤问题老年斑a的权重占99％，而含有晒斑b、色沉c等皮肤问题的背景区域只占1％，这样做可以降低不标注晒斑b、色沉c等其他皮肤问题给背景识别带来的干扰，但是它同时会导致对背景区域的识别权重不足，降低背景识别能力而导致背景误识别。


技术实现要素：

3.为此，发明人提供了一种已标注图像的背景的标记方法，在将经该标记方法标记的图像用于皮肤问题识别时，能够降低背景的误识别几率。
4.本发明提供一种已标注图像的背景的标记方法，所述图像为皮肤图像，所述已标注图像包括标注区域和背景区域，包括如下标记步骤：把图像的背景区域中的邻近标注区域的区域标为邻近区域，分别标记该邻近区域和背景区域中余下非邻近区域的权重。
5.优选地，所标记的权重中，所述邻近区域的权重超出非邻近区域的权重达预设程度。
6.优选地，所述邻近区域的权重超出非邻近区域的权重达预设程度是指：邻近区域的权重是非邻近区域的权重的十倍或以上。
7.优选地，所述邻近标注区域的区域是指：从标注区域的外边缘向外延伸预设距离的区域，或者，生成围住所述标注区域的闭合线，把夹在该闭合线与标注区域外边缘之间的区域记为邻近标注区域的区域。
8.优选地，所述已标注图像的标注区域包括标注信息，所述标注信息包括该标注区域的皮肤问题类型。
9.优选地，所述皮肤问题类型包括雀斑、老年斑、痤疮、痣中的一种或多种。
10.本发明还提供一种对用于皮肤问题识别的人工神经网络的训练方法，包括如下步骤：
11.(1)获取皮肤图像数据集，把数据集中的经上述的标记步骤进行了标记的皮肤图像作为训练集和验证集，所述人工神经网络包括多任务卷积神经网络模型，以训练集的皮肤图像为训练样本作为该多任务卷积神经网络模型的训练输入；
12.(2)分别识别训练集中各个皮肤图像，其中，对标注区域的识别权重大于对背景区域的识别权重，对背景区域中的邻近区域的识别权重大于对背景区域中的非邻近区域的识别权重；
13.(3)对训练集按照标注区域的标注信息分类进行匹配，所述标注信息是指所述标注区域的皮肤问题类型，获取神经网络模型识别的标注区域与其对应的已标注图像上的标注区域的匹配差异值，从而进行多任务损失计算得到损失值；
14.(4)根据计算得到的所述损失值进行权重文件更新，全部训练集更新完成后进行验证集验证及精度计算；
15.(5)重复上述步骤(1)～(4)直到达到预设重复次数或验证集精度达到预设程度，终止迭代，得到训练好的多任务卷积神经网络模型，作为皮肤问题识别网络。
16.本发明还提供一种皮肤问题识别方法，包括如下步骤：把待识别皮肤图像输入经上述的对用于皮肤问题识别的人工神经网络的训练方法训练好的皮肤问题识别网络中进行识别，得到标注区域及其标注信息。
17.本发明还提供一种皮肤问题识别装置，包括：
18.图像获取单元，用于获取皮肤图像；
19.皮肤问题识别单元，用于将所获取的皮肤图像输入皮肤问题识别网络，经所述皮肤问题识别网络输出标注区域及其标注信息，所述皮肤问题识别网络经过对用于皮肤问题识别的人工神经网络的训练获得；
20.输出单元，输出标注区域以及根据所述标注信息得到的该标注区域的皮肤问题类型。包括相互连接的计算机可读存储介质和处理器，计算机可读存储介质如上所述。
21.本发明还提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时能够实现上述已标注图像的背景的标记方法、和/或上述对用于皮肤问题识别的人工神经网络的训练方法、和/或上述皮肤问题识别方法中的步骤。
22.有益效果
23.本发明的已标注图像的背景的标记方法，对已标注了标注区域和背景区域的皮肤图像进行进一步处理，把背景区域中邻近标注区域的区域标为邻近区域，分别标记该邻近区域和背景区域中余下非邻近区域的权重。
24.本发明的对用于皮肤问题识别的人工神经网络的训练方法，把经上述标记方法标记好的皮肤图像作为训练集和验证集来训练多任务卷积神经网络模型。以训练集的皮肤图像为训练样本作为多任务卷积神经网络模型的训练输入，每次训练一种皮肤问题类型，训练时对皮肤图像中的标注区域和背景区域进行识别，经过多任务卷积神经网络模型的通用的训练、验证集验证及精度计算，得到训练好的能够识别出该皮肤问题类型的标注区域的多任务卷积神经网络模型。
25.其中，对标注区域、背景区域中的邻近区域和非邻近区域这三者的识别权重依次降低，且对背景区域中的邻近区域的识别权重远高于非邻近区域。标注区域是具有皮肤问题的区域，人体皮肤表面的同一位置通常不会有多种皮肤问题重叠，因此邻近标注了皮肤问题的标注区域为正常皮肤的可能性较高，可以把它视为真实的背景赋予其较大的权重，从而能够降低背景的误识别几率；而远离这一标注区域的皮肤出现其他皮肤问题的比例更高，因此，赋予这些非邻近区域比邻近区域低的背景权重，能够减少其他皮肤问题给背景识别带来的干扰。
26.本发明的皮肤问题识别方法具体是把待识别皮肤图像输入上述训练好的皮肤问题识别网络中进行识别，得到标注区域及其标注信息中的皮肤问题类型，实现背景误识别几率低的皮肤问题识别。
附图说明
27.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
28.图1是已标注图像的背景的标记方法的流程图。
29.图2是对用于皮肤问题识别的人工神经网络的训练方法的流程图。
30.图3是皮肤问题识别方法的流程图。
31.图4是皮肤图像数据集中的一张皮肤图像示例。
32.图5是对图4的皮肤图像进行标注的示意图。
33.图6是对图5的已标注图像进行标记的示意图。
34.图7是一张用于皮肤问题识别的皮肤图像示例。
35.图8是对图7的皮肤图像的皮肤问题类型进行识别的示意图。
36.图9是皮肤问题训练、识别装置的结构示意图。
具体实施方式
37.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.本发明中，术语“包括”以及其任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
39.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
40.本发明的已标注图像的背景的标记方法，见图1，对已标注了标注区域和背景区域的皮肤图像进行进一步处理，把背景区域中邻近标注区域的区域标为邻近区域，分别标记该邻近区域和背景区域中余下非邻近区域的权重。本发明的对用于皮肤问题识别的人工神经网络的训练方法，见图2，把经上述标记方法标记好的皮肤图像作为训练集和验证集来训练多任务卷积神经网络模型，具体地，以训练集的皮肤图像为训练样本作为多任务卷积神经网络模型的训练输入，每次训练一种皮肤问题类型，训练时对皮肤图像中的标注区域和背景区域进行识别，经过多任务卷积神经网络模型的通用的训练、验证集验证及精度计算，得到训练好的能够识别出该皮肤问题类型的标注区域的多任务卷积神经网络模型。本发明的皮肤问题识别方法，见图3，具体是把待识别皮肤图像输入上述训练好的皮肤问题识别网络中进行识别，得到标注区域及其标注信息中的皮肤问题类型。本发明通过上述标记方法、训练方法和皮肤问题识别方法实现背景误识别几率低的皮肤问题识别。
41.本实施例以面部皮肤图像的皮肤问题识别过程为例，对已标注图像的背景的标记方法、对用于皮肤问题识别的人工神经网络的训练方法以及皮肤问题识别方法的具体步骤进行详细说明。
42.本实施例的对已标注图像的背景的标记方法包括步骤101～步骤104，具体说明如下。
43.步骤101，批量获取面部皮肤图像得到皮肤图像数据集，图4为皮肤图像数据集中的一张皮肤图像示例。
44.步骤102，在皮肤图像数据集的各个皮肤图像上分别标注多种皮肤问题类型，以图4为例，在皮肤图像上用不同的色块分别标注(见图5)老年斑a、痤疮b、痣c和不确定类d等皮肤问题类型，形成标注区域并记录这些标注区域分别对应的标注信息，得到已标注图像，标注信息包括该标注区域的皮肤问题类型。
45.本实施例的步骤102在同一张皮肤图像上由不同人标注不同的皮肤问题类型，在识别时每次选择其中一种标注类型进行识别，从而充分利用皮肤图像。该步骤102可以改为一张皮肤图像一次只标注一种皮肤问题类型，如此则训练得到的人工神经网络比一次性识别标注的全部皮肤问题类型得到的人工神经网络更准确。
46.其中，在进行标注前先自动识别面部轮廓线1，上述步骤102的标注是在面部轮廓线1围成的面部皮肤区域内进行的。进一步地，可通过现有方法排除面部的眉、眼、鼻、嘴等非皮肤区域，在此不做赘述。面部皮肤区域范围内，除标注区域外，其余为该皮肤图像的背景区域。
47.对步骤102中(或其他方式)得到的已标注图像，执行如下标记步骤(步骤103、步骤104)。
48.步骤103，把图像的背景区域中的邻近标注区域的区域标为邻近区域。以皮肤问题类型中的老年斑a为例，见图6，在老年斑a的标注区域外边缘2外生成围住该标注区域的闭合线3，把夹在该闭合线3与标注区域外边缘2之间的区域记为邻近标注区域的区域，将该区域标为邻近区域g。该闭合线3通过现有的图像识别技术中的自动框选方法生成，线型可以为方框、圆环等，在此不做赘述。在标注区域的外边缘相对平整或圆滑的情况下，邻近区域g可以改为从标注区域的外边缘2自动向外延伸预设距离(如5毫米，或标注区域最大直径的20％等)的区域，而无需进行图像识别来自动框选。
49.步骤104，分别标记该邻近区域g和背景区域中余下非邻近区域的权重。所标记的权重中，邻近区域的权重超出非邻近区域的权重达预设程度，具体地，邻近区域的权重是非邻近区域的权重的十倍或以上，如背景区域的权重为1，则标记邻近区域的权重为0.092，而标记非邻近区域的权重为0.008。图6中，非邻近区域为闭合线3以外的面部轮廓线1围成的面部皮肤区域，该区域内有痤疮b、痣c和不确定类d等多种其他皮肤问题，标记该区域的权重为非常低的0.008，能够降低其他皮肤问题对背景区域的干扰，同时，邻近区域g为没有其他皮肤问题的正常皮肤，标记该邻近区域g的权重为远大于非邻近区域权重的0.092，使得在将经该标记方法标记的皮肤图像用于皮肤问题识别时，正常皮肤能够被识别为背景区域，能够降低背景的误识别几率。
50.通过上述步骤101～步骤104对皮肤图像数据集的全部皮肤图像进行标注，并对已标注图像的背景进行标记，然后把标记好的皮肤图像给到人工神经网络进行训练。
51.本实施例的对用于皮肤问题识别的人工神经网络的训练方法具体包括如下步骤，人工神经网络的训练过程采用通用的神经网络模型训练逻辑实现，下文不再详细展开。
52.(1)获取皮肤图像数据集，把数据集中的经上述的标记步骤进行了标记的皮肤图像作为训练集和验证集，把数据集中其他已标注图像作为测试集。人工神经网络包括多任务卷积神经网络模型，以训练集的皮肤图像为训练样本作为该多任务卷积神经网络模型的训练输入。
53.(2)分别识别训练集中各个皮肤图像，其中，对标注区域的识别权重大于对背景区域的识别权重，对背景区域中的邻近区域的识别权重大于对背景区域中的非邻近区域的识别权重。具体地，背景区域中的邻近区域和非邻近区域的识别权重即为标记方法的步骤104中标记的权重。对标注区域、背景区域中的邻近区域和非邻近区域这三者的识别权重依次降低，且对背景区域中的邻近区域的识别权重远高于非邻近区域。标注区域是具有皮肤问题的区域，人体皮肤表面的同一位置通常不会有多种皮肤问题重叠，因此邻近标注了皮肤问题的标注区域为正常皮肤的可能性较高，可以把它视为真实的背景赋予其较大的权重，从而能够降低背景的误识别几率；而远离这一标注区域的皮肤出现其他皮肤问题的比例更高，因此，赋予这些非邻近区域比邻近区域低的背景权重，能够减少其他皮肤问题给背景识别带来的干扰。
54.(3)对训练集按照标注区域的标注信息分类进行匹配，标注信息是指标注区域的皮肤问题类型，包括老年斑a、痤疮b、痣c、不确定类d、雀斑e，获取神经网络模型识别的标注区域与其对应的已标注图像上的标注区域的匹配差异值，从而进行多任务损失计算得到损失值。其中，每次训练识别其中一种皮肤问题类型，经过多层训练后多任务卷积神经网络模型能一起识别多种皮肤问题类型。
55.(4)根据计算得到的损失值进行权重文件更新，全部训练集更新完成后进行验证集验证及精度计算。
56.(5)重复上述步骤(1)～(4)直到达到预设重复次数或验证集精度达到预设程度(如精度趋于稳定且不再上升)，终止迭代，在测试集上最后测试一次，测试集上的误差作为泛化误差的近似，从而得到训练好的多任务卷积神经网络模型，作为皮肤问题识别网络。
57.通过上述步骤训练得到能够识别皮肤图像的多种皮肤问题的皮肤问题识别网络，然后在皮肤问题识别方法中使用该皮肤问题识别网络。
only memory，rom)、随机存储器(random access memory，ram)、可编程只读存储器(programmable read-only memory，prom)、可擦除可编程只读存储器(erasable programmable read only memory，eprom)、一次可编程只读存储器(one-time programmable read-only memory，otprom)、电子抹除式可复写只读存储器(electrically-erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
70.最后应说明的是：本发明实施例公开的快捷启动移动终端的支付方式的系统及方法所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。