基于半监督学习的痤疮分级方法、系统、设备及存储介质

1.本发明属于医疗影像处理技术领域，涉及面部痤疮的识别与分级，尤其涉及一种基于半监督学习的痤疮分级方法、系统、设备及存储介质。


背景技术：

2.痤疮是一种在成年人和青少年人群中常见的皮肤疾病。痤疮是毛囊皮脂腺单位的一种多因素疾病，临床表现从轻度的粉刺型痤疮到暴发型伴有系统性症状的痤疮。痤疮的主要表现形态有粉刺、丘疹、脓疱、结节、囊肿等等。根据调查，80%的青少年患有痤疮，并且这种慢性疾病在某些情况下可能会持续到成年。更严重的是，患有严重痤疮疾病的患者脸上不可避免地会留下疤痕和色素沉着，这会影响患者的外观和情绪。因此，一个准确的痤疮严重程度分级评估和相应的治疗方案对患者是必不可少的。
3.痤疮严重程度分级通常结合了基于标准的病变计数和基于经验的整图评估，通过分析患者脸部的皮损数量并结合医生对患者整个脸部的判断经验而划分的一种分类方法。判断的标准不同，同一个病人的分级也不完全相同。常用的分级方法如hayashi分级法将患者面部图片分为了四个等级，包括：“mild”（轻微），“moderate”（中等），“severe”（严重）和“very severe”（非常严重）四个等级。
4.随着人工智能技术的发展，越来越多的人工智能方面的技术应用于医学领域，用于医学图像是识别、分类等。
5.申请号为201910250510.7的发明专利申请就公开了一种基于深度学习的痤疮自动分级方法，其包括如下步骤：s1，制作人脸面部样本数据集，训练深度卷积神经网络分级模型；s2，采集待检测人脸面部图像，利用人脸特征点检测网络识别图像中的人脸特征点并区域切割，同时去除无效区域；s3，拼接切割后的图像得到皮肤区域图像，输入深度卷积神经网络分级模型，得到分级结果。通过摄像头获取患者正脸、左侧脸、右侧脸面部图像，计算机利用预先训练好的深度卷积神经网络分级模型自动对面部痤疮进行严重度分级，为患者病情的诊断提供准确的辅助信息。
6.除了基于深度学习的方法实现自动分级外，还有基于半监督学习的方法。申请号为202111059104.6的发明专利就公开了糖尿病视网膜病变和糖尿病性黄斑水肿的联合分级方法，包括如下步骤：1）构建联合分级网络，其中mobilenet v2为模型的骨干网，并含有自适应注意力模块，模型在pytorch架构上实现，并以端到端的方式进行训练；2）构建基于半监督学习的网络训练，所述半监督学习的网络训练采用一个学生模型和一个教师模型，同时进行训练，并且都使用提出的联合分级网络；3）进行网络分级测试。本发明实现糖尿病视网膜病变和糖尿病性黄斑水肿联合分级任务，在训练过程中进行自适应调整，灵活性高；半监督学习策略可以充分利用未标记数据，在一定程度上缓解标记数据不足的问题。
7.现有技术中，半监督学习的应用也越来越广泛，逐渐成为一种重要的自动分级方法，但并未采用半监督学习的方法用于痤疮的分级。此外，现有的痤疮分级中,样本数据大多只有分级的标签信息，没有关于痤疮病变计数的信息，导致模型并不能包含分级所需的
痤疮计数信息，分级预测的准确率较低。


技术实现要素：

8.本发明的目的在于：为了解决现有技术中存在的因模型没有包含分级所需的痤疮计数信息而导致的分级预测准确率低的技术问题，本发明提供一种基于半监督学习的痤疮分级方法、系统、设备及存储介质。
9.本发明为了实现上述目的具体采用以下技术方案：一种基于半监督学习的痤疮分级方法，包括如下步骤：步骤s1，获取样本数据从脸部痤疮公开数据集中获取面部痤疮图像样本数据以及对应的标签，其中，面部痤疮图像样本数据包括有标签样本数据、无标签样本数据，标签包括分级标签和痤疮计数标签；步骤s2，搭建模型搭建半监督学习网络模型，半监督学习网络模型包括一个教师网络和一个学生网络；步骤s3，训练模型利用步骤s1中获取的面部痤疮图像样本数据以及对应的标签，输入步骤s2中搭建的半监督学习网络模型，完成半监督学习网络模型的训练；步骤s4，实时分级将实时获取的面部痤疮图像输入半监督学习网络模型，输出分级结果；在步骤s3进行模型的训练时，具体的训练方法为：先采用有标签样本数据对学生网络进行有监督训练，再采用无标签样本数据对学生网络、教师网络进行半监督训练；训练过程中，采用滑动指数平均方式来通过学生网络的权值更新教师网络的权值，更新公式为：；其中，表示在t时刻时学生网络的权值参数，表示在t时刻时教师网络的权值参数，表示在t-1时刻时教师网络的权值参数，是一个平滑系数的超参数。
10.优选地，脸部痤疮公开数据集为脸部痤疮公开数据集acne04。
11.优选地，步骤s3中，在采用有标签样本数据对学生网络进行有监督训练时，采用的分级损失函数为：其中，表示输入的第张图片，表示第张图片的分级标签，表示控制分布的维度的参数，被设置为1，表示有序分分级值，其中，表示表示痤疮严重
程度的分数总数；表示实际分布概率，表示学生模型预测的属于分级的预测概率分布；在计算实际分布概率时，具体公式计算为:其中，是控制分布的维度的参数，被设置为1，为有序分级值，其中，表示痤疮严重程度的分数总数，表示第张图片的分级标签，是一个正则化参数以确保整个部分的概率总和为1。
12.优选地，步骤s3中，在采用有标签样本数据对学生网络进行有监督训练时，采用的计数损失函数为：其中，表示输入的第张图片，表示第张图片的痤疮计数标签，是分布的标准差，被设置为3，是痤疮病变的数量，，表示痤疮总个数，表示作为输入时学生网络输出的预测计数概率；在计算实际计数概率时，具体公式计算为：其中，是分布的标准差，被设置为3，是痤疮病变的数量，，表示痤疮总个数；表示第张图片的痤疮计数标签。
13.优选地，步骤s3中，在采用有标签样本数据对学生网络进行有监督训练时，累计分级损失函数为：
其中，表示输入的第张图片，表示第张图片的分级标签，表示第张图片的痤疮计数标签；是分布的标准差，被设置为3;是有序分分级值，其中，表示表示痤疮严重程度的分数总数; 表示属于分级的痤疮计算范围；在计算实际计数概率时，具体计算公式为：其中，是分布的标准差，被设置为3，是痤疮病变的数量，，表示痤疮总个数；表示第张图片的痤疮计数标签；在计算累计实际分级概率时，具体计算公式为：其中，是分布的标准差，被设置为3;是有序分分级值，其中，表示表示痤疮严重程度的分数总数; 表示第张图片的痤疮计数标签；是痤疮病变的数量，，表示痤疮总个数; 表示属于分级的痤疮计算范围。
14.优选地，步骤s3中，在采用无标签样本数据对学生网络、教师网络进行半监督训练时，采用的一致性损失函数为：其中，表示输入的第张图片，是有序分分级值，其中，表示表示痤疮严重程度的分数总数；表示学生网络输出的学生预测分级概率，表示教师网络输出的教师预测分级概率。
15.优选地，步骤s3中，在采用无标签样本数据对学生网络、教师网络进行半监督训练时，采用的特征相似度损失函数为：
其中，代表正则，、分别对应学生网络和教师网络的第个相似度列向量，表示训练时从数据集中采样的数据，b表示计算相似度时一次采样的图片的张数表示无标签数据集，表示有标签数据集。
16.一种基于半监督学习的痤疮分级系统，包括：样本数据获取模块，用于从脸部痤疮公开数据集中获取面部痤疮图像样本数据以及对应的标签，其中，面部痤疮图像样本数据包括有标签样本数据、无标签样本数据，标签包括分级标签和痤疮计数标签；模型搭建模块，用于搭建半监督学习网络模型，半监督学习网络模型包括一个教师网络和一个学生网络；模型训练模块，用于利用样本数据获取模块中获取的面部痤疮图像样本数据以及对应的标签，输入模型搭建模块中搭建的半监督学习网络模型，完成半监督学习网络模型的训练；实时分级模块，用于将实时获取的面部痤疮图像输入半监督学习网络模型，输出分级结果；在模型训练模块进行模型的训练时，具体的训练方法为：先采用有标签样本数据对学生网络进行有监督训练，再采用无标签样本数据对学生网络、教师网络进行半监督训练；训练过程中，采用滑动指数平均方式来通过学生网络的权值更新教师网络的权值，更新公式为：；其中，表示在t时刻时学生网络的权值参数，表示在t时刻时教师网络的权值参数，表示在t-1时刻时教师网络的权值参数，是一个平滑系数的超参数。
17.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述方法的步骤。
18.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述方法的步骤。
19.本发明的有益效果如下：1、本发明中，考虑了痤疮计数特征，在标准的痤疮严重分级中，医生需要结合整图以及痤疮个数两个信息共同判断病人，但是以往的模型只用到了整图信息，忽视了痤疮计数特征，使得模型缺少必要的训练信息。这个优点是通过本方法中提到的“标签分布设计”技术实现的。
20.2、本发明中，采用半监督面部痤疮分级方法，优点在于在训练时不需要过多的有标签数据，可以从大量的无标签数据中自动学习特征，从而达到有标签和无标签数据之间互补；而现有的其他方法都是有监督训练的，只能使用有标签数据来训练，这些优点时由本发明提出的半监督训练框架实现的。
21.3、本发明中，节省标注时间，有标签数据需要医生专门标注，费时费力，在数据量大的情况下短时间很难完成标注，而我们的模型则只需要很少的一部分标签，就可以开始训练，同时能从无标签数据中自动学习。
22.4、本发明中，考虑到了痤疮分级标签的分布特征，以往的方法是将标签转化为one-hot形式来训练模型，会造成单一类别预测值特别大，而忽视其他分级；但痤疮分级的特点在于分级可能是一个区间而非一个固定的值，所以本发明将其转化成了分布，以适应数据的特点，这个优点是通过本方法中提到的“标签分布设计”技术实现的。
23.5、本发明中，充分考虑痤疮数据之间的相似性，有些痤疮在图片形式上存在相似性，但以往的模型都没有考虑到这一点，因此我们在模型中添加了这种痤疮相似度特征，以加强模型的预测性能，这个优点是通过本技术中提到的“特征一致性设计”一节的技术实现的。
附图说明
24.图1是本发明的流程示意图；图2是本发明中半监督学习网络模型的结构示意图；图3是本发明中分级映射的示意图。
具体实施方式
25.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
26.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
27.实施例1本实施例提供一种基于半监督学习的痤疮分级方法，用于对脸部痤疮进行分级。如图1所示，其包括如下步骤：步骤s1，获取样本数据从脸部痤疮公开数据集中获取面部痤疮图像样本数据以及对应的标签，其中，面部痤疮图像样本数据包括有标签样本数据、无标签样本数据，标签包括分级标签和痤疮计数标签。
28.脸部痤疮公开数据集为脸部痤疮公开数据集acne04，该数据集包括1475张面部痤疮图片，且这些图片均有标签，标签包括分级标签和痤疮计数标签，分级标签标示图片中痤
疮的严重程度分级，分级标签包括四个痤疮严重程度分级，痤疮计数标签为图片中痤疮的病变计数总数。
29.获取到上述面部痤疮图像样本数据后，对样本数据进行预处理，以适应计算机模型的输入格式。在数据预处理时，所有的样本图像统一采用3维格式（通道数
×
图片长
×
图片宽），即采用差值形式将样本图像调整成3
×
224
×
224大小。
30.步骤s2，搭建模型搭建半监督学习网络模型，半监督学习网络模型包括一个教师网络和一个学生网络。
31.如图2所示，将样本数据输入教师网络、学生网络，ema表示更新教师模型权值的方式采取的是指数移动平均方式，且、和表示训练有标签数据时采取的三种损失函数，和表示训练无标签数据时采用的两种损失函数，图中的实线表示训练时的正向传播计算，带有数据集的虚线表示半监督训练时的一致性训练。
32.步骤s3，训练模型利用步骤s1中获取的面部痤疮图像样本数据以及对应的标签，输入步骤s2中搭建的半监督学习网络模型，完成半监督学习网络模型的训练。
33.具体的训练方法为：先采用有标签样本数据对学生网络进行有监督训练，再采用无标签样本数据对学生网络、教师网络进行半监督训练；训练过程中，采用滑动指数平均方式来通过学生网络的权值更新教师网络的权值，更新公式为：；其中，表示在t时刻时学生网络的权值参数，表示在t时刻时教师网络的权值参数，表示在t-1时刻时教师网络的权值参数，是一个平滑系数的超参数。
34.在进行模型训练时，针对不同的样本数据，采用不同的损失函数，即、和表示训练有标签数据时采取的三种损失函数，和表示训练无标签数据时采用的两种损失函数。
35.分级损失函数：用于半监督学习网络模型预测的痤疮图片的分级与真实分级之间的差异，使得半监督学习网络模型在更新权重时能考虑到不同分级之间的差异特征。
36.计数损失函数：用于半监督学习网络模型预测的痤疮个数与真实的痤疮个数之间的差异，使得半监督学习网络模型在更新权重时能考虑到图片中包含的痤疮个数信息。
37.累计分级损失函数：该函数能将痤疮个数转化为累积的分级概率，通过计算预测的累积分级和实际的累积分级之间的差异，能使得半监督学习网络模型在更新权重时能将痤疮个数信息与痤疮分级信息相互融合，提升性能。
38.特征相似度损失函数：该函数通过约束不同图片之间的特征相似度矩阵，从而使得教师网络和学生网络之间学习到的信息更接近，进而增强半监督学习网络模型的鲁棒性并降低对同一图片在不同噪声下的干扰因素。
39.一致性损失函数：该函数通过限制教师网络和学生网络之间的输出结果，能拉进两个网络之间的预测结果的距离，使得两个网络之间的权重更为接近，并且也能通过一致性学习让半监督学习网络模型更新权重时融入无标签数据的信息。
40.在采用有标签样本数据对学生网络进行有监督训练时，其采用的损失函数具体为：采用的分级损失函数为：其中，表示输入的第张图片，表示第张图片的分级标签，表示控制分布的维度的参数，被设置为1，表示有序分分级值，其中，表示表示痤疮严重程度的分数总数；表示实际分布概率，表示学生模型预测的属于分级的预测概率分布；在训练时，由于其他模型并没有将痤疮病变计数信息融入到模型的训练，因而本实施采用高斯函数，将痤疮病变计数信息转化为分布信息并融入到模型中。在计算实际分布概率时，具体公式计算为:其中，是控制分布的维度的参数，被设置为1，为有序分级值，其中，表示痤疮严重程度的分数总数，表示第张图片的分级标签，是一个正则化参数以确保整个部分的概率总和为1。
41.即为计算出的分级损失用于更新模型，为了提高学生网络和教
师教师之间预测的一致性，所提出的框架采用了一致性机制，确保样本在不同扰动下的分布尽可能相同。在标签分布学习下的一致性损失函数表示为：其中，表示输入的第张图片，是有序分分级值，其中，表示表示痤疮严重程度的分数总数；表示学生网络输出的学生预测分级概率，表示教师网络输出的教师预测分级概率。
42.采用的计数损失函数为：其中，表示输入的第张图片，表示第张图片的痤疮计数标签，是分布的标准差，被设置为3，是痤疮病变的数量，，表示痤疮总个数，表示作为输入时学生网络输出的预测计数概率；即在计算实际计数概率时，具体公式计算为：其中，是分布的标准差，被设置为3，是痤疮病变的数量，，表示痤疮总个数；表示第张图片的痤疮计数标签。
43.在hayashi标准下的分级中，计数信息和分级信息之间是可以相互转化的，所以本实施例还提出了一种累积损失以计算由分布转化后的累积分级之间的分布概率差值，这样就可以将分级信息和痤疮病变计数信息联系起来以提升模型的性能。即累计分级损失函数为：其中，表示输入的第张图片，表示第张图片的分级标签，表示第张图片的痤疮计数标签；是分布的标准差，被设置为3;是有序分分级值，其中
，表示表示痤疮严重程度的分数总数; 表示属于分级的痤疮计算范围；在计算实际计数概率时，具体计算公式为：其中，是分布的标准差，被设置为3，是痤疮病变的数量，，表示痤疮总个数；表示第张图片的痤疮计数标签；在计算累计实际分级概率时，具体计算公式为：其中，是分布的标准差，被设置为3;是有序分分级值，其中，表示表示痤疮严重程度的分数总数; 表示第张图片的痤疮计数标签；是痤疮病变的数量，，表示痤疮总个数; 表示属于分级的痤疮计算范围。
44.通过将上述三种损失全部累加起来，就可以得到采用有标签样本数据进行半监督训练时，使用的全部损失函数为：其中λ是一个平衡分级和计数的经验超参数，其值被设定为0.6, n表示整个数据集中有标签的图片的个数，m表示整个数据集中无标签的图片的个数。由于有监督训练的损失发生了调整，所以相应的在半监督训练中的一致性损失也添加了这些损失函数，所以最终的一致性损失被定义为：
式中所有参数的含义都在前述中出现过。通过在有监督训练中添加痤疮损伤计数信息，该模型能够获得更多的多维特征，从而提高预测结果。
45.在采用无标签样本数据对学生网络、教师网络进行半监督训练时，采用的损失函数具体包括：采用的一致性损失函数为：其中，表示输入的第张图片，是有序分分级值，其中，表示表示痤疮严重程度的分数总数；表示学生网络输出的学生预测分级概率，表示教师网络输出的教师预测分级概率。
46.采用的特征相似度损失函数为：其中，代表正则，、分别对应学生网络和教师网络的第个相似度列向量，表示训练时从数据集中采样的数据，b表示计算相似度时一次采样的图片的张数表示无标签数据集，表示有标签数据集。
47.综上所述，在训练中所用到的所有损失函数，包括有监督训练过程中用到的分级损失函数、计数损失函数、由计数转化为分级的累计分级损失函数以及在无标签数据训练中用到的一致性损失函数、特征相似度损失函数。于是，整个训练的总损失可以定义如下：
其中，n表示整个数据集中有标签的图片的个数，m表示整个数据集中无标签的图片的个数,表示采用的数据集为有标签和无标签数据集的总和，和分别代表有监督的损失和无监督的损失，其余参数的解释则都在前文中提到过。在训练过程中，通过最小化，该网络将在训练期间捕获痤疮病变计数信息和不同痤疮图像之间的特征相似性，使半监督学习网络模型学习的更鲁棒和更有区别的表征。
48.在训练时，样本数据中的每张图片均采用rgb三通道编码方式将其转化为对应的数值，同时压缩每张图片为同一大小以适应网络输入。对于每个输入的图片，其输入网络的维度为3
×
图片长度
×
图片宽度。其对应分级标签则介于0到分级上限之间，其对应病变计数标签则介于0到最大痤疮数之间，标签值越大，代表图片的痤疮严重程度越高。此外，在网络训练中添加了干扰噪声项，这是为了增强图片从而形成与原图不同的形式。干扰项包括了随机裁剪、水平翻转、以及旋转图片。
49.此外，在整个训练过程中，由于本实施例将预测标签全部都转化为了预测分布，所以最终模型的输出也是一个分布，因此，本实施例取整个分布的峰值对应的x轴的值即为预测的分级，如图3所示。图3中，总共有四列，代表四类不同的痤疮分级；其中，0-5、5-20、20-50、50-65分别代表四种痤疮的病变计数个数范围，第一行表示输入图片对应的分级标签，横轴为计数值，纵轴p代表每一个实例的概率值。第二行表示痤疮的计数标签，横轴为严重程度分级，纵轴p代表每一个分级的预测概率。第三行则表示为示例的四个分级图片。在输入图片后，模型则会计算预测的两个分布，通过选择两个分布的最高峰值所对应的x轴的值即可得到模型预测的分级和预测的痤疮总数。
50.本实施例在进行训练时，还采用误差反向传播，即：对于一个输入，模型会计算出一个预测值，通过计算预测值和真实值之间的差值，则可以得到模型的预测误差，之后，模型会将该误差反向传播到整个网络权值中以更新网络参数，同时设定学习率来微调网络中每一处的权值，在本技术中，学习率被设置为0.01，整个训练过程采用adam优化器来训练，其权值衰减权重被设置为0.0001，且参数β= (0.9, 0.999)，训练时的batch大小被设置为32，包括8张有标签的图片和24张无标签的图片。
51.步骤s4，实时分级将实时获取的面部痤疮图像输入半监督学习网络模型，输出分级结果。
52.模型测试一：分别采用模型baseline、模型meanteacher、模型src-mt、模型mixmatch以及本实
施例的模型，测试样本数据采用公开的acne04数据集，测试结果具体如下：模型名准确率平均均方误差f1分数敏感性特异性baseline0.6670.3450.5950.5690.866meanteacher0.6570.3900.6080.5800.863src-mt0.6710.3660.6090.5830.870mixmatch0.6780.3630.5200.5050.868本实施例0.7050.3110.7220.8890.613在本次测试中，采取了10%的数据作为有标签数据、其余90%的数据都是无标签数据，五个指标的含义解释如下：准确率：衡量模型的分级预测准确性，越高越好；平均均方误差：衡量预测所有的所有图片的误差的总和，越低越好；f1分数：模型精准率和召回率的调和平均，越高越好；敏感性：诊断疾病的时候不漏诊的机会有多大，越高越好；特异性：诊断疾病的时候不误诊的机会有多大，越高越好；通过上表可以看出，本实施例所提出的方法和现有的方法比较，在所有的指标上都取得了最好的效果，而且和baseline相比，本实施例通过利用大量的无标签数据，使得痤疮分级的准确率有了很大的提升。
53.实施例2本实施例提供一种基于半监督学习的痤疮分级系统，用于对脸部痤疮进行分级。其包括：样本数据获取模块，用于从脸部痤疮公开数据集中获取面部痤疮图像样本数据以及对应的标签，其中，面部痤疮图像样本数据包括有标签样本数据、无标签样本数据，标签包括分级标签和痤疮计数标签。
54.脸部痤疮公开数据集为脸部痤疮公开数据集acne04，该数据集包括1475张面部痤疮图片，且这些图片均有标签，标签包括分级标签和痤疮计数标签，分级标签标示图片中痤疮的严重程度分级，分级标签包括四个痤疮严重程度分级，痤疮计数标签为图片中痤疮的病变计数总数。
55.获取到上述面部痤疮图像样本数据后，对样本数据进行预处理，以适应计算机模型的输入格式。在数据预处理时，所有的样本图像统一采用3维格式（通道数
×
图片长
×
图片宽），即采用差值形式将样本图像调整成3
×
224
×
224大小。
56.模型搭建模块，用于搭建半监督学习网络模型，半监督学习网络模型包括一个教师网络和一个学生网络。
57.将样本数据输入教师网络、学生网络，ema表示更新教师模型权值的方式采取的是指数移动平均方式，且、和表示训练有标签数据时采取的三种损失函数，和表示训练无标签数据时采用的两种损失函数，图中的实线表示训练时的正向传播计算，带有数据集的虚线表示半监督训练时的一致性训练。
58.模型训练模块，用于利用样本数据获取模块中获取的面部痤疮图像样本数据以及对应的标签，输入模型搭建模块中搭建的半监督学习网络模型，完成半监督学习网络模型的训练。
59.具体的训练方法为：先采用有标签样本数据对学生网络进行有监督训练，再采用无标签样本数据对学生网络、教师网络进行半监督训练；训练过程中，采用滑动指数平均方式来通过学生网络的权值更新教师网络的权值，更新公式为：；其中，表示在t时刻时学生网络的权值参数，表示在t时刻时教师网络的权值参数，表示在t-1时刻时教师网络的权值参数，是一个平滑系数的超参数。
60.在进行模型训练时，针对不同的样本数据，采用不同的损失函数，即、和表示训练有标签数据时采取的三种损失函数，和表示训练无标签数据时采用的两种损失函数。
61.分级损失函数：用于半监督学习网络模型预测的痤疮图片的分级与真实分级之间的差异，使得半监督学习网络模型在更新权重时能考虑到不同分级之间的差异特征。
62.计数损失函数：用于半监督学习网络模型预测的痤疮个数与真实的痤疮个数之间的差异，使得半监督学习网络模型在更新权重时能考虑到图片中包含的痤疮个数信息。
63.累计分级损失函数：该函数能将痤疮个数转化为累积的分级概率，通过计算预测的累积分级和实际的累积分级之间的差异，能使得半监督学习网络模型在更新权重时能将痤疮个数信息与痤疮分级信息相互融合，提升性能。
64.特征相似度损失函数：该函数通过约束不同图片之间的特征相似度矩阵，从而使得教师网络和学生网络之间学习到的信息更接近，进而增强半监督学习网络模型的鲁棒性并降低对同一图片在不同噪声下的干扰因素。
65.一致性损失函数：该函数通过限制教师网络和学生网络之间的输出结果，能拉进两个网络之间的预测结果的距离，使得两个网络之间的权重更为接近，并且也能通过一致性学习让半监督学习网络模型更新权重时融入无标签数据的信息。
66.在采用有标签样本数据对学生网络进行有监督训练时，其采用的损失函数具体为：
采用的分级损失函数为：其中，表示输入的第张图片，表示第张图片的分级标签，表示控制分布的维度的参数，被设置为1，表示有序分分级值，其中，表示表示痤疮严重程度的分数总数；表示实际分布概率，表示学生模型预测的属于分级的预测概率分布；在训练时，由于其他模型并没有将痤疮病变计数信息融入到模型的训练，因而本实施采用高斯函数，将痤疮病变计数信息转化为分布信息并融入到模型中。在计算实际分布概率时，具体公式计算为:其中，是控制分布的维度的参数，被设置为1，为有序分级值，其中，表示痤疮严重程度的分数总数，表示第张图片的分级标签，是一个正则化参数以确保整个部分的概率总和为1。
67.即为计算出的分级损失用于更新模型，为了提高学生网络和教师教师之间预测的一致性，所提出的框架采用了一致性机制，确保样本在不同扰动下的分布尽可能相同。在标签分布学习下的一致性损失函数表示为：其中，表示输入的第张图片，是有序分分级值，其中，表示表示痤疮严重程度的分数总数；表示学生网络输出的学生预测分级概率，表示教师网络输出的教师预测分级概率。
68.采用的计数损失函数为：
其中，表示输入的第张图片，表示第张图片的痤疮计数标签，是分布的标准差，被设置为3，是痤疮病变的数量，，表示痤疮总个数，表示作为输入时学生网络输出的预测计数概率；即在计算实际计数概率时，具体公式计算为：其中，是分布的标准差，被设置为3，是痤疮病变的数量，，表示痤疮总个数；表示第张图片的痤疮计数标签。
69.在hayashi标准下的分级中，计数信息和分级信息之间是可以相互转化的，所以本实施例还提出了一种累积损失以计算由分布转化后的累积分级之间的分布概率差值，这样就可以将分级信息和痤疮病变计数信息联系起来以提升模型的性能。即累计分级损失函数为：其中，表示输入的第张图片，表示第张图片的分级标签，表示第张图片的痤疮计数标签；是分布的标准差，被设置为3;是有序分分级值，其中，表示表示痤疮严重程度的分数总数; 表示属于分级的痤疮计算范围；在计算实际计数概率时，具体计算公式为：其中，是分布的标准差，被设置为3，是痤疮病变的数量，，表示
痤疮总个数；表示第张图片的痤疮计数标签；在计算累计实际分级概率时，具体计算公式为：其中，是分布的标准差，被设置为3;是有序分分级值，其中，表示表示痤疮严重程度的分数总数; 表示第张图片的痤疮计数标签；是痤疮病变的数量，，表示痤疮总个数; 表示属于分级的痤疮计算范围。
70.通过将上述三种损失全部累加起来，就可以得到采用有标签样本数据进行半监督训练时，使用的全部损失函数为：其中λ是一个平衡分级和计数的经验超参数，其值被设定为0.6, n表示整个数据集中有标签的图片的个数，m表示整个数据集中无标签的图片的个数。由于有监督训练的损失发生了调整，所以相应的在半监督训练中的一致性损失也添加了这些损失函数，所以最终的一致性损失被定义为：式中所有参数的含义都在前述中出现过。通过在有监督训练中添加痤疮损伤计数信息，该模型能够获得更多的多维特征，从而提高预测结果。
71.在采用无标签样本数据对学生网络、教师网络进行半监督训练时，采用的损失函数具体包括：采用的一致性损失函数为：
其中，表示输入的第张图片，是有序分分级值，其中，表示表示痤疮严重程度的分数总数；表示学生网络输出的学生预测分级概率，表示教师网络输出的教师预测分级概率。
72.采用的特征相似度损失函数为：其中，代表正则，、分别对应学生网络和教师网络的第个相似度列向量，表示训练时从数据集中采样的数据，b表示计算相似度时一次采样的图片的张数表示无标签数据集，表示有标签数据集。
73.综上所述，在训练中所用到的所有损失函数，包括有监督训练过程中用到的分级损失函数、计数损失函数、由计数转化为分级的累计分级损失函数以及在无标签数据训练中用到的一致性损失函数、特征相似度损失函数。于是，整个训练的总损失可以定义如下：可以定义如下：其中，n表示整个数据集中有标签的图片的个数，m表示整个数据集中无标签的图片的个数,表示采用的数据集为有标签和无标签数据集的总和，和分别代表有监督的损失和无监督的损失，其余参数的解释则都在前文中提到过。在训练过程中，通过最小化，该网络将在训练期间捕获痤疮病变计数信息和不同痤疮图像之间的特征相似性，使半监督学习网络模型学习的更鲁棒和更有区别的表征。
74.在训练时，样本数据中的每张图片均采用rgb三通道编码方式将其转化为对应的数值，同时压缩每张图片为同一大小以适应网络输入。对于每个输入的图片，其输入网络的维度为3
×
图片长度
×
图片宽度。其对应分级标签则介于0到分级上限之间，其对应病
变计数标签则介于0到最大痤疮数之间，标签值越大，代表图片的痤疮严重程度越高。此外，在网络训练中添加了干扰噪声项，这是为了增强图片从而形成与原图不同的形式。干扰项包括了随机裁剪、水平翻转、以及旋转图片。
75.此外，在整个训练过程中，由于本实施例将预测标签全部都转化为了预测分布，所以最终模型的输出也是一个分布，因此，本实施例取整个分布的峰值对应的x轴的值即为预测的分级，如图3所示。图3中，总共有四列，代表四类不同的痤疮分级；其中，0-5、5-20、20-50、50-65分别代表四种痤疮的病变计数个数范围，第一行表示输入图片对应的分级标签，横轴为计数值，纵轴p代表每一个实例的概率值。第二行表示痤疮的计数标签，横轴为严重程度分级，纵轴p代表每一个分级的预测概率。第三行则表示为示例的四个分级图片。在输入图片后，模型则会计算预测的两个分布，通过选择两个分布的最高峰值所对应的x轴的值即可得到模型预测的分级和预测的痤疮总数。
76.本实施例在进行训练时，还采用误差反向传播，即：对于一个输入，模型会计算出一个预测值，通过计算预测值和真实值之间的差值，则可以得到模型的预测误差，之后，模型会将该误差反向传播到整个网络权值中以更新网络参数，同时设定学习率来微调网络中每一处的权值，在本技术中，学习率被设置为0.01，整个训练过程采用adam优化器来训练，其权值衰减权重被设置为0.0001，且参数β= (0.9, 0.999)，训练时的batch大小被设置为32，包括8张有标签的图片和24张无标签的图片。
77.实时分级模块，用于将实时获取的面部痤疮图像输入半监督学习网络模型，输出分级结果。
78.实施例3本实施例还公开了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述的基于半监督学习的痤疮分级方法的步骤。
79.其中，所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
80.所述存储器至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或d界面显示存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器可以是所述计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，所述存储器也可以是所述计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。当然，所述存储器还可以既包括所述计算机设备的内部存储单元也包括其外部存储设备。本实施例中，所述存储器常用于存储安装于所述计算机设备的操作系统和各类应用软件，例如所述基于半监督学习的痤疮分级方法的程序代码等。此外，所述存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
81.所述处理器在一些实施例中可以是中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制所述计算
机设备的总体操作。本实施例中，所述处理器用于运行所述存储器中存储的程序代码或者处理数据，例如运行上述的基于半监督学习的痤疮分级方法的程序代码。
82.实施例4本实施例还公开了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述的基于半监督学习的痤疮分级方法的步骤。
83.其中，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于半监督学习的痤疮分级方法的步骤。
84.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器或者网络设备等)执行本技术各个实施例所述的方法。
85.如上即为本技术的实施例。上述实施例以及实施例中的具体参数仅是为了清楚表述申请的验证过程，并非用以限制本技术的专利保护范围，本技术的专利保护范围仍然以其权利要求书为准，凡是运用本技术的说明书及附图内容所作的等同结构变化，同理均应包含在本技术的保护范围内。