一种皮肤病变图像分类方法与流程

1.本发明涉及一种皮肤病变图像分类方法，属于图像处理技术领域。


背景技术：

2.皮肤癌已经是威胁人类生命的主要癌症之一，皮肤黑色素瘤是皮肤癌的主要类别之一。由于皮肤黑色素瘤在早期看起来很像痣，所以普通人很难通过肉眼识别它。皮肤黑色素瘤等皮肤病变可以通过对皮肤图像的处理来进行识别，目前，大部分医院利用皮肤镜放大局部皮肤，消除皮肤周围的干扰，然后获取皮肤图像，由专业的皮肤科医生根据皮肤图像判断皮肤病变类别，这种病变类别判断方法非常依赖专家的技术经验，图像处理效率不高，而且经验不足的皮肤科医生会大大降低皮肤病变图像分类的准确性，皮肤病变图像分类结果过于主观，因此有必要开发更准确、可靠、高效的系统来代替人工进行皮肤病变图像分类工作。
3.深度神经网络的出现为准确快速地判断皮肤病变类别带来了希望，但是现有皮肤病数据集中皮肤图像的皮肤病变区域相对较小，且尺寸不一，外观差异特征不明显，同时现实世界中的数据集分布往往具有不平衡的特征，这些特点严重影响了基于神经网络的皮肤病变图像分类系统的效率与准确度。


技术实现要素：

4.为了提高基于神经网络的皮肤病变图像分类系统的效率和准确度，本发明提出了一种皮肤病变图像分类方法，利用基于多尺度双层注意力机制的神经网络模型进行皮肤病变概率预测，最终根据皮肤病变概率获得准确可靠的皮肤病变类别，提高了皮肤病变图像分类的效率和准确度。
5.为解决上述技术问题，本发明采用了如下技术手段：
6.本发明提出了一种皮肤病变图像分类方法，包括如下步骤：
7.对待分类皮肤病变图像进行中心裁剪，获得第一图像块；
8.采用训练好的神经网络模型的上分支网络对第一图像块进行特征提取，获得第一特征向量，其中，所述神经网络模型采用基于多尺度双层注意力机制的神经网络模型；
9.利用上分支网络中的病变定位结构根据第一特征向量进行病变区域定位；
10.根据所定位的病变区域对第一图像块进行裁剪，获取第二图像块；
11.利用训练好的神经网络模型的下分支网络对第二图像块进行特征提取，获得第二特征向量；
12.利用下分支网络中的特征融合结构对第一特征向量和第二特征向量进行特征融合，获得融合向量；
13.利用下分支网络的输出层中的softmax激活函数处理融合向量，获取皮肤病变类别预测概率；
14.根据皮肤病变类别预测概率对待分类皮肤病变图像进行分类。
15.进一步的，神经网络模型的上分支网络包括特征提取结构、辅助输出层、病变定位结构和裁剪缩放结构，神经网络模型的下分支网络包括特征提取结构、辅助输出层、特征融合结构和输出层，其中，所述特征提取结构包括一个卷积层和若干个注意力残差单元学习结构arl，所述病变定位结构包括隐藏层和输出层。
16.进一步的，获得第一特征向量的方法为：
17.将第一图像块输入上分支网络的特征提取结构的卷积层，通过relu非线性激活函数获得中间向量x1；
18.利用若干个注意力残差单元学习结构arl对中间向量x1进行卷积、归一化、下采样处理，获得输出向量y；
19.利用全局平均池化层处理输出向量y，获得第一图像块对应的的第一特征向量f1。
20.进一步的，利用上分支网络中的病变定位结构根据第一特征向量进行病变区域定位的方法为：
21.将第一特征向量f1输入到病变定位结构的隐藏层，利用relu非线性激活函数得到隐藏层状态g：
22.g＝relu(u3f1 b3)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
23.其中，u3为隐藏层的参数矩阵，b3为隐藏层的偏置项；
24.根据隐藏层状态g，在病变定位结构的输出层中利用sigmoid非线性激活函数获取第一图像块的病变区域坐标，病变区域坐标的表达式如下：
25.[t
x
，t
y
，t
l
]＝n*sigmoid(u4g b4)
ꢀꢀꢀꢀ
(2)
[0026]
其中，t
x
表示病变区域中心点的横坐标，t
y
表示病变区域中心点的纵坐标，t
l
表示病变区域的半径，n为第一图像块的边长，u4为输出层的参数矩阵，b4为输出层的偏置项。
[0027]
进一步的，获取第二图像块的方法为：
[0028]
根据病变区域坐标获取第一图像块中裁剪区域的顶点坐标：裁剪区域的左上角坐标为(t
x(tl)
，t
y(tl)
)，裁剪区域的左下角坐标为(t
x(tl)
，t
y(br)
)，裁剪区域的右上角坐标为(t
x(br)
，t
y(tl)
)，裁剪区域的右下角坐标为(t
x(br)
，t
y(br)
)，其中，t
x(tl)
＝t
x
‑
t
l
，t
y(tl)
＝t
y
‑
t
l
，t
x(br)
＝t
x
t
l
，t
y(br)
＝t
y
t
l
；
[0029]
根据裁剪区域的顶点坐标裁剪第一图像块，获得第一图像块对应的裁剪图像；
[0030]
根据第一图像块的边长对裁剪图像进行缩放处理，获得第二图像块：
[0031][0032]
其中，表示第二图像块中第i行第j列上的像素值，表示裁剪图像中第h行第w列上的像素值，α＝h
‑
[i/λ]，β＝w
‑
[j/λ]，[
·
]为取整函数，{
·
}为小数部分函数，h∈[t
x(tl)
，t
x(br)
]，w∈[t
y(tl)
，t
y(br)
]，i，j∈{1，2，
…
，n}。
[0033]
进一步的，神经网络模型的训练方法包括如下步骤：
[0034]
获取皮肤病变数据集，所述皮肤病变数据集中包括多个皮肤病变类别下的多幅样本图像；
[0035]
对皮肤病变数据集中的每幅样本图像进行中心裁剪，获得第一样本图像块，并利用所有第一样本图像块组成预处理后的皮肤病变数据集；
[0036]
根据皮肤病变类别将预处理后的皮肤病变数据集划分为多个类别数据集，并根据图像相关性将每个类别数据集分解为多个子类数据集；
[0037]
利用上分支网络的特征提取结构对每个子类数据集中的每个第一样本图像块进行特征提取，获得第一特征向量，并利用辅助输出层获得第一病变类别预测概率；
[0038]
利用上分支网络的病变定位结构根据第一特征向量对每个第一样本图像块进行病变区域定位；
[0039]
根据所定位的病变区域对每个第一样本图像块进行裁剪，获得第二样本图像块；
[0040]
利用下分支网络的特征提取结构对每个第二样本图像块进行特征提取，获得第二特征向量，并利用辅助输出层获得第二病变类别预测概率；
[0041]
利用特征融合结构对第一特征向量和第二特征向量进行特征融合，获得融合向量；
[0042]
利用输出层中的softmax激活函数处理融合向量，获得皮肤病变类别预测概率；
[0043]
基于第一病变类别预测概率、第二病变类别预测概率和皮肤病变类别预测概率，利用排列损失函数和加权损失函数对神经网络模型进行参数训练，并通过迭代收敛获得训练好的神经网络模型。
[0044]
进一步的，设预处理后的皮肤病变数据集中共有d个类别数据集，z＝1，2，
…
，d，则根据图像相关性将第z个类别数据集分解为多个子类数据集的方法为：
[0045]
(1)对第z个类别数据集中的每个第一样本图像块进行灰度处理，获得第一样本图像块对应的灰度图像；
[0046]
(2)从第z个类别数据集中随机选取一个第一样本图像块作为初始聚类中心c
z1
；
[0047]
(3)根据第一样本图像块对应的灰度图像计算第z个类别数据集中每个第一样本图像块到初始聚类中心c
z1
的距离，并根据该距离计算每个第一样本图像块被选为下一个聚类中心的概率，计算公式如下：
[0048][0049]
其中，z
k
表示第z个类别数据集中第k个第一样本图像块，p(z
k
)表示z
k
被选为下一个聚类中心的概率，d(z
k
)表示z
k
到初始聚类中心c
z1
的距离，k＝1，2，
…
，k，k为第z个类别数据集中第一样本图像块的数量；
[0050]
(4)在[0，1]内随机生成一个随机数，当该随机数属于区间时，选取第z个类别数据集中第r 1个第一样本图像块作为第二个聚类中心点c
z2
，其中，r＝1，2，
…
，k
‑
1；
[0051]
(5)重复步骤(4)，直到从第z个类别数据集中选出n个聚类中心：c
z1
，c
z2
，
…
，c
zn
；
[0052]
(6)计算第z个类别数据集中每个第一样本图像块到n个聚类中心的汉明距离，根据就近原则将第z个类别数据集中每个第一样本图像块划分到n个聚类中心中，获得n个簇；
[0053]
(7)重新计算n个簇的聚类中心，计算公式如下：
[0054][0055]
其中，表示第p 1次迭代聚类时第v个簇的聚类中心，表示第p次迭代
聚类时的第v个簇，表示第p次迭代聚类时第v个簇的样本数目，v＝1，2，
…
，n；
[0056]
(8)重复步骤(6)、(7)，直到每个簇中连续两次迭代聚类的聚类中心满足获取最终聚类的n个簇，一个簇表示一个子类数据集。
[0057]
进一步的，利用排列损失函数和加权损失函数对神经网络模型进行参数训练的方法为：
[0058]
根据皮肤病变数据集中样本图像的真实皮肤病变类别分别从第一病变类别预测概率、第二病变类别预测概率、皮肤病变类别预测概率中提取样本图像的第一概率p1、第二概率p2和第三概率p3；
[0059]
固定病变定位结构的网络参数，根据第一概率p1、第二概率p2和第三概率p3，利用加权损失函数对神经网络模型中的其他网络参数进行优化，加权损失函数的表达式如下：
[0060][0061]
其中，lf表示加权损失函数，h为皮肤病变数据集中样本图像的数量，ρ
z
表示第z个类别数据集中第一样本图像块的数量，γ为人工设置的超参数，z＝1，2，
…
，d，d为皮肤病变数据集中类别数据集的数量；
[0062]
固定神经网络模型中的其他网络参数，利用排列损失函数l
rank
(p1，p2)对病变定位结构的网络参数进行优化，l
rank
(p1，p2)的表达式如下：
[0063]
l
rank
(p1，p2)＝max(0，p1‑
p2 margin)
ꢀꢀꢀꢀ
(7)
[0064]
其中，margin为预设的小数。
[0065]
进一步的，第一病变类别预测概率的计算公式如下：
[0066]
p1＝softmax(u2f1 b2)
ꢀꢀꢀꢀ
(8)
[0067]
其中，u2为辅助输出层的参数矩阵，f1表示第一特征向量，b2为辅助输出层的偏置项。
[0068]
采用以上技术手段后可以获得以下优势：
[0069]
本发明提出了一种皮肤病变图像分类方法，利用基于多尺度双层注意力机制的神经网络模型处理待检分类皮肤病变图像，预测其皮肤病变类别概率，从而获得待分类皮肤病变图像的皮肤病变类别。在开始分类之前本发明方法对待分类皮肤病变图像进行中心裁剪，放大图像中的皮肤病变区域并统一图像尺寸，有利于后续的图像处理和特征识别。在利用神经网络模块进行图像处理的过程中，本发明方法利用由注意力残差学习块组成的特征提取结构以及基于注意力机制的病变定位结构，使神经网络在特征提取时高度集中在皮肤病变区域，大大减低了由于待分类皮肤病变图像中皮肤病变区域过小对神经网络预测的影响，提高了皮肤病变图像分类的准确性。
[0070]
在模型训练过程中，本发明不仅统一皮肤病变数据集中样本图像的尺寸，还对皮肤病变数据集中各种类别进行类分解，划分成若干子类数据集，形成新的数据分布，达到提取图像每种类别中隐藏的细粒度信息的效果，提高模型训练效果；此外，本发明还利用加权损失函数解决了因类分解时可能造成的数据不平衡问题，大大提高了皮肤病变图像分类方法的灵敏性和特异性。
[0071]
本发明方法不依赖人工操作，提高了皮肤病变图像分类的效率，能够快速、客观、
准确的判断皮肤病变图像的皮肤病变类别。
附图说明
[0072]
图1为本发明一种皮肤病变图像分类方法的步骤流程图；
[0073]
图2为本发明实施例中神经网络模型的网络结构图；
[0074]
图3为本发明实施例中注意力残差单元学习结构arl的示意图；
[0075]
图4为本发明实施例中神经网络模型的训练流程图；
[0076]
图5为本发明实施例中皮肤病变数据集的分解流程图。
具体实施方式
[0077]
下面结合附图对本发明的技术方案作进一步说明：
[0078]
本发明提出了一种皮肤病变图像分类方法，如图1所示，具体包括如下步骤：
[0079]
步骤a、对待分类皮肤病变图像进行中心裁剪，获得第一图像块，其中，第一图像块的尺寸为n*n*3，n为第一图像块的边长，3表示rgb图像的三个通道。
[0080]
步骤b、采用训练好的神经网络模型的上分支网络对第一图像块进行特征提取，获得第一特征向量，其中，所述神经网络模型采用基于多尺度双层注意力机制的神经网络模型。
[0081]
步骤c、利用上分支网络中的病变定位结构根据第一特征向量进行病变区域定位。
[0082]
步骤d、根据所定位的病变区域对第一图像块进行裁剪，获取第二图像块。
[0083]
步骤e、利用训练好的神经网络模型的下分支网络对第二图像块进行特征提取，获得第二特征向量。
[0084]
步骤f、利用下分支网络中的特征融合结构对第一特征向量和第二特征向量进行特征融合，获得融合向量。
[0085]
步骤g、利用下分支网络的输出层中的softmax激活函数处理融合向量，获取皮肤病变类别预测概率。
[0086]
步骤h、根据皮肤病变类别预测概率对待分类皮肤病变图像进行分类。
[0087]
在本发明实施例中，神经网络模型的网络结构如图2所示，神经网络模型可以分为上分支网络和下分支网络，上分支网络主要包括特征提取结构、辅助输出层、病变定位结构(lln，lesion location network)和裁剪缩放结构，下分支网络主要包括特征提取结构、辅助输出层、特征融合结构和输出层；其中，特征提取结构包括一个卷积层、若干个注意力残差单元学习结构arl(attention residual learning)和一个全局平均池化层gap(global average pooling)；辅助输出层为一层全连接层；病变定位结构包括隐藏层和输出层，隐藏层和输出层都是一层全连接层。
[0088]
在本发明实施例中，步骤b的具体操作如下：
[0089]
步骤b01、将维度为n*n*3的第一图像块输入上分支网络的特征提取结构的卷积层，通过relu非线性激活函数获得中间向量x1，中间向量x1的维度为n1*n1*d1，n1表示中间向量x1的边长，d1表示特征提取结构的卷积层的卷积核个数。
[0090]
步骤b02、特征提取结构中的若干个注意力残差单元学习结构arl是按顺序连接的，将中间向量x1输入arl后，利用若干个注意力残差单元学习结构arl对中间向量x1进行卷
积、归一化、下采样等处理，可以获得输出向量y。
[0091]
如图3所示，注意力残差单元学习结构arl包括1*1卷积层，批处理层，非线性激活层，3*3卷积层，批处理层，非线性激活层，1*1卷积层，批处理层，非线性激活层，下采样层(1*1卷积层)。
[0092]
以第一个arl为例，中间向量x1输入第一个arl中，首先经过多个卷积层的卷积处理，并在通过第一个arl中第三层1*1卷积层后输出向量q，向量q维度为n
′
*n
′
*d
′
，n
′
表示向量q的边长，d
′
表示第三层1*1卷积核的个数；然后第一个arl对向量q进行归一化处理，得到向量矩阵m[q]；中间向量x1通过下采样层(1*1卷积层)，下采样后的x1的维度大小与向量q相同，并将下采样后的x1与m[q]进行像素级相乘；最后将x1，q以及m[q]
·
x1进行像素级相加，得到第一个arl的输出向量y1＝x1 q μ
·
m[q]
·
x1，其中，μ为神经网络自动学习的参数，y1的维度依然为n
′
*n
′
*d
′
。
[0093]
中间向量x1经过最后一个arl后，获得输出向量y，维度为n2*n2*d，n2表示输出向量y的边长，d表示最后一个arl结构中第三层1*1卷积核的个数。
[0094]
步骤b03、利用全局平均池化层gap处理输出向量y，获得第一图像块的第一特征向量f1，f1的维度为1*1*d。
[0095]
在本发明实施例中，步骤c的具体操作如下：
[0096]
步骤c01、将第一特征向量f1输入到病变定位结构的隐藏层，利用relu非线性激活函数得到隐藏层状态g：
[0097]
g＝relu(u3f1 b3)
ꢀꢀꢀꢀ
(9)
[0098]
其中，u3为隐藏层的参数矩阵，b3为隐藏层的偏置项.
[0099]
步骤c02、根据隐藏层状态g，在病变定位结构的输出层中利用sigmoid非线性激活函数获取第一图像块的病变区域坐标，本发明方法中病变区域采用圆形区域，病变区域坐标的表达式如下：
[0100]
[t
x
，t
y
，t
l
]＝n*sigmoid(u4g b4)
ꢀꢀꢀꢀ
(10)
[0101]
其中，t
x
表示病变区域中心点的横坐标，t
y
表示病变区域中心点的纵坐标，t
l
表示病变区域的半径，n为第一图像块的边长，u4为输出层的参数矩阵，b4为输出层的偏置项。
[0102]
在公式(10)中，sigmoid非线性激活函数获得的值都在0～1之间，为了获得真实的坐标值，需要对sigmoid非线性激活函数获得的值进行放大，因此需要令sigmoid(u4g b4)乘以n。
[0103]
在本发明实施例中，步骤d的具体操作如下：
[0104]
步骤d01、在本发明中裁剪区域为矩形，根据病变区域坐标可以获取第一图像块中裁剪区域的4个顶点坐标：裁剪区域的左上角坐标为(t
x(tl)
，t
y(tl)
)，裁剪区域的左下角坐标为(t
x(tl)
，t
y(br)
)，裁剪区域的右上角坐标为(t
x(br)
，t
y(tl)
)，裁剪区域的右下角坐标为(t
x(br)
，t
y(br)
)，其中，t
x(tl)
＝t
x
‑
t
l
，t
y(tl)
＝t
y
‑
t
l
，t
x(br)
＝t
x
t
l
，t
y(br)
＝t
y
t
l
。
[0105]
步骤d02、根据裁剪区域的顶点坐标裁剪第一图像块，获得第一测图像块对应的裁剪图像x
att
。
[0106]
步骤d03、根据第一图像块的边长对裁剪图像进行缩放处理，获得第二图像块x
amp
，第二图像块x
amp
为n*n*3的三维向量，缩放处理的表达式如下：
[0107]
[0108]
其中，表示第二图像块中第i行第j列上的像素值，表示裁剪图像中第h行第w列上的像素值，α＝h
‑
[i/λ]，β＝w
‑
[j/λ]，[
·
]为取整函数，{
·
}为小数部分函数，h∈[t
x(tl)
，t
x(br)
]，w∈[t
y(tl)
，t
y(br)
]，i，j∈{1，2，
…
，n}。
[0109]
在本发明步骤e中，将维度为n*n*3的第二图像块x
amp
输入下分支网络的特征提取结构，利用特征提取结构中的卷积层、若干个注意力残差单元学习结构arl和全局平均池化层gap对x
amp
进行特征提取，获得第二特征向量f2，f2的维度为1*1*d。步骤e的具体操作与步骤b一致。
[0110]
在步骤f中，将第一特征向量f1和第二特征向量f2以concat方式拼接，拼接后获得融合向量f，f＝[f1；f2]为1*1*2d三维向量。
[0111]
在步骤g中，将融合向量f输入到下分支网络的输出层，通过softmax激活函数处理融合向量f，输出皮肤病变类别预测概率p3，p3的维度为1*s，s为神经网络模型中子类的数量，在p3中包括了s个数值，每一个数值表示待分类皮肤病变图像属于1个子类的概率。
[0112]
在步骤h中，根据皮肤病变类别预测概率p3对待分类皮肤病变图像进行分类，获得待分类皮肤病变图像的皮肤病变类别。具体的，将皮肤病变类别预测概率p3中属于同一类别的所有子类之间的预测概率相加，可以得到待分类皮肤病变图像对应到每个类别的真实概率，取其中最大值对应的类别作为最终的皮肤病变类别。
[0113]
假设待分类皮肤病变图像可能属于两个类别：类a和类b，神经网络模型将类b分解为了三个子类，分别为类b1、类b2、类b3，则待分类皮肤病变图像输入到神经网络模型后，模型输出为一个1*4的向量[0.4，0.1，0.4，0.1]，向量中的四个数字分别为类a、类b1、类b2、类b3的预测概率，由于类b进行了分解，所以需要将向量中后三个概率值相加得到类b的概率，即0.1 0.4 0.1＝0.6，获得待分类皮肤病变图像的真实概率[0.4，0.6]，0.4和0.6分别为类a、类b的预测概率，由于类b的预测概率大于类a的预测概率，所以该待分类皮肤病变图像被认为是类b。
[0114]
在本发明方法中还需要对神经网络模型进行训练，如图4所示，训练方法包括如下步骤：
[0115]
步骤1、获取具有d类样本的皮肤病变数据集，皮肤病变数据集中每个皮肤病变类别下包括多幅样本图像。
[0116]
由于样本图像的尺寸不一，且样本图像中病变区域相对较小，所以本发明对皮肤病变数据集进行数据预处理，具体操作为：
[0117]
步骤101、根据预设尺寸对皮肤病变数据集中的所有样本图像进行中心剪裁，得到对应的第一样本图像块，其中，预设尺寸为n*n*3，n为第一样本图像块的边长，3表示rgb图像的三个通道。
[0118]
步骤102、利用所有第一样本图像块组成预处理后的皮肤病变数据集。
[0119]
步骤2、为了方便提取图像每种类别中隐藏的细粒度信息，本发明方法对预处理后的皮肤病变数据集进行类分解处理，根据皮肤病变类别将预处理后的皮肤病变数据集划分为多个类别数据集，并根据图像相关性将每个类别数据集分解为多个子类数据集。
[0120]
如图5所示，将第z个类别数据集分解为多个子类数据集的具体操作如下：
[0121]
步骤201、对第z个类别数据集中的每个第一样本图像块进行灰度处理，获得第一
样本图像块对应的灰度图像，将灰度图像中的每个像素点作为一个单元，则灰度图像可以表示成一个2维数据矩阵a
n
×
n
：
[0122][0123]
其中，n
×
n表示矩阵a的行数
×
列数，a
ij
表示矩阵a
n
×
n
中第i行j列的像素点值，z＝1，2，
…
，d。
[0124]
步骤201、从第z个类别数据集中随机选取一个第一样本图像块作为初始聚类中心c
z1
。
[0125]
步骤203、利用第一样本图像块对应的灰度图像计算第z个类别数据集中每个第一样本图像块到初始聚类中心c
z1
的距离d(z
k
)2，计算公式如下：
[0126][0127]
其中，z
k
表示第z个类别数据集中第k个第一样本图像块，d(z
k
)表示z
k
到初始聚类中心c
z1
的距离，a
i，j
表示初始聚类中心c
z1
中第i行j列的像素点值，b
i，j
表示z
k
中第i行j列的像素点值，k＝1，2，
…
，k，k为第z个类别数据集中第一样本图像块的数量。
[0128]
根据所有第一样本图像块到c
z1
的距离计算每个第一样本图像块被选为下一个聚类中心的概率，计算公式如下：
[0129][0130]
其中，p(z
k
)表示z
k
被选为下一个聚类中心的概率。
[0131]
步骤204、在[0，1]内随机生成一个随机数，当该随机数属于区间时，选取第z个类别数据集中第r 1个第一样本图像块作为第二个聚类中心点c
z2
，其中，r＝1，2，
…
，k
‑
1。
[0132]
步骤205、重复步骤204，直到从第z个类别数据集中选出n个聚类中心：c
z1
，c
z2
，...，c
zn
，n为预设置的聚类中心数量，选取的n值要使分解后的每个子类中第一样本图像块数量大致相同。
[0133]
步骤206、依次计算第z个类别数据集中每个第一样本图像块到n个聚类中心的汉明距离||z
k
‑
c
zv
||1，v＝1，2，
…
，n，按照就近原则将第z个类别数据集中每个第一样本图像块划分到n个聚类中心中，获得n个簇，分别记为p表示第p次迭代聚类。
[0134]
步骤207、根据步骤206中的n个簇，重新计算n个簇的聚类中心，计算公式如下：
[0135][0136]
其中，表示第p 1次迭代聚类时第v个簇的聚类中心，表示第p次迭代聚类时的第v个簇，表示第p次迭代聚类时第v个簇的样本数目。
[0137]
步骤208、重复步骤206、207，不断更新簇中的第一样本图像块和聚类中心，直到簇的新旧中心位置间距离满足要求，即每个簇中连续两次迭代聚类的聚类中心满足
此时分类的结果不再变化，结束迭代，获取最终聚类的n个簇，一个簇表示一个子类数据集。
[0138]
按照上述步骤对皮肤病变数据集中的每个类别数据集进行聚类分解，提取出对应的第一样本图像块，并保存在同一文件夹中；每个子类数据集的文件夹以“类名_n”方式命名，表明了原始类别下对应的n个子类，相应地，子类数据集组成的新数据集的每类标签就是相应文件夹的名字，经过分解后新数据集中共含有s个子类数据集。
[0139]
步骤3、利用上分支网络的特征提取结构对每个子类数据集中的每个第一样本图像块进行特征提取和全局平均池化处理，获得第一特征向量f1，具体操作与步骤b一致，f1为1*1*d的三维向量，d为特征提取结构中最后一个卷积核的个数。
[0140]
上分支网络的辅助输出层在接收到f1后通过softmax激活函数输出第一病变类别预测概率p1：
[0141]
p1＝softmax(u2f1 b2)
ꢀꢀꢀꢀ
(16)
[0142]
其中，u2为辅助输出层的参数矩阵，f1表示第一特征向量，b2为辅助输出层的偏置项，p1维度为1*s。
[0143]
步骤4、利用上分支网络的病变定位结构根据第一特征向量对每个第一样本图像块进行病变区域定位，具体操作与步骤c一致。
[0144]
步骤5、根据所定位的病变区域对每个第一样本图像块进行裁剪，获得第二样本图像块，具体操作与步骤d一致。
[0145]
步骤6、利用下分支网络的特征提取结构对每个第二样本图像块的皮肤病图片进行特征提取和全局平均池化处理，获得第二特征向量f2，具体操作与步骤e一致。
[0146]
利用辅助输出层接收第二特征向量f2，使用softmax激活函数计算第二病变类别预测概率p2，p2的维度为1*s。
[0147]
步骤7、利用特征融合结构对第一特征向量和第二特征向量进行特征融合，获得融合向量，具体的，将f1，f2以concat方式拼接，融合向量f＝[f1；f2]。
[0148]
步骤8、利用输出层中的softmax激活函数处理融合向量，获得每个样本图像对应的皮肤病变类别预测概率p3，p3的维度为1*s。比较p3中不同类别对应的预测概率值，选取最大值对应的类别作为样本图像的分类结果。
[0149]
步骤9、基于第一病变类别预测概率、第二病变类别预测概率和皮肤病变类别预测概率，利用排列损失函数和加权损失函数对神经网络模型进行参数训练，并通过迭代收敛获得训练好的神经网络模型，具体操作为：
[0150]
步骤901、根据皮肤病变类别数据集中每个样本图像的真实皮肤病变类别分别从第一病变类别预测概率、第二病变类别预测概率和皮肤病变类别预测概率中获取样本图像的第一概率p1、第二概率p2和第三概率p3。
[0151]
p1、p2和p3的维度都为1*s，其中包括了s个子类对应的预测概率值。分别将p1、p2和p3中同一个类别下不同子类的预测概率值相加，得到不同类别对应的预测概率值；根据样本图像的正确标签(经过专家判断的该图像的真实皮肤病变类别)，从p1、p2和p3中找出样本图像块的真实皮肤病变类别对应的预测概率值，记为正确标签对应的第一概率p1、第二概率p2和第三概率p3。
[0152]
步骤902、固定病变定位结构的网络参数，根据第一概率p1、第二概率p2和第三概率p3，利用加权损失函数对神经网络模型中的其他网络参数进行优化，加权损失函数的表达式如下：
[0153][0154]
其中，lf表示加权损失函数，h为皮肤病变数据集中样本图像的数量，ρ
z
表示第z个类别数据集中第一样本图像块的数量，γ为人工设置的超参数，z＝1，2，
…
，d，d为皮肤病变数据集中类别数据集的数量；
[0155]
步骤903、固定神经网络模型中的其他网络参数，利用排列损失函数l
rank
(p1，p2)对病变定位结构的网络参数进行优化，l
rank
(p1，p2)的表达式如下：
[0156]
l
rank
(p1，p2)＝max(0，p1‑
p2 margin)
ꢀꢀꢀꢀ
(18)
[0157]
其中，margin为预设的接近0的小数。
[0158]
本发明方法将深度神经网络运用到皮肤病变图像分类领域，通过训练好的神经网络模型快速准确地判断皮肤病变类别，在具体实施过程中，本发明方法通过中心裁剪和类分解放大了皮肤病变区域，统一了皮肤病变图像尺寸，达到了提取图像每种类别中隐藏的细粒度信息的效果；本发明利用注意力残差学习块组成的特征提取结构以及基于注意力机制的病变定位结构，使网络在特征提取时高度集中在皮肤病变区域，大大减低了由于待分类皮肤病变图像中皮肤病变区域过小对神经网络检测的影响，还利用加权损失函数解决了因类分解时可能造成的数据不平衡问题，大大提高了皮肤病变图像分类方法的灵敏性和特异性。
[0159]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。