一种基于高分辨率网络的舌图像分割算法

1.本发明涉及深度学习以及计算机视觉领域，具体涉及一种基于高分辨率网络的舌图像分割算法。


背景技术：

2.舌诊是传统中医诊断的重要方式之一，具有方便、无创等优点。舌诊主要通过观察舌体的颜色和形态变化来确定病因、病灶。过于依赖医生的主观经验，是传统中医舌诊的一大局限。且舌诊容易受到环境因素的影响，同一医生在不同环境下对同一病人的病情可能会有完全不同的诊断。因此中医舌诊的客观化研究具有重要意义。国内的舌诊客观化研究开始于上世纪八十年代，主要的研究方向是舌图像的处理问题。舌图像的分割本质上是一个二值分类问题，其主要任务是将目标区域(舌体)从背景区域(非舌体)中提取出来。舌图像的分割方法主要包括两种，即基于传统技术的分割方法和基于深度学习的分割方法。
3.基于传统技术的分割方法主要是通过舌体的颜色、灰度值和形状等基本特征，将舌图像分成若干区域，然后根据区域之间的差异对图像进行分割。由于舌图像的背景区域包含嘴唇、脸颊等不相关目标，这些不相关目标的颜色与舌体的颜色和灰度值相近，导致运用基于传统技术的分割方法取得的分割效果不佳。
4.近年来，研究者们把舌图像分割的目光聚焦到深度神经网络上，提出了基于深度学习的舌图像分割算法。基于深度学习的舌图像分割方法能够弥补传统舌图像分割方法的不足，但是目前的舌图像分割模型都采用编解码器结构完成分割任务，通过不断的下采样来提取特征信息，然后再通过上采样操作将特征图大小恢复到原来尺寸，得到最终的输出。虽然采用编解码器结构进行舌图像分割可以取得较好的分割精度，但是舌体边缘信息损失较大。由于在舌诊中，舌体边缘信息对医生诊断病情有着重要的指导作用，所以在舌图像分割任务中要尽可能小的减少舌体边缘的损失，确保提取舌体的完整性。


技术实现要素：

5.针对上述情况，为解决现有技术存在的缺陷，本发明所要解决的问题就是设计一种基于高分辨率网络的舌图像分割算法用来有效地、准确地对舌图像进行分割，避免因细节信息的丢失造成舌图像分割精度低、边缘损失严重的问题。
6.本发明提供了一种基于高分辨率网络的舌图像分割算法，包括：高分辨率网络，用于构建高分辨率特征图和低分辨率特征图并行连接的结构，使网络全程保持高分辨率表示；特征提取模块引入注意力机制用于提取特征图的全局信息；多尺度融合模块将低分辨率语义信息和高分辨率特征信息进行充分融合，以获取更加丰富的特征信息；空间金字塔池化模块对特征图进行二次特征提取，获得局部信息，并与骨干网络得到的全局信息进行融合，以提高模型对细节信息的提取能力。
7.具体包括以下步骤：
8.1.采集用户手机拍摄的舌图像，并对输入图像进行预处理；
9.2.构建一个基于高分辨率网络的舌图像分割模型；
10.3.在imagenet数据集上对舌图像分割网络进行预训练得到初始权重值，形成预训练模型；
11.4.通过迁移学习的方式，使用舌图像数据集对网络进行微调；
12.5.通过训练好的高分辨率网络对舌图像进行分割。
13.在上述步骤中所述的基于高分辨率网络的舌图像分割算法是本发明的主要内容，提出了一种基于高分辨率网络的舌图像分割算法，该算法能够通过高分辨网络进行图像分割任务学习，该网络包括高分辨率网络、特征提取模块、多尺度融合模块以及空间金字塔池化模块。
14.高分辨率计算方式主要有两种。一种是从网络输出的低分辨率表示或中分辨率表示中恢复高分辨率表示；另一种是通过高分辨卷积来表示高分辨率，同时使用并行的低分辨率卷积来加强表示。从低分辨率或可选的中分辨率表示中恢复高分辨率表示有一个显著的缺点是会造成细节信息的损失。这是因为网络在产生低分辨率特征图的过程中不可避免地会造成特征信息的丢失，这是传统下采样的固有缺陷。本发明采用第二种高分辨率计算方式。hrnet网络在整个过程中保持高分辨率表示，同时并行连接多个分辨率分支，并不断进行分支间的信息交互，产生高分辨率表示。
15.受se块的启发，本发明改进了hrnet网络的特征提取模块，在原特征提取模块中加入了注意力机制，构建了新的特征提取模块。此模块可以加强对全局信息的提取能力，弥补hrnet网络在上下文信息上的缺失，以此提高分割精度，同时可以减少边缘信息的损失。
16.为了充分融合低分辨率语义信息和高分辨率特征信息，本发明借鉴hrnetv2网络的输出模式，构建了多尺度融合模块。虽然hrnet网络能够保留更多的强语义信息，但是在训练过程中会造成大量细节信息的丢失。舌图像分割任务要求尽可能保留细节信息，为了解决这一矛盾，本文采用密集上采样卷积(dense upsampling convolution，duc)代替双线性插值来实现上采样；利用特征重排思想对hrnet网络的下采样方式进行改进。采用按行和列隔点采样的方式将特征图分成n份，然后将n份特征图串联起来，得到下采样后的特征图。采用这种方式进行下采样提取的语义信息不强，但是能够保留较多的细节信息。
17.密集上采样卷积在实现特征图尺寸放大的同时可以对特征信息进行学习，以弥补下采样过程中造成的细节信息的损失。而双线性插值在实现上采样的过程中是不能学习的，会造成细节信息的损失。密集上采样卷积的主要思想是将特征图尺寸上的损失通过特征图通道的维度进行弥补。主要实现方法为：如果原特征图的大小为h
×
w，经过骨干网络后的特征图尺寸为h
×w×
c(其中h＝h/d，w＝w/d，d为下次采样因子)，通过卷积后的特征图尺寸为h
×w×
(d2×
l)，其中l为语义分割的类别数。最后将卷积后的特征图尺寸恢复为h
×w×
l即可。
18.空间金字塔池化模块可以将特征图分为四个不同大小尺寸的子特征图，然后分别进行池化操作。本发明在改进后的主干网络中加上改进的空间金字塔池化结构，对图片进行二次特征信息提取，进一步获得局部信息，并与骨干网络得到的全局信息进行融合，以提高模型对细节信息的提取能力。
19.由于采用以上技术方案，本发明具有以下优点：
20.1、本发明利用注意力模块中所得到的细节信息去指导模型预测舌图像边缘，设计
了一种基于高分辨率网络的舌图像分割算法。本算法充分利用语义分割任务中的丰富的语义信息和注意力模块下的细节信息，通过并行连接的高分辨率和低分辨率网络来提取舌图像的全局信息，并通过多尺度融合操作得到分割图像。将高分辨率网络得到的分割图像经过空间金字塔池化模块进行二次特征提取，以便获取更多的边界信息，得到最终的分割图像。
21.2、本发明提出一种带有注意力机制的特征提取模块，此模块作用是加强网络对全局信息的提取能力，使网络提取丰富的上下文信息，达到减少边缘信息损失的目的。本发明通过在hrnet网络的原始特征提取模块中加入了se模块，将特征图先送入具有残差组卷积结构的basicblock中丰富输入特征图语义信息，然后送入se模块中，赋予各通道的一个可学习权重，使得模型能够主动学习特征图各通道的重要程度。
附图说明
22.为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供下附图进行说明：
23.图1是本发明的基于高分辨率网络的舌图像分割算法结构示意图；
24.图2是本发明的特征提取模块结构示意图；
25.图3是本发明的多尺度融合模块结构示意图；
具体实施方案
26.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地、完整地描述。
27.本发明提出了一种基于高分辨率网络的舌图像分割算法，如图1，具体包括如下步骤：
28.步骤1：获取手机或其他数码设备拍摄的舌图像，输入预处理模块中使用去噪、增强对比度等操作预处理图像，减少图像中的干扰信息。
29.步骤2：将预处理后的图像输入进高分辨率网络模块，在高分辨率网络模块中构建如图1所示的基于高分辨率网络的舌图像分割网络，分别为高分辨率网络模块、特征提取模块、多尺度融合模块以及空间金字塔池化模块。其中高分辨网络模块为舌图像分割网络的主干网络，全程保持高分辨率表示，保留了特征图的特征信息；特征提取模块引入注意机制，加强对全局信息的提取能力，减少了网络在上下文信息上的缺失；多尺度融合模块充分融合低分辨率语义信息和高分辨特征信息；空间金字塔池化模块对特征图进行二次特征提取，获得更多的边界信息，得到最终的分割图像。
30.步骤3：使用pytorch框架构建此分割网络，如图1所示，网络中使用focus模块来产生不同分辨率的特征图，构成高分辨率和低分辨率并行连的网络结构；在特征提取模块中经过一系列的卷积操作提取特征信息，并且使用图像分割任务标签进行深层监督，最终得到分割图像。
31.步骤4：在特征提取模块中，如图2所示，当前舌图像分割算法存在分割精度低、舌体边缘信息损失严重等问题。虽然hrnet模型应用在舌图像分割任务中可以有效提高分割精度，但是由于模型的设计原因，预测结果出现边界损失严重的问题。受se块的启发，本发
明改进了hrnet网络的特征提取模块，在原特征提取模块中加入了注意力机制，构建了新的特征提取模块。此模块可以加强对全局信息的提取能力，弥补hrnet网络在上下文信息上的缺失，以此提高分割精度，同时可以减少边缘信息的损失。
32.步骤:5：在多尺度融合模块，如图3所示，为了充分融合低分辨率语义信息和高分辨率特征信息，本发明借鉴hrnetv2网络的输出模式，构建了多尺度融合模块。虽然hrnet网络能够保留更多的强语义信息，但是在训练过程中会造成大量细节信息的丢失。舌图像分割任务要求尽可能保留细节信息，为了解决这一矛盾，本发明采用密集上采样卷积(dense upsampling convolution，duc)代替双线性插值来实现上采样；利用特征重排思想对hrnet网络的下采样方式进行改进。采用按行和列隔点采样的方式将特征图分成n份，然后将n份特征图串联起来，得到下采样后的特征图。采用这种方式进行下采样提取的语义信息不强，但是能够保留较多的细节信息。
33.密集上采样卷积在实现特征图尺寸放大的同时可以对特征信息进行学习，以弥补下采样过程中造成的细节信息的损失。而双线性插值在实现上采样的过程中是不能学习的，会造成细节信息的损失。密集上采样卷积的主要思想是将特征图尺寸上的损失通过特征图通道的维度进行弥补。主要实现方法为：如果原特征图的大小为h
×
w，经过骨干网络后的特征图尺寸为h
×w×
c(其中h＝h/d，w＝w/d，d为下次采样因子)，通过卷积后的特征图尺寸为h
×w×
(d2×
l)，其中l为语义分割的类别数。最后将卷积后的特征图尺寸恢复为h
×w×
l即可。
34.步骤6：训练所构建的舌图像分割网络。通过迁移学习的方式，先利用imagenet数据集对网络进行预训练得到初始权重值，形成预训练模型，然后采用预训练模型的权重值作为初始权重对自制数据集进行训练。在训练过程中对权重值进行微调，从而使舌图像分割网络更好地适应舌图像分割任务。
35.步骤7：保存训练完成的舌图像分割网络，并且将网络部署到服务器的gpu模块上，调整网络状态至端口监听状态。当客户端通过监听端口发送输入图像，服务器上部署的舌图像分割网络自动进行推理预测，得到输入图像对应的分割图像，且通过相应端口发送给客户端。
36.下面将通过各个算法对比实例对本发明进行进一步说明：
37.本发明提出了一种基于高分辨率网络的舌图像分割算法。该方法不仅实现了高分辨率特征信息和低分辨率语义信息的充分融合，并且通过可训练参数作为权重，有效利用不同分辨率图像提取的特征。
38.在测试过程中通过平均交并比(miou)、像素准确率(acc)作为评价指标对各个算法的分割效果做出比较。miou和acc的计算方式如下式：
39.平均交并比(miou)：
[0040][0041]
像素准确率(acc)：
[0042][0043]
上式中表示真实像素类别为i的像素被预测为类别i的总数量；表示真实像素类别为i的像素被预测为类别j的总数量；表示真实像素类别为j的像素被预测为类别i的总数量。
[0044]
本实施例的实验在tongue data数据集上进行，有1400张舌图像分为两个部分，其中100张是在标准光照环境下进行采集的舌图像，即采用标准光源d65，目的是避免因环境造成的颜色误差；剩余1300张舌图像是在开放环境下进行采集。tongue data数据集按照6：2：2的比例将其划分为训练集、验证集、测试集。实验过程中使用交叉熵损失函数；batch_size为4；epoch为300。训练之前进行了数据增强操作，如：随机水平翻转、随机缩放、图像标准化等。
[0045]
实验结果表明，本发明提出的基于高分辨率网络的舌图像分割方法性能明显优于其他前沿方法。本算法的miou达到了97.86％，acc达到了98.91％，其结果远远超过其他前沿算法。
[0046]
表1本算法与其他算法比较
[0047]