一种基于小波注意力和重塑融合的舌头体质识别方法

1.本发明涉及舌头图像分类技术领域，特别涉及一种基于小波注意力和重塑融合的舌头体质识别方法。


背景技术：

2.舌头识别为对获取的舌头图像进行舌头分割并分类识别。舌头分割的目的是有效滤除背景信息的干扰，提高后续分类器的分类性能。最新研究将深度学习应用于舌头图像分割，包括提出了一种实时的自动舌头图像分割方法，该方法使用基于编码器-解码器结构的轻量级架构。以及提出了一种tongue u-net的网络，它结合了经典的u-net结构与挤压和激励块(se)、密集的空洞卷积块(dac)，以及残差多核池化块(rmp)。以及提出了一种扩张编码网络(de-net)，用于在开放环境中自动分割从移动设备获取的舌头图像。识别出的舌头图像可以反映体质类别。现有存在利用经典卷积神经网络、灰度共生矩阵、最小包围矩形和边缘曲线来提取舌象特征，然后使用不同的分类器对体质进行分类。
3.尽管这些研究取得了一定的效果，但是现有舌头图像识别方法的特征提取能力较弱，难以抽取出更为精确的和更具判别性的特征。且现有舌头图像识别方法没有高效利用深度神经网络中的多层次特征，缺乏特征的多样性。现有舌头图像识别方法还未做到自适应融合不同特征，导致特征的表达不够全面。
4.因此，在现有舌头图像分类技术的基础上，如何有效提取舌头图像的全局和局部特征，更好地关注重要特征而忽略噪音，并提高分类准确率，成为本领域技术人员亟需解决的问题。


技术实现要素：

5.鉴于上述问题，本发明提出了一种至少解决上述部分技术问题的基于小波注意力和重塑融合的舌头体质识别方法，该方法预测的舌头属性向量具有可解释性，且可有效提取舌头图像的全局和局部特征，更好地关注重要特征而忽略噪音，并提高分类准确率。
6.本发明实施例提供一种基于小波注意力和重塑融合的舌头体质识别方法，包括如下步骤：
7.s1、采集待识别的舌头图像，生成图像特征；
8.s2、通过小波注意力模块从所述图像特征中提取舌象特征，并对所述舌象特征进行增强，生成新特征；通过重塑融合模块对所述新特征进行特征融合；
9.s3、对融合后的特征再增强，将增强后的所述新特征映射到舌象的属性空间，获得预测的舌象属性矢量；
10.s4、计算所述预测的舌象属性矢量与真实舌象属性矢量之间的相似度；最大相似度对应的舌象属性矢量所指向的体质类型即为所述待识别的舌头图像的体质类别。
11.进一步地，所述步骤s2中，通过小波注意力模块从所述舌头图像中提取舌象特征，并对所述舌象特征进行增强，生成新特征，包括：
12.对所述图像特征进行离散小波变换，获得特征分量；
13.通过空间注意力生成所述特征分量中每个特征对应的空间注意力掩码；
14.通过位置归一化对所述空间注意力掩码进行空间位置上的归一化，生成新注意力掩码；
15.根据所述新注意力掩码，调整所述特征分量的权重；根据所述权重进行特征聚合，生成新特征。
16.进一步地，所述通过空间注意力生成所述特征分量中每个特征对应的空间注意力掩码，包括：
17.将所述特征分量沿着预设通道维度通过均值池化生成特征描述算子；
18.根据所述特征描述算子，采用卷积核大小为3
×
3的标准卷积层生成注意力图；
19.根据所述注意力图，生成所述特征分量中每个特征对应的空间注意力掩码。
20.进一步地，所述步骤s2中，通过重塑融合模块对所述新特征进行特征融合，包括：
21.将所述新特征通过串联操作拼接成汇聚后的特征；
22.将所述汇聚后的特征通过重塑操作重塑为三维中间特征；
23.通过关系交互模块提取所述三维中间特征中不同特征之间的权重，生成三维关系掩码；
24.利用逆重塑操作将所述三维关系掩码调整为一维关系掩码；
25.将所述汇聚后的特征中的每一个元素通过乘以所述一维关系掩码对应的注意力权重进行缩放；所述注意力权重通过sigmoid函数进行计算。
26.进一步地，所述关系交互模块通过卷积操作来提取所述三维中间特征中不同特征之间的权重。
27.进一步地，所述步骤s3中，通过相对变换对融合后的特征再增强，利用多层感知机将增强后的所述新特征转换为预测的舌象属性矢量。
28.进一步地，所述步骤s4中，所述相似度通过计算所述预测的舌象属性矢量和各个预设体质相对应的真实属性矢量在双曲空间中的距离来计算。
29.进一步地，通过计算属性嵌入损失拉近所述预测的舌象属性矢量和所述真实舌象属性矢量之间在双曲空间中的距离。
30.本发明实施例提供的上述技术方案的有益效果至少包括：
31.本发明实施例提供的一种基于小波注意力和重塑融合的舌头体质识别方法，包括：采集待识别的舌头图像，生成图像特征；通过小波注意力模块从图像特征中提取舌象特征，并对舌象特征进行增强，生成新特征；通过重塑融合模块对新特征进行特征融合；对融合后的特征再增强，将增强后的新特征映射到舌象的属性空间，获得预测的舌象属性矢量；计算预测的舌象属性矢量与真实舌象属性矢量之间的相似度；最大相似度对应的舌象属性矢量所指向的体质类型即为待识别的舌头图像的体质类别。该方法能有效提取舌头图像的全局和局部特征，关注重要特征而忽略噪音，分类准确率高，且预测的舌象属性矢量具有可解释性。
32.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
33.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
34.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
35.图1为本发明实施例提供的基于小波注意力和重塑融合的舌头体质识别方法流程图；
36.图2为本发明实施例提供的整体框架图；
37.图3为本发明实施例提供的小波注意力模块结构图；
38.图4为本发明实施例提供的重塑融合模块结构图；
39.图5为本发明实施例提供的重塑操作与逆重塑操作结构图；
40.图6为本发明实施例提供的用于多层次特征的关系交互操作示意图。
具体实施方式
41.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
42.本发明实施例提供一种基于小波注意力和重塑融合的舌头体质识别方法，参照图1所示，包括如下步骤：
43.s1、采集待识别的舌头图像，生成图像特征；
44.s2、通过小波注意力模块从图像特征中提取舌象特征，并对舌象特征进行增强，生成新特征；通过重塑融合模块对新特征进行特征融合；
45.s3、对融合后的特征再增强，将增强后的新特征映射到舌象的属性空间，获得预测的舌象属性矢量；
46.s4、计算预测的舌象属性矢量与真实舌象属性矢量之间的相似度；最大相似度对应的舌象属性矢量所指向的体质类型即为待识别的舌头图像的体质类别。
47.本实施例提供的基于小波注意力和重塑融合的舌头体质识别方法，能有效提取舌头图像的全局和局部特征，关注重要特征而忽略噪音，分类准确率高，且预测的舌象属性矢量具有可解释性。
48.下面对本实施例提供的基于小波注意力和重塑融合的舌头体质识别方法进行详细阐述：
49.s1：输入舌头图像。
50.s2：利用多个阶段卷积层进行特征提取、小波注意力模块进行特征增强和重塑融合模块进行特征融合等来自动化获取输入舌头图像对应的舌象特征。
51.参照图2所示，骨干网络采用resnet18，拥有5个阶段(stage)，除第一个阶段之外其他4个阶段均由输出特征尺度不一样的残差块构成，用stage n表示第n个阶段的残差块。给定输入舌头图像x∈rh×w×c，其经过多个残差块的特征抽取后会得到不同阶段的特征，例如{x1,x2,x3,x4,x5}。这些特征先经过小波注意力模块的分解、加权和聚合，然后与下一阶段
的特征进行跨阶段融合，得到具备较为粗糙的跨层次信息的多个特征{f1,f2,f3,f4}。这些特征将依次经过全局平均池化和重塑融合模块后得到最终的舌象特征f
′
∈rc。
52.其中，步骤s2中的小波注意力模块包括以下步骤：
53.s21：对输入特征进行二维离散小波，获得特征分量；
54.s22：将这些特征分量先后通过空间注意力和位置归一化操作来得到相应的注意力掩码；
55.s23：根据注意力掩码来加权串联，聚合得到最后的输出特征。
56.一方面，舌头图像数据可能包含无意义的冗余背景，例如嘴唇、牙齿、鼻子和面部区域。另一方面，图像识别模型需要较强的提取更丰富特征的能力。为此提出一个新颖的小波注意力模块，结构如附图3所示。特别地，给定维度为h
×w×
c的输入特征x，在经过二维离散小波(2d dwt)变换后会得到4个维度为的特征分量。这些特征分量先后通过空间注意力(spatial attention)和位置归一化(position normalization)操作来得到相应的注意力掩码最后根据注意力掩码来加权串联，聚合得到最后的输出特征聚合得到最后的输出特征空间注意力操作的具体结构如图3右上角的圆角矩形框所示，位置归一化的操作如图3右下角的圆角矩形框所示。
57.s21：基于二维离散小波变换生成特征分量。
58.二维离散小波变换将输入数据分解成不同频率的各种分量，而且空间维度恰好为原来一半。因此，二维离散小波变换可以替换卷积神经网络中的下采样操作(最大池化、均值池化)，只需要根据需要的下采样倍数来设定离散小波变换的级别。
59.提出的小波注意力中的二维离散小波变换可以描述如下：
[0060][0061]
其中x∈rh×w×c为小波注意力模块的输入特征(输入图像特征)，2d dwt表示一次二维离散小波变换，{x
ll
,x
lh
,x
hl
,x
hh
}是4个不同频率特征分量。离散小波变换将输入特征分解成不同频率的特征分量，其中低频分量保留了原始特征的主要信息，高频分量往往包含噪声或者纹理信息。舌头图像识别中需要更多的几何和纹理信息，而高频分量可以给神经网络提供更多细节信息。为了最大化各种特征的利用程度，通过离散小波变换自适应地聚合了这些不同频率的特征，为体质分类任务提供尽可能全面的特征。
[0062]
s22：将这些特征分量先后通过空间注意力和位置归一化操作来得到相应的注意力掩码。
[0063]
为了更好地聚合离散小波变换分解后的4个特征，提出了空间注意力(spatialattention)和位置归一化(positionnormalization)操作。空间注意力可以聚焦于特征上重要的位置，从而关注重要的特征和抑制不必要的特征。又由于舌头图像的体质分类任务与图像空间上特征密切相关，所以小波注意力所采取的是空间注意力机制。提出的空间注意力操作通过额外的模块来计算特征的注意力掩码，为后续特征的自适应加权过程提供了基础。在小波注意力模块中会得到4个不同的注意力掩码，为了在聚合特征的过程中考虑不同频率之间的关系，提出位置归一化来对注意力掩码里每一个空间位置的权重进
行归一化，以便调整它们的不同贡献程度。
[0064]
给定4个不同的中间特征作为输入，小波注意力模块空间注意力(spatialattention)相继推断出每个特征所对应的空间注意力掩码对注意力掩码进行空间位置上的归一化、精细调节每一个特征的重要程度和聚合后的特征。如图4所示，该流程可以被简单总结为：
[0065][0066][0067][0068][0069][0070][0071][0072][0073][0074][0075]
其中为经过位置归一化后的注意力掩码，代表逐元素乘法，为精调后的特征，代表串联操作，x
′
为聚合后的输出特征。
[0076]
如图3右上角所示，假设给定特征f∈rh×w×c作为输入，空间注意力通过提取它的内在关系来生成空间注意力掩码，其中avgpool为均值池化操作，3
×
3conv是卷积核大小为3
×
3的卷积操作。首先，所提出的空间注意力模块沿着通道维度应用均值池化来生成特征描述算子f
avgpool
∈rh×w×1，该操作发挥了特征汇聚、降低特征维度和减少后续计算消耗的作用。针对特征描述算子f
avgpool
，空间注意力模块应用卷积核大小为3
×
3的标准卷积层来生成注意力图ms∈rh×w。简而言之，空间注意力模块可以用公式描述如下：
[0077]favgpool
＝f
avgpool
(f)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0078]ms
＝f3×3(f
avgpool
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)
[0079]
其中，f
avgpool
(
·
)表示均值池化操作，f3×3(
·
)表示卷积核大小为3
×
3的卷积操作。
[0080]
在一般的注意力机制中，其最终目的都是计算得到一个注意力掩码，然后利用该掩码对原始特征的权重进行调整。虽然不同模型得到注意力掩码的方式各不相同，但是它
们都需要将注意力掩码以逐元素乘法或者逐元素加法的方式来调整输入特征，本实施例提出的小波注意力模块自然也不例外。不同的是，为了得到更好的聚合这4不同频率的特征分量，小波注意力模块在此基础上还引入了位置归一化来对4个空间注意力掩码进行空间位置上的归一化。
[0081]
经过二维离散小波变换后所得的4个不同频率特征分量所包含的信息各有侧重，而且不同特征分量对不同输入的贡献也不相同。4个特征分量所对应的注意力掩码仅编码了每个特征分量在各个位置上的注意力权重，但它们之间并没有建立联系，即：忽略了不同注意力掩码之间的关系。因此，提出位置归一化操作来学习这4个不同特征分量之间的关系，旨在为不同的输入特征动态调整每一个空间位置上各个特征分量的权重，最终学习到不同特征分量的互补性，增加特征丰富程度。
[0082]
位置归一化的结构如图3右下角所示，假设给定4个输入注意力掩码为{m1,m2,m3,m4}∈rh×w，则有数学公式描述如下：
[0083][0084]
其中表示第i个输入注意力掩码在空间坐标(h,w)上的权重，表示第i个输出注意力掩码在在空间坐标(h,w)上的权重，表示指数为的变换，表示指数为的变换，h表示图像的高度，w表示图像的宽度。也就是说，位置归一化操作对同属于一个空间位置上4个权重执行softmax函数，以使得它们的权重之和为1，进而不同特征之间具备相互补充的性质。
[0085]
s23：根据注意力掩码来加权串联，聚合得到最后的输出特征。
[0086]
在完成注意力掩码的生成和对注意力掩码的位置归一化这两个步骤后，小波注意力的最后一个步骤为特征聚合。小波注意力模块所使用的是串联方式，具体来说是使用空间注意力和位置归一化得到的新注意力掩码调整4个特征分量{x
ll
,x
lh
,x
hl
,x
hh
}的权重，然后再进行特征聚合得到新特征
[0087]
步骤s3中的重塑融合模块包括以下步骤：
[0088]
s31：通过串联多个特征获得一维汇聚特征；
[0089]
s32：应用重塑操作将多层次特征在三维空间维度上重新排列；
[0090]
s33：对重塑后的特征应用关系交互操作来学习特征之间的联系；
[0091]
s34：利用逆重塑操作将得到的三维关系掩码调整为可以与一维汇聚特征进行加权的一维关系掩码；
[0092]
s35：最后根据编码特征之间关系的一维关系掩码来调整不同特征的贡献程度；
[0093]
s36：对步骤s35融合后的特征通过相对变换再增强，然后将增强后的新特征映射到舌象的属性空间，获得预测的舌象属性矢量。
[0094]
重塑融合(reshape fusion)模块是一种高效率和强有力的特征融合方法，可以用于动态地整合来自不同网络层的多层次特征，增强关键特征的重要性和降低无关特征所带
来的噪声。重塑融合模块的具体框架如图4所示，其依次借助串联操作、重塑操作、关系交互操作、逆重塑操作和逐元素相乘操作来对特征进行动态融合，最终获得更具判别性和丰富语义的表征。
[0095]
s31：给定多个来自不同层次的特征，首先利用串联操作将它们拼接成汇聚后的特征假设输入特征的数目为4，串联操作用数学公式描述如下：
[0096][0097]
c＝c1 c2 c3 c4ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(16)
[0098]
其中分别是输入的4个一维特征，c1,c2,c3,c4分别是4个特征的维度，代表串联操作，fc代表4个特征的简单汇聚。接下来，重塑操作沿着空间维度重新排列一维汇聚特征fc，得到重塑后的中间特征fr∈rh×w×k。
[0099]
s32：应用重塑操作将多层次特征在三维空间维度上重新排列
[0100]
重塑(reshape)操作是一种非常简单并且常用维度调整方法。它是将给定的矩阵变换为目标维度矩阵的一种函数，同时在操作过程中输入矩阵和输出矩阵的元素个数相同。通过重塑操作，矩阵可以由一个空间变换到另一个空间，而且整个过程中没有引入额外的参数。
[0101]
输入的多个不同层次的特征均是一维的，它们汇聚了不一样的上下文信息。为了充分利用这些上下文信息，减少全连接操作的复杂度和充分利用多个特征，引入一种非常简单特征预处理方法——重塑操作。具体过程如图5所示，它可以将输入的一维特征重新调整为三维特征。给定输入一维汇聚特征fc∈rc，重塑操作将其重塑为三维中间特征fr∈rh×w×k，且两者的维度存在以下关系：
[0102]
c＝h
×w×kꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(17)
[0103]
其中h为中间特征fr的高度，w为中间特征fr的宽度，k为中间特征fr的通道数目。即，重塑操作将一维特征重新变形为k张维度为h
×
w的特征图，整个过程公式化描述如下：
[0104][0105]
其中φr(
·
)代表重塑函数，[u
1,
u2,
…
,uc]表示一维特征fc各个分量，[f1,f2,
…
,fk]代表中间特征fr的k张特征图。
[0106]
s33：对重塑后的特征应用关系交互操作来学习特征之间的联系
[0107]
不同特征的贡献程度不一样，如图6所示，本实施例提出了关系交互模块来学习不
同特征之间的权重。
[0108]
关系交互模块被用于建模重塑特征fr∈rh×w×k的三维关系掩码m
3d
∈rh×w×k，具体过程如下面公式所示：
[0109][0110][0111]
其中表示卷积运算，θ3×3表示尺度为3
×
3的卷积核。m
3d
是学习得到的三维关系掩码，其维度与特征fr一致，其中每一个元素vi对应着fr中元素ui的自适应权重。
[0112]
在提取不同特征之间的关系时，关系交互模块使用的操作是卷积操作而不是全连接操作，其可以减少该操作引入的参数量。对于输入维度为c＝h
×w×
k的特征来说，下面用公式来分别描述使用全连接(fully connected)操作和使用卷积(convolution)操作来建模特征关系所需要的参数数目：
[0113]
全连接操作：params＝(hwk)
×
(hwk)＝h2w2k2ꢀꢀꢀꢀ
(20)
[0114]
卷积操作：params＝k
×3×3×
k＝9k2ꢀꢀꢀꢀꢀꢀꢀꢀ
(21)
[0115]
当h2w2》9时，全连接操作的参数将会比卷积操作多，而且真实情况下h2w2远大于9。上述的比较证明了所提出的关系交互模块具有参数量少的优点。如图6中多个正方形框出的区域所示，关系交互模块可以通过卷积操作提取来自多个不同空间邻域的关系。由于卷积操作具备共享性质，所以学习到的权重不仅考虑了特征自身的邻域还考虑其他特征的邻域，即同时建模了多个不同邻域的内在关系，从而能够更加精细地建模特征之间的关系。
[0116]
s34：利用逆重塑操作将得到的三维关系掩码调整为可以与一维汇聚特征进行加权的一维关系掩码。
[0117]
因为输入的汇聚特征fc∈rc属于一维空间，而三维关系掩码不能直接与之进行逐元素乘法运算来调整每个特征的贡献强度，因此需要将三维关系掩码m
3d
∈rh×w×k调整为一维关系掩码m
1d
∈rc。提出了逆重塑(inverse reshape，ir)操作来完成这一过程。如图5所示，逆重塑操作为重塑操作的逆过程，其具体描述为：
[0118][0119]
其中φ
ir
(
·
)表示逆重塑操作。经过逆重塑操作，三维关系掩码的维度被重新塑造成一维，最终与汇聚后的特征fc的维度保持一致，方便接下来调整每一个特征的权重。
[0120]
s35：最后根据编码特征之间关系的一维关系掩码来调整不同特征的贡献程度。
[0121]
汇聚特征fc中每一个元素通过乘以一维关系掩码m
1d
对应的注意力权重来进行缩放，这通过逐元素乘法来完成该操作，形式如下：
[0122][0123]
其中代表逐元素乘法操作，σ(
·
)定义为sigmoid函数。通过自适应调整各个层次特征，重塑融合模块可以增强输出特征的多样性，同时在关系交互过程中考虑了特征之间的互补性质，进一步融合得到更加全面的表征。
[0124]
s36：对步骤s35融合后的特征通过相对变换再增强，然后将增强后的新特征映射到舌象的属性空间，获得预测的舌象属性矢量。
[0125]
再增强的方法是对步骤s2中获得的每一个样本特征x，其类别为c，重新计算每个类别中心向量{c1,...,ci,...,cm}，假定有m个类别。然后计算类别中心向量c到所有类别中心向量在双曲空间中的距离：
[0126][0127]
然后将这些距离作为新特征c：
[0128]
c＝[d(c,c1)...d(c,ci)...d(c,cm)]
[0129]
最后将新特征c和x串接形成新的特征向量z＝[xc]。
[0130]
利用多层感知机将增强后的特征向量z转换为预测的舌象属性矢量。
[0131]
下一步将舌象特征映射到舌象的属性空间，获得预测的舌象属性矢量。
[0132]
真实的舌象属性矢量需要预先构造，它是舌象的属性空间w
attribute
的矢量。w
attribute
的构建是中医专家预先根据领域知识构造的，将每种体质类型同舌头图像的属性关联起来。
[0133]
《中医体质分类与判定》给出了9种体质的内涵和分类标准，每一种体质都描述了其对应的舌象特征，例如“平和体质苔薄白、舌淡红；阳虚体质舌苔润、舌头胖嫩、有齿痕；阴
虚体质舌苔少、干燥、舌红；湿热体质舌红、苔黄腻；痰湿体质苔白腻、舌头胖大；血瘀体质舌下静脉曲张、紫黑瘀点”。本实施例构建的舌象属性总共包含15种属性，它们分别是淡红、红、紫黑、胖大、嫩、龟裂、齿痕、静脉曲张、薄白、白厚腻、黄腻、少苔、润、干燥和其他。
[0134]
通过步骤s2后，输入舌头图像经过多个残差块的特征抽取后会得到不同阶段的特征，例如{x1,x2,x3,x4,x5}。这些特征先经过小波注意力模块的分解、加权和聚合，然后与下一阶段的特征进行跨阶段融合，得到具备较为粗糙的跨层次信息的多个特征{f1,f2,f3,f4}。以上过程增强了中间特征中不同尺度信息的表达，接下来这些中间特征将依次经过全局平均池化和重塑融合模块后得到最终的舌象特征f
′
∈rc。上述过程可以被公式描述为：
[0135]
x1＝φ
stage1
(x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(24)
[0136]
xi＝φ
stagei
(x
i-1
),i∈{2,3,4,5}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(25)
[0137]
x
′i＝f1×1(φ
wa
(xi)),i∈{2,3,4}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(26)
[0138]
f1＝f
gap
(x2)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(27)
[0139]fi
＝f
gap
(x
′i x
i 1
),i∈{2,3,4}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(28)
[0140]f′
＝φ
rf
(f1,f2,f3,f4)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(19)
[0141]
其中，φ
stagei
表示第i个阶段的网络块所进行的特征提取过程，f1×1(
·
)代表1
×
1卷积操作，φ
wa
(
·
)表示小波注意力模块，f
gap
(
·
)代表全局平均池化，φ
rf
(
·
)表示重塑融合模块。
[0142]
得到舌象特征f
′
后，对其应用隐藏层数为1的多层感知机就能将其转换为预测的舌象属性矢量其中计算方式为：
[0143][0144]
其中mlp(
·
)代表多层感知机，wa∈rc×
15
是多层感知机的可学习参数。
[0145]
s4、计算预测的舌象属性矢量与真实舌象属性矢量之间的相似度；最大相似度对应的舌象属性矢量所指向的体质类型即为待识别的舌头图像的体质类别。
[0146]
s41：计算预测的舌象属性矢量与真实的舌象属性矢量之间的相似度。
[0147]wattribute
是已知的，因此计算预测属性矢量u和不同体质相对应的标注属性矢量v的相似程度，然后依据相似程度来输出预测的各体质概率为了加快运行速度和简约计算过程，将计算过程矢量化和简单化，因此整个计算过程如下：
[0148][0149][0150][0151]
其中是未经过归一化操作的相似度得分，其由预测属性矢量与属性矩阵中第i个体质所对应的真实属性矢量两者的内积操作计算得到：
[0152]
s(u,v)＝exp(-d(u,v))；
[0153][0154]
s42：最大相似度对应的舌象属性矢量所指向的体质类型为输出舌头图像的体质类别。
[0155]
计算出输入舌头图像属于每个体质类别的相似度后，取最大相似度对应的体质类别为输入舌头图像的体质类别。
[0156]
基于以上步骤获得的输入图像的体质类别就可以用来优化整个网络。体质识别属于图像分类任务，因此需要利用反向传播优化算法来优化体质分类损失，使其尽可能降到最小。体质分类损失l
cls
由交叉熵损失实现，其被定义为：
[0157][0158]
其中y∈r1×9代表输入数据的真实体质标签，yi表示第i个体质的概率，所以它的值非0即1。如果第i个体质是舌头图像的真实体质，那么yi＝1，否则为0。
[0159]
为了更好地约束预测的舌象属性v＝f
attribute
∈r1×
15
，使其与真实舌象属性v＝w
attribute
的距离更加接近，引入属性嵌入(attribute embedding，ae)损失l
ae
来拉近预测属性与真实属性之间的距离。使用两个属性向量在双曲空间中的距离来计算l
ae
：
[0160]
l
ae
＝d(u,v)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(35)
[0161]
整体损失结合了体质分类损失l
cls
和属性嵌入损失l
ae
，具体如下：
[0162]
l＝l
cls
l
ae
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(36)
[0163]
其中两个损失的权重系数均为1。
[0164]
本实施例利用深度学习框架pytorch及模型库timm实现，所有的实验均在一台装备2条nvidiartx 3090gpu的服务器上运行。此外，它的cpu为intel i9-10850k，内存为64g，操作系统是ubuntu 18.04。并采用resnet18相同的超参数设置。在训练时，使用权重衰减为1e-4、动量为0.9和批量大小为64的随机梯度下降算法来进行参数的学习。模型的总训练轮次为300，学习率从0.1开始，每隔50个轮次便将学习率衰减为原来的训练模型时只使用通用的数据增强方法，即将输入图像的大小缩放为224
×
224，接着在图像四周以边缘为轴的对称方式填充4个像素，然后随机裁剪出大小为224
×
224的副本，最后以0.5的概率水平翻转该图像副本。在测试阶段，图像被缩放为224
×
224。此外，本实施例还对训练和测试图像进行了归一化操作，即减去均值和除以标准差。实验表明，本实施例超越了所有对比的体质识别方法，不仅参数量小，而且取得更好的性能，这也表明了所提方法的高效性。
[0165]
本实施例提供的基于小波注意力和重塑融合的舌头体质识别方法，首先，通过二维离散小波变换分离得到多尺度的特征并利用注意力机制对多个尺度的特征进行加权融合，提升了神经网络的特征提取能力。其次，通过重塑操作来挖掘多种层次特征的关联，进而对特征进行高效的融合。最后，集成小波注意力和重塑融合到卷积神经网络，生成更为精确的舌象属性，基于该舌象属性来完成体质识别任务。有益之处在于：提高了通过舌头图像来识别体质类型的准确性，同时提供了体质识别结果的可解释性。
[0166]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。