结合图像和临床元数据的皮肤病灶分割和分类方法及系统

技术特征：
1.结合图像和临床元数据的皮肤病灶分割和分类方法，其特征在于，包括以下步骤：获取皮肤镜图像和临床元数据，临床元数据是指描述临床数据元素以及临床数据元素间关系的数据；皮肤病灶分割网络基于u型网络结构，引入感受野模块取代编码和解码阶段的卷积单元，用多尺度整体特征探索模块融合解码器不同尺度的信息，生成病变对应的图像掩模，通过皮肤病灶分割网络生成的病变对应的图像掩模对皮肤镜图像进行裁剪，得到具有代表性的图像特征；其中，多尺度整体特征探索模块通过在构造相邻尺度特征混合向量实现相邻尺度之间的信息交换的基础上，使用元素式注意衍生机制来突出有用的特征，从而衍生出增强的后注意相邻尺度特征混合向量，并对聚合后的所有尺度的特征向量，再次利用元素注意衍生机制实现跨多个尺度特征的整体探索，皮肤病灶分类网络引入两个特征提取器以及跨模态协作特征探索模块，其中，特征提取器一和特征提取器二分别从皮肤镜图像和临床元数据中提取跨模态特征；特征提取器一基于具有代表性的图像特征提取特征向量f
c1
；通过将临床元数据进行矢量化，得到多维度特征向量，基于多维度特征向量采用浅层卷积神经网络即特征提取器二来提取临床元数据的特征向量f
c2
；利用跨模态协作特征探索模块在模型的表示学习过程中，通过区分和自适应地学习与每个跨模态特征对相关联的交互权重，动态捕获跨模态特征之间的多功能交互效果，进而挖掘皮肤镜图像与临床元数据的跨模态特征之间的潜在关系，对跨模态特征进行分类，获得皮肤病灶的类别。2.根据权利要求1所述的结合图像和临床元数据的皮肤病灶分割和分类方法，其特征在于，rfb模块根据人类视觉系统中感受野的大小和偏心率模拟配置，通过使用具有不同内核大小卷积和扩展卷积层的多分支，生成具有不同感受野的特征，应用卷积操作合并所有分支的特征并生成特征的最终表示。3.根据权利要求1所述的结合图像和临床元数据的皮肤病灶分割和分类方法，其特征在于，多尺度整体特征探索模块将解码器中尺度i处的特征表示为y
i
(i∈{1,2,3,4})，通过缩放操作将y
i
的特征统一到尺寸相同的四个特征向量f
i
∈r
32
×
224
×
320
,i∈{1,2,3,4})用于后续的特征探索，使用“串联”和“通道混洗”操作来组合来自每对通道的特征并构造相邻尺度的特征混合向量f
i’(i∈{1,2,3,4})；聚合所有特征混合向量f
i’(i∈{1,2,3,4})，利用元素注意衍生机制对多尺度特征进行整体探索；最后用具有两个输出通道的卷积层和紧随其后的sigmoid进行皮肤病灶预测，得到病变对应的图像掩模。4.根据权利要求3所述的结合图像和临床元数据的皮肤病灶分割和分类方法，其特征在于，多尺度整体特征探索模块的最终输出为y
msh
＝σ(f
c
(f))f＝atten(concat(f1’
,f2’
,f3’
,f4’
))其中，concat(
·
)表示串联操作，shuffle()表示通道混洗，atten()是由卷积块注意模块实现的元素式注意衍生机制操作。5.根据权利要求1所述的结合图像和临床元数据的皮肤病灶分割和分类方法，其特征
在于，特征提取器一为删除平均池化层和连接层后的复合式模型缩放网络efficientnet特征提取器；特征提取器二具体结构为linear(15，128)->bn1d->swish->dropout(p＝0.3)->linear(128,512)->bn1d->swish->linear(512，2048)，其中，linear表示全连接层，bn1d表示一维批量标准化层，swish表示swish激活层。6.根据权利要求1所述的结合图像和临床元数据的皮肤病灶分割和分类方法，其特征在于，多维特征向量为对所述临床元数据中的年龄、性别、解剖部位、同一个患者的图像数量和图像大小五种类型的信息串联起来，形成与每个图像对应的15维特征向量；每个患者的性别编码为2维one-hot向量，每个图像的解剖部位编码为10维one-hot向量，对于年龄、图像数量和图像大小，使用正常的数字编码。7.根据权利要求1所述的结合图像和临床元数据的皮肤病灶分割和分类方法，其特征在于，跨模态协作特征探索模块引入全局平均池化和全局最大池化操作分别作用于f
c1
，在此基础上引入共享权重的多层感知器，分别作用于特征向量f
c2
和池化操作后的f
c1
，并将多层感知器输出结果相加后输入到sigmoid中获得注意力权重α，将获取到的注意力权重α分别与跨模态特征向量f
c1
和f
c2
相乘来获得表征注意图的特征向量；再通过乘法运算获得跨模态特征表示ycmc。8.结合图像和临床元数据的皮肤病灶分割和分类系统，其特征在于，包括数据获取模块、分割网络特征获取模块、多尺度整体特征探索模、分类网络特征获取模块以及跨模态协作特征探索模块；数据获取模块用于获取皮肤镜图像和临床元数据，临床元数据是指描述临床数据元素以及临床数据元素间关系的数据；分割网络特征获取模块用于根据皮肤病灶分割网络获取图像特征，皮肤病灶分割网络基于u型网络，引入感受野模块来取代编码和解码阶段的卷积单元，用多尺度整体特征探索模块融合解码器不同尺度的信息，生成病变对应的图像掩模，通过皮肤病灶分割网络生成的病变对应的图像掩模对皮肤镜图像进行裁剪，得到具有代表性的图像特征；多尺度整体特征探索模块通过在构造相邻尺度特征混合向量实现相邻尺度之间的信息交换的基础上，使用元素式注意衍生机制来突出有用的特征，从而衍生出增强的后注意相邻尺度特征混合向量，并对聚合后的所有尺度的特征向量，再次利用元素注意衍生机制实现跨多个尺度特征的整体探索，挖掘解码器合成的多尺度特征，；分类网络特征获取模块基于皮肤病灶分类网络引入两个特征提取器以及提出跨模态协作特征探索模块，其中，特征提取器一和特征提取器二分别从皮肤镜图像和临床元数据中提取跨模态特征；特征提取器一基于具有代表性的图像特征提取特征向量f
c1
；通过将临床元数据进行矢量化，得到多维度特征向量，基于多维度特征向量采用浅层卷积神经网络即特征提取器二来提取临床元数据的特征向量f
c2
；利用跨模态协作特征探索模块在模型的表示学习过程中，通过区分和自适应地学习与每个跨模态特征对相关联的交互权重，动态捕获跨模态特征之间的多功能交互效果，挖掘皮肤镜图像与临床元数据的跨模态特征之间的潜在关系，对跨模态特征进行分类，获得皮肤病灶的类别。9.一种计算机设备，其特征在于，包括处理器以及存储器，存储器用于存储计算机可执行程序，处理器从存储器中读取所述计算机可执行程序并执行，处理器执行计算可执行程
序时能实现权利要求1～7中任一项所述结合图像和临床元数据的皮肤病灶分割和分类方法。10.一种计算机可读存储介质，其特征在于，计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，能实现如权利要求1～7中任一项所述的结合图像和临床元数据的皮肤病灶分割和分类方法。

技术总结
本发明公开了一种结合图像和临床元数据的皮肤病灶分割和分类方法及系统，方法包括以下步骤：基于皮肤病灶分割网络，引入感受野模块来取代编码和解码阶段的卷积单元，用多尺度整体特征探索模块实现跨多个尺度特征的整体探索，挖掘解码器合成的多尺度特征；皮肤病灶分类网络引入两个特征提取器以及提出跨模态协作特征探索模块，分别从皮肤镜图像和临床元数据中提取跨模态特征；利用跨模态协作特征探索模块在模型的表示学习过程中，通过区分和自适应地学习与每个跨模态特征对相关联的交互权重，动态捕获跨模态特征之间的多功能交互效果，挖掘皮肤镜图像与临床元数据的跨模态特征之间的潜在关系，对跨模态特征进行分类，获得皮肤病灶的类别。皮肤病灶的类别。皮肤病灶的类别。


技术研发人员：董彩霞 徐颂华 李宗芳
受保护的技术使用者：西安交通大学医学院第二附属医院
技术研发日：2021.12.25
技术公布日：2022/4/26