基于本征表示学习的跨模态内镜图像转换及病灶分割方法

技术特征：
1.一种基于本征表示学习的跨模态内镜图像转换及病灶分割方法，其特征在于，具体步骤为：(一)通过构建的基于本征表示学习的神经网络，将消化道内窥镜白光图像(wli)转换成高质量的窄带图像(nbi)；(二)通过一个空洞空间卷积池化金字塔网络(aspp)，使用步骤(一)得到的本质特征提取器获取白光图像的本质特征，进行白光图像的病灶区域预测，得到病灶区域的分割结果；步骤(一)中，对于给定白光图像(wli)，目标是生成相应的窄带图像(nbi)；根据光模型，假设内窥镜图像可以解耦为光学信息和本质特征；于是，通过采用神经网络，将另一模态的光学信息与本模态的本质特征进行重组，得到相应的跨模态图像；所述的神经网络是一个对称的网络结构；对于白光图像i
wli
，经过一个获取光学信息的特定模态特征编码器e
ms
，得到白光图像i
wli
的光学特征同时，白光图像i
wli
经过一个获取模态不变特征的模态不变特征编码器得到白光图像i
wli
的本质特征同样，对于窄带图像i
nbi
，经过一个获取光学信息的特定模态特征编码器e
ms
得到窄带图像i
nbi
的光学特征经过一个获取模态不变特征的模态不变特征编码器得到窄带图像i
nbi
的本质特征征和组合输入一个白光图像生成器g
wli
中生成白光图像中生成白光图像和组合输入窄带图像生成器g
nbi
中生成窄带像图像两个本质特征和分别输入一个本征生成器g
eigen
中，均可生成本征表示i
eigen
；和共享权重；将生成的白光图和窄带图像i
nbi
图像分别送入一个区分生成图像和真实图像的鉴别器d
gen
，得到一个分类结果，用于对抗学习生成逼真的医学图像；所述的神经网络具有循环结构，即是一个循环网络，其循环方式如下：将生成的白光图像经过一个获取光学信息的特定模态特征编码器e
ms
,得到新的白光光学特征经过获取模态不变特征的模态不变特征编码器得到新的白光图像本质特征同理，可得新的窄带图像的光学特征和本质特征和本质特征和组合输入白光图像生成器g
wli
中，得到白光图像中，得到白光图像和组合输入窄带图像生成器g
nbi
中，得到窄带像图像循环后得到的白光图像和窄带像图像应和原始输入的白光图像i
wli
和nbi图像i
nbi
一致，即可以使用像素级的损失来约束。2.根据权利要求1所述的方法，其特征在于，为了更好地获取医学本质特征，采用本征对抗学习策略来生成合理的本征图像，具体采用循环的方式让网络学习一种高效合理的表示，其流程为：首先，为了确保e
mi
提取有意义的本质表示，采用本征图像生成器g
eigen
，使e
mi
具有良好的通用性，能够观察到内窥镜图像的本质，从而使得跨模态、跨设备图像能保留更好的一致性；对于白光图像(wli)，假设本质特征能够有效地表达白光图像中的组织，可以得到一个本质图与输入白光图像(wli)具有相同的深度特征；同样地，将本质图送入e
mi
,可以编码出与输入白光图像(wli)具有相同本质特征的中间特征；仅由
本质特征生成，不包含任何光的信息，因此将本质图送入e
ms
可产生一个完整的零向量。3.根据权利要求2所述的方法，其特征在于，所述的特征鉴别器d
eigen
，对生成的特征图像进行分类；由于本质图像展示了白光图像(wli)和窄带图像(nbi)的真正共同特征，期望本征分布能够同时接近白光图像(wli)和窄带图像(nbi)；特征鉴别器d
eigen
将生成的特征图像与真实的白光图像(wli)和窄带图像(nbi)区分开来，而本征生成器g
eigen
用来生成真实的本质图像来迷惑鉴别器；通过对抗性学习,可以获得更真实的本质图像，还可以鼓励e
mi
更好地捕获wli和nbi的本质特征，用于下游医疗任务。4.根据权利要求3所述的方法，其特征在于，在神经网络测试时，输入内镜白光图像i
wli
，经过本质特征提取器e
mi
提取本质特征，输入一张额外的内镜窄带成像图像，经过光学特征提取器，提取窄带光学特征，两个特征组合送入输入窄带图像生成器g
nbi
中，经过一次前向传播即可获得窄带成像图像5.根据权利要求4所述的方法，其特征在于，所述神经网络，在其训练过程中使用的损失如下：两个本质特征和输入本征生成器g
eigen
中分别生成白光图像本征表示和窄带图像本征表示使用lpips损失来约束这两个本征表示，如下：窄带成像分支中，光学特征和窄带本质特征组合输入白光图像生成器g
wli
中生成白光图像通过判别器d
gen
计算gan损失l
gan
；白光图像本征表示重新输入本质特征提取器e
mi
中再次提取本征表示与最初的白光图像光学特征组合输入白光图像生成器g
wli
中生成重构的白光图像在和原始白光图像i
wli
之间计算循环损失l
cycle
；生成的白光图像本征表示和窄带图像本征表示输入本征判别器d
eigen
中，计算一个模态不变性损失，如下：l
eigen
＝e[logd
eigen
(i
wli
,i
nbi
)] e[log(1-d
eigen
(i
eigen
))]，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)理想的本质特征不应该包含光学特征，因此，将生成的白光图像本征表示重新输入光学特征提取器中e
ms
提取该本质特征的光学特征计算特征损失，如下：因此，神经网络训练时，最终的损失函数为：l＝λ1l
perceptual
λ2l
eigen
λ3l
feature
λ4l
cycle
λ5l
gan
，
ꢀꢀꢀꢀꢀ
(4)其中，λ
i
是用来平衡各个损失函数的权重,i＝1,2,
…
，5。6.根据权利要求5所述的方法，其特征在于，步骤(二)中，使用步骤(一)中训练的本质特征提取器获取白光图像的本质特征，通过一个空洞空间卷积池化金字塔网络(aspp)，对消化道病灶区域进行分割；具体过程如下：所述空洞空间卷积池化金字塔网络连接在本质特征提取器e
mi
后面；aspp对所给定的输入以不同采样率的空洞卷积并行采样；内镜白光图
像经过e
mi
提出本质特征，输入到aspp网络中，直接输出病灶区域的分割结果。

技术总结
本发明属于医学图像处理技术领域，具体为一种跨模态内镜图像转换及病灶区域分割方法。本发明通过构建的基于本征表示学习的神经网络，将消化道内窥镜白光图像转换成高质量的窄带图像；使用无监督训练的本质特征提取器获取白光图像的本质特征，通过空洞空间卷积池化金字塔网络进行病灶区域的预测，得到病灶区域的分割结果；测试时，待测白光图像只需要和一张辅助的窄带图像经过一次前向传播，即可获得白光图像对应的窄带图像。本方法采用无监督学习方式，拥有很好的泛化性，在不同内窥镜设备上效果优异。本发明能够为白光内窥镜设备提供额外的窄带成像，为医生诊断提供更好的参考，基于窄带图像辅助的病灶区域分割能够自动定位病灶区域，从而大大提高疾病诊断效率，降低发病率和死亡率。病率和死亡率。病率和死亡率。


技术研发人员：颜波 钟芸诗 谭伟敏 蔡世伦 林青
受保护的技术使用者：复旦大学
技术研发日：2022.05.03
技术公布日：2022/9/6