X射线血管造影图像的掩码方法和掩码图像建模网络的训练方法
本公开涉及图像处理、计算机视觉和深度学习,更具体地讲,涉及x射线血管造影图像的掩码方法和掩码图像建模网络的训练方法。
背景技术:
1、心血管疾病是威胁人类健康的重要疾病之一。x射线血管造影图像能够直观显示冠状动脉等血管结构,是血管疾病诊断、介入治疗规划和术中导航的重要影像依据。在临床应用中,准确提取x射线血管造影图像中的血管区域,对于血管狭窄分析、血管中心线提取、血管拓扑结构分析以及介入手术辅助具有重要意义。
2、然而,x射线血管造影图像通常存在对比度低、噪声干扰强、血管结构细小、背景组织重叠、运动伪影明显等问题,导致血管边界模糊、细小分支难以识别。传统基于滤波、阈值、区域生长或图割的方法依赖人工设计特征,难以适应不同成像条件和不同患者之间的复杂变化。近来的基于深度学习的血管分割方法通常需要大量像素级人工标注数据。医学图像标注尤其是血管像素级标注需要专业知识,成本高、耗时长,限制了深度模型在实际场景中的推广应用。
3、自监督学习能够利用大规模未标注图像进行特征学习,从而缓解标注数据不足的问题。其中,掩码图像建模方法通过遮挡输入图像中的部分图像块,并训练模型重建被遮挡图像块,使模型学习图像的通用表示。现有掩码图像建模方法通常采用随机掩码、块状掩码或其他通用掩码策略,并通过像素级重建损失约束重建图像与原始图像之间的差异。
4、但是,对于x射线血管造影图像而言,血管区域通常只占图像中的较小比例,大量区域为背景组织或非血管区域。若直接采用通用掩码策略,模型在预训练过程中更容易遮挡并重建背景图像块,而较少关注真正具有临床意义的血管结构区域,导致学习到的特征对血管结构不够敏感。同时,传统像素级重建损失主要关注灰度或像素强度的一致性,难以保证重建图像与原始图像之间的血管语义一致性和血管解剖结构一致性,从而影响模型在下游血管分割任务中的性能。
技术实现思路
1、本公开的目的在于提供能够引导模型重点学习血管相关区域的结构表征并保持重建图像与原始图像之间的血管语义一致性,从而提高血管分割的准确性和泛化能力的x射线血管造影图像的掩码方法和掩码图像建模网络的训练方法。
2、根据本公开的实施例的一方面,提供一种x射线血管造影图像的掩码方法,所述掩码方法包括:获取原始x射线血管造影图像;通过基于血管增强算法提取原始x射线血管造影图像的血管解剖结构,获得血管解剖结构图;将血管解剖结构图划分为多个血管解剖结构图像块;通过确定所述多个血管解剖结构图像块中的每个是否存在血管结构,构建图像块级血管解剖引导信息;将原始x射线血管造影图像划分为与所述多个血管解剖结构图像块一一对应的多个x射线血管造影图像块;通过基于图像块级血管解剖引导信息对所述多个x射线血管造影图像块进行掩码处理,获得原始x射线血管造影图像的掩码图像,其中,与包括血管结构的血管解剖结构图像块对应的x射线血管造影图像块比其余x射线血管造影图像块具有更高的掩码概率。
3、可选地,通过基于血管增强算法提取原始x射线血管造影图像的血管解剖结构,获得血管解剖结构图的步骤包括:通过对原始x射线血管造影图像进行多尺度血管增强处理,获得血管响应图;通过使用自适应阈值对血管响应图进行二值化处理,获得血管二值图,其中,血管二值图的每个像素位置具有第一值或第二值,第一值指示候选血管区域,第二值指示非候选血管区域;将血管二值图中的与血管响应图中的最大血管响应值对应的点确定为种子点;通过基于种子点在血管二值图上进行区域生长处理,获得血管解剖结构图。
4、可选地,通过对原始x射线血管造影图像进行多尺度血管增强处理,获得血管响应图的步骤包括:通过使用多个尺度的高斯核分别对原始x射线血管造影图像进行平滑处理,获得多个尺度下的平滑后的x射线血管造影图像;计算每个尺度下的平滑后的x射线血管造影图像中的每个像素位置处的hessian矩阵的特征值;基于hessian矩阵的特征值,计算每个尺度下的平滑后的x射线血管造影图像中的每个像素位置处的初始血管响应值;通过将所述多个尺度下的平滑后的x射线血管造影图像中的相同像素位置处的最大初始血管响应值作为对应像素位置处的最终血管响应值,获得血管响应图。
5、可选地,通过基于种子点在血管二值图上进行区域生长处理,获得血管解剖结构图的步骤包括:通过将血管二值图中的具有第一值且满足第一条件的像素位置之中的不符合血管响应条件的像素位置设置为第二值,获得血管解剖结构图,其中,血管解剖结构图的每个像素位置具有第一值或第二值,第一值指示血管区域,第二值指示非血管区域,其中,满足第一条件是指:所述像素位置能够经由均具有第一值的像素位置而与种子点连通。
6、可选地,通过确定所述多个血管解剖结构图像块中的每个是否存在血管结构,构建图像块级血管解剖引导信息的步骤包括:基于每个血管解剖结构图像块中的属于血管区域的像素数量占血管解剖结构图像中的全部血管像素数量的比例,确定对应的血管解剖结构图像块的血管解剖权重;基于每个血管解剖结构图像块的血管解剖权重,构建图像块级血管解剖引导信息。
7、可选地,通过基于图像块级血管解剖引导信息对所述多个x射线血管造影图像块进行掩码处理,获得原始x射线血管造影图像的掩码图像的步骤包括:通过基于图像块级血管解剖引导信息选择所述多个x射线血管造影图像块中的第一数量的x射线血管造影图像块进行第一掩码处理;通过以随机方式选择所述多个x射线血管造影图像块中的未被第一掩码处理的第二数量的x射线血管造影图像块进行第二掩码处理,获得原始x射线血管造影图像的掩码图像,使得原始x射线血管造影图像的掩码图像包括第一掩码处理的结果和第二掩码处理的结果,其中,在第一掩码处理中,与包括血管结构的血管解剖结构图像块对应的x射线血管造影图像块具有更高的掩码概率。
8、根据本公开的实施例的一方面,提供一种用于重建x射线血管造影图像的掩码图像建模网络的训练方法,所述训练方法包括:根据上述的x射线血管造影图像的掩码方法,获得原始x射线血管造影图像的掩码图像作为训练掩码图像;通过使用掩码图像建模网络的编码器对训练掩码图像进行特征提取,获得训练图像特征表示;通过使用掩码图像建模网络的解码器基于训练图像特征表示对训练掩码图像中的被掩码的图像块进行重建,获得重建x射线血管造影图像;基于原始x射线血管造影图像与重建x射线血管造影图像之间的像素级重建损失和血管解剖一致性损失,确定总训练损失;通过对掩码图像建模网络的参数进行更新以使总训练损失最小化,获得训练后的掩码图像建模网络。
9、可选地,基于原始x射线血管造影图像与重建x射线血管造影图像之间的像素级重建损失和血管解剖一致性损失,确定总训练损失的步骤包括:基于原始x射线血管造影图像与重建x射线血管造影图像之间的像素差,确定像素级重建损失;基于通过将原始x射线血管造影图像输入预设血管解剖提取网络而获得的第一血管解剖预测图与通过将重建x射线血管造影图像输入预设血管解剖提取网络而获得的第二血管解剖预测图之间的差异,确定血管解剖一致性损失;基于像素级重建损失和血管解剖一致性损失之和,确定总训练损失。
10、根据本公开的实施例的一方面,提供一种计算机可读存储介质。当存储在所述计算机可读存储介质中的指令被至少一个处理器运行时,促使所述至少一个处理器执行上述的x射线血管造影图像的掩码方法、或者上述的用于建模x射线血管造影图像的掩码图像建模网络的训练方法。
11、根据本公开的实施例的一方面,提供一种计算机程序产品。所述计算机程序产品包括计算机指令,当所述计算机指令被至少一个处理器执行时实现上述的x射线血管造影图像的掩码方法、或者上述的用于建模x射线血管造影图像的掩码图像建模网络的训练方法。
12、与现有技术相比,根据本公开的实施例的x射线血管造影图像的掩码方法和掩码图像建模网络的训练方法可通过引入血管解剖结构信息构建解剖引导掩码策略,使模型在自监督预训练过程中重点学习血管相关区域特征,并结合血管解剖一致性损失保持重建图像与原始图像之间的血管语义一致性。根据本公开的实施例的x射线血管造影图像的掩码方法和掩码图像建模网络的训练方法能够充分利用大规模未标注x射线血管造影图像进行预训练,减少对人工标注数据的依赖,提高模型对血管结构的表征能力,从而提升下游血管分割任务的准确性和泛化性能。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com