一种基于血管增强和主动学习的跨域脑血管分割方法

本发明涉及医学图像处理、人工智能辅助诊断和脑血管影像分析，具体涉及一种面向飞行时间磁共振血管成像（tof-mra）的跨域脑血管分割方法，该方法利用预训练脑血管分割模型、血管增强、血管段级主动学习、特征记忆和拓扑约束，实现目标域脑血管数据的低成本标注及分割模型适配。

背景技术：

1、脑血管分割是脑血管疾病筛查、血管形态分析、血管狭窄评估、动脉瘤辅助诊断和手术规划中的基础环节。tof-mra具有无创、无需注射对比剂以及能够较清晰显示脑血管结构等特点，已被广泛用于脑血管影像检查和血管结构分析。

2、现有基于深度学习的脑血管分割方法通常需要大量精确标注数据。由于脑血管管径变化范围大、分支数量多、末梢血管细小、局部对比度低且与周围组织边界不清晰，完整标注三维脑血管通常需要专业人员逐层检查和修正，标注成本较高。

3、为减少从头标注目标域数据的工作量，可以先使用在一个或多个公开数据集上训练得到的脑血管分割模型进行初始分割，再由人工修正。然而，不同数据集在扫描设备、磁场强度、扫描参数、空间分辨率、图像对比度、患者群体、重建方式及预处理流程等方面存在差异，导致预训练脑血管分割模型在目标域数据上容易出现性能下降，尤其表现为细小血管、低对比度血管和目标域特有血管的漏分割及断裂。

4、以前期采用的cesar脑血管分割网络为例，该网络在多个源域脑血管数据集上训练，具有一定泛化能力，但在目标域tof-mra图像上仍存在明显漏分割。特征分析表明，能够被正确分割的目标域血管，其深度特征与源域血管特征较为接近；漏分割真实血管的特征则偏离源域血管特征，但又未完全与源域背景特征重合。因此，该类漏分割区域能够反映源域与目标域之间的关键特征差异，具有较高的适配价值。

5、传统主动学习方法通常根据预测熵、预测概率接近0.5的程度或多个模型之间的预测差异选择待标注区域。但是，在严重域偏移情况下，部分真实血管会被模型以较高置信度预测为背景，其血管预测概率接近0而非接近0.5。此时，传统不确定性指标会将这些区域视为低不确定性背景，难以发现真正需要标注的高置信度漏分割血管。

6、frangi血管增强算法依据图像局部hessian矩阵的特征值分析不同尺度下的管状结构，不依赖目标域人工标注，也不直接受预训练脑血管分割模型源域特征分布的限制。因此，即使某一真实血管被初始模型预测为背景，只要该区域仍具有管状结构和血管成像特征，就可能在血管增强结果中获得响应。

7、但是，血管增强结果中还可能包含图像噪声、组织边缘、脑沟、伪影及其他具有局部管状特征的非血管结构。若将全部增强结果作为伪标签，容易引入错误监督；若将全部增强区域交由人工检查，则会产生大量无效工作。因此，现有技术还缺少一种以血管解剖结构为单位，综合利用特征差异、拓扑稳定性和历史标注知识选择候选血管段，并通过部分监督和特征优化完成目标域适配的闭环方法。

技术实现思路

1、针对现有预训练脑血管分割模型因源域与目标域之间存在数据分布差异而产生大量高置信度漏分割，并且传统基于预测概率不确定性的主动学习方法难以发现该类漏分割血管的技术问题，本发明提供一种基于血管增强和主动学习的跨域脑血管分割方法，该方法形成“初始分割—血管增强—血管段构图—联合评分—记忆过滤—人工确认—三状态监督—模型适配—重新推理”的迭代闭环，具体利用不依赖分割模型预测概率的血管增强方法从目标域图像自身发现潜在管状结构，将中心线端点或分叉点之间的连续血管段定义为主动学习查询单位，结合候选血管段的深度特征价值、拓扑稳定性和历史记忆进行筛选，由人工仅确认少量高价值血管段，再通过三状态标签、原型对比学习、输出决策边界约束和管状拓扑约束对模型进行迭代适配，从而降低完整三维脑血管标注成本并提高目标域分割精度。

2、为了解决上述技术问题，本发明采用了如下的技术方案：

3、一种基于血管增强和主动学习的跨域脑血管分割方法，包括以下步骤：

4、s1、构建初始脑血管分割模型及源域特征原型

5、获取一个或多个源域脑血管数据集训练得到的初始脑血管分割模型，将具有血管标注的源域图像输入该模型，提取模型解码器末端特征层的特征图，分别统计源域血管区域和源域背景区域的特征，构建源域血管特征原型和源域背景特征原型：

6、

7、

8、其中，和分别表示参与统计的源域血管体素数量和背景体素数量，表示第个源域血管体素对应的解码器特征向量，表示第个源域背景体素对应的解码器特征向量；

9、s2、获得目标域初始脑血管分割结果

10、对目标域tof-mra图像实施方向统一、空间重采样、强度归一化、脑区裁剪或脑区掩膜处理，并将处理后的图像输入初始脑血管分割模型，获得每个体素的血管预测概率；根据预设阈值对得到的血管预测概率进行阈值化获得初始脑血管分割掩膜，并进行小连通域去除、孔洞填充形态学后处理，得到目标域初始脑血管分割结果；

11、s3、利用多尺度血管增强生成潜在漏分割候选区域

12、对目标域tof-mra图像实施多尺度frangi血管增强，通过计算不同尺度下局部hessian矩阵的特征值及其组合关系，得到血管增强响应图；对血管增强响应图中的多个尺度响应取最大值或加权融合，并根据预设响应阈值获得血管粗分割结果；将所述血管粗分割结果与初始脑血管分割结果进行差集运算，提取在血管增强结构中存在、但在初始分割结果中不存在的区域，形成潜在漏分割候选区域：

13、

14、其中，第一集合表示血管增强得到的二值区域，第二集合表示初始脑血管分割结果，二者的差集表示潜在漏分割候选区域；

15、s4、将候选区域转换为血管图并定义血管段

16、对血管粗分割结果或潜在漏分割候选区域进行三维中心线提取，将中心线转换为血管图结构：

17、

18、其中，表示血管图结构，表示中心线节点集合，表示相邻中心线节点之间的连接边集合；根据三维邻域内中心线体素的邻接数量识别端点、普通连接点和分叉点，将具有一个相邻中心线节点的点定义为端点，将具有三个或三个以上相邻中心线节点的点定义为分叉点；以端点和分叉点作为断开位置，将相邻端点、分叉点之间不存在其他分叉点的连续中心线路径定义为一个血管段；对于相邻的多个分叉体素，先合并为一个分叉节点；对于闭合环状结构，在曲率最大点、响应最低点或预设位置设置断开点；对每个血管段记录中心线、中心线邻域、长度、平均管径、平均增强响应、端点位置、分叉关系和空间位置，并去除中心线长度过短、响应过低或位于无效脑区外的候选段；

19、s5、计算候选血管段的特征价值分数

20、将目标域图像输入初始脑血管分割模型，提取解码器末端特征图，针对每个候选血管段，在其中心线及中心线周围预设半径的管状邻域内进行特征采样，并通过平均池化、最大池化、注意力池化或其组合获得血管段级特征向量；分别计算候选血管段的血管段级特征向量与源域血管特征原型和源域背景特征原型之间的距离：

21、，

22、其中，表示当前候选血管段，表示候选血管段的血管段级特征向量，为源域血管特征原型，为源域背景特征原型，表示特征距离计算函数，和分别表示候选血管段到源域血管特征原型和源域背景特征原型的距离；候选血管段应当同时满足两项要求：一是其特征不应与源域背景高度重合，具有一定血管倾向；二是其特征应与源域已有血管分布存在差异，能够反映模型尚未充分学习的目标域血管表现；候选血管段的特征价值分数计算如下：

23、

24、，

25、其中，特征价值分数由候选段的血管倾向和域偏移程度共同确定，血管倾向根据候选血管段的血管段级特征向量到血管原型与背景原型的相对距离计算，域偏移程度根据候选血管段的血管段级特征向量偏移源域血管分布的程度计算，归一化操作用于统一量纲，为防止分母为零的常数；

26、s6、计算候选血管段的拓扑稳定性分数

27、对目标域图像或血管增强过程施加不会明显改变真实血管解剖结构的轻微扰动，并重新执行血管增强、中心线提取和血管段划分；针对原始候选血管段，在各扰动结果中搜索空间位置、中心线方向和端点关系相对应的血管段，统计候选血管段重复出现比例、中心线重叠程度、长度和管径变化、端点偏移程度以及与相邻血管的连接关系是否保持一致；候选血管段的拓扑稳定性分数计算如下：

28、

29、其中，拓扑稳定性分数由候选血管段在多次扰动下的保留比例、中心线重叠程度、连接关系稳定程度及端点偏移程度加权得到，第一至第四权重、、、用于对应调节各指标的贡献；

30、s7、联合评分并选择待检查血管段

31、根据候选血管段的特征价值分数和拓扑稳定性分数计算综合主动学习分数：

32、

33、其中，综合主动学习分数由特征价值分数和拓扑稳定性分数加权得到，为特征价值分数的权重，为拓扑稳定性分数的权重；按照综合分数排序，并通过特征聚类、空间重叠抑制或最远点采样去除高度相似的重复候选段；初始模型的预测概率不作为候选选择的必要条件，即使候选段的血管预测概率接近0，只要其具有较高血管增强响应、特征价值和拓扑稳定性，仍可被选为高价值候选；

34、s8、对候选血管段进行人工确认和局部修正

35、通过脑血管分析软件向标注人员显示目标域原始图像、初始分割结果、血管增强响应、候选血管段中心线、候选段局部三维区域及其与已有血管的连接关系；标注人员将候选段确认为真实血管、确认为非血管噪声、对其端点或局部范围进行修正、将部分子段确认为血管并将其余部分确认为背景，或者保留为不确定区域；

36、s9、建立血管特征记忆库和噪声特征记忆库

37、将人工确认的真实血管段特征存入血管特征记忆库，将人工确认的非血管噪声段特征存入噪声特征记忆库；对后续候选血管段分别计算其与血管特征记忆库和噪声特征记忆库的最大相似度：

38、，

39、其中，为候选血管段与血管特征记忆库的最大相似度，为候选血管段与噪声特征记忆库的最大相似度，为候选血管段的血管段级特征向量，为血管特征记忆库中的真实血管段，为噪声特征记忆库中的非血管噪声段；当候选血管段与血管特征记忆库的最大相似度高于第一阈值，且明显高于其与噪声特征记忆库的最大相似度时，将该候选血管段作为高可信血管自动保留或降低其人工检查优先级；反之，当候选血管段与噪声血管记忆库的最大相似度高于第二阈值且占明显优势时，将其作为高可信噪声自动过滤；仅将两个记忆库均不能可靠判断的候选血管段继续交由人工检查；

40、s10、构建血管、背景和不确定区域三状态监督标签

41、根据初始分割结果、人工确认结果、血管增强响应和图像强度构建三状态监督标签，将经后处理的可信初始血管、人工确认的新增血管及经过血管特征记忆库高置信度判定的血管区域标记为1，将人工确认的噪声区域以及同时满足低血管增强响应和低图像强度条件的高可信背景标记为0，其余无法可靠判断的区域标记为−1，具体如下：

42、

43、其中，公式中的三个区域依次表示可信血管区域、可信背景区域和不确定区域；

44、s11、以血管段为查询单位并以三维子块为训练单位

45、主动学习和人工标注以血管段为单位，但模型训练仍以三维图像子块为输入；针对每个已确认血管段，沿中心线提取多个具有空间重叠的三维子块，使子块同时包含目标血管段、相邻血管、周围组织和必要的背景上下文；每个训练批次同时包含当前轮新增确认血管段子块、当前轮确认噪声段子块、历史轮次记忆重放子块、已有可信血管上下文子块及目标域随机子块；

46、s12、在明确标注区域计算基础分割损失

47、将标签值不等于-1的区域定义为明确监督区域：

48、

49、dice损失、交叉熵损失ce和cldice损失仅在明确监督区域内计算，不确定区域不参与对应的直接分类监督，基础分割损失为：

50、

51、其中，、、分别表示dice损失、交叉熵损失ce和cldice损失的非负权重系数；

52、s13、利用原型对比学习优化目标域血管特征

53、在待适配模型的解码器末端特征层实施原型对比学习，将人工确认的新增血管段中心线、血管段内部体素及靠近血管边界的体素作为正样本锚点，将人工确认的噪声段和高可信困难背景体素作为负样本锚点；对于正样本锚点，约束其特征靠近源域血管原型及目标域血管记忆原型，并远离背景原型和噪声记忆原型；对于负样本锚点，约束其特征靠近背景原型或噪声记忆原型，并远离血管原型；原型对比损失采用infonce损失、三元组损失、中心损失或基于原型距离的分类损失；

54、s14、利用输出间隔损失强化新增血管的决策边界

55、对于人工确认的新增血管区域，计算当前待适配脑血管分割模型输出的血管类别logit与背景类别logit之间的差值，并要求该差值至少达到预设间隔，输出间隔损失为：

56、

57、其中，为人工确认的新增血管区域，为预设间隔，为血管类别的输出分数，为背景类别的输出分数；

58、s15、对不确定区域施加管状拓扑和种子连通约束

59、对于标签值为-1的不确定区域，不直接指定其为血管或背景，而是对模型自主产生的前景预测施加结构约束；首先，根据局部frangi响应、hessian特征或可微管状性评价构建非管状区域掩膜，对缺少管状结构支持但模型给出高血管概率的片状预测进行惩罚；其次，从可信初始血管和人工确认血管中选择可信种子，在预测血管概率图中进行迭代传播、测地连通分析或可微形态学扩张，获得能够通过高血管概率路径连接到可信种子的可达区域，对不能通过高血管概率路径连接到可信种子的孤立前景施加种子连通损失；随后，将管状性损失与种子连通损失加权组合，形成整体管状拓扑约束损失：

60、

61、

62、其中，表示体素位置；表示当前待适配脑血管分割模型预测体素属于血管类别的概率；表示由可信初始血管和人工确认血管选取的可信种子集合；表示体素相对于可信种子集合的可达性函数，当体素能够通过高血管概率路径连接到任一可信种子时取1，否则取0；表示在不确定区域或预设约束区域内对体素求和；表示防止分母为零的正常数；和分别表示管状性损失和种子连通损失的非负权重系数；

63、s16、联合优化目标域脑血管分割模型

64、目标域脑血管分割模型适配的总损失函数为：

65、

66、其中，总损失由基础分割损失、原型对比损失、输出间隔损失和管状拓扑约束损失加权组成，、、分别代表原型对比损失、输出间隔损失和管状拓扑约束损失的权重系数；

67、s17、迭代更新候选血管段、监督标签和模型

68、完成一轮目标域适配后，使用更新模型重新对目标域图像推理，将新的分割结果与血管增强结果比较，再次提取尚未被识别的候选血管段，并依据特征价值、拓扑稳定性、连通价值及记忆库相似度进行评分和过滤；对少量无法自动判断的高价值候选段进行人工确认，更新血管标签、背景标签、不确定区域、血管记忆库、噪声记忆库及模型参数；

69、重复执行候选生成、血管段划分、联合评分、记忆过滤、人工确认和模型训练，直至新增高价值候选血管段数量低于预设阈值、验证性能不再提高、人工标注预算耗尽或分割结果达到预设分析要求。

70、进一步，所述步骤s3中优先保留与初始血管直接连接、与初始血管距离小于预设阈值，或者能够延续已有血管方向的候选区域。

71、进一步，所述步骤s6中的扰动包括调整增强阈值、调整尺度参数、加入轻微高斯噪声、实施强度缩放或偏移、小角度旋转、平移、尺度变化以及调整形态学后处理参数中的一种或多种。

72、进一步，所述步骤s10中将frangi响应小于0.01且原始图像强度小于500的区域作为高可信背景。

73、与现有技术相比，本发明提供的基于血管增强和主动学习的跨域脑血管分割方法，具有以下有益效果：1）本发明不以模型预测不确定性作为发现漏分割血管的必要条件，利用不依赖分割模型预测概率的血管增强结果发现被预训练模型高置信度判断为背景的目标域真实血管，弥补传统不确定性主动学习无法发现预测概率接近0的漏分割血管的缺陷；2）通过血管段级特征分析和拓扑稳定性分析过滤血管增强结果中的噪声，相较于检查全部增强区域，可提高待检查候选中真实血管的比例；3）以血管段作为主动学习和人工确认单位，标注人员仅需对少量高价值血管段进行确认或局部修正，无需完整勾画三维脑血管；4）利用血管特征记忆库和噪声特征记忆库复用历史标注知识，可减少相似血管和相似噪声的重复人工判断；5）采用血管、背景和不确定区域三状态监督，不将未确认的区域直接视为背景，防止伪标签漏标对潜在真实血管产生错误抑制；6）通过dice、交叉熵、cldice、原型对比、输出间隔及管状拓扑约束联合优化，可同时改善血管区域重叠、细血管识别、中心线连续性、目标域特征适配及孤立假阳性问题；7）通过多轮主动学习逐步补充最能反映目标域特征差异的血管样本，可在降低人工标注成本的同时提高模型在目标域tof-mra图像上的分割精度和适用性。