一种基于分层原型记忆适配的手术器械图像分割方法
本发明涉及计算机视觉与医学图像处理领域,更具体的说,涉及一种基于分层原型记忆适配的手术器械图像分割方法。
背景技术:
1、在计算机辅助手术中准确的手术器械分割是重要基础,可靠的器械掩码对于精准的场景理解和临床辅助至关重要。近年来,以 segment anything model (sam) 为代表的视觉基础模型在通用分割任务中展现出了强大的潜力。然而,将这些基础模型直接应用于手术领域面临着显著的“领域鸿沟”。手术器械通常呈现细长的铰接结构,且手术环境常常伴随强反光、相互遮挡以及边界模糊等复杂特征。现有的基于提示学习的方法尝试将特定领域的知识整合到大模型中,但依然存在两个主要的局限性:首先,仅依靠下游分割损失来优化提示或原型,容易导致它们退化为特定任务的优化参数,发生灾难性遗忘,无法作为持久、稳定的类别记忆保留下来,削弱了在复杂术中环境下的鲁棒性;其次,现有的工作通常将多尺度的视觉线索通过单一的提示路径进行路由,造成了表征瓶颈,阻碍了特征与模型各层级之间的有效尺度匹配。现有方法不能高精度地分割术中各类器械。
技术实现思路
1、为解决现有技术中存在的缺陷,本发明提出了一种基于分层原型记忆适配的方法框架,通过构建冻结的多层级视觉原型库并进行分层特征耦合,解决手术场景下基础模型适配的表征瓶颈和遗忘问题。
2、一种基于分层原型记忆适配的手术器械图像分割方法,其特征在于,包括以下步骤:
3、步骤1:获取包含标注数据的手术图像数据集,为每个器械类别分别计算全局语义层、结构部件层和局部细节层的原型向量,构建冻结的多层级原型记忆库 (包括全局原型,结构部件原型和局部原型)。
4、步骤2:基于大模型sam架构搭建分割网络结构,包括图像编码器 、文本编码器 、融合编码器 、transformer 解码器 以及分割头 。
5、步骤3:将输入图像和类别文本输入网络,基于分层表征-模块的三路耦合机制进行网络训练。具体的,三条耦合路线包括:利用全局适配器将全局原型注入文本特征进行语义校准;利用结构适配器将结构部件原型注入解码器以修正对象查询;在训练阶段引入局部对齐损失,将高分辨率图像特征与局部原型进行对齐。最终计算整体损失函数并优化各个适配器,迭代至模型收敛。
6、步骤4:将待分割的手术图像及类别文本提示输入训练好的分割网络,网络输出预测的手术器械分割掩码图。
7、进一步的,步骤1中构建多层级原型记忆库,包括:为建立稳定的类别特定证据库,使用冻结的图像编码器和特征金字塔网络 (fpn) 提取分层特征。对于每个表征尺度 和器械类别 ,通过由0-1真值掩码控制的掩码平均池化聚合图像级特征。考虑到手术场景中固有的严重类内视觉差异(如强烈的镜面反光、组织遮挡和运动模糊),通过 k-means 聚类算法再将各层尺度的聚合表示进行离线聚类。每个类别提取 个不同的原型向量以保留类内的多样性视觉证据,构建的多层级原型记忆库表示为 。该记忆库在后续下游任务微调中保持严格冻结,以防止原型退化为特定任务的参数,从而避免基础模型先验知识的灾难性遗忘。
8、进一步的,步骤3中的分层表征-模块耦合训练采用三路耦合机制,包括:为实现高效的参数适配,在sam架构基础上,引入轻量级的全局适配器、结构适配器和局部适配器,显式地解耦了领域知识存储与下游特征适配过程。对于指定类别 和给定的尺度 ,适配器接收对应层级原型记忆 和原始目标特征 ,并使用轻量级网络 计算残差更新:
9、
10、其中, 是一个可学习的尺度因子, 为各层级下精心设计的特征融合网络(包括全局语义层和结构部件层), 表示完成残差更新后的目标特征。
11、进一步的,步骤3中所述的采用全局适配器进行语义校准,包括:在全局语义层,特征图捕获输入图像的整体上下文。利用全局适配器将全局原型注入融合编码器前的类别提示中,对原始文本特征进行语义校准。将类别文本特征 投影为查询矩阵 ,全局原型 投影为键矩阵 和值矩阵 ,计算全局交叉注意力。令 ,,,则更新后的文本特征为:
12、
13、
14、其中, 是可学习的投影矩阵,是缩放维度,是一个可学习的尺度因子,包含layernorm和带有 gelu 激活函数的两层 mlp, 表示全局交叉注意力权重矩阵, 表示语义校准后的类别文本特征。此设计将抽象的文本嵌入显式锚定到特定手术领域的视觉流形中,有效克服了数据分布变化带来的语义鸿沟。
15、进一步的,步骤3中所述的采用结构适配器进行对象查询修正,包括:在中间结构部件层,特征图编码了手术器械的部件级结构信息,利用结构适配器将局部原型 注入transformer解码器,修改transformer解码器的原始可学习对象查询 :
16、
17、其中,是一个可学习的尺度因子,为结构上与相同的轻量级投影网络,表示注入部件几何偏置后的对象查询。由于解码器中的对象查询实质上充当了空间锚点,注入结构原型显式地赋予了它们特定器械部件的几何偏置,这对于解析由器械轴、钳口和尖端等明确部件组成的精密手术器械至关重要。
18、进一步的,步骤3中的局部对齐损失 计算,包括:在最高分辨率的局部细节层,特征编码关键边界和纹理细节。为在充分利用细粒度信息的同时不增加推理延迟,设计局部对齐训练目标。通过公式 对高分辨率特征图 进行空间池化,并使用余弦距离计算局部对齐损失:
19、
20、其中, 表示经过缩放的真值掩码在空间坐标 处的值。用 对高分辨率特征图 进行空间掩码池化,得到局部特征 。 表示经局部适配器投影至与 相同维度的、类别 的第 个局部原型。 计算 与最相关的局部原型 之间的余弦距离最小值。添加这个优化目标增强了模型对纹理和边缘细节精确预测的鲁棒性。
21、进一步的,步骤3中训练的整体损失函数为:
22、
23、其中,为局部对齐损失的权重系数。是原生sam模型的损失函数,包含了focal损失、dice损失、边界框损失、广义iou损失、分类损失和存在监督损失。训练时仅优化轻量级适配器及解码器相关层,保持特征提取主干冻结以保证充分利用到大模型的先验信息。
24、本发明的有益效果如下:
25、本发明将手术领域的视觉证据显式建模为冻结的多尺度原型记忆库,并通过轻量级适配器把视觉记忆证据转化为适配模型的特征修正。这种设计有效地防止了模型在下游任务微调中发生参数退化和灾难性遗忘,显著提升了在复杂手术场景(如强反光、血液遮挡)下的分割鲁棒性。同时,本发明设计的分层尺度匹配耦合机制,打破了单一路径提示的表征瓶颈,使全局语义、部件结构和局部边缘等不同尺度的知识在合适的模型阶段发挥最大效用,大大缓解了类别语义错配、结构细节不足和边界模糊的问题。
26、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
1.一种基于分层原型记忆适配的手术器械图像分割方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的方法,其特征在于,步骤1中,构建多层级原型记忆库,包括:为建立稳定的类别特定证据库,使用冻结的图像编码器和特征金字塔网络 (fpn) 提取的分层特征。对于每个表征尺度 和器械类别 ,通过由0-1真值掩码控制的掩码平均池化聚合图像级特征。考虑到手术场景中固有的严重类内视觉差异(如强烈的镜面反光、组织遮挡和运动模糊),通过 k-means 聚类算法再将各层尺度的聚合表示进行离线聚类。每个类别提取 个不同的原型向量以保留类内的多样性视觉证据,构建的多层级原型记忆库表示为 。该记忆库在后续下游任务微调中保持严格冻结,以防止原型退化为特定任务的参数,从而避免基础模型先验知识的灾难性遗忘。
3.根据权利要求1所述的方法,其特征在于,步骤3中的分层表征-模块耦合训练采用三路耦合机制,包括:为实现高效的参数适配,在sam架构基础上,引入轻量级的全局适配器、结构适配器和局部适配器,显式地解耦了领域知识存储与下游特征适配过程。对于指定类别 和给定的尺度 ,适配器接收对应层级原型记忆 和由图像编码器得到的原始目标特征 ,并使用轻量级网络 计算残差更新:
4.根据权利要求3所述的全局语义层的特征融合网络,其特征在于,采用全局适配器进行语义校准,包括:在全局语义层,特征图捕获输入图像的整体上下文。利用全局适配器将全局原型注入融合编码器前的类别提示中,对原始文本特征进行语义校准。将类别文本特征 投影为查询矩阵 ,全局原型 投影为键矩阵 和值矩阵 ,计算全局交叉注意力。令 ,,,则更新后的文本特征为:
5.根据权利要求3所述的结构部件层的特征融合网络,其特征在于,采用结构适配器进行对象查询修正,包括:在中间结构部件层,特征图编码了手术器械的部件级结构信息,利用结构适配器将局部原型 注入transformer解码器,修改transformer解码器的原始可学习对象查询 :
6.根据权利要求1所述的方法,其特征在于,步骤3中,计算局部对齐损失 ,包括:在最高分辨率的局部细节层,特征编码关键边界和纹理细节。为在充分利用细粒度信息的同时不增加推理延迟,设计局部对齐训练目标。通过公式 对高分辨率特征图 进行空间池化,并使用余弦距离计算局部对齐损失:
7.根据权利要求1所述的方法,其特征在于,步骤3中训练的损失函数为:
8.根据权利要求1所述的方法,其特征在于,步骤4中预测分割掩码图,具体的前向传播流程为 ,为最终网络输出预测的手术器械分割掩码图。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com