一种基于混合Transformer架构的染色体图像自动分割方法与流程
本发明涉及图像处理,具体为一种基于混合transformer架构的染色体图像自动分割方法。
背景技术:
1、染色体核型分析通过观察中期染色体的数目、长度、着丝粒位置、臂比和带纹特征识别染色体数目异常与结构异常。获得互不粘连且轮廓完整的单条染色体图像,是后续染色体配对、排序、带纹分析和异常判读的前置条件。临床显微图像中常同时存在染色深浅差异、照明不均、玻片颗粒、散焦噪声、染色体相互接触、交叉和重叠,使得染色体自动分割面临边界不清、实例归属不明和细小端粒易丢失的问题。
2、阈值分割、区域生长、分水岭及基于距离变换的传统处理方法依赖人工阈值与规则参数。当图像背景亮度或染色浓度变化时,固定阈值难以稳定区分染色体与背景;当两条染色体交叉或大面积粘连时,单纯根据凹点、距离峰值或梯度线索容易产生过分割与欠分割。
3、卷积神经网络具有较强的局部纹理与边缘提取能力,但卷积核的局部感受野使其难以直接建立相距较远的端点、臂段及重叠区域之间的个体归属关系。视觉transformer通过自注意力建立全局关联,但标准全局自注意力的计算量随token数量平方增长,且将全部背景token纳入计算会造成显著冗余;同时,低分辨率token化过程容易削弱端粒、着丝粒和细窄轮廓的局部信息。
4、因此,需要一种针对染色体长条形态、端点结构及粘连重叠特征设计的混合网络与实例分离机制,在保持局部轮廓精度的同时建立全局空间关联,并减少背景区域引起的无效注意力计算。
技术实现思路
1、解决的技术问题
2、针对现有技术的不足,本发明提供了一种基于混合transformer架构的染色体图像自动分割方法,解决现有染色体图像分割方法在复杂背景下轮廓保持不足、重叠染色体个体归属判断不稳定、标准transformer计算量大以及后处理分离路径缺乏全局形态约束的问题。
3、技术方案
4、为实现以上目的,本发明通过以下技术方案予以实现:一种基于混合transformer架构的染色体图像自动分割方法,包括如下步骤:获取中期染色体显微图像,对所述中期染色体显微图像执行亮度标准化、噪声抑制、尺寸归一化和边缘增强,得到标准化输入图像,并由所述标准化输入图像生成有效区域先验图与边缘先验图;将所述标准化输入图像及所述有效区域先验图输入双分支编码器,利用cnn局部分支提取多尺度局部特征,利用transformer全局分支将所述标准化输入图像划分为重叠图像块并映射为token序列,依据各token对应区域的前景占比、边缘密度和预测不确定度筛选参与注意力计算的token,构造稀疏注意力掩码并执行稀疏多头自注意力,得到多尺度全局特征;对同一尺度的所述多尺度局部特征与所述多尺度全局特征执行空间尺寸对齐、通道维度对齐和双向门控融合,得到多尺度融合特征;将所述多尺度融合特征输入分层解码器,输出前景概率图、边界概率图、重叠区域概率图及端点热力图;根据所述前景概率图形成候选染色体连通域,在被所述重叠区域概率图标记的候选染色体连通域内提取骨架、分叉点和端点,依据所述边界概率图、所述端点热力图、骨架连续性和染色体形态一致性确定切割路径,沿所述切割路径分离粘连染色体并修补轮廓,输出单条染色体实例掩膜及对应轮廓。
5、优选的,所述亮度标准化包括:将所述中期染色体显微图像转换至亮度通道,根据背景像素集合的中位数和四分位距建立亮度映射关系,将不同采集批次的背景亮度映射至统一目标区间;所述噪声抑制包括采用保边滤波消除散焦噪点和玻片颗粒;所述边缘增强包括根据局部梯度幅值和局部对比度生成增强系数,并以所述增强系数调整染色体轮廓邻域的像素强度。
6、优选的,所述有效区域先验图的生成包括:根据标准化输入图像的局部灰度差、梯度幅值和连通域面积得到初始前景响应图,对所述初始前景响应图执行闭运算和孔洞填充,得到覆盖染色体区域及其外扩邻域的有效区域先验图;所述边缘先验图由多尺度梯度响应经非极大值抑制后形成。
7、优选的,所述cnn局部分支包括卷积干模块和依次连接的四级残差卷积编码单元,各级残差卷积编码单元输出对应尺度的局部特征;每一级残差卷积编码单元包括深度可分离卷积、归一化层、非线性激活层和残差连接,且在相邻尺度之间通过步长卷积完成下采样。
8、优选的,所述transformer全局分支中,各token对应区域的筛选分数由前景占比、边缘密度和预测不确定度的加权和确定;筛选分数不低于预设筛选阈值的token被确定为强相关token,筛选分数低于所述预设筛选阈值且位于强相关token预设邻域内的token被确定为邻域token,所述强相关token与所述邻域token共同参与注意力计算。
9、优选的,所述稀疏注意力掩码用于建立同一局部邻域内token之间的局部连接、位于重叠区域的token与候选端点邻域token之间的长程连接以及各尺度汇聚token之间的跨尺度连接;未建立连接的token对在注意力计算中被赋予屏蔽值。
10、优选的,所述双向门控融合包括:将同一尺度的局部特征与全局特征分别经卷积投影至相同通道维度,根据局部特征、全局特征和边缘先验图生成局部门控系数,根据局部特征、全局特征和重叠区域响应生成全局门控系数,将局部门控系数加权后的局部特征与全局门控系数加权后的全局特征进行拼接,并经卷积整合得到对应尺度的融合特征。
11、优选的,所述分层解码器包括逐级上采样单元及与各编码尺度对应的跳跃连接,所述分层解码器的输出端设置前景预测头、边界预测头、重叠区域预测头和端点预测头;训练所述双分支编码器与所述分层解码器时,采用由前景分割损失、边界损失、重叠区域损失、端点定位损失和形态一致性损失构成的联合损失函数。
12、优选的,所述确定切割路径包括:在候选染色体连通域的骨架上确定分叉点及端点,以分叉点、局部最小宽度截面和边界概率极大位置生成候选切割点;在候选切割点之间生成多条候选切割路径,计算每条候选切割路径的边界代价、骨架断裂代价、端点配对代价、轮廓平滑代价和分割后形态偏差,选择总代价最小的候选切割路径作为切割路径。
13、优选的,一种染色体图像自动分割系统,包括图像预处理模块、先验图生成模块、双分支特征提取模块、特征融合模块、多任务解码模块和实例分离模块;所述各模块被配置为由处理器执行存储器中的程序指令,以实施权利要求1至9任一项所述的一种基于混合transformer架构的染色体图像自动分割方法。
14、有益效果
15、本发明提供了一种基于混合transformer架构的染色体图像自动分割方法。具备以下有益效果:
16、1.本发明通过cnn局部分支保持端粒、着丝粒、细窄臂段及模糊轮廓的局部细节,通过transformer全局分支建立端点、臂段和重叠区域之间的长距离关联,从而降低复杂粘连场景下的欠分割与错误归属。
17、2.本发明通过有效区域先验引导的token筛选和针对染色体结构建立的稀疏连接,将远离染色体的背景token排除在主要注意力计算之外,降低标准全局自注意力的冗余计算量。
18、3.本发明通过双向门控融合使边缘区域侧重局部特征、重叠区域侧重全局特征,避免固定比例融合无法适应不同空间区域的问题。
19、4.本发明通过前景、边界、重叠区域和端点四类预测结果共同驱动实例分离,并依据骨架连续性和形态一致性选择切割路径,使粘连染色体的分离过程具有明确的结构约束和可复核的路径判据。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com