基于渐进分割和聚焦分类的染色体图像分析方法及系统

1.本发明涉及染色体全自动分析的技术领域，具体地，涉及一种基于渐进分割和聚焦分类的染色体图像分析方法及系统。尤其是，优选的涉及一种基于渐进分割和聚焦分类的全自动染色体图像分析方法研究。


背景技术：

2.染色体图像分析方法即染色体核型分析算法是诊断染色体是否存在数目、结构异常等疾病的常用手段，例如21三体综合征、白血病等。临床上染色体核型分析在检测胎儿是否有严重缺陷或遗传疾病的产前诊断中起着至关重要的作用。正常人体包括46条染色体：22对常染色体以及1对性染色体xx或者xy。早期人类染色体核型分析需要专业医疗工作者手动完成，对操作者知识储备及操作熟练度要求较高，是一项费时费力且效率极低的工作。因此，近年来许多学者致力于全自动染色体分析方法的研究。
3.染色体图像分析主要包括：染色体分割和染色体分类两步。染色体图像分割的准确度对后期分类精度有着不可忽视的影响，而触碰和重叠染色体的分割一直是影响分割准确度的重要环节。此外染色体分类精度的高低，决定了整个染色体核型分析方法是否能用于临床。
4.公开号为cn113781505a的中国发明专利文献公开了一种染色体分割方法、装置、染色体分析仪及存储介质，其中，该方法包括：对原图像进行图像处理，获得所述原图像对应的掩码图像，所述原图像中包含交叉染色体；对所述掩码图像进行图像骨架提取，获得骨架图像；根据所述骨架图像中各个像素点的像素值，确定骨架上的目标像素点，所述目标像素点对应所述原图像中交叉染色体的交叉点；确定所述原图像中交叉染色体对应的多个轮廓关键点；根据所述交叉点与多个所述轮廓关键点，确定所述原图像中交叉染色体的分割点；基于所述分割点，对所述原图像中的交叉染色体进行分割。
5.针对上述中的相关技术，发明人认为传统分割方法主要是阈值分割，这类分割方法的最终结果严重依赖于图像质量和人工干预；而现有深度学习染色体分割方法大多数是专门针对合成粘黏染色体数据集进行的，将其应用于真实染色体数据时效果不好。染色体图像分类方法研究中，应用深度学习分类已成为主流，但是一部分学者直接利用人为分割好的单个染色体数据进行分类，另一部分学者虽然无人工干涉但分类精度较低。


技术实现要素：

6.针对现有技术中的缺陷，本发明的目的是提供一种基于渐进分割和聚焦分类的染色体图像分析方法及系统。
7.根据本发明提供的一种基于渐进分割和聚焦分类的染色体图像分析方法，包括如下步骤：
8.渐进分割步骤：利用渐进分割对中期染色体图像进行分割，得到单个染色体图像集合；
9.聚焦分类步骤：采用聚焦分类算法识别出单个染色体图像集合中所有单个染色体的类别，最后生成核型分析图。
10.优选的，所述渐进分割步骤包括如下步骤：
11.全局阈值分割步骤：通过计算整个中期染色体图像中所有像素点值的平均值作为阈值，将低于阈值的像素点置为第一预定值，高于阈值的像素点置为第二预定值，根据第一预定值和第二预定值将整个中期染色体图像分为前景和背景；
12.染色体簇分类步骤：判定前景中的真实染色体簇，真实染色体簇通过染色体簇分类网络进行分类，得到染色体簇的类别信息；
13.染色体实例分割步骤：根据染色体簇的类别信息对染色体簇进行分割，得到中期染色体图像中所有单个染色体图像集合。
14.优选的，所述染色体簇分类步骤包括如下步骤：
15.前景判别步骤：分类实施之前，利用凸包和预定外接图形判别出前景物体的单个染色体和真实染色体簇，其中，单个染色体直接输出到单个染色体集合中，真实染色体簇将通过下述步骤继续进行分割；
16.多尺度特征图获取步骤：将真实染色体簇输入到残差网络中得到多尺度特征图；
17.多尺度特征图校准步骤：输入多尺度特征图到各自的挤压激励模块后，输出校准多尺度特征图；
18.多尺度特征融合步骤：通过公式对校准多尺度特征图进行特征融合，得到多尺度融合特征图；
19.最终特征图获取步骤：多尺度融合特征图经过平均池化操作后，进行特征连接，得到各染色体簇的最终特征图；
20.类别信息获取步骤：最终特征图经过多层全连接层和归一化指数函数激励函数后，得到染色体簇的类别信息；所述染色体簇的类别信息为触碰染色体簇、重叠染色体簇以及触碰重叠染色体簇。
21.优选的，所述染色体实例分割步骤包括如下步骤：
22.触碰分割步骤：提取出触碰染色体簇的骨架图、终端点以及轮廓图，得到交叉区域的切割点；
23.连接逐对切割点得到引导线，对引导线作膨胀处理得到连接区域，计算连接区域内所有像素点的均值作为阈值后，将连接区域内所有低于阈值的像素点保留，再利用最小二值法对这些像素点进行处理，拟合出触碰染色体间的分割线，利用分割线分割触碰染色体簇；
24.重叠分割步骤：采用u-net提取出重叠染色体簇的重叠区域；
25.将重叠区域两侧的图像分别和重叠区域进行拼接，分离出重叠染色体簇中所有单个染色体；
26.触碰重叠分割步骤：先采用重叠分割步骤分割出触碰重叠染色体簇中的重叠染色体簇，进而得到触碰重叠染色体簇中的若干单个染色体和触碰染色体簇的集合，利用凸包和预定外接图形判别出触碰重叠染色体簇中的触碰染色体簇，其中已分离的若干单个染色体直接输出到单个染色体集合中，而触碰染色体簇将通过下述步骤继续分割；
27.采用触碰分割步骤进行分割触碰重叠染色体簇中的触碰染色体簇；
28.单个染色体集合步骤：经过触碰分割步骤、重叠分割步骤和触碰重叠分割步骤，触碰染色体簇、重叠染色体簇以及触碰重叠染色体簇均被分割开，得到中期染色体图像中所有单个染色体图像集合。
29.优选的，所述聚焦分类步骤包括如下步骤：
30.聚焦步骤：聚焦输入单个染色体图像中的显著区域，并将显著区域提取出来；
31.局部网络步骤：将聚焦步骤得到的显著区域图像输入到局部网络中，提取出单个染色体的局部特征图；
32.全局网络步骤：将单个染色体图像输入到全局网络，得到全局特征图；
33.分类网络步骤：将局部特征图和全局特征图连接，输入到分类网络中，输出单个染色体类别信息；
34.分析图生成步骤：结合单个染色体图像集合和单个染色体类别信息生成核型分析图。
35.优选的，所述聚焦步骤包括如下步骤：
36.基本特征提取步骤：采用基本特征提取网络，输入单个染色体图像，提取出多个尺度的单个染色体特征图；
37.多维注意力特征生成步骤：将多个尺度的单个染色体特征图输入到多维注意力机制网络，生成多维注意力特征图；
38.多维注意力特征融合步骤：生成的多维注意力特征图输入到特征融合网络中，生成最终融合特征图；
39.掩码提取步骤：将最终融合特征图输入到掩码生成网络，提取出显著区域的掩码；
40.掩码处理步骤：生成显著区域的掩码进行形态学处理，去除噪声点并填充空洞，与输入原图像做相乘处理，得到单个染色体显著区域图像。
41.根据本发明提供的一种基于渐进分割和聚焦分类的染色体图像分析系统，包括如下模块：
42.渐进分割模块：利用渐进分割对中期染色体图像进行分割，得到单个染色体图像集合；
43.聚焦分类模块：采用聚焦分类算法识别出单个染色体图像集合中所有单个染色体的类别，最后生成核型分析图。
44.优选的，所述渐进分割模块包括如下模块：
45.全局阈值分割模块：通过计算整个中期染色体图像中所有像素点值的平均值作为阈值，将低于阈值的像素点置为第一预定值，高于阈值的像素点置为第二预定值，根据第一预定值和第二预定值将整个中期染色体图像分为前景和背景；
46.染色体簇分类模块：判定前景中的真实染色体簇，真实染色体簇通过染色体簇分类网络进行分类，得到染色体簇的类别信息；
47.染色体实例分割模块：根据染色体簇的类别信息对染色体簇进行分割，得到中期染色体图像中所有单个染色体图像集合。
48.优选的，所述染色体簇分类模块包括如下模块：
49.前景判别模块：分类实施之前，利用凸包和预定外接图形判别出前景物体的单个染色体和真实染色体簇，其中，单个染色体直接输出到单个染色体集合中，真实染色体簇将
通过下述模块继续进行分割；
50.多尺度特征图获取模块：将真实染色体簇输入到残差网络中得到多尺度特征图；
51.多尺度特征图校准模块：输入多尺度特征图到各自的挤压激励模块后，输出校准多尺度特征图；
52.多尺度特征融合模块：通过公式对校准多尺度特征图进行特征融合，得到多尺度融合特征图；
53.最终特征图获取模块：多尺度融合特征图经过平均池化操作后，进行特征连接，得到各染色体簇的最终特征图；
54.类别信息获取模块：最终特征图经过多层全连接层和归一化指数函数激励函数后，得到染色体簇的类别信息；所述染色体簇的类别信息为触碰染色体簇、重叠染色体簇以及触碰重叠染色体簇。
55.优选的，所述染色体实例分割模块包括如下模块：
56.触碰分割模块：提取出触碰染色体簇的骨架图、终端点以及轮廓图，得到交叉区域的切割点；
57.连接逐对切割点得到引导线，对引导线作膨胀处理得到连接区域，计算连接区域内所有像素点的均值作为阈值后，将连接区域内所有低于阈值的像素点保留，再利用最小二值法对这些像素点进行处理，拟合出触碰染色体间的分割线，利用分割线分割触碰染色体簇；
58.重叠分割模块：采用u-net提取出重叠染色体簇的重叠区域；
59.将重叠区域两侧的图像分别和重叠区域进行拼接，分离出重叠染色体簇中所有单个染色体；
60.触碰重叠分割模块：先采用重叠分割模块分割出触碰重叠染色体簇中的重叠染色体簇，进而得到触碰重叠染色体簇中的若干单个染色体和触碰染色体簇的集合，利用凸包和预定外接图形判别出触碰重叠染色体簇中的触碰染色体簇，其中已分离的若干单个染色体直接输出到单个染色体集合中，而触碰染色体簇将通过下述模块继续分割；
61.采用触碰分割模块进行分割触碰重叠染色体簇中的触碰染色体簇；
62.单个染色体集合模块：经过触碰分割模块、重叠分割模块和触碰重叠分割模块，触碰染色体簇、重叠染色体簇以及触碰重叠染色体簇均被分割开，得到中期染色体图像中所有单个染色体图像集合。
63.与现有技术相比，本发明具有如下的有益效果：
64.1、本发明的一种基于渐进分割和聚焦分类的全自动染色体图像分析方法，先将染色体传统处理方法和深度学习结合起来构成渐进分割方法逐步、有效地分离粘连染色体簇，分割精度高，且无手工参与；
65.2、本发明为更好地实现染色体分类，再采用聚焦网络提取出染色体显著性特征，与全局特征结合生成增强的染色体特征表征，使得分类精度大大提高；
66.3、本发明是一种全自动染色体图像分析方法，能在高精度分割和分类的基础上自动生成染色体核型分析图，为全自动染色体图像分析系统的开发奠定了一定的基础。
附图说明
67.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
68.图1是本发明的基于渐进分割和聚焦分类的全自动染色体图像分析方法的总结构图；
69.图2是本发明中中期g带染色体图像的示意图；
70.图3为本发明中全局阈值分割二值图；
71.图4是本发明中染色体簇分类网络结构图；
72.图5是本发明中染色体簇图像类别标记图；
73.图6是本发明中触碰染色体分割结果图；
74.图7是本发明中重叠染色簇分割结果图；
75.图8是本发明中聚类网络结构图；
76.图9是本发明中像素点注意力机制结构图；
77.图10是本发明中通道注意力机制结构图；
78.图11是本发明中空间注意力机制结构图；
79.图12是本发明中生成的核型分析图。
具体实施方式
80.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
81.本发明实施例一公开了一种基于渐进分割和聚焦分类的全自动染色体图像分析方法研究，如图1所示，包括如下步骤：
82.渐进分割步骤：利用渐进分割方法对中期染色体图像进行分割，从而得到单个染色体图像集合。
83.渐进分割方法包括三步：(1)全局阈值分割；(2)染色体簇分类；(3)染色体实例分割。具体分割过程如下：即渐进分割步骤包括如下步骤：
84.全局阈值分割步骤(第一步)：通过计算整个中期染色体图像中所有像素点值的平均值作为阈值，将低于阈值的像素点置为第一预定值，高于阈值的像素点置为第二预定值，根据第一预定值和第二预定值将整个中期染色体图像分为前景和背景。
85.具体为，全局阈值分割，通过计算整个中期染色体图像中所有像素点值的平均值作为阈值，将低于此阈值的像素点置为0，高于此阈值的像素点置为1，从而将整个中期染色体图像分为前景和背景。
86.染色体簇分类步骤(第二步)：判定前景中的真实染色体簇，真实染色体簇通过染色体簇分类网络进行分类，得到染色体簇的类别信息。即染色体簇分类，由染色体簇分类网络进行分类。
87.染色体簇分类的具体实施步骤是：即染色体簇分类步骤包括如下步骤：
88.前景判别步骤：分类实施之前，利用凸包和预定外接图形判别出前景物体的单个
染色体和真实染色体簇。具体为，分类实施之前，先利用凸包和最小外接矩形判别出前景物体的单个染色体和真实染色体簇，其中单个染色体直接输出到单个染色体集合中，而真实染色体簇将通过下述步骤继续进行分割。
89.多尺度特征图获取步骤：将真实染色体簇输入到残差网络50(resnet50)中得到多尺度特征图{f2,f3,f4,f5}，其中f2，f3，f4，f5分别为resnet50网络的第10、22、40、49层输出的特征图像。
90.多尺度特征图校准步骤：输入{f2,f3,f4,f5}到各自的挤压激励模块后，输出校准多尺度特征图{f
′2,f
′3,f
′4,f
′5}，其中f
′2，f
′3，f
′4，f
′5分别表示f2，f3，f4，f5输入到挤压激励模块后得到的各自校准多尺度特征图。具体为，由于挤压和激励(se)模块能够改变卷积特征层各通道的权重系数，使其能够学习到染色体图像中的重要特征信息，而各染色体簇间的差异特征主要集中在网络底层特征层中，因此通过调整se模块中的激励参数，能够使输入的多尺度特征带有丰富的底层信息，即输入{f2,f3,f4,f5}到各自的se模块后，输出校准多尺度特征图{f
′2,f
′3,f
′4,f
′5}。
91.多尺度特征融合步骤：为了使各层特征表征包含更丰富的底层特征信息，这里通过下述公式对{f
′2,f
′3,f
′4,f
′5}进行特征融合，得到多尺度融合特征图{a2,a3,a4,a5}。
[0092][0093][0093][0094][0095][0096]
其中，{a2,a3,a4,a5}表示上述计算公式所得的多尺度融合特征图，a2与f
′2、a3与f
′3、a4与f
′4、a5与f
′5各自具有相同图像尺度；conv1×1()表示一维卷积计算；down()表示下采样计算；up()表示上采样计算；表示逐像素相加。
[0097]
最终特征图获取步骤：多尺度融合特征图经过平均池化操作后，再将其进行特征连接，得到各染色体簇的最终特征图。
[0098]
类别信息获取步骤：最终特征图经过多层全连接层和归一化指数函数(softmax)激励函数后，得到染色体簇的类别信息；染色体簇的类别信息为触碰染色体簇、重叠染色体簇以及触碰重叠染色体簇。即最终特征图经过两层全连接层和softmax激励函数后，得到染色体簇的类别信息。
[0099]
所有真实染色体簇输入到染色体簇分类网络后，可分为三类：触碰染色体簇、重叠染色体簇、触碰和重叠染色体簇。
[0100]
染色体实例分割步骤(第三步)：根据染色体簇的类别信息对染色体簇进行分割，得到中期染色体图像中所有单个染色体图像集合。即染色体实例分割染色体实例分割包括触碰分割模块、重叠分割模块、触碰和重叠分割模块。
[0101]
染色体实例分割步骤的具体分割步骤包括如下步骤：
[0102]
触碰分割步骤(触碰分割模块)：提取出触碰染色体簇的骨架图、终端点以及轮廓图，得到交叉区域的切割点。即(1.1)触碰分割模块用于分割触碰染色体簇，为快速且准确
地实施分割，先提取出其骨架图、终端点以及轮廓图，从而可以得到交叉区域的切割点。
[0103]
连接上述逐对切割点得到引导线，对引导线作膨胀处理得到连接区域，计算连接区域内所有像素点的均值作为阈值后，将连接区域内所有低于阈值的像素点保留下来，再利用最小二值法对这些像素点进行处理，拟合出触碰染色体间的分割线，利用分割线分割触碰染色体簇。即(1.2)利用逐对切割点以及图像基本运算操作计算出触碰染色体间的分割线，该分割线可完整分割触碰染色体簇。
[0104]
重叠分割步骤(重叠分割模块)：采用经典u形网络(u-net)提取出重叠染色体簇的重叠区域。具体为，(2.1)重叠分割模块用于分割重叠染色体簇，由于重叠染色体图像尺寸较小且结构复杂，先采用简化u-net提取出重叠区域，这里简化u-net的结构是仅采用了两次降采样以及对应的上采样构成的网络结构。
[0105]
将重叠区域两侧的图像分别和重叠区域进行拼接，分离出重叠染色体簇中所有单个染色体。具体为，(2.2)重叠区域可近似为矩形，再将矩形平行边两侧的图像和重叠区域进行拼接即可得到所有单个分离的染色体。
[0106]
触碰重叠分割步骤(触碰和重叠分割模块)：先采用重叠分割步骤分割出触碰重叠染色体簇中的重叠染色体簇，进而得到触碰重叠染色体簇中的若干单个染色体和触碰染色体簇的集合，利用凸包和预定外接图形判别出触碰重叠染色体簇中的触碰染色体簇，其中已分离的若干单个染色体不作处理直接输出到单个染色体集合中，而触碰染色体簇将通过下述步骤继续分割。具体为，(3.1)触碰和重叠分割模块用于分割既有触碰又有重叠的染色体簇，先采用重叠分割模块分割出其中的重叠染色体簇。(3.2)通过(3.1)操作后重叠染色体簇已完全分割开，得到若干单个染色体和触碰染色体簇的集合，再利用凸包和最小外接矩形判别出触碰染色体簇。
[0107]
采用触碰分割步骤进行分割触碰重叠染色体簇中的触碰染色体簇。即(3.3)触碰染色体簇采用触碰分割模块进行分割。
[0108]
单个染色体集合步骤：经过触碰分割步骤、重叠分割步骤和触碰重叠分割步骤，触碰染色体簇、重叠染色体簇以及触碰重叠染色体簇均被分割开，得到中期染色体图像中所有单个染色体图像集合。经过上述3步分割步骤，所有染色体簇均能被分割开，得到中期染色体图像中所有单个染色体集合。
[0109]
聚焦分类步骤：采用聚焦分类算法识别出单个染色体图像集合中所有单个染色体的类别，最后生成核型分析图。即采用聚焦分类算法识别出所有单个染色体的类别，最后生成核型分析图。聚焦分类网络(focus-net)包括4个模块：聚焦模块、局部网络模块、全局网络模块、分类模块。
[0110]
聚焦分类步骤的具体分类过程包括如下步骤：
[0111]
聚焦步骤：聚焦输入单个染色体图像中的显著区域，并将显著区域提取出来。具体为，聚焦模块是用于聚焦输入单个染色体图像中的显著区域并将其提取出来，聚焦模块由特征提取网络、多维注意力机制网络、特征融合网络以及掩码生成网络构成。
[0112]
显著区域具体生成过程如下：即聚焦步骤包括如下步骤：
[0113]
基本特征提取步骤：采用基本特征提取网络，输入单个染色体图像，提取出多个尺度的单个染色体特征图。具体为，(4.1)采用联合残差网络50、特征金字塔网络(resnet50-fpn)作为基本特征提取网络，输入单个染色体图像，可提取出5个尺度的单个染色体特征
图。
[0114]
多维注意力特征生成步骤：将多个尺度的单个染色体特征图输入到多维注意力机制网络，生成多维注意力特征图。具体为，(4.2)将多尺度特征图输入到多维注意力机制网络，生成多维注意力特征图，这里的多维注意力机制网络由像素点、通道、空间三种注意力机制组成。
[0115]
多维注意力特征融合步骤：生成的多维注意力特征图输入到特征融合网络中，生成最终融合特征图。具体为，(4.3)生成的多维注意力特征图输入到特征融合网络中，目的是通过合理的融合方式将各注意力特征图有效地结合起来，首先可将多尺度像素点注意力特征图通过上采样处理使其分辨率变为同输入图像相同，处理过的像素点注意力特征图通过相加的方式进行融合，得到像素点注意力融合特征图，同样的方式处理通道、空间注意力特征图，得到通道注意力融合特征图、空间注意力融合特征图，最后利用加权加法再次融合三类融合特征图，生成最终的特征图，这里权重系数都置为1。
[0116]
掩码提取步骤：将最终融合特征图输入到掩码生成网络，提取出显著区域的掩码。具体为，(4.4)将(4.3)生成的特征图输入到掩码生成网络，目的是为了提取出显著区域的掩码，掩码生成网络由conv1×1和softmax激励函数组成。
[0117]
掩码处理步骤：生成显著区域的掩码进行形态学处理，去除噪声点并填充空洞，与输入原图像做相乘处理，得到单个染色体显著区域图像。具体为，(4.5)生成显著性区域的掩码先进行形态学处理，去除噪声点并填充小空洞，再与输入原图像做相乘处理，得到单个染色体显著性区域图像。
[0118]
局部网络步骤：将聚焦步骤得到的显著区域图像输入到局部网络中，提取出单个染色体的局部特征图。具体为，局部网络模块用于生成局部特征图，将聚焦步骤得到的显著性区域图像输入到局部网络模块中可提取出单个染色体的局部特征图，这里局部网络模块由resnet50网络构成。
[0119]
全局网络步骤：将单个染色体图像输入到全局网络，得到全局特征图。具体为，同时全局网络模块用于生成全局特征图，将单个染色体图像输入到全局网络模块可得到全局特征图，这里的全局网络模块同样由resnet50网络构成。
[0120]
分类网络步骤：将局部特征图和全局特征图连接，输入到分类网络中，输出单个染色体类别信息。具体为，分类网络模块用于识别单个染色体的类别，首先将局部网络步骤和全局网络步骤中得到的局部和全局特征图连接起来，再输入到分类网络模块输出染色体类别，这里的分类网络模块由2层全连接层和1个softmax激励函数组成。
[0121]
分析图生成步骤：结合单个染色体图像集合和单个染色体类别信息生成核型分析图。即最后结合单个染色体集合和类别信息生成最终的核型分析图。
[0122]
本发明实施例一还公开了一种基于渐进分割和聚焦分类的全自动染色体图像分析系统，如图1所示，包括如下模块：
[0123]
渐进分割模块：利用渐进分割对中期染色体图像进行分割，得到单个染色体图像集合。
[0124]
渐进分割模块包括如下模块：
[0125]
全局阈值分割模块：通过计算整个中期染色体图像中所有像素点值的平均值作为阈值，将低于阈值的像素点置为第一预定值，高于阈值的像素点置为第二预定值，根据第一
预定值和第二预定值将整个中期染色体图像分为前景和背景。
[0126]
染色体簇分类模块：判定前景中的真实染色体簇，真实染色体簇通过染色体簇分类网络进行分类，得到染色体簇的类别信息。
[0127]
染色体簇分类模块包括如下模块：
[0128]
前景判别模块：分类实施之前，利用凸包和预定外接图形判别出前景物体的单个染色体和真实染色体簇，其中单个染色体直接输出到单个染色体集合中，而真实染色体簇将通过下述步骤继续进行分割。
[0129]
多尺度特征图获取模块：将真实染色体簇输入到残差网络50(resnet50)中得到多尺度特征图{f2,f3,f4,f5}，其中f2，f3，f4，f5分别为resnet50网络的第10、22、40、49层输出的特征图像。
[0130]
多尺度特征图校准模块：输入{f2,f3,f4,f5}到各自的挤压激励模块后，输出校准多尺度特征图{f
′2,f
′3,f
′4,f
′5}。
[0131]
多尺度特征融合模块：通过公式对{f
′2,f
′3,f
′4,f
′5}进行特征融合，得到多尺度融合特征图{a2,a3,a4,a5}。
[0132][0133][0134][0135][0136]
其中，{a2,a3,a4,a5}表示上述计算公式所得的多尺度融合特征图，a2与f
′2、a3与f
′3、a4与f
′4、a5与f
′5各自具有相同图像尺度；conv1×1()表示一维卷积计算；down()表示下采样计算；up()表示上采样计算；表示逐像素相加。
[0137]
最终特征图获取模块：多尺度融合特征图经过平均池化操作后，进行特征连接，得到各染色体簇的最终特征图。
[0138]
类别信息获取模块：最终特征图经过多层全连接层和归一化指数函数(softmax)激励函数后，得到染色体簇的类别信息；染色体簇的类别信息为触碰染色体簇、重叠染色体簇以及触碰重叠染色体簇。
[0139]
染色体实例分割模块：根据染色体簇的类别信息对染色体簇进行分割，得到中期染色体图像中所有单个染色体图像集合。
[0140]
染色体实例分割模块包括如下模块：
[0141]
触碰分割模块：提取出触碰染色体簇的骨架图、终端点以及轮廓图，得到交叉区域的切割点。
[0142]
连接上述逐对切割点得到引导线，对引导线作膨胀处理得到连接区域，计算连接区域内所有像素点的均值作为阈值后，将连接区域内所有低于阈值的像素点保留下来，再利用最小二值法对这些像素点进行处理，拟合出触碰染色体间的分割线，利用分割线分割触碰染色体簇。
[0143]
重叠分割模块：采用经典u形网络(u-net)提取出重叠染色体簇的重叠区域。
[0144]
将重叠区域两侧的图像分别和重叠区域进行拼接，分离出重叠染色体簇中所有单个染色体。
[0145]
触碰重叠分割模块：先采用重叠分割模块分割出触碰重叠染色体簇中的重叠染色体簇，进而得到触碰重叠染色体簇中的若干单个染色体和触碰染色体簇的集合，利用凸包和预定外接图形判别出触碰重叠染色体簇中的触碰染色体簇，其中已分离的若干单个染色体不作处理直接输出到单个染色体集合中，而触碰染色体簇将通过下述步骤继续分割。
[0146]
采用触碰分割模块进行分割触碰重叠染色体簇中的触碰染色体簇。
[0147]
单个染色体集合模块：经过触碰分割模块、重叠分割模块和触碰重叠分割模块，触碰染色体簇、重叠染色体簇以及触碰重叠染色体簇均被分割开，得到中期染色体图像中所有单个染色体图像集合。
[0148]
聚焦分类模块：采用聚焦分类算法识别出单个染色体图像集合中所有单个染色体的类别，最后生成核型分析图。
[0149]
聚焦分类模块包括如下模块：
[0150]
聚焦模块：聚焦输入单个染色体图像中的显著区域，并将显著区域提取出来。
[0151]
聚焦模块包括如下模块：
[0152]
基本特征提取模块：采用基本特征提取网络，输入单个染色体图像，提取出多个尺度的单个染色体特征图。
[0153]
多维注意力特征生成模块：将多个尺度的单个染色体特征图输入到多维注意力机制网络，生成多维注意力特征图。
[0154]
多维注意力特征融合模块：生成的多维注意力特征图输入到特征融合网络中，生成最终融合特征图。
[0155]
掩码提取模块：将最终融合特征图输入到掩码生成网络，提取出显著区域的掩码。
[0156]
掩码处理模块：生成显著区域的掩码进行形态学处理，去除噪声点并填充空洞，与输入原图像做相乘处理，得到单个染色体显著区域图像。
[0157]
局部网络模块：将聚焦模块得到的显著区域图像输入到局部网络中，提取出单个染色体的局部特征图。
[0158]
全局网络模块：将单个染色体图像输入到全局网络，得到全局特征图。
[0159]
分类网络模块：将局部特征图和全局特征图连接，输入到分类网络中，输出单个染色体类别信息。
[0160]
分析图生成模块：结合单个染色体图像集合和单个染色体类别信息生成核型分析图。
[0161]
本发明实施例二还提供了一种基于渐进分割和聚焦分类的染色体图像分析方法，先利用渐进分割方法对中期染色体图像进行分割，从而得到单个染色体集合，再采用聚焦分类算法识别出所有单个染色体的类别。
[0162]
1、将图2所示的中期g带染色体图像进行全局阈值处理，计算整个中期染色体图像中所有像素点值的平均值作为阈值，将低于此阈值的像素点置为0，高于此阈值的像素点置为1，从而将整个中期染色体图像分为前景和背景，处理结果图如图3所示。
[0163]
2、前景中包括单个染色体和染色体簇，在对染色体簇分类之前，先利用凸包和最小外接矩形判别出真实染色体簇。
[0164]
3、利用染色体簇图像数据集对染色体簇分类网络进行训练，可得到染色体簇分类网络结构图，如图4所示。
[0165]
4、训练好的染色体簇分类网络对步骤2得到的染色体簇图像进行分类，具体分类步骤如下：
[0166]
(1)将步骤2中真实染色体簇输入到resnet50中得到多尺度特征图{f2,f3,f4,f5}(从低层到高层)。
[0167]
(2)输入{f2,f3,f4,f5}到各自的se模块后，得到校准多尺度特征图{f
′2,f
′3,f
′4,f
′5}。
[0168]
(3)为了使各层特征表征包含更丰富的底层特征信息，这里通过下述公式对{f
′2,f
′3,f
′4,f
′5}进行特征融合：
[0169][0170][0171][0172][0173]
其中{a2,a3,a4,a5}表示上述计算公式所得的多尺度融合特征图，a2与f
′2、a3与f
′3、a4与f
′4、a5与f
′5各自具有相同图像尺度，conv1×1()表示一维卷积计算，down()和up()分别表示下采样和上采样计算，表示逐像素相加。
[0174]
(4)多尺度融合特征图经过平均池化操作后，再将其进行特征连接，得到各染色体簇的最终特征图。
[0175]
(5)最终特征图经过两层全连接层和softmax激励函数后，得到染色体簇的类别信息。
[0176]
(6)步骤2中所有真实染色体簇输入到染色体簇分类网络后，可分为三类：触碰染色体簇、重叠染色体簇、触碰和重叠染色体簇，如图5所示。
[0177]
5、染色体实例分割是对三类染色体簇分别进行分割，分割流程如下：
[0178]
(1)对触碰染色体簇分割，为快速且准确地实施分割，先通过提取出其骨架图、终端点以及轮廓图从而可以得到交叉区域的切割点；再连接上述逐对切割点得到引导线，对引导线作膨胀处理得到连接区域，计算连接区域内所有像素点的均值作为阈值后，将连接区域内所有低于阈值的像素点保留下来，再利用最小二值法对这些像素点进行处理，拟合出触碰染色体间的分割线，该分割线可完整分割触碰染色体簇，如图5所示。
[0179]
(2)对重叠染色体簇分割，由于重叠染色体图像尺寸较小且结构复杂，首先采用简化u-net提取出重叠区域，这里简化u-net的结构是仅采用了两次降采样以及对应的上采样构成的网络的结构；其次，重叠区域可近似为矩形，将矩形平行边两侧的图像和重叠区域进行拼接即可得到单个分离的染色体，如图7所示。
[0180]
(3)对于触碰和重叠染色体分割，先采用简化u-net提取出重叠区域，并通过拼接分离出重叠染色体簇；通过这步操作后重叠染色体簇已完全分割开，得到若干单个染色体和触碰染色体簇的集合，再利用凸包和最小外接矩形判别出触碰染色体簇，其中已分离的
若干单个染色体不作处理直接输出到单个染色体集合中，而触碰染色体簇将通过下述步骤继续分割；触碰染色体的分离如上述步骤(1)。
[0181]
经过上述3步分割步骤，所有染色体簇均能被分离，得到中期染色体图像中所有单个染色体集合。
[0182]
6、在进行染色体分类识别之前，利用单个染色体数据集对聚焦网络—focus-net进行训练，训练好的focus-net网络结构图如图8所示，包含四个模块：聚类模块、局部网络模块、全局网络模块以及分类模块。pab、cab和sab代表像素点注意力模块、通道注意力模块和空间注意力模块。
[0183]
7、用聚焦模块聚焦输入单个染色体图像中的显著区域并将其提取出来，聚焦模块由特征提取网络、多维注意力机制网络、特征融合网络以及掩码生成网络构成，显著区域具体生成过程如下：
[0184]
(1)采用resnet50-fpn作为基本特征提取网络，输入单个染色体图像，可提取出5个尺度的单个染色体特征图。
[0185]
(2)将多尺度特征图输入到多维注意力机制网络，生成多维注意力特征图，这里的多维注意力机制网络由像素点、通道、空间三种注意力机制组成，像素点注意力机制如图9所示，通道注意力机制如图10所示，空间注意力机制如图11所示。
[0186]
(3)生成的多维注意力特征图输入到特征融合网络中，目的是通过合理的融合方式将各注意力特征图有效地结合起来，首先可将多尺度像素点注意力特征图通过上采样处理使其分辨率变为同输入图像相同，处理过的像素点注意力特征图通过相加的方式进行融合，得到像素点注意力融合特征图，同样的方式处理通道、空间注意力特征图，得到通道注意力融合特征图、空间注意力融合特征图，最后利用加权相加再次融合三类融合特征图，生成最终的特征图，这里权重系数都置为1。
[0187]
(4)将(3)生成的特征图输入到掩码生成网络，目的是为了提取出显著区域的掩码，掩码生成网络由conv1×1和softmax激励函数组成。
[0188]
(5)生成显著性区域的掩码先进行形态学处理，去除噪声点并填充小空洞，再与输入原图像做相乘处理，得到单个染色体显著性区域图像。
[0189]
8、利用局部网络模块生成局部特征图，将步骤7得到的显著性区域图像输入到局部网络模块中可提取出单个染色体的局部特征图，这里局部网络模块由resnet50网络构成。
[0190]
9、同时利用全局网络模块生成全局特征图，将单个染色体图像输入到全局网络模块可得到全局特征图，这里的全局网络模块同样由resnet50网络构成。
[0191]
10、再利用分类网络模块识别单个染色体的类别，先将步骤8和步骤9中得到的局部和全局特征图连接起来，再输入到分类网络模块中输出染色体类别，这里的分类网络模块由2层全连接层和1个softmax激励函数组成。
[0192]
11、最后结合提取出的单个染色体及其对应的类别生成图2染色体图像的核型分析图，如图12所示。
[0193]
本发明的基于渐进分割和聚焦分类的全自动染色体图像分析方法，通过将传统分割方法和深度学习方法结合起来逐步对中期染色体图像中的触碰、重叠染色体簇准确地分割开，同时自动聚焦到单个染色体显著性区域并提取出有效的局部特征，与全局特征结合
起来大大提高了分类准确度。
[0194]
本发明基于渐进分割和聚焦分类的全自动染色体图像分析方法，分为两个阶段：一、由全局阈值分割、染色体簇分类网络以及染色体实例分割组成的渐进分割阶段，先采用全局阈值分割从人类中期染色体图像中提取出前景目标，再利用染色体簇分类网络将前景中粘连染色体簇分为三类，最后根据各染色体簇的特点进行染色体实例分割；二、聚焦分类阶段，由聚焦模块、全局网络模块、局部网络模块、分类模块组成的聚焦网络(focus-net)用于自动聚焦显著性区域、提取全局和局部特征、识别染色体类别，从而最终生成染色体核型分析图。本发明通过上述方式，逐步有效地实现触碰、重叠染色体的完整分割，同时能够自动聚焦到单个染色体的显著性区域，使提取的特征信息更加丰富，大大提升了分割、分类精度，整个染色体分析过程无人工干涉。
[0195]
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0196]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。