基于对抗生成网络的染色体拓扑结构分割方法及装置与流程

1.本发明涉及染色体分割技术领域，尤其涉及一种基于对抗生成网络的染色体拓扑结构分割方法及装置。


背景技术：

2.在染色体核型分析过程中，如何在中期图像上将染色体正确地分割出来，有着重要意义。对于染色体的分割，目前主要有以下几种方式：第一种方式就是常规的检测加分割。首先，使用一个检测网络，将染色体区域框出，之后再训练一个分割网络，对前面框出的区域裁剪后再分割出染色体。
3.第二种方式是直接使用实例分割网络，将每条染色体当作一条实例，大多数实例分割网络都是基于第一种检测加分割逻辑，共享主干特征层。但是基于检测网络有个致命缺点，就是无法避免地出现由于交并比（英文：intersection overunion，简称：iou）问题而漏框，或者出现框出莫名其妙的非染色体区域。对于染色体核型分析来说，染色体数量增加或减少都会被认为是异常核型。
4.第三种方式就是基于拓扑结构的染色体分割方式，即将染色体分为重叠区域以及非重叠区域，之后再进行非重叠区域的配对，得到完整的染色体。但是该种方式下，复杂粘连情况会出现非重叠区域，无法正确分离，导致后续配对出的染色体不正确。


技术实现要素：

5.本发明的目的在于提供一种基于对抗生成网络的染色体拓扑结构分割方法，以解决现有染色体核型分析过程中，基于检测加分割模式的染色体分割会导致出现莫名其妙的非染色体区域，以及不可避免的iou问题而漏框的问题。
6.本发明提供一种基于对抗生成网络的染色体拓扑结构分割方法，包括：获取染色体中期图；标注出染色体中期图中每条染色体的轮廓，根据每条染色体的轮廓获取每条染色体对应的掩码，根据掩码生成对应的重叠区域与非重叠区域的掩码，以及染色体区域的掩码，得到最后的标签掩码；将所述染色体中期图输入生成器，输出三个通道的掩码；将每条染色体外接矩形区域输入判别器，以根据得到的去噪、重叠以及非重叠区域的掩码以及同位置对应的标签掩码，判断生成器生成结果是否正确；判别器与生成器对抗训练，得到训练出来的生成器；将染色体中期图输入训练出来的生成器，分割出染色体对应的拓扑结构；将拓扑结构每个连通域内的非重叠区域进行配对，得到完整的染色体。
7.进一步地，采用unet结构的网络作为生成器。
8.进一步地，所述三个通道中的第一通道为染色体中期图中染色体区域的掩码，第一通道作用为过滤杂质和噪声；第二通道为染色体重叠区域的掩码；第三通道为染色体的
非重叠区域的掩码。
9.进一步地，将每条染色体外接矩形区域输入判别器，根据得到的去噪、重叠以及非重叠区域的掩码以及同位置对应的标签掩码，判断生成器生成结果是否正确，包括：将每条染色体的外接矩形区域对应的生成器位置，取出三个通道的掩码，加上染色体中期图原图对应的区域，拼接成四通道，并且对其做roi align操作，使其统一到64乘以64的尺寸；将标签掩码对应的三个通道区域取出，加上染色体中期图原图，拼接成四通道，也进行roi align操作，使其统一到64乘以64尺寸；将以上得到的结果数据输入至判别器中，采用mobilenetv3为判别器。
10.进一步地，生成器标签掩码加上染色体中期图原图对应的四个通道在判别器中得到的结果为正确，生成器所生成的掩码加染色体中期图原图对应的四个通道在判别器中的结果为错误。
11.第二方面，本发明提供一种基于对抗生成网络的染色体拓扑结构分割装置，包括：获取单元，用于获取染色体中期图；标注单元，用于标注出染色体中期图中每条染色体的轮廓，根据每条染色体的轮廓获取每条染色体对应的掩码，根据掩码生成对应的重叠区域与非重叠区域的掩码，以及染色体区域的掩码，得到最后的标签掩码；第一输入单元，用于将所述染色体中期图输入生成器，输出三个通道的掩码；第二输入单元，用于将每条染色体外接矩形区域输入判别器，以根据得到的去噪、重叠以及非重叠区域的掩码以及同位置对应的标签掩码，判断生成器生成结果是否正确；训练单元，用于判别器与生成器对抗训练，得到训练出来的生成器；第三输入单元，用于将染色体中期图输入训练出来的生成器，分割出染色体对应的拓扑结构；配对单元，用于将拓扑结构每个连通域内的非重叠区域进行配对，得到完整的染色体。
12.进一步地，采用unet结构的网络作为生成器。
13.进一步地，所述三个通道中的第一通道为染色体中期图中染色体区域的掩码，第一通道作用为过滤杂质和噪声；第二通道为染色体重叠区域的掩码；第三通道为染色体的非重叠区域的掩码。
14.进一步地，所述第二输入单元，用于：将每条染色体的外接矩形区域对应的生成器位置，取出三个通道的掩码，加上染色体中期图原图对应的区域，拼接成四通道，并且对其做roi align操作，使其统一到64乘以64的尺寸；将标签掩码对应的三个通道区域取出，加上染色体中期图原图，拼接成四通道，也进行roi align操作，使其统一到64乘以64尺寸；将以上得到的结果数据输入至判别器中，采用mobilenetv3为判别器。
15.进一步地，生成器标签掩码加上染色体中期图原图对应的四个通道在判别器中得到的结果为正确，生成器所生成的掩码加染色体中期图原图对应的四个通道在判别器中的结果为错误。
16.本发明的有益效果如下：本发明提供的一种基于对抗生成网络的染色体拓扑结构分割方法，通过获取染色体中期图，标注出染色体中期图中每条染色体的轮廓，根据每条染色体的轮廓获取每条染色体对应的掩码，根据掩码生成对应的重叠区域与非重叠区域的掩码，以及染色体区域的掩码，得到最后的标签掩码，将染色体中期图输入生成器，输出三个通道的掩码，将每条染色体外接矩形区域输入判别器，以根据得到的去噪、重叠以及非重叠区域的掩码以及同位置对应的标签掩码，判断生成器生成结果是否正确，判别器与生成器对抗训练，得到训练出来的生成器，将染色体中期图输入训练出来的生成器，分割出染色体对应的拓扑结构，将拓扑结构每个连通域内的非重叠区域进行配对，得到完整的染色体，本发明将拓扑结构分割网络当作一个生成器，增加一个判别器来判断生成出来的拓扑结构是否正确，从而加强网络对于细节上的学习，使得网络能够提高正确细节区域的分割能力，解决现有染色体核型分析过程中，基于检测加分割模式的染色体分割会导致出现莫名其妙的非染色体区域，以及不可避免的iou问题而漏框的问题。
附图说明
17.为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
18.图1是本发明一种基于对抗生成网络的染色体拓扑结构分割方法的流程图；图2是本发明一种基于对抗生成网络的染色体拓扑结构分割方法的网络结构图；图3（a）和图3（b）是常规拓扑结构分割结果与加入判别器结果的分割结果对比图。
具体实施方式
19.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。以下结合附图，详细说明本发明各实施例提供的技术方案。
20.请参阅图1和图2，本发明提供一种基于对抗生成网络的染色体拓扑结构分割方法，包括：s101，获取染色体中期图。
21.s102，标注出染色体中期图中每条染色体的轮廓，根据每条染色体的轮廓获取每条染色体对应的掩码，根据掩码生成对应的重叠区域与非重叠区域的掩码，以及染色体区域的掩码，得到最后的标签掩码。
22.s103，将所述染色体中期图输入生成器，输出三个通道的掩码。
23.在本实施例中，采用unet结构的网络作为生成器，所述三通道中的第一通道为染色体中期图中染色体区域的掩码，第一通道作用为过滤杂质和噪声；第二通道为染色体重叠区域的掩码，即两条染色体相交的区域；第三通道为染色体的非重叠区域的掩码，即染色体未与其他染色体相交的部分，也包括游离染色体。
24.s104，将每条染色体外接矩形区域输入判别器，以根据得到的去噪、重叠以及非重
叠区域的掩码以及同位置对应的标签掩码，判断生成器生成结果是否正确。
25.在本实施例中，将每条染色体的外接矩形区域对应的生成器位置，取出三个通道的掩码，加上染色体中期图原图对应的区域，拼接成四通道，并且对其做roi align操作，使其统一到64乘以64的尺寸；将标签掩码对应的三个通道区域取出，加上染色体中期图原图，拼接成四通道，也进行roi align操作，使其统一到64乘以64尺寸；将以上得到的结果数据输入至判别器中，采用mobilenetv3为判别器。使用roi align操作可避免生成器与判别器之间的梯度丢失。生成器标签掩码加上染色体中期图原图对应的四个通道在判别器中得到的结果为正确，生成器所生成的掩码加染色体中期图原图对应的四个通道在判别器中的结果为错误。
26.s105，判别器与生成器对抗训练，得到训练出来的生成器。
27.通过判别器与生成器不停对抗，训练出来的生成器，对于细节的拟合会非常的好。通过以上改进方案，最终得到的生成器，可以准确的分割出染色体对应的拓扑结构。
28.s106，将染色体中期图输入训练出来的生成器，分割出染色体对应的拓扑结构。
29.图3（a）为常规拓扑结构分割结果，图3（b）为本技术加入判别器的分割结果。
30.s107，将拓扑结构每个连通域内的非重叠区域进行配对，得到完整的染色体。
31.由以上实施例可知，本发明将拓扑结构分割网络当作一个生成器，增加一个判别器来判断生成出来的拓扑结构是否正确，从而加强网络对于细节上的学习，使得网络能够提高正确细节区域的分割能力，解决现有染色体核型分析过程中，基于检测加分割模式的染色体分割会导致出现莫名其妙的非染色体区域，以及不可避免的iou问题而漏框的问题。
32.本发明还提供一种基于对抗生成网络的染色体拓扑结构分割装置，包括：获取单元，用于获取染色体中期图；标注单元，用于标注出染色体中期图中每条染色体的轮廓，根据每条染色体的轮廓获取每条染色体对应的掩码，根据掩码生成对应的重叠区域与非重叠区域的掩码，以及染色体区域的掩码，得到最后的标签掩码；第一输入单元，用于将所述染色体中期图输入生成器，输出三个通道的掩码；第二输入单元，用于将每条染色体外接矩形区域输入判别器，以根据得到的去噪、重叠以及非重叠区域的掩码以及同位置对应的标签掩码，判断生成器生成结果是否正确；训练单元，用于判别器与生成器对抗训练，得到训练出来的生成器；第三输入单元，用于将染色体中期图输入训练出来的生成器，分割出染色体对应的拓扑结构；配对单元，用于将拓扑结构每个连通域内的非重叠区域进行配对，得到完整的染色体。
33.进一步地，采用unet结构的网络作为生成器。
34.进一步地，所述三个通道中的第一通道为染色体中期图中染色体区域的掩码，第一通道作用为过滤杂质和噪声；第二通道为染色体重叠区域的掩码；第三通道为染色体的非重叠区域的掩码。
35.进一步地，所述第二输入单元，用于：将每条染色体的外接矩形区域对应的生成器位置，取出三个通道的掩码，加上染色体中期图原图对应的区域，拼接成四通道，并且对其做roi align操作，使其统一到64乘
以64的尺寸；将标签掩码对应的三个通道区域取出，加上染色体中期图原图，拼接成四通道，也进行roi align操作，使其统一到64乘以64尺寸；将以上得到的结果数据输入至判别器中，采用mobilenetv3为判别器。
36.进一步地，生成器标签掩码加上染色体中期图原图对应的四个通道在判别器中得到的结果为正确，生成器所生成的掩码加染色体中期图原图对应的四个通道在判别器中的结果为错误。本发明实施例还提供一种存储介质，本发明实施例还提供一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现本发明提供的基于对抗生成网络的染色体拓扑结构分割方法各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体（英文：read-onlymemory，简称：rom）或随机存储记忆体（英文：randomaccessmemory，简称：ram）等。
37.本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。
38.本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于基于对抗生成网络的染色体拓扑结构分割装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
39.以上所述的本发明实施方式并不构成对本发明保护范围的限定。