分裂细胞检测方法、装置和计算机设备与流程

1.本技术涉及图像处理技术领域，特别是涉及一种分裂细胞检测方法、装置和计算机设备。


背景技术：

2.传统的分裂细胞检出方法，通常由病理学家利用显微镜在高放大倍率下对he（hematoxylin and eosin，苏木精伊红）染色的组织学载玻片制剂中的分裂细胞进行检查和计数。然而人工检查和计数存在主观性，非常耗时且容易出错，为此，相关技术提出了一种细胞有丝分裂检测方法，其设计要点是利用图像矩阵的列向量构造成新矩阵，再对新矩阵低秩分解，分解为大小相同的低秩矩阵和稀疏矩阵。分解的稀疏矩阵的列向量被用来构造新矩阵，迭代新矩阵的地址分解。最终稀疏部分认为是分裂细胞部分，低秩部分认为是非分裂细胞部分。但是，这种方法容易受组织染色差异影响，不适用于检测所有时期的分裂细胞，导致分裂细胞检出率较低。
3.针对相关技术中存在分裂细胞检出率低的问题，目前还没有提出有效的解决方案。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够提高分裂细胞检出率的分裂细胞检测方法、装置和计算机设备。
5.第一方面，本技术提供了一种分裂细胞检测方法，所述方法包括：获取细胞染色图像，在所述细胞染色图像中确定分裂细胞的多个候选区域；提取各所述候选区域的图像特征、轮廓特征和结构特征；根据所述多个候选区域的图像特征、轮廓特征和结构特征，对所述多个候选区域进行分类以得到分裂细胞所在区域。
6.在其中一些实施例中，在所述细胞染色图像中确定分裂细胞的多个候选区域包括：提取所述细胞染色图像中的最佳染色向量，将所述最佳染色向量输入至yolov5模型进行检测，得到所述分裂细胞的多个候选区域。
7.在其中一些实施例中，提取所述细胞染色图像中的最佳染色向量包括：将所述细胞染色图像的多种颜色分量转换成对应的光密度值；根据奇异值对所述多种颜色分量进行分解；根据各所述光密度值与奇异值主分解方向之间的角度确定所述最佳染色向量。
8.在其中一些实施例中，提取各所述候选区域的图像特征包括：将所述多个候选区域输入至resnet-18网络，基于所述resnet-18网络，对各所述候选区域的细胞核的颜色进行特征提取，得到所述图像特征。
9.在其中一些实施例中，提取各所述候选区域的轮廓特征包括：
对各所述候选区域进行边缘检测，得到边缘检测结果；将所述多个候选区域输入至resnet-18网络，基于所述resnet-18网络，对所述边缘检测结果的形态进行特征提取，得到所述轮廓特征。
10.在其中一些实施例中，提取各所述候选区域的结构特征包括：根据hessian矩阵获取各所述候选区域的特征值；根据所述特征值计算与细胞结构相关的形状指数和归一化曲率指数；根据所述形状指数和归一化曲率指数，得到所述结构特征。
11.在其中一些实施例中，根据所述多个候选区域的图像特征、轮廓特征和结构特征，对所述多个候选区域进行分类以得到分裂细胞所在区域包括：将各所述候选区域的图像特征、轮廓特征和结构特征，输入至随机森林模型进行决策，根据决策结果确定所述多个候选区域中分裂细胞所在区域。
12.在其中一些实施例中，获取细胞染色图像包括：获取拍摄染色的组织学载玻片得到的第一图像；将所述第一图像裁剪为1024*1024像素的所述细胞染色图像。
13.第二方面，本技术提供了一种分裂细胞检测装置，所述装置包括：获取模块，用于获取细胞染色图像，在所述细胞染色图像中确定分裂细胞的多个候选区域；提取模块，用于提取各所述候选区域的图像特征、轮廓特征和结构特征；决策模块，用于根据所述多个候选区域的图像特征、轮廓特征和结构特征，对所述多个候选区域进行分类以得到分裂细胞所在区域。
14.第三方面，本技术提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述分裂细胞检测方法的步骤。
15.第四方面，本技术提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述分裂细胞检测方法的步骤。
16.上述分裂细胞检测方法、装置和计算机设备，通过获取细胞染色图像，在细胞染色图像中确定分裂细胞的多个候选区域；提取各候选区域的图像特征、轮廓特征和结构特征；根据多个候选区域的图像特征、轮廓特征和结构特征，对多个候选区域进行分类以得到分裂细胞所在区域，解决了相关技术中存在分裂细胞检出率低的问题，提高了分裂细胞的检出率。
附图说明
17.图1是本技术一实施例中分裂细胞检测方法的终端的硬件结构框图；图2是本技术一实施例中分裂细胞检测方法的流程图；图3是本技术一实施例中宫颈鳞状上皮组织非分裂细胞检测方法的流程图；图4是本技术一实施例中分裂细胞检测装置的结构框图；图5是本技术一实施例中计算机设备的内部结构图。
具体实施方式
18.为更清楚地理解本技术的目的、技术方案和优点，下面结合附图和实施例，对本技术进行了描述和说明。
19.除另作定义外，本技术所涉及的技术术语或者科学术语应具有本技术所属技术领域具备一般技能的人所理解的一般含义。在本技术中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本技术中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块（单元）的过程、方法和系统、产品或设备并未限定于列出的步骤或模块（单元），而可包括未列出的步骤或模块（单元），或者可包括这些过程、方法、产品或设备固有的其他步骤或模块（单元）。在本技术中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本技术中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本技术中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。
20.在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本技术一实施例的分裂细胞检测方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个（图1中仅示出一个）处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。
21.存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的分裂细胞检测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
22.传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（network interface controller，简称为nic），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（radio frequency，简称为rf）模块，其用于通过无线方式与互联网进行通讯。
23.在一个实施例中，如图2所示，提供了一种分裂细胞检测方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：步骤s201，获取细胞染色图像，在细胞染色图像中确定分裂细胞的多个候选区域。
24.细胞染色图像，指的是对染色的组织学载玻片进行拍摄后得到的图像。例如，获取经he（hematoxylin and eosin，苏木精伊红）染色的组织学载玻片，采用高放大倍率摄像机
对组织学载玻片进行拍摄，得到细胞染色图像。候选区域，指的是在细胞染色图像中对分裂细胞进行初步识别所得到的区域。
25.步骤s202，提取各候选区域的图像特征、轮廓特征和结构特征。
26.图像特征，指的是细胞核颜色，具体可以是基于像素级的rgb值。轮廓特征，指的是细胞核是否分裂成两部分的分裂信息、细胞核所处位置的排列信息。结构特征，指的是细胞核的形状和不规则度。
27.步骤s203，根据多个候选区域的图像特征、轮廓特征和结构特征，对多个候选区域进行分类以得到分裂细胞所在区域。
28.将各候选区域的图像特征、轮廓特征和结构特征，输入至随机森林模型进行决策，根据决策结果确定多个候选区域中分裂细胞所在区域，即将多个候选区域分为细胞分裂区域和非细胞分裂区域。一种可选的决策过程如下：利用训练好的21棵决策树对输入的图像特征、轮廓特征和结构特征进行决策，每棵树都将得到是否为细胞分裂区域的决策结果；采取投票的方式，获得最多决策树投票的类别为最终类别。
29.在上述步骤s201至s203中，在细胞染色图像中初步识别分裂细胞的候选区域，利用细胞染色图像中多个维度的特征，对初步识别的候选区域进行精细分类，进而得到分裂细胞所在区域，如此设置，能够充分利用像素信息和形状信息，有利于检测处于不同时期的分裂细胞，提高分裂细胞检出率和检出准确度。
30.相关技术利用细胞分裂区域显著特征和时空关联特性提取细胞分裂候选区域，再用方向梯度直方图对候选区域进行分类，其提取和确定候选区域的特征较为简单，容易造成漏检，以及不能很好地区分较为相似的分裂细胞和非分裂细胞。针对该问题，在一个实施例中，在细胞染色图像中确定分裂细胞的多个候选区域包括：提取细胞染色图像中的最佳染色向量，将最佳染色向量输入至yolov5模型进行检测，得到分裂细胞的多个候选区域。具体地，yolov5模型的相关参数可以作如下设置：conf-thres（置信度）设置为0.05，iou-thres（交并比）设置为0.3，模型大小设置为yolov5m。如此设置，提升了分裂细胞的检出率。
31.可选的，yolov5模架构由backbone、neck和yolo输出端构成；其中，backbone用于特征提取，将最佳染色向量图像中的物体信息通过卷积网络进行提取，以用于后续进行目标检测；neck用于组合特征，增强网络的鲁棒性，加强物体检测能力，并且将这些特征传递给head层进行预测；yolo输出端用于进行候选区域的预测输出。具体地，backbone包括focus模块、spp模块和csp_x模块；其中，focus模块用于采用切片操作把高分辨率的最佳染色向量图像拆分成多个低分辨率的最佳染色向量，即隔列采样和拼接；spp模块用于进行空间金字塔池化，将任意大小的特征图转换成固定大小的特征向量；csp_x模块用于增加残差结构，例如增加层与层之间反向传播的梯度值，避免因为加深而带来的梯度消失，从而可以提取到更细粒度的特征并且不用担心网络退化。neck包括fpn和pan；其中，fpn用于以自顶向下的方式，将高层特征通过上采样和低层特征做融合得到可预测的特征图；pan用于fpn的基础上增加从下至上的特征融合，把浅层的定位信息传导到深层，增强多个尺度上的定位能力。yolo输出端设置有bounding box损失函数和nms非极大值抑制；其中，bounding box损失函数，根据真实检测框和模型预测输出框的吻合程度，以反向传播优化模型；nms非极大值抑制，用于判断相邻网格识别的是否是同一物体，以消除掉多余检测框。
32.相关技术利用对图像矩阵的低秩分解检测分裂细胞，其容易受组织染色差异影响
且不适用于检测所有时期的分裂细胞。针对该问题，在一个实施例中，提取细胞染色图像中的最佳染色向量包括：将细胞染色图像的多种颜色分量转换成对应的光密度值；根据奇异值对多种颜色分量进行分解；根据各光密度值与奇异值主分解方向之间的角度确定最佳染色向量。
33.如此设置，将rgb通道转换为光密度值，减少了组织染色差异对检测的影响。具体地，将细胞染色图像的rgb颜色转换为其对应的光密度值，并用奇异值对rgb颜色进行分解，利用每个光密度值与奇异值主分解方向之间的角度来确定最佳染色向量。rgb转换为光密度值的公式如下：其中，od代表光密度值，i代表经过归一化后的rgb颜色向量。
34.在一个实施例中，提取各候选区域的图像特征包括：将多个候选区域输入至resnet-18网络，基于resnet-18网络，对各候选区域的细胞核的颜色进行特征提取，得到图像特征。
35.resnet-18网络，用于提取候选区域的空间特征。可选的，resnet-18网络结构由17个卷积层和1个全联接层组成，由堆叠的残差块表示，每个不同卷积结构的残差块之间通过stride为2的下采样联接；resnet-18网络采用统一的卷积内核大小和池化层内核大小，具体为由尺寸大小为3
×
3的滤波器构成卷积层，尺寸为2
×
2的滤波器构成池化层，卷积之后的平均池化操作之后是一个全联接层，resnet-18网络最后一层的fc层包含1000个通道，模型的最后一部分由softmax分类器执行分类。
36.在一个实施例中，提取各候选区域的轮廓特征包括：对各候选区域进行边缘检测，得到边缘检测结果；将多个候选区域输入至resnet-18网络，基于resnet-18网络，对边缘检测结果的形态进行特征提取，得到轮廓特征。
37.具体地，将候选区域进行灰度化和二值化，利用canny边缘检测算法提取细胞边缘特征，将细胞边缘特征作为resnet-18网络的输入，利用resnet-18网络提取分裂细胞的形态相关的特征，得到轮廓特征。
38.在一个实施例中，提取各候选区域的结构特征包括：根据hessian矩阵获取各候选区域的特征值；根据特征值计算与细胞结构相关的形状指数和归一化曲率指数；根据形状指数和归一化曲率指数，得到结构特征。
39.hessian矩阵，是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。
40.形态指数θ计算公式如下：归一化曲率指数φ计算公式如下：其中，和是hessian矩阵的两个特征值，i是经过归一化后的rgb颜色向量。
41.相关技术的分裂细胞检测方法，通常是将图像裁剪成非重叠的图像块，再对其进行核分裂区域和非核分裂区域的分类。这种方法不能确保分裂细胞位于图像块的中心。因此，一个分裂细胞容易被分割到不同的图像块，从而影响分裂细胞的检出率。针对该问题，在一个实施例中，获取细胞染色图像包括：获取拍摄染色的组织学载玻片得到的第一图像；将第一图像裁剪为1024*1024像素的细胞染色图像。如此设置，能够确保分裂细胞位于图像块的中心，避免一个分裂细胞被分割到不同的图像块，从而提升分裂细胞的检出准确度。
42.在一个实施例中，请参阅图3，给出了一种宫颈鳞状上皮组织非分裂细胞检测方法的流程图，该流程包括如下步骤：步骤s301，裁剪图像；将宫颈鳞状上皮组织的he图像裁剪为1024*1024像素的图像；步骤s302，转换通道；将rgb颜色转换为其对应的光密度值，并用奇异值对其进行分解，利用每个光密度值与奇异值主分解方向之间的角度来确定最佳染色向量；步骤s303，基于yolov5模型检测候选区域；将步骤s302提取的最佳染色向量作为输入，使用yolov5模型检测图像中分裂细胞的候选区域步骤s304，基于resnet-18网络提取候选区域的图像特征；步骤s305，基于resnet-18网络提取候选区域的轮廓特征；利用canny边缘检测算法提取细胞边缘特征，将细胞边缘特征作为resnet-18网络的输入，利用resnet-18网络提取分裂细胞的形态相关的特征，得到轮廓特征；步骤s306，提取候选区域的结构特征；使用hessian矩阵获取候选区域的特征值，利用特征值计算与细胞结构相关的形状指数和归一化曲率指数；步骤s307，将多维特征输入至随机森林进行决策，根据决策结果对候选区域进行分类。
43.通过上述步骤s301至s307，将图像裁剪为1024*1024像素的细胞染色图像，能够确保分裂细胞位于图像块的中心，避免一个分裂细胞被分割到不同的图像块，使用yolov5模型提取分裂细胞的候选区域，以及充分利用了多维度的特征，可以较好地区分相似地分裂细胞和非分裂细胞，检出率高且更为准确。
44.需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。例如，步骤s303至步骤s305之间的顺序可以任意互换。
45.结合上述实施例的分裂细胞检测方法，在本实施例中还提供了一种分裂细胞检测装置，用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。如图4所示，该装置包括：获取模块，用于获取细胞染色图像，在细胞染色图像中确定分裂细胞的多个候选区域；提取模块，用于提取各候选区域的图像特征、轮廓特征和结构特征；决策模块，用于根据多个候选区域的图像特征、轮廓特征和结构特征，对多个候选区域进行分类以得到分裂细胞所在区域。
46.上述分裂细胞检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实
现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
47.在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种分裂细胞检测方法的步骤。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
48.本领域技术人员可以理解，图5中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
49.此外，结合上述实施例中提供的分裂细胞检测方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种分裂细胞检测方法的步骤。
50.需要说明的是，本技术所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
51.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（read-only memory，rom）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（reram）、磁变存储器（magnetoresistive random access memory，mram）、铁电存储器（ferroelectric random access memory，fram）、相变存储器（phase change memory，pcm）、石墨烯存储器等。易失性存储器可包括随机存取存储器（random access memory，ram）或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器（static random access memory，sram）或动态随机存取存储器（dynamic random access memory，dram）等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
52.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
53.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。