一种基于U型残差神经网络的细胞图像分割示踪方法与流程

一种基于u型残差神经网络的细胞图像分割示踪方法
技术领域
1.本发明属于图像处理和计算机视觉技术领域，具体为一种基于u型残差神经网络的细胞图像分割示踪方法。


背景技术：

2.随着显微细胞图像识别在医学图像处理领域的不断发展，医学细胞图像处理方法的研究能够有效找出病理原因，便于对症下药以及研发特效药。与此同时细胞图像分割作为医学细胞图像分析和处理的关键技术，也是机器视觉的重要一环。
3.随着图片处理技术与计算机视觉技术的提高，细胞分割精确度不断提高，在识别出细胞轮廓并分割的基础之上，科学研究中对于多细胞场景下的识别定位提出了新的要求。细胞位置在显微镜内观察会不断变化而难以界定并标注，因此根据细胞位置在图像上的变化可以捕捉并定位到具体细胞，这在生物医学的研究中有着重要意义。
4.现有技术中，主要的细胞图像分割示踪方法将细胞示踪分为细胞分割、谱系分析和掩膜示踪三个步骤。细胞的分割主要是基于分水岭分割、阈值分析以及模糊理论来进行区域划分；谱系分析主要有基于距离的分析方法、基于连通分量的分析方法和基于k近邻的方法；掩膜示踪主要是在细胞分割的基础上进行的方法，主要有基于分水岭算法的掩膜示踪、基于边缘检测的掩膜示踪和基于神经网络的掩膜示踪。然而对于细胞存在重叠和粘连的情况时，用基于阈值分析的分割方法很容易导致混乱的细胞分割结果；并且对于细胞的谱系分析过程，对于细胞图像要求很高，难以做到普适性的分析过程，而且要求细胞定位精确，否则将最终示踪结果不理想。
5.因此，与现有技术相比，本发明的细胞图像分割示踪虽然同样使用了基于u型残差神经网络的算法，但在此基础上还进行形态学处理，再结合基于细胞核位置的估计算法；并且，与传统细胞分割示踪步骤不同的是，本发明同时进行了细胞的示踪与分割过程，并根据细胞核估计点位置对细胞图像进行了分割优化；最后，本发明对细胞掩膜分割同样用了卷积神经网络u
‑
net ，意在提取掩膜特征，并结合与之同步生成的位置距离图并结合时序算法对细胞图像进行分割与寻迹。


技术实现要素：

6.发明目的：为了克服现有技术存在的缺点与不足，本发明提供一种基于u型残差神经网络的细胞分割示踪方法。本发明解决了细胞重叠与粘连情况下分割准确率低的问题，也对细胞分裂、细胞消失出现事件进行了高精度追踪，同时提高了细胞示踪的计算效率，本发明对细胞图像移动的位置向量进行滤波并分析，从而避免了人工标注的不确定性，同时对多种细胞分割示踪有很高的准确率。
7.技术方案：为实现本发明的目的，本发明采用的技术方案是：一种基于u型残差神经网络的细胞分割示踪方法，包括以下步骤：
8.步骤1：对获取的细胞图像进行预处理，降低噪声干扰；
9.步骤2：根据细胞图像与给定的对应人工注释，生成细胞的移动位置向量，然后进行图像增强，并联系连续两帧细胞图像，对后一帧细胞中心位置使用高斯滤波对标记点进行扩散处理；
10.步骤3：细胞分割与向量预测，首先将连续两帧原图像进行拼接，作为u型卷积神经网络的输入，输出的结果作为细胞分割的结果，并在步骤2所述的移动位置向量的基础上继续使用u型卷积神经网络提取特征并输出移动位置向量的结果，通过加入残差层以保留在特征提取与分离过程中的图像细节；
11.步骤4：细胞分割示踪后处理，在步骤3的基础上对预测的移动位置向量进行处理，将分割结果进行去噪处理并二值化，以移动位置向量的各个峰值作为实际细胞位置标签，执行分水岭算法生成最终的示踪细胞图像。
12.进一步，步骤1中细胞图像预处理是首先将获取的细胞图像通过形态变换统一尺寸，之后对变换后的图片灰度化处理，即灰度变换与灰度拉伸。
13.原图像的像素参差不齐，对于图像分割而言，像素过高往往会一定程度上影响图像处理速度，而尺寸不统一的情况下在进行u型神经网络预测过程时可能导致意外错误的发生。因此，首先要对图像的尺寸进行统一，提高系统响应的速度，使系统的实时性更好。
14.进一步，步骤2中对移动位置向量的生成，具体步骤如下：
15.s1:使用高斯滤波器对人工标注点的位置进行模糊化处理，再将相关联的前后两帧的对应点以移动向量的方式进行表示；
16.s2:对s1所述细胞移动位置向量进行标准化处理，消除因距离尺度不同而导致的向量长度不一问题；
17.s3:将上述s2的移动位置向量集合中取与上一帧位置点目标函数值最大的点作为最终该位置点的移动向量的值。
18.进一步，所述步骤s1中细胞核位置模糊化处理，原理如下所示：
[0019][0020]
其中表示在第t帧图像上的第i个细胞核的中心位置，σ为一个超参数，表示高斯分布的标准差，用于控制峰值点向周围的扩散程度。
[0021]
进一步，所述步骤s2中细胞移动向量的标准化处理，原理如下所示：
[0022][0023]
其中即细胞i在时间窗口t
‑
1到t时刻的移动向量，除以移动向量的二范式可以得到标准化向量，在此基础上乘以步骤s1所述的高斯分布处理过后的细胞核位置似然图，得到移动位置的估计向量。
[0024]
进一步，所述步骤s3中移动向量的取值，原理如下所示：
[0025][0026][0027]
其中表示为标准化后长度最大的移动向量所表示的点，在该点处所表示的由第
t
‑
1帧到第t帧图像中的移动位置向量。
[0028]
进一步，步骤2中对细胞图像的拼接与图像增强处理，具体步骤如下：
[0029]
s21:使用高斯滤波器对细胞图像中存在的图像噪声进行去除，平滑细胞图像；
[0030]
s22:将上述s21的细胞图像进行形态学处理；
[0031]
s23:对s22所述图像进行拼接操作。
[0032]
其中有一个重要的基本概念叫做结构元素，结构元素在变换中相当于是信号处理中的“滤波窗口”。用代表结构元素对工作区间e中的每一点x，腐蚀和膨胀的定义为：
[0033]
腐蚀：
[0034][0035]
用b(x)对e进行腐蚀，结果就是把结构元素b平移，使b包含于e的所有点构成的集合。
[0036]
膨胀：
[0037][0038]
用b(x)对e进行膨胀，结果就是把结构元素b平移，使b与e的交集中非空的点构成的集合。
[0039]
本发明的形态化操作就是形态学处理的开运算，即先腐蚀(断开明显粘连位置)后膨化。将原有图像中存在的细微噪声进行去除，并在一定程度上平滑边界，对明显非单个细胞区域进行断开处理。
[0040]
进一步，步骤3中的细胞分割与向量预测，具体步骤如下：
[0041]
s31:使用u型残差神经网络提取连续两帧图像的特征，并给出细胞分割结果；
[0042]
s32:将s31所述的细胞分割掩膜作为u型神经网络的输入，提取其中对特征进行训练并给出预测的移动位置向量结果。
[0043]
进一步，所述步骤s31中，使用u型残差神经网络输出分割结果，具体如下：
[0044]
本发明在u型神经网络的基础上进行了改进，为了使图像分割结果更加精细，突出原始图像的细节信息，在此使用了残差函数用于拟合网络中的恒等映射函数，引入残差后的特征映射对网络的输出变化更加敏感，保留编码部分中不同网络层因卷积操作所丢失的信息，在重新学习补充的信息时也并无新增参数与操作，性能较之u型神经网络有很大提升。所述网络结构由8层构成，主要包含卷积层和池化层，所述残差跳跃连接结构分别位于各层网络在降采样过程中，与对应上采样层进行连接。在降采样过程中d1层特征拼接至u1层，增加了64个特征平面；d2层特征拼接至u2层，增加了128个特征平面；d3层特征拼接至u3层，增加了256个特征平面；d4层特征拼接至u4层，增加了512个特征平面。
[0045]
进一步，所述步骤s31中利用u型残差网络提取连续图像帧特征，方法如下：
[0046]
首先进行前向计算，每个神经元中能够得出相应的输出值，之后计算每个神经元输出值与实际给定值的误差项，通过计算误差来构造出神经网络的损失函数，从而确定优化目标函数。根据损失函数的梯度下降规则更新网络的权值参数。重复上诉步骤直至网络误差小于给定值或达到预设的网络训练次数。
[0047]
进一步，所述步骤s32中，使用细胞分割结果进行移动位置向量预测，具体方法为：
[0048]
作为u型网络结构，在移动位置向量预测的过程中需要对已获得的连续两帧细胞
分割掩码进行拼接处理，将拼接后的图像作为移动位置向量预测网络的输入，通过神经网络对距离图向量进行计算并作出关联分析预测。由于移动位置向量是在一个未指定范围内的高斯分布函数，在很大程度上避免了模型过分依赖原始训练集中人为标定细胞图像中心点的问题，一定程度上增强了细胞示踪技术的鲁棒性。
[0049]
进一步，所述步骤s32中，对于移动位置向量预测误差使用了均方误差(mean squared error,mse)计算方法，输入的连续两帧图像作为双通道输入，移动位置向量作为三通道输出，误差计算公式如下所示：
[0050][0051]
其中是c与向量间的平方误差，是c与间的数值平方误差，本发明使用如此误差计算公式，旨在提升神经网络训练的收敛速度与训练模型的稳定性。
[0052]
进一步，步骤4中对细胞追踪的后处理，具体步骤如下:
[0053]
s41：通过移动位置向量进行解码还原为细胞图像具体位置；
[0054]
s42:对s41所述的细胞关联标记进行处理；
[0055]
s43:对s42所述分类后的细胞图像事件，设置规则策略优化关联分析。
[0056]
进一步，所述步骤s41中，通过预测的移动位置向量对细胞图像进行关联标记，具体如下：
[0057]
对预测出的移动位置向量，其形式为一张与原细胞图像大小相同的数字矩阵。对移动位置向量进行点迹还原可以获得细胞移动的轨迹点，通过设置恰当的阈值，可以筛选出符合预测结果的细胞轨迹点，在第t帧图像上的第i号细胞位置为
[0058][0059]
在时的预测移动位置向量为因此，移动向量点迹还原用公式表达如下所示：
[0060][0061]
通过上述公式(7)所得的细胞估计位置，计算该细胞位置在一定范围内与实际位置中距离最小的细胞，则将两个细胞位置进行关联。
[0062]
进一步，所述步骤s42中，对细胞关联标记进行处理，具体如下：
[0063]
在上述步骤s41中，为了完整的对细胞生命周期进行示踪，需要对细胞可能存在的分裂事件进行检测，因此得到的细胞位置估计是从后向前的，其中可能存在多个细胞位置与前一帧中的某个相同位置进行关联。对于得到的细胞关联标记事件，将存在多个关联标记的细胞记录并标记为细胞分裂事件，将连续两帧中前一帧不出现细胞位置向量的位置列为细胞出现事件，将连续两帧中后一帧不出现的细胞位置向量列为细胞消失事件。
[0064]
进一步，所述步骤s43中，设置规则策略优化关联分析，具体如下：
[0065]
细胞移动位置向量产生的过程中存在部分向量丢失的问题，对最终的细胞事件生成有较大影响，严重影响到示踪结果。对此本发明使用了基于时间窗口的事件检测矫正方法，在预设的一段事件窗口内，相近位置的细胞产生不同情况的事件时进行校验并完成插值补全。例如，在第t帧检测到细胞产生了分裂事件，第t 1帧仅存在一个细胞，但在t 2帧时
再次出现两个细胞，激活多次细胞分裂事件而导致误跟踪，此时会对第t 1帧细胞图像进行双线性插值补全其中的点迹。双线性插值的公式表达如下所示：
[0066][0067][0068][0069]
其中，r1＝(x,y1)，r2＝(x,y2)，q
11
，q
12
，q
21
，q
22
分别为检测到的细胞在帧间的位置。
[0070]
有益效果：与现有技术相比，本发明的细胞图像分割示踪技术方案具有以下有益技术效果：
[0071]
(1)本发明采用的细胞分割示踪方法，尽管同样使用了分水岭算法，但在网络输入前后对图像进行了形态学处理，并结合细胞生命周期中的分裂理论，有效地提高了细胞分割与细胞示踪的准确率。
[0072]
(2)本发明对细胞进行示踪过程加入了对移动位置向量的编码过程，将细胞移动的整个过程以向量图的形式作为特征输入，便于对模型的训练，也在很大程度上提升了模型的准确性与鲁棒性。
[0073]
(3)本发明在对细胞图像的分割与示踪过程中是同步且统一的，无需分为先分割后示踪两个步骤，减少了分步运算过程中的不协同问题。
[0074]
(4)本发明对细胞分割过程虽然同样使用了u型神经网络，但增加了残差模块，增强了所提取图像特征的边缘特征，并结合后处理过程对细胞图像运动轨迹的补充识别，确保细胞分割与示踪的高准确率。
附图说明
[0075]
图1是本发明实施例的算法流程图。
[0076]
图2是本发明实施例涉及的细胞分割过程流程示意图。
[0077]
图3是本发明实施例涉及的细胞示踪流程示意图。
[0078]
图4是本发明实施例涉及的细胞示踪后处理示意图。
具体实施方式
[0079]
下面结合附图和实施例对本发明的技术方案作进一步的说明。
[0080]
本发明所述的一种基于u型残差神经网络的细胞图像分割示踪方法，如图1所示，包括以下步骤：
[0081]
101、对获取的细胞图像进行预处理，降低噪声干扰；
[0082]
102、根据细胞核在帧间移动位置生成移动位置向量，再使用边缘检测以及形态学处理进行细胞图像增强；
[0083]
103、将步骤102所述的细胞图像作为u型神经网络输入，提取细胞掩膜特征并根据掩膜特征对移动位置向量进行预测；
[0084]
104、使用细胞移动位置向量的预测结果对细胞位置进行定位，参考细胞移动位置对细胞变化事件进行分类；
[0085]
105、根据细胞分类事件提升细胞寻迹效果，结合细胞掩膜特征执行分水岭分割算法实现细胞有标识地分割。
[0086]
步骤101中细胞图像预处理方法如下：
[0087]
首先将获取的细胞图像变换成统一尺寸128*128，并对变换后的图片灰度化处理，即灰度变换与灰度拉伸。
[0088]
步骤102中所述移动位置向量生成与图像增强，具体步骤如下：
[0089]
201、使用高斯滤波器对人工标注点的位置进行模糊化处理，再将相关联的前后两帧的对应点以移动向量的方式进行表示；
[0090]
202、使上述201所述细胞移动位置向量进行标准化处理，消除因距离尺度不同而导致的向量长度不一问题；
[0091]
203、对201所述细胞图像区域进行形态学处理。
[0092]
步骤201中细胞核位置模糊化处理计算公式如下所示：
[0093][0094]
其中表示在第t帧图像上的第i个细胞核的中心位置，σ为一个超参数，表示高斯分布的标准差，用于控制峰值点向周围的扩散程度。
[0095]
步骤202中细胞移动位置向量的标准化处理，具体公式如下所示：
[0096][0097]
其中即细胞i在时间窗口t
‑
1到t时刻的移动向量，除以移动向量的二范式可以得到标准化向量，在此基础上乘以步骤s1所述的高斯分布处理过后的细胞核位置似然图，得到移动位置的估计向量。可由上述得到的移动位置估计向量计算出置信度最高的移动位置向量，具体公式如下所示：
[0098][0099][0100]
其中表示为标准化后长度最大的移动向量所表示的点，在该点处所表示的由第t
‑
1帧到第t帧图像中的移动位置向量。
[0101]
步骤203中对细胞图像进行形态学处理具体方法如下：
[0102]
用代表结构元素对工作区间e中的每一点x，腐蚀和膨胀的定义如下：
[0103]
腐蚀：
[0104][0105]
用b(x)对e进行腐蚀，结果就是把结构元素b平移，使b包含于e的所有点构成的集合。
[0106]
膨胀：
[0107][0108]
用b(x)对e进行膨胀，结果就是把结构元素b平移，使b与e的交集中非空的点构成
的集合。
[0109]
本发明的形态化操作就是形态学处理的开运算，即先腐蚀(断开明显粘连位置)后膨化。将原有图像中存在的细微噪声进行去除，并在一定程度上平滑边界，对明显非单个细胞区域进行断开处理。
[0110]
步骤103所述的细胞分割与向量预测，具体步骤如下：
[0111]
301、使用u型残差神经网络提取连续两帧图像的特征，并给出细胞分割结果；
[0112]
302、将步骤301所述的细胞分割掩膜作为u型神经网络的输入，提取其中对特征进行训练并给出预测的移动位置向量结果；
[0113]
303、设置均方误差训练网络，通过最小化误差对网络参数特征进行拟合。
[0114]
步骤301所述使用u型残差神经网络输出结果，具体特征如下：
[0115]
对u型神经网络的基础上进行了改进，为了使图像分割结果更加精细，突出原始图像的细节信息，在此使用了残差函数用于拟合网络中的恒等映射函数，引入残差后的特征映射对网络的输出变化更加敏感，保留编码部分中不同网络层因卷积操作所丢失的信息，在重新学习补充的信息时也并无新增参数与操作，性能较之u型神经网络有很大提升。所述网络结构由8层构成，主要包含卷积层和池化层，所述残差跳跃连接结构分别位于各层网络在降采样过程中，与对应上采样层进行连接。在降采样过程中d1层特征拼接至u1层，增加了64个特征平面；d2层特征拼接至u2层，增加了128个特征平面；d3层特征拼接至u3层，增加了256个特征平面；d4层特征拼接至u4层，增加了512个特征平面。
[0116]
步骤302所述移动位置向量预测，具体方法如下：
[0117]
在移动位置向量预测的过程中需要对已获得的连续两帧细胞分割掩码进行拼接处理，将拼接后的图像作为移动位置向量预测网络的输入，通过神经网络对距离图向量进行计算并作出关联分析预测。
[0118]
步骤303所述误差计算使用了均方误差(mean squared error,mse)计算方法，输入的连续两帧图像作为双通道输入，移动位置向量作为三通道输出，具体公式如下所示：
[0119][0120]
其中是c与向量间的平方误差，是c与间的数值平方误差，本发明使用如此误差计算公式，旨在提升神经网络训练的收敛速度与训练模型的稳定性。
[0121]
步骤104所述对细胞追踪的后处理，具体步骤如下:
[0122]
401、通过移动位置向量进行解码还原为细胞图像具体位置；
[0123]
402、对步骤401所述细胞图像位置进行关联标记，并对关联标记进行事件分类；
[0124]
403、对步骤402所述细胞图像事件，设置规则策略优化关联分析。
[0125]
步骤401中，对预测的移动位置向量进行解码，具体如下：
[0126]
对预测出的移动位置向量，其形式为一张与原细胞图像大小相同的数字矩阵。对移动位置向量进行点迹还原可以获得细胞移动的轨迹点，通过设置恰当的阈值，可以筛选出符合预测结果的细胞轨迹点，在第t帧图像上的第i号细胞位置为
[0127]
[0128]
在时的预测移动位置向量为因此，移动向量点迹还原用公式表达如下所示：
[0129][0130]
通过上述公式(7)所得的细胞估计位置，计算该细胞位置在一定范围内与实际位置中距离最小的细胞，则将两个细胞位置进行关联。
[0131]
步骤402中对细胞关联标记进行处理分类，方法如下：
[0132]
对细胞可能存在的分裂事件进行检测，因此得到的细胞位置估计是从后向前的，其中可能存在多个细胞位置与前一帧中的某个相同位置进行关联。对于得到的细胞关联标记事件，将存在多个关联标记的细胞记录并标记为细胞分裂事件，将连续两帧中前一帧不出现细胞位置向量的位置列为细胞出现事件，将连续两帧中后一帧不出现的细胞位置向量列为细胞消失事件。
[0133]
步骤403中对细胞事件设置规则策略优化关联分析，具体如下：
[0134]
细胞移动位置向量产生的过程中存在部分向量丢失的问题，对最终的细胞事件生成有较大影响，严重影响到示踪结果。对此本发明使用了基于时间窗口的事件检测矫正方法，在预设的一段事件窗口内，相近位置的细胞产生不同情况的事件时进行校验并完成插值补全。例如，在第t帧检测到细胞产生了分裂事件，第t 1帧仅存在一个细胞，但在t 2帧时再次出现两个细胞，激活多次细胞分裂事件而导致误跟踪，此时会对第t 1帧细胞图像进行双线性插值补全其中的点迹。双线性插值的公式表达如下所示：
[0135][0136][0137][0138]
其中，r1＝(x,y1)，r2＝(x,y2)，q
11
，q
12
，q
21
，q
22
分别为检测到的细胞在帧间的位置。
[0139]
显然，所述的实施例仅仅是本发明一部分的实施例，而不是全部的实施列。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实例，都属于本发明的保护的范围。