细胞电镜图像分割模型的训练方法和细胞器互作分析方法

1.本发明涉及计算机视觉图像处理领域、电镜成像领域以及统计分析领域，具体涉及一种细胞电镜图像分割模型的训练方法，一种细胞器互作分析方法及系统。


背景技术：

2.细胞器泛指散布于细胞质中的执行不同生理功能的多种模型结构。细胞器相互作用(简称细胞器互作)是细胞执行正常生理功能和维持代谢平衡的重要途径。膜接触位点(membrane contact site，mcs)是细胞器互作的主要方式，是由细胞器之间由栓系因子(molecular tethering)介导细胞内的脂质、钙离子、活性氧和信号转导等多种动态平衡和功能过程。mcs在细胞生物学乃至生理及病理状态下的功能仍有很多未知，是目前研究的重要热点问题。现有技术中，splitgfp以及可诱导的mcs荧光标记技术在近十年以来被用于量化mcs，但这些技术都有对mcs形成的人为干扰，不能真实反映生理状态下mcs的形成状态。
3.电子显微镜(简称电镜)可以采集所有细胞器的超分辨率全景信息，满足纳米尺度mcs定性和定量分析需求，被用于定义内质网(er)和线粒体(mito)之间的互作类型。电镜数据的mcs量化分析为解析mcs在特定细胞动态过程中的作用提供了一些关键证据。然而，以往基于手动分割的mcs量化耗时费力，无法避免人工判断的主观因素干扰，难以支持样品间的高通量大样本统计比对分析。
4.深度学习可以实现自动化、无主观因素干扰的图像分割，被用于细胞电镜三维数据分割，但大体量三维数据对电镜机时以及计算资源需求量巨大，目前仍限于特定电镜样本分割分析，无法满足一般生物医学统计分析的样本量要求。


技术实现要素：

5.为了解决上述问题，本发明提供了一种细胞电镜图像分割模型的训练方法、一种细胞器互作分析方法及系统。
6.根据本发明的第一方面，提供了一种细胞电镜图像分割模型的训练方法，包括：
7.采集细胞电镜图像，并对细胞电镜图像进行专家标注，获取带标签的细胞电镜图像，其中，标签包括根据细胞器形态划分的第一类细胞器和第二类细胞器；
8.对带标签的细胞电镜图像进行预处理，获得预处理后的细胞电镜图像样本，并将预处理后的细胞电镜图像样本划分成训练集和测试集；
9.构建细胞电镜图像分割模型，其中，细胞电镜图像分割模型包括语义分割网络和实例分割网络；
10.利用标签为第一类细胞器的细胞电镜图像训练集训练语义分割网络，并利用训练生成的语义分割网络处理标签为第一类细胞器的细胞电镜图像测试集，获取第一类细胞器预测分割图；
11.利用标签为第二类细胞器的细胞电镜图像训练集训练实例分割网络，并利用训练生成的实例分割网络处理标签为第二类细胞器的细胞电镜图像测试集，获取第二类细胞器
预测分割图；
12.对第一类细胞器预测分割图和第二类细胞器预测分割图进行筛选，获取预测分割图筛选结果，其中，预测分割图筛选结果包括未能识别出细胞器和/或细胞器识别错误的分割图；
13.采集新的细胞电镜图像并进行专家标注和预处理，将新的细胞电镜图像和预测分割图筛选结果合并成新的训练集，利用测试集优化细胞电镜图像分割模型；
14.迭代执行分割操作、筛选操作、采集合并操作以及优化操作，直到细胞电镜图像分割模型能够识别测试集上所有的细胞器，获得训练完成的细胞电镜图像分割模型。
15.根据本发明的实施例，上述对带标签的细胞电镜图像进行预处理，获得预处理后的细胞电镜图像样本包括：
16.提取细胞电镜图像的目标区域图像；
17.根据预设像素值和预设分辨率，调整目标区域图像的大小并对目标区域图像进行归一化；
18.根据预设步长值，利用滑动窗口算法处理归一化后的目标区域图像，获得多个目标图像；
19.对每一个目标图像进行仿射变换和高斯模糊，获得预处理后的细胞电镜图像样本。
20.根据本发明的实施例，上述第一类细胞器用于表示具有不规则形状的细胞器；
21.其中，第二类细胞器用于表示具有规则形状的细胞器；
22.其中，专家标注表示通过专家选择细胞电镜图像中具有典型形状特征的第一类细胞器和第二类细胞器。
23.根据本发明的实施例，上述利用标签为第一类细胞器的细胞电镜图像训练集训练语义分割网络包括：
24.利用u-net、fpn、linknet以及pspnet网络分别对标签为第一类细胞器的细胞电镜图像训练集进行分割；
25.根据dice系数，选择dice系数得分最高的网络作为语义分割网络用于获取第一类细胞器预测分割图；
26.其中，u-net、fpn、linknet以及pspnet网络是用于图像分割的神经网络，dice系数是集合相似度度量函数。
27.根据本发明的实施例，上述利用标签为第二类细胞器的细胞电镜图像训练集训练实例分割网络，并利用训练生成的实例分割网络处理标签为第二类细胞器的细胞电镜图像测试集，获取第二类细胞器预测分割图包括：
28.构建实例分割网络并进行初始化，其中，实例分割网络包括骨干特征提取网络、区域提案网络、区域分类网络和骨干分割网络；
29.利用骨干特征提取网络处理细胞电镜图像，获取细胞电镜图像的特征图；
30.利用区域提案网络处理特征图，将特征图的中心点作为基准点，根据预设的面积值和长宽比进行组合，获取细胞电镜图像的多个不同尺度的候选框；
31.利用区域分类网络处理候选框，根据分类损失函数，获得候选框的分类和坐标信息；
32.利用骨干分割网络处理分类和坐标信息，根据损失函数，获得获取第二类细胞器预测分割图。
33.根据本发明的实施例，上述损失函数包括分类损失函数、回归损失函数和区域提案网络损失函数；
34.其中，分类损失函数由公式(1)表示：
[0035][0036]
其中，n表示预测的模版框个数，pi表示第i个模版框的预测概率；
[0037]
其中，回归损失函数由公式(2)和公式(3)表示：
[0038][0039][0040]
其中，表示第u类目标的预测矩形框第i个坐标值，vi表示目标矩形框对应的第i个坐标值，表示平滑函数；
[0041]
其中，区域提案网络损失函数由式(4)表示：
[0042][0043]
其中，n
cls
表示所有模版框的数量，pi表示第i个模版框的预测概率，表示第i个模版框对应的真实标签，{pi}表示所有模版框的预测概率集合，{ti}表示所有模版框的预测坐标向量集合，ti表示第i个模版框参数化处理后坐标向量，表示第i个模版框对应的真实目标矩形框参数化处理后坐标向量，λ表示加权系数；
[0044]
其中，损失函数包括最大似然损失，损失函数由公式(5)和公式(6)表示：
[0045][0046][0047]
其中，n
pos
代表正样本数目，n
neg
代表负样本数目。
[0048]
根据本发明的实施例，上述对第一类细胞器预测分割图和第二类细胞器预测分割图进行筛选包括：
[0049]
对分割评测指标设立预设值，从第一类细胞器预测分割图和第二类细胞器预测分割图中选择低于预设值的分割图；
[0050]
根据低于预设值的分割图，采集具有第一类细胞器和第二类细胞器特征的细胞电镜图像并进行专家标注，将带有标签的新的细胞电镜图像加入到细胞电镜图像样本中进行训练；
[0051]
迭代进行采集、专家标注和训练。
[0052]
根据本发明的第二方面，提供了一种细胞器互作分析方法，包括：
[0053]
利用电子显微镜获取细胞电镜图像；
[0054]
利用细胞电镜图像分割模型处理细胞电镜图像，获取细胞器分割图像，其中，细胞电镜图像分割模型由上述细胞分割模型的训练方法训练得到；
[0055]
利用细胞器分割图像，根据细胞器接触比率分析细胞器互作。
[0056]
根据本发明的实施例，上述细胞器接触比率由公式(7)表示：
[0057]
接触比率＝总接触边界长度/总边界长度(7)，
[0058]
其中，总接触边界长度是指第二类细胞器边界中，与第一类细胞器有接触的边界的总长度，总边界长度是指第二类细胞器边界的总长度；
[0059]
其中，根据细胞器接触比率分析细胞器互作包括：
[0060]
定义阈值，阈值用于表示第一类细胞器和第二类细胞器接触的像素数量；
[0061]
获取第一类细胞器边缘长度和第二类细胞器边缘长度；
[0062]
排除第一类细胞器边缘长度和第二类细胞器边缘长度完全重合的部分；
[0063]
定义最小距离矩阵，用于表示第一类细胞器边缘与第二类细胞器边缘的像素距离；
[0064]
根据最小距离矩阵，构建距离映射图，距离映射图用于表示第一类细胞器和第二类细胞器接触的最小像素数量；
[0065]
根据阈值和距离映射图，量化细胞器边缘上的像素接触长度。
[0066]
根据本发明的第三方面，提供了一种细胞器互作分析系统，包括：
[0067]
数据获取模块，用于获取细胞电镜图像；
[0068]
细胞电镜图像分割模块，用于利用细胞电镜图像分割模型获取处理细胞电镜图像，获取细胞器分割图像，其中，细胞电镜图像分割模型由上述细胞分割模型的训练方法训练得到；
[0069]
细胞器互作分析模块，用于利用细胞器分割图像，根据细胞器接触比率分析细胞器互作。
[0070]
本发明提供的细胞电镜图像分割模型的训练方法，通过语义分割网络和实例分割网络获取不同细胞器的图像，并通过筛选标注和损失函数对模型进行优化，从而提高了细胞器图像的精度，同时提高了模型的泛化能力；同时，本发明提供的细胞器互作分析方法，充分利用上述模型获得的细胞器分割图像，利用细胞器分割图像分析细胞器的互相作用，提高了细胞器互作分析的高效性和灵活性，节省了研究时间和成本。
附图说明
[0071]
图1示意性示出了根据本发明实施例的细胞电镜图像分割模型的训练方法的流程图；
[0072]
图2示意性示出了根据本发明实施例的获取获得预处理后的细胞电镜图像样本流程图；
[0073]
图3示意性示出了根据本发明实施例获取第二类细胞器预测分割图的流程图；
[0074]
图4示意性示出了根据本发明实施例的对第一类细胞器预测分割图和第二类细胞器预测分割图进行筛选的流程图；
[0075]
图5示意性示出了利用本发明实施例的筛选标注方法的结果图；
[0076]
图6示意性示出了根据本发明实施例的细胞器互作分析方法的流程图；
[0077]
图7是根据本发明实施例的细胞器互作分析方法的结构框图；
[0078]
图8示意性示出了根据本发明实施例的根据细胞器接触比率分析细胞器互作的流程图；
[0079]
图9示意性示出了根据本发明的细胞器互作分析方法的可视化效果图；
[0080]
图10示意性示出了根据本发明实施例的细胞器互作分析系统的结构框图。
具体实施方式
[0081]
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
[0082]
在细胞生物学和生理及病理学研究中，膜接触位点(membrane contact site，mcs)量化是研究细胞在不同生理及病理状态下的功能及各个功能相关性的重要途径。
[0083]
通过对二维电镜图片上特定细胞器的分割可以获得其数量、位置、面积、轮廓等多种信息，理论上可以支持细胞器互作量化分析。深度学习被用于识别二维电镜中形态特征明显的细胞器，包括mito和致密核心囊泡。如何根据轮廓和灰度细微差异在电镜二维数据中精准辨别种类繁多但形态相近的细胞器是深度识别检测细胞器的一个挑战。本发明依据细胞器的个性化特征运用不同深度学习算法对多种细胞器进行识别分割，得到特定细胞器数量、位置、覆盖区域等多种信息，提取边缘轮廓，在此基础上绘制不同细胞器临接边缘之间基于像素宽度间隔的mcs分布。同时，由于细胞存在多种类型以及不同生理、病理状态对应不同的细胞器形态也存在多种类型，为了适应多个样本不同形态细胞器的要求，本发明引入人机交互主动学习标注来保证细胞器深度学习模型的有效扩展性。此外，生物学问题常常限定于组织内特异细胞类型，本发明也针对机体组织单一细胞类型设计了行之有效的分析流程。
[0084]
图1示意性示出了根据本发明实施例的细胞电镜图像分割模型的训练方法的流程图。
[0085]
如图1所示，包括操作s110～操作s180。
[0086]
在操作s110，采集细胞电镜图像，并对细胞电镜图像进行专家标注，获取带标签的细胞电镜图像，其中，标签包括根据细胞器形态划分的第一类细胞器和第二类细胞器；
[0087]
在操作s120，对带标签的细胞电镜图像进行预处理，获得预处理后的细胞电镜图像样本，并将预处理后的细胞电镜图像样本划分成训练集和测试集；
[0088]
在操作s130，构建细胞电镜图像分割模型，其中，细胞电镜图像分割模型包括语义分割网络和实例分割网络；
[0089]
在操作s140，利用标签为第一类细胞器的细胞电镜图像训练集训练语义分割网络，并利用训练生成的语义分割网络处理标签为第一类细胞器的细胞电镜图像测试集，获取第一类细胞器预测分割图；
[0090]
在操作s150，利用标签为第二类细胞器的细胞电镜图像训练集训练实例分割网络，并利用训练生成的实例分割网络处理标签为第二类细胞器的细胞电镜图像测试集，获取第二类细胞器预测分割图；
[0091]
在操作s160，对第一类细胞器预测分割图和第二类细胞器预测分割图进行筛选，获取预测分割图筛选结果，其中，预测分割图筛选结果包括未能识别出细胞器和/或细胞器
识别错误的分割图；
[0092]
在操作s170，采集新的细胞电镜图像并进行专家标注和预处理，将新的细胞电镜图像和预测分割图筛选结果合并成新的训练集，利用测试集优化细胞电镜图像分割模型；
[0093]
在操作s180，迭代执行分割操作、筛选操作、采集合并操作以及优化操作，直到细胞电镜图像分割模型能够识别测试集上所有的细胞器，获得训练完成的细胞电镜图像分割模型。
[0094]
本发明提供的上述训练方法，通过构建细胞电镜图像分割模型对细胞电镜图像进行处理，并结合筛选标注操作，能够获得具有良好分割能力和泛化能力的细胞电镜图像分割模型。
[0095]
本发明提供的上述细胞电镜图像分割模型的训练方法，在试验中，本发明用10张精标注的数据作为测试，相比于人工标注，上述细胞电镜图像分割模型在线粒体、脂滴、内质网三种细胞器上预测准确率iou分别达到92.39％,91.32％and 98.10％。同时针对本发明的上述细胞电镜图像分割模型的预测时间做了相应的测试，线粒体-脂滴、线粒体-内质网两种组合单张图片平均预测时间：机器预测：10.4秒/13.7秒，人工标注：69.9分钟/22.1分钟。
[0096]
图2示意性示出了根据本发明实施例的获取获得预处理后的细胞电镜图像样本流程图。
[0097]
如图2所示，包括操作s210～操作s240。
[0098]
在操作s210，提取细胞电镜图像的目标区域图像；
[0099]
在操作s220，根据预设像素值和预设分辨率，调整目标区域图像的大小并对目标区域图像进行归一化；
[0100]
在操作s230，根据预设步长值，利用滑动窗口算法处理归一化后的目标区域图像，获得多个目标图像；
[0101]
在操作s240，对每一个目标图像进行仿射变换和高斯模糊，获得预处理后的细胞电镜图像样本。
[0102]
上述样本预处理的过程，扫描电镜图像可以有不同的大小和分辨率。为了使分析过程标准化并降低高分辨率图像的计算成本，通过提取感兴趣区域(region of interest，roi)对图像进行预处理，并将其调整为标准大小为1024
×
1024像素、分辨率为10nm的图片。随后，图像强度被归一化。对于训练阶段，使用滑动窗口方法提取1024
×
1024个步长为512的图片，并对每个图片应用仿射变换和高斯模糊来生成训练样本。
[0103]
根据本发明的实施例，上述第一类细胞器用于表示具有不规则形状的细胞器；
[0104]
其中，第二类细胞器用于表示具有规则形状的细胞器；
[0105]
其中，专家标注表示通过专家选择细胞电镜图像中具有典型形状特征的第一类细胞器和第二类细胞器。
[0106]
根据本发明的实施例，上述利用标签为第一类细胞器的细胞电镜图像训练集训练语义分割网络包括：
[0107]
利用u-net、fpn、linknet以及pspnet网络分别对标签为第一类细胞器的细胞电镜图像训练集进行分割；
[0108]
根据dice系数，选择dice系数得分最高的网络作为语义分割网络用于获取第一类
细胞器预测分割图；
[0109]
其中，u-net、fpn、linknet以及pspnet网络是用于图像分割的神经网络，dice系数是集合相似度度量函数。
[0110]
表1是上述几种语义分割网络的比较，上述语义分割网络采用unet网络，相比较于其他语义分割网络，例如fpn、linknet和pspnet等，具有更高的dice系数和miou系数
[0111]
表1几种语义分割网络的比较
[0112]
语义分割网络dice系数miou系数u-net0.8100.681fpn0.8060.676linknet0.8020.670pspnet0.7700.626
[0113]
在本发明提供的语义分割网络中，unet模型的学习率设置为0.0005，权重衰减为0.0003。u-net的训练过程持续了130个epoch(一个完整的训练过程)，直到达到平衡。
[0114]
根据本发明的实施例，上述第一类细胞器用于表示具有不规则形状的细胞器；其中，第二类细胞器用于表示具有规则形状的细胞器；其中，专家标注表示通过专家选择细胞电镜图像中具有典型形状特征的第一类细胞器和第二类细胞器。
[0115]
规则形状细胞器，在生物学上可以认为以线粒体为代表的具有规则形状的细胞器，其平面投影的形状是圆形或者椭圆形；而不规则细胞器，在生物学上可以认为以内质网为代表的具有不规则形状的细胞器，其平面投影的形状通常没有固定的形状，包括诸如长条形、类圆形、多曲边形等。
[0116]
图3示意性示出了根据本发明实施例获取第二类细胞器预测分割图的流程图。
[0117]
如图3所示，上述利用标签为第二类细胞器的细胞电镜图像训练集训练实例分割网络，并利用训练生成的实例分割网络处理标签为第二类细胞器的细胞电镜图像测试集，获取第二类细胞器预测分割图包括操作s310～操作s350。
[0118]
在操作s310，构建实例分割网络并进行初始化，其中，实例分割网络包括骨干特征提取网络、区域提案网络、区域分类网络和骨干分割网络；
[0119]
在操作s320，利用骨干特征提取网络处理细胞电镜图像，获取细胞电镜图像的特征图；
[0120]
在操作s330，利用区域提案网络处理特征图，将特征图的中心点作为基准点，根据预设的面积值和长宽比进行组合，获取细胞电镜图像的多个不同尺度的候选框；
[0121]
在操作s340，利用区域分类网络处理候选框，根据分类损失函数，获得候选框的分类和坐标信息；
[0122]
在操作s350，利用骨干分割网络处理分类和坐标信息，根据损失函数，获得获取第二类细胞器预测分割图。
[0123]
在本发明实施例中，采用mask r-cnn作为实例分割的基础网络，mask r-cnn网络使用区域提案网络(rpn，region proposal network)产生候选矩形框，经过一系列卷积层、池化层后得到的特征图(feature map)上每个特征点映射回原图中的中心点，作为一个基准点。基于每个基准点会选取多个不同面积、长宽比的候选框。其中面积选取3种，分别为{1282,2562,5122}；长宽比选取3种，分别为{1:1,1:2,2:1}。二者相互组合，每个基准点初步
选取9个不同尺度的候选框。
[0124]
mask r-cnn网络中训练数据的采样使用iou得分作为依据。样本分为正样本和负样本，其中正样本的选取为候选矩形框与真实标注框iou值大于0.7的样本，若没有大于0.7的样本，则选取得分最大的样本作为正样本；负样本则是与所有真实标注框的iou值都小于0.3的候选矩形框。其他样本被丢弃。
[0125]
根据本发明的实施例，上述候选框的坐标信息由下述公式确定：
[0126][0127][0128]
其中，x，y表示所述候选框的中心点坐标，w表示所述候选框的宽度，h表示所述候选框的高度，下标a表示模板框，上标*表示真实矩形框。
[0129]
为了保证坐标的平移不变性和长宽的一致性，对候选坐标框进行参数化处理，生成4维向量t。
[0130]
根据本发明的实施例，上述损失函数包括分类损失函数、回归损失函数和区域提案网络损失函数；
[0131]
其中，分类损失函数由公式(1)表示：
[0132][0133]
其中，n表示预测的模版框个数，pi表示第i个模版框的预测概率；
[0134]
上述分类损失函数旨在优化区域分类网络，该区域分类网络用于完成二分类任务，即当前预测区域属于前景或背景的概率。
[0135]
其中，回归损失函数由公式(2)和公式(3)表示：
[0136][0137][0138]
其中，表示第u类目标的预测矩形框第i个坐标值，vi表示目标矩形框对应的第i个坐标值，表示平滑函数；
[0139]
其中，表示第u类目标的预测矩形框第i个坐标值，vi表示目标矩形框对应的第i个坐标值，表示平滑函数；
[0140]
其中，区域提案网络损失函数由式(4)表示：
[0141][0142]
其中，n
cls
表示所有模版框的数量，pi表示第i个模版框的预测概率，表示第i个模版框对应的真实标签，{pi}表示所有模版框的预测概率集合，{ti}表示所有模版框的预测坐标向量集合，ti表示第i个模版框参数化处理后坐标向量，表示第i个模版框对应的真
实目标矩形框参数化处理后坐标向量，λ表示加权系数；
[0143]
其中，损失函数包括最大似然损失，损失函数由公式(5)和公式(6)表示：
[0144][0145][0146]
其中，n
pos
代表正样本数目，n
neg
代表负样本数目。
[0147]
训练rpn网络需要训练分类任务与回归任务。总损失为两部分损失函数的线性加权求和。
[0148]
在本发明的实施例中，为了避免目标细胞器与其他细胞器之间的相似性而导致的假阳性预测，在rpn网络损失中加入了一个最大似然损失，最大似然损失在训练中自动选择得分最高的负样本并对其进行针对性优化。随着训练的进行，得分越高的负例将具有更加与正样本相似的目标特征；另一方面，预测的正样本也针对性选择得分最低的进行针对性优化。只要将这些得分最高的负样本进行优化，那么模型将可以更好地将负样本和正样本区分开来。
[0149]
对于本发明中mask r-cnn，选用0.5作为阈值。主干网络为resnet101，采用sgd优化方法。学习率设置为0.001，权重衰减为0.001。我们首先迭代15个epoch来训练网络头部，然后再迭代10个阶段来训练所有层。整个训练过程持续了25个epoch，直到损失达到平衡。
[0150]
图4示意性示出了根据本发明实施例的对第一类细胞器预测分割图和第二类细胞器预测分割图进行筛选的流程图。
[0151]
如图4所示，包括操作s410～操作s430。
[0152]
在操作s410，对分割评测指标设立预设值，从第一类细胞器预测分割图和第二类细胞器预测分割图中选择低于预设值的分割图；
[0153]
在操作s420，根据低于预设值的分割图，采集具有第一类细胞器和第二类细胞器特征的细胞电镜图像并进行专家标注，将带有标签的新的细胞电镜图像加入到细胞电镜图像样本中进行训练；
[0154]
上述具有第一类细胞器和第二类细胞器特征的细胞电镜图像，一般是生物学领域通常认知的具有不规则形状的细胞器和规则形状的细胞器，例如内质网(形状不规则)和线粒体(形状规则)。
[0155]
在操作s430，迭代进行采集、专家标注和训练。
[0156]
本发明的实施例提供的上述筛选标注操作，通过多轮训练，并根据每次训练结果选取对结果提升最有效的样本进行标注，从而提高了模型泛化能力和拓展了模型应用场景。
[0157]
图5示意性示出了利用本发明实施例的筛选标注方法的结果图，下面结合图5对上述筛选标注过程作进一步的说明。
[0158]
如图5所示，从一组初始数量的标记数据开始，我们迭代地训练模型。在每个阶段，训练并测试一个新模型，然后根据miou值选择最差的10％图像。对于每个图像，让专家从具有类似细胞器形式/特征的未标注图像中选择最具代表性的图像，并对其进行标注。
[0159]
图6示意性示出了根据本发明实施例的细胞器互作分析方法的流程图。
[0160]
如图6所示，包括操作s610～操作s630。
[0161]
在操作s610，利用电子显微镜获取细胞电镜图像；
[0162]
在操作s620，利用细胞电镜图像分割模型处理细胞电镜图像，获取细胞器分割图像，其中，细胞电镜图像分割模型由上述细胞分割模型的训练方法训练得到；
[0163]
在操作s630，利用细胞器分割图像，根据细胞器接触比率分析细胞器互作。
[0164]
本发明的上述扫描电镜细胞器或亚细胞互作分析方法基于图像分割算法，主要目的是为了利用深度学习技术帮助细胞生物学研究，完成亚细胞互作分析的一系列繁琐的工作，节省科研人员的时间和精力。本发明的上述互作分析首先完成语义分割算法和实例分割算法的训练，对不同形状特点的细胞器进行分割，之后应用训练好的模型，可以分割出扫描电镜下需要研究的细胞器，并进行互作分析。
[0165]
图7是根据本发明实施例的细胞器互作分析方法的结构框图，下面结合图7对上述细胞器互作分析方法作进一步详细说明。
[0166]
如图7所示，本发明是一种基于图像分割算法的扫描电镜亚细胞互作分析方法，主要目的是为了利用深度学习技术帮助细胞生物学研究，完成亚细胞互作分析的一系列繁琐的工作，节省科研人员的时间和精力。发明人首先完成语义分割算法和实例分割算法的训练，对不同形状特点的细胞器进行分割。首先，利用电子显微镜获取细胞电镜图像，对细胞电镜图像进行预处理，利用本发明实施例的模型训练方法，获得训练完成的细胞电镜图像分割模型；其次，利用训练好的细胞电镜图像分割模型处理细胞电镜图像，获得细胞器分割图像；最后，根据细胞器分割图像利用统计相关方法分析细胞器之间的相互作用，获知细胞之间及细胞器之间相互作用、相互影响和功能性关联，从而有利于细胞生理及病理状态的研究。
[0167]
根据本发明的实施例，上述细胞器接触比率由公式(7)表示：
[0168]
接触比率＝总接触边界长度/总边界长度(7)，
[0169]
其中，总接触边界长度是指第二类细胞器边界中，与第一类细胞器有接触的边界的总长度，总边界长度是指第二类细胞器边界的总长度；
[0170]
以线粒体-内质网为例，其中，内质网是第一类细胞器，线粒体是第二类细胞器，上述公式表示，线粒体边界是指图像中线粒体所有边界的长度，线粒体接触边界是指线粒体和er之间所有接触长度的总和。
[0171]
图8示意性示出了根据本发明实施例的根据细胞器接触比率分析细胞器互作的流程图。
[0172]
如图8所示，包括操作s810～操作s860。
[0173]
在操作s810，定义阈值，阈值用于表示第一类细胞器和第二类细胞器接触的像素数量；
[0174]
在操作s820，获取第一类细胞器边缘长度和第二类细胞器边缘长度；
[0175]
在操作s830，排除第一类细胞器边缘长度和第二类细胞器边缘长度完全重合的部分；
[0176]
在操作s840，定义最小距离矩阵，用于表示第一类细胞器边缘与第二类细胞器边缘的像素距离；
[0177]
在操作s850，根据最小距离矩阵，构建距离映射图，距离映射图用于表示第一类细
胞器和第二类细胞器接触的最小像素数量；
[0178]
在操作s860，根据阈值和距离映射图，量化细胞器边缘上的像素接触长度。
[0179]
图9示意性示出了根据本发明的细胞器互作分析方法的可视化效果图，下面结合图9对上述细胞器互作分析方法作进一步的说明。
[0180]
如同9所示，为了绘制临接边界之间基于像素宽度间隔的mcs分布，量化了细胞器边缘上每个像素的接触宽度。生物学上，接触满足一对一映射；也就是说，一个细胞器上的每个位点只能与另一个细胞器上的唯一位点进行通信。然而，某些位置的大小仅为1-2nm，而分析图像的分辨率为10nm，限制了该原理在分析中的应用。然而，选择了一种折中策略，即如果没有其他站点的距离比一对像素(站点)的距离短1个像素(》10nm)，则一对像素(站点)具有接触。以线粒体-内质网接触为例，量化接触长度比的步骤如下：定义值阈值，如果第二类细胞器边缘上的像素具有小于或等于阈值的距离(即，10个像素)，则认为其接触第一类细胞器上的像素；分别提取第一类细胞器边缘(edgeorganelle1)和第二类细胞器边缘(edgeorganelle2)；找到第二类细胞器上与第一类细胞器重叠的像素，这些像素将不被考虑用于接触分析；定义矩阵mindistance，表示每个第一类细胞器边缘上的最小距离，距离内第二类细胞器边缘上至少有一个像素；在第二类细胞器边缘上搜索阈值范围内的像素，如果第一类细胞器边缘与第二类细胞器边缘的距离大于其mindistance值1像素，则忽略第一类细胞器边缘，找到第一类细胞器边缘与第二类细胞器边缘接触的最小距离，并将该值记录在distancemap中；定义与第一类细胞器区域重叠的第二类细胞器边缘，距离映射值为0。
[0181]
图10示意性示出了根据本发明实施例的细胞器互作分析系统的结构框图。
[0182]
如图10所示，上述细胞器互作分析系统1000包括数据获取模块1010、细胞电镜图像分割模块1020和细胞器互作分析模块1030。
[0183]
数据获取模块1010，用于获取细胞电镜图像；
[0184]
细胞电镜图像分割模块1020，用于利用细胞电镜图像分割模型获取处理细胞电镜图像，获取细胞器分割图像，其中，细胞电镜图像分割模型由上述训练方法训练得到；
[0185]
细胞器互作分析模块1030，用于利用细胞器分割图像，根据细胞器接触比率分析细胞器互作。
[0186]
本发明提供的上述细胞器互作分析系统，在交互式可视化、适应新的细胞器形态和在多个距离范围内识别接触方面表现出高效性和灵活性，从而能够在多个系统中对各种类型的细胞器接触位点进行统计分析，上述细胞器互作分析系统的定量分析揭示了在生精上皮周期中，支持细胞中存在一个内质网-线粒体接触比率波浪形变化，将细胞器接触比率与生理和病理变化过程联系起来。
[0187]
以上的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。