超高时空分辨率细胞牵引力定量方法、装置、设备及介质

1.本公开涉及细胞牵引力测量技术领域，尤其涉及一种基于机器学习的超高时空分辨率细胞牵引力定量方法、装置、设备及介质。


背景技术：

2.细胞与胞外基质间的力学相互作用与细胞的一系列生理病理活动紧密相关，例如细胞的增殖、分化、粘附、迁移等等。对细胞牵引力进行高时-空分辨率的定量在细胞筛选、定量药物剂量等应用中具有重要的意义。
3.截至目前，对细胞牵引力的相关研究在基础理论、实验现象和表征技术等方面均已取得了一系列的发展，所得到的具有代表性的牵引力定量方法主要可以总结为三种，即：微柱阵列方法、分子传感器方法和牵引力显微镜方法。其中，微柱阵列方法是将细胞培养在具有微柱阵列结构的基底表面，通过微柱的变形推测细胞牵引力的分布。这种方法计算简单，具有较高的测量效率，但是无法获得细胞牵引力的法向分量。分子传感器方法是通过荧光共振能量转移实现，其具有超高的分辨率，可以对活细胞内的单个整合素受力进行表征，但是无法获得力的方向信息。而牵引力显微镜方法是将细胞培养在含有荧光标志物的连续的水凝胶/橡胶基底表面，细胞的粘附不受到限制。基于荧光显微镜采集得到的细胞消化前后标志物的荧光图像，牵引力显微镜方法能够同时获得细胞牵引力的切向分量和法向分量，并且可以推广到三维情况。因此牵引力显微镜方法具有更为广阔的应用前景。
4.然而，当前的牵引力显微镜方法需要复杂的数学-力学相关理论，对其进一步的推广应用带来了阻碍，也使得牵引力显微镜方法的时间-空间分辨率难以进一步提高。


技术实现要素：

5.(一)要解决的技术问题
6.针对目前存在的技术问题，本公开提出一种基于机器学习的超高时空分辨率细胞牵引力定量方法、装置、设备及介质。
7.(二)技术方案
8.为解决上述技术问题，本公开采用的技术方案如下：
9.本公开提供了一种超高时空分辨率细胞牵引力定量方法，包括：分别构建并训练第一神经网络n1、第二神经网络n2、第三神经网络n3和第四神经网络n4；待测细胞消化前荧光标志物的荧光图像和待测细胞消化后荧光标志物的荧光图像分别由训练好的第一神经网络n1、第二神经网络n2和第三神经网络n3预测各采样点位移，并对第一神经网络n1、第二神经网络n2和第三神经网络n3预测的位移结果进行整合；以及将整合后的位移场输入到第四神经网络n4中进行预测，得到待测细胞牵引力场的分布。
10.上述方案中，所述分别构建并训练第一神经网络n1、第二神经网络n2和第四神经网络n4的步骤中，所述分别构建并训练第一神经网络n1、第二神经网络n2、第三神经网络n3和第四神经网络n4的步骤中，所述第一神经网络n1是一个全卷积神经网络，其输入是待测
细胞消化前荧光标志物的荧光图像和待测细胞消化后荧光标志物的荧光图像，输出是所有采样点位移组成的相应的细胞引起的变形场(u1，v1)。
11.上述方案中，所述第一神经网络n1采用有监督学习的形式进行训练，为了获得充足的训练数据，第一神经网络n1的训练集通过数值模拟生成；
12.首先，采用高斯函数来近似荧光标志物成像时的荧光强度分布：
13.q(x，y)＝exp[-((x-x0)2 (y-y0)2)/c2]
ꢀꢀꢀꢀꢀ
公式(1)
[0014]
其中，(x0，y0)是当前荧光标志物的中心点，c是反映荧光标志物荧光强度衰减程度的系数；
[0015]
进而，待测细胞消化后荧光标志物的模拟荧光图像通过下式生成：
[0016][0017]
其中，b0是图像的背景强度，n是荧光标志物的个数；
[0018]
随后，指定训练集中的位移场均符合如下二次函数：
[0019][0020]
其中，ai是随机指定的系数，i＝1，2，
…
，12；u和v分别是沿x方向和y方向的位移分量，且满足u≤3像素，v≤3像素；
[0021]
因此，待测细胞消化前荧光标志物的模拟荧光图像通过下式生成：
[0022][0023]
其中，和是第n个荧光标志物中心点沿x方向和y方向的位移，即
[0024]
基于上述公式(1)-(4)，一系列待测细胞消化前后荧光标志物的模拟荧光图像和相应的位移场被获得，其中待测细胞消化前荧光标志物的模拟荧光图像和待测细胞消化后荧光标志物的模拟荧光图像被作为训练数据，相应的位移场被作为训练标签；
[0025]
在训练第一神经网络n1的过程中，指定均方根误差作为网络训练的损失，并采用小批量随机梯度下降方法对网络参数进行优化；当网络的训练收敛时，网络参数的取值被记录以用于后续的计算。
[0026]
上述方案中，所述分别构建并训练第一神经网络n1、第二神经网络n2、第三神经网络n3和第四神经网络n4的步骤中，所述第二神经网络n2是一个全卷积神经网络，其输入是待测细胞消化前后荧光标志物的荧光图像，输出是相应的细胞引起的变形场，并采用有监督学习的形式进行神经网络的训练。
[0027]
上述方案中，所述第二神经网络n2的训练集通过数值模拟生成，并指定u≤1像素，v≤1像素；基于上述公式(1)-(4)，一系列待测细胞消化前后荧光标志物的模拟荧光图像和相应的位移场被获得，用于第二神经网络n2的训练，其中待测细胞消化前荧光标志物的模拟荧光图像和待测细胞消化后荧光标志物的模拟荧光图像被作为训练数据，相应的位移场被作为训练标签；在训练第二神经网络n2的过程中，指定均方根误差作为网络训练的损失，
并采用小批量随机梯度下降方法对网络参数进行优化；当网络的训练收敛时，网络参数的取值被记录以用于后续的计算。
[0028]
上述方案中，所述分别构建并训练第一神经网络n1、第二神经网络n2、第三神经网络n3和第四神经网络n4的步骤中，所述第三神经网络n3是一个全卷积神经网络，其输入是待测细胞消化前后荧光标志物的荧光图像，输出是相应的细胞引起的变形场，并采用有监督学习的形式进行神经网络的训练。
[0029]
上述方案中，所述第三神经网络n3的训练集通过数值模拟生成，并指定u≤0.5像素，v≤0.5像素；基于上述公式(1)-(4)，一系列待测细胞消化前后荧光标志物的模拟荧光图像和相应的位移场被获得，用于第三神经网络n3的训练，其中待测细胞消化前荧光标志物的模拟荧光图像和待测细胞消化后荧光标志物的模拟荧光图像被作为训练数据，相应的位移场被作为训练标签；在训练第三神经网络n3的过程中，指定均方根误差作为网络训练的损失，并采用小批量随机梯度下降方法对网络参数进行优化；当网络的训练收敛时，网络参数的取值被记录以用于后续的计算。
[0030]
上述方案中，所述分别构建并训练第一神经网络n1、第二神经网络n2、第三神经网络n3和第四神经网络n4的步骤中，所述第四神经网络n4是一个全卷积神经网络，其输入是待测细胞引起的全场位移，输出是相应的细胞牵引力场。
[0031]
上述方案中，所述第四神经网络n4采用有监督学习的形式进行神经网络的训练，为了获得充足的训练数据，第四神经网络n4的训练集通过数值模拟生成；
[0032]
首先，待测细胞所粘附的弹性基底被离散为一系列均匀分布的节点，各节点沿x方向和y方向的间距分别为2h1和2h2；
[0033]
随后，以各节点为中心点，尺寸为2h1×
2h2的矩形栅格被指定作用有均匀分布力f，其方向和大小均取为随机值；此时相应的位移场由下式给出：
[0034]
u＝gf
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(5)
[0035]
其中u＝[u1，v1，u2，v2，
…
，um，vm]
t
是各节点的位移向量，m是节点总数，um和vm分别是第m个节点沿x方向和y方向的位移分量；f＝[f
x1
，f
y1
，f
x2
，f
y2
，
…
，f
xm
，f
ym
]
t
是各节点对应矩形区域内所作用的牵引力向量，f
xm
和f
ym
分别是第m个节点沿x方向和y方向的牵引力分量；g是系数矩阵：
[0036][0037]
且
[0038][0039][0040][0041][0042]
e为细胞粘附的弹性基底的杨氏模量；考虑到细胞牵引力反演的反问题特性，所述第四神经网络n4采用经典的tikhonov正则化方法对系数矩阵g进行处理，并获得正则化后的细胞牵引力场f：
[0043]
f＝ru
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(11)
[0044]
其中位移向量u由式(5)给出，r是新的系数矩阵：
[0045]
r＝(g
t
g η)-1gt
ꢀꢀꢀꢀꢀꢀꢀꢀ
公式(12)
[0046]
其中η是正则化系数；由以上公式(5)-(12)确定的位移场u被作为第四神经网络n4的训练数据，正则化后的细胞牵引力场f被作为相应的训练标签；
[0047]
在训练第四神经网络n4的过程中，指定均方根误差作为第四神经网络n4训练的损
失，并采用小批量随机梯度下降方法对网络参数进行优化；当网络的训练收敛时，网络参数的取值被记录以用于后续的计算。
[0048]
上述方案中，所述待测细胞消化前荧光标志物的荧光图像和待测细胞消化后荧光标志物的荧光图像分别由训练好的第一神经网络n1、第二神经网络n2和第三神经网络n3预测各采样点位移，包括：
[0049]
待测细胞消化前荧光标志物的荧光图像和待测细胞消化后荧光标志物的荧光图像被输入到训练好的第一神经网络n1中进行预测，经由第一神经网络n1的映射，获得所有采样点位移值组成的位移场(u1，v1)，其中u1是位移场沿x方向的位移，v1是位移场沿y方向的位移；
[0050]
待测细胞消化前荧光标志物的荧光图像和待测细胞消化后荧光标志物的荧光图像被输入到训练好的第二神经网络n2中进行预测，经由第二神经网络n2的映射，获得所有采样点位移值组成的位移场(u2，v2)，其中u2是位移场沿x方向的位移，v2是位移场沿y方向的位移；
[0051]
待测细胞消化前荧光标志物的荧光图像和待测细胞消化后荧光标志物的荧光图像被输入到训练好的第三神经网络n3中进行预测，经由第三神经网络n3的映射，获得所有采样点位移值组成的位移场(u3，v3)，其中u3是位移场沿x方向的位移，v3是位移场沿y方向的位移。
[0052]
上述方案中，所述对第一神经网络n1、第二神经网络n2和第三神经网络n3预测的位移结果进行整合，包括：
[0053]
对第j个采样点，如果像素或像素，则取像素，则取否则如果像素或像素，则取否则取
[0054]
其中是第一神经网络(n1)对第j个采样点沿x方向位移的预测结果，是第一神经网络(n1)对第j个采样点沿y方向位移的预测结果，是第二神经网络(n2)对第j个采样点沿x方向位移的预测结果，是第二神经网络(n2)对第j个采样点沿y方向位移的预测结果，是第三神经网络(n3)对第j个采样点沿x方向位移的预测结果，是第三神经网络(n3)对第j个采样点沿y方向位移的预测结果，u
(j)
是整合后被记录的第j个采样点沿x方向的位移，v
(j)
是整合后被记录的第j个采样点沿y方向的位移；
[0055]
对所有采样点(j个)重复执行上述判断，即可获得整合后的全场位移(u，v)。
[0056]
上述方案中，所述将整合后的位移场(u，v)输入到第四神经网络n4中进行预测，得到待测细胞牵引力场的分布，包括：将整合后的位移场(u，v)输入到第四神经网络n4中进行预测，经过第四神经网络(n4)的映射，得到待测细胞牵引力场的分布并输出。
[0057]
本公开另一方面提供了一种超高时空分辨率细胞牵引力定量装置，包括：
[0058]
神经网络构建与训练模块，用于分别构建并训练第一神经网络n1、第二神经网络n2、第三神经网络n3和第四神经网络n4；
[0059]
位移记录模块，用于在待测细胞消化前荧光标志物的荧光图像和待测细胞消化后
荧光标志物的荧光图像分别由训练好的第一神经网络n1、第二神经网络n2和第三神经网络n3预测各采样点位移，并进行整合后，记录所有采样点位移组成的当前位移场(u，v)；以及
[0060]
细胞牵引力场计算模块，用于整合后的位移场(u，v)输入到第四神经网络n4中进行预测，得到待测细胞牵引力场的分布。
[0061]
本公开再一方面提供了一种电子设备，包括：处理器；存储器，其存储有计算机可执行程序，该程序在被所述处理器执行时，使得所述处理器执行所述的超高时空分辨率细胞牵引力定量方法。
[0062]
本公开又一方面提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令被执行时实现所述的超高时空分辨率细胞牵引力定量方法。
[0063]
本公开又一方面提供了一种计算机程序，包括：计算机可执行指令，所述指令被执行时用于实现所述的超高时空分辨率细胞牵引力定量方法。
[0064]
(三)有益效果
[0065]
本公开提供的超高时空分辨率细胞牵引力定量方法、装置、设备及介质，与现有技术相比至少具有以下有益效果其中之一：
[0066]
1、本公开提供的超高时空分辨率细胞牵引力定量方法、装置、设备及介质，通过引入机器学习，有效提高了细胞牵引力定量的空间分辨率，能够获得更加精确的细胞牵引力定量结果。
[0067]
2、本公开提供的超高时空分辨率细胞牵引力定量方法、装置、设备及介质，通过引入机器学习，有效降低了细胞牵引力定量的计算复杂度，显著提高了细胞牵引力定量的时间分辨率，可用于对细胞牵引力的实时定量测量。
[0068]
3、本公开提供的超高时空分辨率细胞牵引力定量方法、装置、设备及介质，通过引入机器学习，显著降低了细胞牵引力定量的理论复杂度，简便易行，可供非专业背景人员使用。
附图说明
[0069]
为了更完整地理解本公开及其优势，现给出附图的具体描述，其中：
[0070]
图1是依照本公开实施例的超高时空分辨率细胞牵引力定量方法的流程图。
[0071]
图2是依照本公开实施例的超高时空分辨率细胞牵引力定量方法的具体实现过程图。
[0072]
图3a示出了根据本公开实施例的细胞消化前荧光标志物的模拟荧光图像。
[0073]
图3b示出了根据本公开实施例的细胞消化后荧光标志物的模拟荧光图像。
[0074]
图4a示出了根据本公开实施例的模拟细胞牵引力场的理论分布。
[0075]
图4b示出了根据本公开实施例的基于本公开方法计算所得的细胞牵引力场。
[0076]
图4c示出了根据本公开实施例的基于传统牵引力显微镜方法，采样点间距取为1像素时计算所得的细胞牵引力场。
[0077]
图4d示出了根据本公开实施例的基于传统牵引力显微镜方法，采样点间距取为5像素时计算所得的细胞牵引力场。
[0078]
图5a示出了根据本公开实施例的传统牵引力显微镜方法和本公开方法的绝对计算用时的对比。
[0079]
图5b示出了根据本公开实施例的传统牵引力显微镜方法和本公开方法的相对计算用时的对比。
[0080]
图6示意性示出了根据本公开实施例的超高时空分辨率细胞牵引力定量装置的框图。
[0081]
图7示意性示出了根据本公开实施例的电子设备的框图。
[0082]
【附图标记】
[0083]
600：超高时空分辨率细胞牵引力定量装置
[0084]
601：神经网络构建与训练模块
[0085]
602：位移记录模块
[0086]
603：细胞牵引力场计算模块
[0087]
700：电子设备
[0088]
710：处理器
[0089]
720：存储器
[0090]
721：计算机程序
具体实施方式
[0091]
以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
[0092]
本公开实施例提出一种超高时空分辨率细胞牵引力定量方法、装置、设备及介质。图1是依照本公开实施例的超高时空分辨率细胞牵引力定量方法的流程图。需要注意的是，图1所示仅为可以应用本公开实施例的应用场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他环境或场景。
[0093]
如图1所示，本公开实施例的超高时空分辨率细胞牵引力定量方法，包括如下步骤：
[0094]
步骤s1：分别构建并训练第一神经网络n1、第二神经网络n2、第三神经网络n3和第四神经网络n4。
[0095]
在本公开实施例中，所述第一神经网络n1是一个全卷积神经网络，其输入是待测细胞消化前荧光标志物的荧光图像和待测细胞消化后荧光标志物的荧光图像，输出是所有采样点位移组成的相应的细胞引起的变形场(u1，v1)。
[0096]
在本公开实施例中，所述第一神经网络n1采用有监督学习的形式进行训练，为了获得充足的训练数据，本公开实施例中第一神经网络n1的训练集通过数值模拟生成。首先，采用高斯函数来近似荧光标志物成像时的荧光强度分布：
[0097]
q(x，y)＝exp[-((x-x0)2 (y-y0)2)/c2]
ꢀꢀꢀꢀꢀꢀꢀ
公式(1)
[0098]
其中，(x0，y0)是当前荧光标志物的中心点，c是反映荧光标志物荧光强度衰减程度的系数。
[0099]
进而，待测细胞消化后荧光标志物的模拟荧光图像通过下式生成：
[0100][0101]
其中，b0是图像的背景强度，n是荧光标志物的个数；
[0102]
随后，指定训练集中的位移场均符合如下二次函数：
[0103][0104]
其中，ai是随机指定的系数，i＝1，2，
…
，12；u和v分别是沿x方向和y方向的位移分量，且满足u≤3像素，v≤3像素。
[0105]
因此，待测细胞消化前荧光标志物的模拟荧光图像通过下式生成：
[0106][0107]
其中，和是第n个荧光标志物中心点沿x方向和y方向的位移，即
[0108]
基于上述公式(1)-(4)，一系列待测细胞消化前后荧光标志物的模拟荧光图像和相应的位移场被获得，其中待测细胞消化前荧光标志物的模拟荧光图像和待测细胞消化后荧光标志物的模拟荧光图像被作为训练数据，相应的位移场被作为训练标签。在训练第一神经网络n1的过程中，本公开实施例指定均方根误差作为网络训练的损失，并采用小批量随机梯度下降方法对网络参数进行优化。当网络的训练收敛时，网络参数的取值被记录以用于后续的计算。
[0109]
在本公开实施例中，所述第二神经网络n2是一个全卷积神经网络，其输入是待测细胞消化前后荧光标志物的荧光图像，输出是相应的细胞引起的变形场，并采用有监督学习的形式进行神经网络的训练。
[0110]
在本公开实施例中，与所述第一神经网络n1类似，所述第二神经网络n2的训练集也通过数值模拟生成，并指定u≤1像素，v≤1像素。基于上述公式(1)-(4)，一系列待测细胞消化前后荧光标志物的模拟荧光图像和相应的位移场被获得，用于第二神经网络n2的训练。其中，待测细胞消化前荧光标志物的模拟荧光图像和待测细胞消化后荧光标志物的模拟荧光图像被作为训练数据，相应的位移场被作为训练标签。在训练第二神经网络n2的过程中，本公开实施例指定均方根误差作为网络训练的损失，并采用小批量随机梯度下降方法对网络参数进行优化。当网络的训练收敛时，网络参数的取值被记录以用于后续的计算。
[0111]
在本公开实施例中，所述第三神经网络n3是一个全卷积神经网络，其输入是待测细胞消化前后荧光标志物的荧光图像，输出是相应的细胞引起的变形场，并采用有监督学习的形式进行神经网络的训练。
[0112]
在本公开实施例中，与所述第一神经网络n1类似，所述第三神经网络n3的训练集也通过数值模拟生成，并指定u≤0.5像素，v≤0.5像素。基于上述公式(1)-(4)，一系列待测细胞消化前后荧光标志物的模拟荧光图像和相应的位移场被获得，用于第三神经网络n3的训练，其中，待测细胞消化前荧光标志物的模拟荧光图像和待测细胞消化后荧光标志物的模拟荧光图像被作为训练数据，相应的位移场被作为训练标签。在训练第三神经网络n3的
过程中，本公开实施例指定均方根误差作为网络训练的损失，并采用小批量随机梯度下降方法对网络参数进行优化。当网络的训练收敛时，网络参数的取值被记录以用于后续的计算。
[0113]
在本公开实施例中，所述第四神经网络n4是一个全卷积神经网络，其输入是待测细胞引起的全场位移，输出是相应的细胞牵引力场。
[0114]
在本公开实施例中，所述第四神经网络n4采用有监督学习的形式进行神经网络的训练，为了获得充足的训练数据，第四神经网络n4的训练集通过数值模拟生成。首先，待测细胞所粘附的弹性基底被离散为一系列均匀分布的节点，各节点沿x方向和y方向的间距分别为2h1和2h2。随后，以各节点为中心点，尺寸为2h1×
2h2的矩形栅格被指定作用有均匀分布力f，其方向和大小均取为随机值；此时相应的位移场由下式给出：
[0115]
u＝gf
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(5)
[0116]
其中u＝[u1，v1，u2，v2，
…
，um，vm]
t
是各节点的位移向量，m是节点总数，um和vm分别是第m个节点沿x方向和y方向的位移分量；f＝[f
x1
，f
y1
，f
x2
，f
y2
，
…
，f
xm
，f
ym
]
t
是各节点对应矩形区域内所作用的牵引力向量，f
xm
和f
ym
分别是第m个节点沿x方向和y方向的牵引力分量；g是系数矩阵：
[0117][0118]
且
[0119][0120][0121]
[0122][0123]
e为细胞粘附的弹性基底的杨氏模量。考虑到细胞牵引力反演的反问题特性，本公开实施例中的所述第四神经网络n4采用经典的tikhonov正则化方法对系数矩阵g进行处理，并获得正则化后的细胞牵引力场f：
[0124]
f＝ru
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(11)
[0125]
其中位移向量u由式(5)给出，r是新的系数矩阵：
[0126]
r＝(g
t
g η)-1gt
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(12)
[0127]
其中η是正则化系数；由以上公式(5)-(12)确定的位移场u被作为第四神经网络n4的训练数据，正则化后的细胞牵引力场f被作为相应的训练标签。在训练第四神经网络n4的过程中，本公开实施例指定均方根误差作为第四神经网络n4训练的损失，并采用小批量随机梯度下降方法对网络参数进行优化；当网络的训练收敛时，网络参数的取值被记录以用于后续的计算。
[0128]
步骤s2：待测细胞消化前荧光标志物的荧光图像和待测细胞消化后荧光标志物的荧光图像分别由训练好的第一神经网络n1、第二神经网络n2和第三神经网络n3预测各采样点位移，并对第一神经网络n1、第二神经网络n2和第三神经网络n3预测的位移结果进行整合。
[0129]
在本公开实施例中，根据待测细胞消化前荧光标志物的荧光图像和待测细胞消化后荧光标志物的荧光图像计算待测细胞牵引力场，是基于步骤s1中分别构建并训练的第一神经网络n1、第二神经网络n2、第三神经网络n3和第四神经网络n4实现的，其具体实现流程如图2所示。待测细胞消化前荧光标志物的荧光图像和待测细胞消化后荧光标志物的荧光图像被输入到训练好的第一神经网络n1中进行预测，经由第一神经网络n1的映射，获得所有采样点位移值组成的位移场(u1，v1)，其中u1是位移场沿x方向的位移，v1是位移场沿y方向的位移；待测细胞消化前荧光标志物的荧光图像和待测细胞消化后荧光标志物的荧光图像被输入到训练好的第二神经网络n2中进行预测，经由第二神经网络n2的映射，获得所有采样点位移值组成的位移场(u2，v2)，其中u2是位移场沿x方向的位移，v2是位移场沿y方向的位移；待测细胞消化前荧光标志物的荧光图像和待测细胞消化后荧光标志物的荧光图像被输入到训练好的第三神经网络n3中进行预测，经由第三神经网络n3的映射，获得所有采样点位移值组成的位移场(u3，v3)，其中u3是位移场沿x方向的位移，v3是位移场沿y方向的位移；
[0130]
对第一神经网络n1、第二神经网络n2和第三神经网络n3预测的位移结果进行整合的具体过程为：
[0131]
对第j个采样点，如果像素或像素，则取像素，则取否则如果像素或像素，则取像素，则取否则取其中是第一神经网络n1对第j个采样点沿x方向位移的预测结果，是第一神经网络n1对第j个采样点沿y方向位移的预测结果，是第二神经网络n2对第j个采样点沿x方向位移的预测结果，是第二神经网络n2对第j个采样点沿y方向位移的预测结果，是第三神经网络n3对第j个采样点沿x方向位移的预测结果，是第三神经网络n3对第j个采样点沿y方向位移的预测结果，u
(j)
是整合后被记录的第j个采样点沿x方向的位移，v
(j)
是整合后被记录的第j个采样点沿y方向的位移。对所有j个采样点重复执行上述判断，即可获得整合后的全场位移(u，v)。
[0132]
步骤s3：将整合后的位移场(u，v)输入到第四神经网络n4中进行预测，得到待测细胞牵引力场的分布。
[0133]
在本公开实施例中，将整合后的位移场(u，v)输入到第四神经网络n4中进行预测，经过第四神经网络n4的映射，得到待测细胞牵引力场的分布并输出。
[0134]
基于上述步骤s1-s3，即可准确高效的获得高时空分辨率的细胞牵引力场分布。当第一至第四神经网络(n1-n4)完成构建和训练后，每次使用本公开实施例的方法只需执行步骤s2和s3，无需迭代求解，因此计算的复杂度被显著降低，计算效率得到了显著的提高。
[0135]
实施例1
[0136]
以下结合一个具体的模拟算例，对本公开实施例提供的超高时空分辨率细胞牵引力定量方法作进一步的详细描述。在本公开的当前实施例中，细胞消化前和细胞消化后的荧光标志物模拟图像分别如图3a和图3b所示，图3a中白色虚线指出了模拟细胞的轮廓，白色实线指出了待计算的区域。图3a中细胞产生的理论牵引力场如图4a所示，牵引力的大小为0～1800pa的随机值，方向指向细胞的形心，弹性基底的杨氏模量取为10kpa。
[0137]
基于本公开当前实施例的对该待测细胞牵引力场进行超高时空分辨率定量方法的具体步骤如下：
[0138]
步骤s1：分别构建并训练第一神经网络n1、第二神经网络n2、第三神经网络n3和第四神经网络n4；
[0139]
步骤s2：待测细胞消化前荧光标志物的荧光图像和待测细胞消化后荧光标志物的荧光图像分别由训练好的第一神经网络n1、第二神经网络n2和第三神经网络n3预测各采样点位移，并进行整合；以及
[0140]
步骤s3：将整合后的位移场输入到第四神经网络n4中进行预测，得到待测细胞牵引力场的分布。
[0141]
在本公开当前实施例中，步骤s1中所述构建并训练的第一神经网络n1是一个包含6个隐藏层的全卷积神经网络，其输入是细胞消化前后荧光标志物的荧光图像，输出是相应的细胞引起的变形场。网络的卷积核尺寸取为5
×
5，池化窗口尺寸取为3
×
3。网络采用有监
督学习的形式进行训练。
[0142]
为了获得充足的训练数据，在本公开中第一神经网络n1的训练集通过数值模拟生成。首先，本公开采用高斯函数来近似荧光标志物成像时的荧光强度分布：
[0143]
q(x，y)＝exp[-((x-x0)2 (y-y0)2)/c2]
ꢀꢀꢀꢀꢀꢀꢀꢀ
公式(1)
[0144]
其中，(x0，y0)是当前荧光标志物的中心点，c是反映荧光标志物荧光强度衰减程度的系数。
[0145]
进而，细胞消化后荧光标志物的模拟荧光图像可以通过下式生成：
[0146][0147]
其中，b0是图像的背景强度，n是荧光标志物的个数。
[0148]
随后，本公开指定训练集中的位移场均符合如下二次函数：
[0149][0150]
其中，ai是随机指定的系数，i＝1，2，
…
，12。u和v分别是沿x方向和y方向的位移分量，且满足u≤3像素，v≤3像素。
[0151]
因此，细胞消化前荧光标志物的模拟荧光图像可以通过下式生成
[0152][0153]
其中，和是第n个荧光标志物中心点沿x方向和y方向的位移，即
[0154]
基于公式(1-4)，一系列细胞消化前后荧光标志物的模拟荧光图像和相应的位移场可以容易的获得，其中细胞消化前荧光标志物的模拟荧光图像和细胞消化后荧光标志物的模拟荧光图像被作为训练数据，相应的位移场被作为训练标签。本公开指定均方根误差作为网络训练的损失，并采用小批量随机梯度下降方法对网络参数进行优化，批量尺寸取为64，学习率取为0.01。当网络的训练收敛时，网络参数的取值被记录以用于后续的计算。
[0155]
在本公开当前实施例中，步骤s1中所述构建并训练的第二神经网络n2是一个包含6个隐藏层的全卷积神经网络，其输入是细胞消化前后荧光标志物的荧光图像，输出是相应的细胞引起的变形场。网络的卷积核尺寸取为5
×
5，池化窗口尺寸取为3
×
3。网络采用有监督学习的形式进行训练。与第一神经网络n1类似，在本公开中第二神经网络n2的训练集也通过数值模拟生成，并指定u≤1像素，v≤1像素。基于式(1-4)，一系列细胞消化前后荧光标志物的模拟荧光图像和相应的位移场可以容易的获得，用于第二神经网络n2的训练。其中细胞消化前荧光标志物的模拟荧光图像和细胞消化后荧光标志物的模拟荧光图像被作为训练数据，相应的位移场被作为训练标签。本公开指定均方根误差作为网络训练的损失，并采用小批量随机梯度下降方法对网络参数进行优化，批量尺寸取为64，学习率取为0.01。当网络的训练收敛时，网络参数的取值被记录以用于后续的计算。
[0156]
在本公开当前实施例中，步骤s1中所述构建并训练的第三神经网络n3是一个包含6个隐藏层的全卷积神经网络，其输入是细胞消化前后荧光标志物的荧光图像，输出是相应的细胞引起的变形场。网络的卷积核尺寸取为5
×
5，池化窗口尺寸取为3
×
3。网络采用有监督学习的形式进行训练。与第一神经网络n1类似，在本公开中第三神经网络n3的训练集也通过数值模拟生成，并指定u≤0.5像素，v≤0.5像素。基于式(1-4)，一系列细胞消化前后荧光标志物的模拟荧光图像和相应的位移场可以容易的获得，用于第三神经网络n3的训练。其中细胞消化前荧光标志物的模拟荧光图像和细胞消化后荧光标志物的模拟荧光图像被作为训练数据，相应的位移场被作为训练标签。本公开指定均方根误差作为网络训练的损失，并采用小批量随机梯度下降方法对网络参数进行优化，批量尺寸取为64，学习率取为0.01。当网络的训练收敛时，网络参数的取值被记录以用于后续的计算。
[0157]
在本公开当前实施例中，步骤s1中所述构建并训练的第四神经网络n4是一个不包含隐藏层的全卷积神经网络，其输入是细胞引起的全场位移，输出是相应的细胞牵引力场，卷积核尺寸取为14
×
7，并采用有监督学习的形式进行神经网络的训练。为了获得充足的训练数据，在本公开中第四神经网络n4的训练集通过数值模拟生成。首先，细胞所粘附的弹性基底被离散为一系列均匀分布的节点，各节点沿x方向和y方向的间距分别为2h1和2h2。随后，以各节点为中心点，尺寸为2h1×
2h2的矩形栅格被指定作用有均匀分布力f，其方向和大小均取为随机值。此时相应的位移场可以由下式给出：
[0158]
u＝gf
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(5)
[0159]
其中u＝[u1，v1，u2，v2，
…
，um，vm]
t
是各节点的位移向量，m是节点总数，um和vm分别是第m个节点沿x方向和y方向的位移分量。f＝[f
x1
，f
y1
，f
x2
，f
y2
，
…
，f
xm
，f
ym
]
t
是各节点对应矩形区域内所作用的牵引力向量，f
xm
和f
ym
分别是第m个节点沿x方向和y方向的牵引力分量。g是系数矩阵：
[0160][0161]
且
[0162]
[0163][0164][0165][0166]
e为细胞粘附的弹性基底的杨氏模量。考虑到细胞牵引力反演的反问题特性，本公开采用经典的tikhonov正则化方法对系数矩阵g进行处理，并获得正则化后的细胞牵引力场f：
[0167]
f＝ru
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(11)
[0168]
其中位移向量u由式(5)给出，r是新的系数矩阵：
[0169]
r＝(g
t
g η)-1gt
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(12)
[0170]
其中η是正则化系数，通过成熟的l拐角发现算法确定。由以上各式确定的位移场u被作为第四神经网络n4的训练数据，正则化后的细胞牵引力场f被作为相应的训练标签。本公开指定均方根误差作为第四神经网络n4训练的损失，并采用小批量随机梯度下降方法对网络参数进行优化，批量尺寸取为64，学习率取为0.001。当网络的训练收敛时，网络参数的取值被记录以用于后续的计算。
[0171]
在本公开当前实施例中，步骤s2中所述待测细胞消化前荧光标志物的荧光图像和待测细胞消化后荧光标志物的荧光图像分别由训练好的第一神经网络n1、第二神经网络n2和第三神经网络n3预测各采样点位移，并进行整合，是基于步骤s1中构建并训练得到的第一至第四神经网络(n1-n4)实现的，其具体实现流程如图2所示。
[0172]
待测细胞消化前荧光标志物的荧光图像和待测细胞消化后荧光标志物的荧光图像被输入到训练好的第一神经网络n1中进行预测，经由第一神经网络n1的映射，获得所有采样点位移值组成的位移场(u1，v1)，其中u1是位移场沿x方向的位移，v1是位移场沿y方向的位移；
[0173]
待测细胞消化前荧光标志物的荧光图像和待测细胞消化后荧光标志物的荧光图
像被输入到训练好的第二神经网络n2中进行预测，经由第二神经网络n2的映射，获得所有采样点位移值组成的位移场(u2，v2)，其中u2是位移场沿x方向的位移，v2是位移场沿y方向的位移；
[0174]
待测细胞消化前荧光标志物的荧光图像和待测细胞消化后荧光标志物的荧光图像被输入到训练好的第三神经网络n3中进行预测，经由第三神经网络n3的映射，获得所有采样点位移值组成的位移场(u3，v3)，其中u3是位移场沿x方向的位移，v3是位移场沿y方向的位移；
[0175]
对第一神经网络n1、第二神经网络n2和第三神经网络n3预测的位移结果进行整合的具体过程为：
[0176]
对第j个采样点，如果像素或像素，则取像素，则取否则如果像素或像素，则取否则取
[0177]
其中是第一神经网络n1对第j个采样点沿x方向位移的预测结果，是第一神经网络n1对第j个采样点沿y方向位移的预测结果，是第二神经网络n2对第j个采样点沿x方向位移的预测结果，是第二神经网络n2对第j个采样点沿y方向位移的预测结果，是第三神经网络n3对第j个采样点沿x方向位移的预测结果，是第三神经网络n3对第j个采样点沿y方向位移的预测结果，u
(j)
是整合后被记录的第j个采样点沿x方向的位移，v
(j)
是整合后被记录的第j个采样点沿y方向的位移。
[0178]
对所有j个采样点重复执行上述判断，即可获得整合后的全场位移(u，v)。
[0179]
步骤s3：将整合后的位移场(u，v)输入到第四神经网络n4中进行预测，得到待测细胞牵引力场的分布。
[0180]
在本公开实施例中，将整合后的位移场(u，v)输入到第四神经网络n4中进行预测，经过第四神经网络n4的映射，得到待测细胞牵引力场的分布并输出。
[0181]
基于上述步骤s1-s3，即可准确高效的获得高时空分辨率的细胞牵引力场分布。当第一至第四神经网络(n1-n4)完成构建和训练后，每次使用本公开实施例的方法只需执行步骤s2和s3，无需迭代求解，因此计算的复杂度被显著降低，计算效率得到了显著的提高。
[0182]
基于本公开实施例的超高时空分辨率细胞牵引力定量方法测量所得的细胞牵引力场的分布如图4b所示，作为对比，传统牵引力显微镜方法也用于计算当前的细胞牵引力场。考虑到传统牵引力显微镜方法计算效率较低，两种采样间距被选取，即采样间距1像素和采样间距5像素。基于传统细胞牵引力显微镜方法的细胞牵引力测量结果如图4c和图4d所示。相应的计算时间的绝对值和相对值分别在图5a和图5b中给出。
[0183]
对比传统牵引力显微镜方法和本公开方法所得结果可以看出，传统牵引力显微镜方法的空间分辨率随采样间距的增加而降低，时间分辨率随采样间距的增加而提高。这意味着，传统牵引力显微镜方法需要牺牲空间分辨率来换取时间分辨率，或牺牲时间分辨率来换取空间分辨率，难以获得高时空分辨率的细胞牵引力场。而本公开方法可以获得超高时空分辨率的细胞牵引力定量结果，不仅测量的精度高于传统牵引力显微镜方法(如图4)，
且效率较传统牵引力显微镜方法可以提高三个数量级(如图5)。通过此过程及结果可见本公开的可行性和有益效果。
[0184]
从上述实施例可以看出，本公开提供的一种超高时空分辨率细胞牵引力定量方法，通过引入机器学习，一方面有效提高了细胞牵引力定量的空间分辨率，可以获得更加精确的定量结果；另一方面有效降低了细胞牵引力定量的计算复杂度，显著提高了细胞牵引力定量的时间分辨率，可用于对细胞牵引力的实时定量测量。此外，本公开提供的一种超高时空分辨率细胞牵引力定量方法，显著降低了细胞牵引力定量的理论复杂度，简便易行，可供非专业背景人员使用。
[0185]
基于图1所示的依照本公开实施例的超高时空分辨率细胞牵引力定量方法，图6示意性示出了根据本公开实施例的超高时空分辨率细胞牵引力定量装置的框图。
[0186]
如图6所示，本公开实施例提供的超高时空分辨率细胞牵引力定量装置600，包括神经网络构建与训练模块601、位移记录模块602和细胞牵引力场计算模块603。其中：神经网络构建与训练模块601用于分别构建并训练第一神经网络n1、第二神经网络n2、第三神经网络n3和第四神经网络n4；位移记录模块602用于在待测细胞消化前荧光标志物的荧光图像和待测细胞消化后荧光标志物的荧光图像分别由训练好的第一神经网络n1、第二神经网络n2和第三神经网络n3预测各采样点位移，并进行整合后，记录所有采样点位移组成的当前位移场(u，v)；细胞牵引力场计算模块603用于整合后的位移场(u，v)输入到第四神经网络n4中进行预测，得到待测细胞牵引力场的分布。
[0187]
应当理解，神经网络构建与训练模块601、位移记录模块602和细胞牵引力场计算模块603可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。
[0188]
根据本公开的实施例，神经网络构建与训练模块601、位移记录模块602和细胞牵引力场计算模块603中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式的适当组合来实现。或者，神经网络构建与训练模块601、位移记录模块602和细胞牵引力场计算模块603中的至少一个可以至少被部分地实现为计算机程序模块，当该程序被计算机运行时，可以执行相应模块的功能。
[0189]
本公开实施例还提供了一种超高时空分辨率细胞牵引力定量的电子设备，如图7所示，图7示意性示出了根据本公开实施例的电子设备的框图。该电子设备700包括：一个或多个处理器710；存储器720，其存储有计算机可执行程序，该程序在被所述处理器710执行时，使得所述处理器710实现图1所示的超高时空分辨率细胞牵引力定量方法。
[0190]
具体地，处理器710例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))，等等。处理器710还可以包括用于缓存用途的板载存储器。处理器710可以是用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
[0191]
存储器720，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介
质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(hdd)；光存储装置，如光盘(cd-rom)；存储器，如随机存取存储器(ram)或闪存；和/或有线/无线通信链路。
[0192]
存储器720可以包括计算机程序721，该计算机程序721可以包括代码/计算机可执行指令，其在由处理器710执行时使得处理器710执行根据本公开实施例的方法或其任何变形。
[0193]
计算机程序721可被配置为具有例如包括计算机程序模块的计算机程序代码。例如，在示例实施例中，计算机程序721中的代码可以包括至少一个程序模块，例如包括模块721a、模块721b、
……
。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器710执行时，使得处理器710可以执行根据本公开实施例的方法或其任何变形。
[0194]
本公开实施例还提供了一种包含计算机可执行指令的存储介质，该包含计算机可执行指令的存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述包含计算机可执行指令的存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的超高时空分辨率细胞牵引力定量方法。
[0195]
根据本公开的实施例，包含计算机可执行指令的存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线、光缆、射频信号等等，或者上述的任意合适的组合。
[0196]
本公开还提供了一种计算机程序，该计算机程序包括：计算机可执行指令，所述指令被执行时用于实现根据本公开实施例的超高时空分辨率细胞牵引力定量方法。
[0197]
至此，已经结合附图对本公开进行了详细描述。依据以上描述，本领域技术人员应当对本公开有了清楚的认识。
[0198]
需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换。
[0199]
当然，根据实际需要，本公开还可以包含其他的部分，由于同本公开的创新之处无
关，此处不再赘述。
[0200]
类似地，应当理解，为了精简本公开并帮助理解各个公开方面中的一个或多个，在上面对本公开的示例性实施例的描述中，本公开的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本公开要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，公开方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本公开的单独实施例。
[0201]
此外，在附图或说明书描述中，相似或相同的部分都使用相同的图号。说明书中示例的各个实施例中的技术特征在无冲突的前提下可以进行自由组合形成新的方案，另外每个权利要求可以单独作为一个实施例或者各个权利要求中的技术特征可以进行组合作为新的实施例。再者，附图中未绘示或描述的元件或实现方式，为所属技术领域中普通技术人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于相应的值。
[0202]
除非存在技术障碍或矛盾，本公开的上述各种实施方式可以自由组合以形成另外的实施例，这些另外的实施例均在本公开的保护范围中。
[0203]
虽然结合附图对本公开进行了说明，但是附图中公开的实施例旨在对本公开优选实施方式进行示例性说明，而不能理解为对本公开的一种限制。附图中的尺寸比例仅仅是示意性的，并不能理解为对本公开的限制。
[0204]
虽然本公开总体构思的一些实施例已被显示和说明，本领域普通技术人员将理解，在不背离本总体公开构思的原则和精神的情况下，可对这些实施例做出改变，本公开的范围以权利要求和它们的等同物限定。
[0205]
以上所述的具体实施例，对本公开的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本公开的具体实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。