一种动态单粒子追踪方法及装置

本发明涉及单粒子追踪，尤其涉及一种动态单粒子追踪方法及装置。

背景技术：

1、单粒子追踪在各类成像技术中具有广泛应用。其中，在生物体内的复杂背景或者单分子信号微弱等情况中，单粒子的精准追踪具有一定的挑战性。

2、相关技术中单粒子追踪的关键在于粒子识别与定位，一般采用的技术手段为无标记成像法。无标记成像法无需外源性标记，可显著延长单粒子的追踪时长，并为研究天然状态下的生物分子行为提供了可能。

3、具体的，相关技术在无标记成像法中，能通过校准或调整拟合参数在单帧静态图像实现粒子识别，但是，相关技术在连续帧间的追踪一致性降低，粒子轨迹连接错误率显著上升。这一不足极大限制了无标记成像法在长时间生物动态分析中的可靠应用。

4、因此，当前亟需研发一种能有效提升单粒子追踪精准度的方式。

技术实现思路

1、本发明提供一种动态单粒子追踪方法及装置，用以解决相关技术中单粒子追踪精准度较低的缺陷，提升单粒子动态追踪精准度。

2、第一方面，本发明提供一种动态单粒子追踪方法，包括：

3、采集用于追踪单粒子运动轨迹的原始图像序列；

4、根据所述原始图像序列中的单粒子表现特征，选择对应的目标时空特征要素；

5、基于所述目标时空特征要素在所述原始图像序列中进行单粒子追踪，得到单粒子运动轨迹；

6、沿所述单粒子运动轨迹提取单粒子运动数据，并对所述单粒子运动数据进行可视化输出。

7、可选的，所述根据所述原始图像序列中的单粒子表现特征，选择对应的目标时空特征要素，包括：

8、监测到所述原始图像序列中的单粒子为呈现稀疏空间分布的单颗粒或单分子，则获取已创建的单粒子表现特征与时空特征要素间的关联关系；

9、根据所述稀疏空间分布特征，在所述关联关系中查找出对应的时空特征要素为结合强度、点扩散函数psf、二维空间中的结合事件位置、结合前的纯背景帧图像和局部背景随时间的缓慢变化图像，并整体作为所述目标时空特征要素。

10、可选的，所述基于所述目标时空特征要素在所述原始图像序列中进行单粒子追踪，得到单粒子运动轨迹，包括：

11、对所述原始图像序列进行预处理以压制噪声，得到预处理后图像序列；

12、根据所述预处理后图像序列中每个帧图像中的结合强度特征和psf特征，确定每个所述帧图像中的有效结合位置；

13、对于任一所述有效结合位置，以所述有效结合位置作为待截取局部图像块的中心点，根据所述中心点和设定的第一局部尺寸，分别在包括所述有效结合位置的目标帧图像、对应的前n个所述帧图像和后m个所述帧图像中进行局部图像块截取，得到局部图像块序列；将所述局部图像块序列中位于前列的多个所述局部图像块作为样本图像块并进行模型训练，以得到训练好的中心背景预测模型，使用所述中心背景预测模型，预测每个非样本图像块的中心区域像素背景，分别基于每个所述非样本图像块的中心区域像素背景，净化每个所述非样本图像块的中心区域像素，得到对应的净化后图像块序列，对所述净化后图像块序列进行单粒子追踪，得到所述有效结合位置对应的单粒子运动轨迹；其中，在所述目标帧图像中截取出的所述局部图像块为所述非样本图像块。

14、可选的，所述根据所述预处理后图像序列中每个帧图像中的结合强度特征和psf特征，确定每个所述帧图像中的有效结合位置，包括：

15、对于所述预处理后图像序列中的任一所述帧图像，将所述帧图像输入至训练好的u型卷积神经网络中，以使所述u型卷积神经网络：在所述帧图像中提取结合强度和psf特征，根据提出的结合强度和psf特征生成并输出结合事件概率图，所述结合事件概率图中标记有置信度超过设定置信阈值的候选结合位置；

16、对于任一所述候选结合位置，确定所述候选结合位置对应的目标帧图像，若所述候选结合位置在所述目标帧图像中的空间分布特征为稀疏孤立，则将所述目标帧图像与对应的前一帧图像进行差分运算，以确定所述候选结合位置对应的灰度变化值，若所述灰度变化值大于设定灰度阈值，则确定所述候选结合位置出现快速的瞬时强度跳变，并确定所述候选结合位置为有效结合位置。

17、可选的，所述将所述局部图像块序列中位于前列的多个所述局部图像块作为样本图像块并进行模型训练，以得到训练好的中心背景预测模型，包括：

18、对于任一所述样本图像块，根据设定的第二局部尺寸，在所述样本图像块中确定对应的目标中心区域，并在所述样本图像块中剔除所述目标中心区域，得到剔除后样本图像块；

19、将连续的设定数量的剔除后样本图像块作为样本图像块序列并输入至待训练模型中，以使所述待训练模型：根据所述样本图像块序列中的像素，预测所述样本图像块序列的下一个图像块的目标中心区域的像素背景，生成并输出预测结果；

20、根据所述预测结果更新所述待训练模型的参数，直至得到训练好的中心背景预测模型。

21、可选的，所述对所述净化后图像块序列进行单粒子追踪，得到所述有效结合位置对应的单粒子运动轨迹，包括：

22、针对所述净化后图像块序列中的任一净化后帧图像，在所述净化后帧图像的psf中进行二维质心定位，得到所述净化帧图像的亚像素级的单粒子位置坐标；

23、依次将所述净化后图像块序列中每个所述净化后帧图像的单粒子位置坐标进行关联，得到所述有效结合位置对应的单粒子运动轨迹。

24、可选的，所述沿所述单粒子运动轨迹提取单粒子运动数据，包括：

25、针对所述净化后图像块序列中的任一净化后帧图像，识别所述净化后帧图像中的艾里斑区域，对所述艾里斑区域中每个像素的像素值进行积分和平均值计算，得到所述净化帧图像的瞬时图像强度；

26、基于每个所述净化后帧图像的瞬时图像强度，确定从单粒子首次出现至消失或者采集结束的驻留时长；

27、将每个所述净化后帧图像的瞬时图像强度、单粒子位置坐标和所述驻留时长整体作为沿所述单粒子运动轨迹提取出的所述单粒子运动数据。

28、可选的，所述根据所述原始图像序列中的单粒子表现特征，选择对应的目标时空特征要素，包括：

29、监测到所述原始图像序列中的单粒子为细胞黏着斑，则选择目标时空特征要素为在原始图像、高斯算子图像和黑塞算子图像中提取的时空特征要素；

30、所述基于所述目标时空特征要素在所述原始图像序列中进行单粒子追踪，得到单粒子运动轨迹，包括：

31、针对所述原始图像序列中的任一帧图像，根据所述帧图像，分别生成第一设定尺度和第二设定尺度下的第一高斯算子图像和第二高斯算子图像，分别生成所述第一设定尺度和所述第二设定尺度下沿x方向的第一黑塞算子图像和第二黑塞算子图像，分别生成所述第一设定尺度和所述第二设定尺度下沿y方向的第三黑塞算子图像和第四黑塞算子图像，其中，所述第一设定尺度小于所述第二设定尺度，将所述帧图像与生成的各个算子图像按照通道进行组合，得到七通道数据，将所述七通道数据输入至训练好的u型卷积神经网络中进行处理，得到黏着斑概率图和星形距离stardist图，合成所述黏着斑概率图和所述stardist图，得到分割的黏着斑图像；

32、对连续所述帧图像对应的黏着斑图像执行多目标数据关联，得到每个所述细胞黏着斑的运动轨迹。

33、可选的，所述沿所述单粒子运动轨迹提取单粒子运动数据，包括：

34、对于任一所述细胞黏着斑的运动轨迹，沿所述细胞黏着斑的运动轨迹记录位置坐标和图像强度，根据记录的位置坐标和图像强度确定强度跳变事件、随机运动速度和径向速度，并整体作为所述细胞黏着斑的运动数据。

35、第二方面，本发明提供一种动态单粒子追踪装置，应用于上述第一方面或其对应的任一实施方式的动态单粒子追踪方法，所述装置包括：

36、采集单元，用于采集用于追踪单粒子运动轨迹的原始图像序列；

37、选择单元，用于根据所述原始图像序列中的单粒子表现特征，选择对应的目标时空特征要素；

38、追踪单元，用于基于所述目标时空特征要素在所述原始图像序列中进行单粒子追踪，得到单粒子运动轨迹；

39、提取单元，用于沿所述单粒子运动轨迹提取单粒子运动数据；

40、输出单元，用于对所述单粒子运动数据进行可视化输出。

41、本发明提供的动态单粒子追踪方法及装置，可以通过采集用于追踪单粒子运动轨迹的原始图像序列，根据原始图像序列中的单粒子表现特征，选择对应的目标时空特征要素，基于目标时空特征要素在原始图像序列中进行单粒子追踪，得到单粒子运动轨迹，沿单粒子运动轨迹提取单粒子运动数据，并对单粒子运动数据进行可视化输出，有效提升单粒子追踪精准度。

42、本发明相比于相关技术中的单粒子追踪方式，具有以下有益效果：

43、（1）本发明融合了单粒子的空间特征和时间特征。由此减少对固定阈值、单帧图像强度或单一形态特征的依赖，提高复杂背景和微弱信号条件下单粒子的识别稳定性。

44、（2）对于在空间上稀疏分布的单颗粒或单分子，本发明利用单粒子信号快速变化而局部背景缓慢变化的差异，能够抑制背景漂移，并保留对象连续存在期间的完整信号。

45、（3）本发明针对每个结合事件预测其局部背景，结合背景相减和点扩散函数亚像素定位，可连续提取对象的强度、位置和驻留时间。

46、（4）对于形态复杂、较密集分布的细胞黏着斑，本发明融合原始强度、多尺度斑点结构和多方向脊结构，能够适应不同尺度、形态和延伸方向的黏着斑，减少漏检。

47、（5）黏着斑概率图和stardist图用于区分彼此邻近的单粒子，而多目标数据关联方式用于建立连续帧间的单粒子对应关系，从而减少对象合并、轨迹断裂和错误链接。

48、（6）本发明针对不同单粒子选择相适配的特征要素和处理方法，进而在统一处理逻辑下，实现从单分子到单个细胞亚结构尺度的识别与追踪。