基于普通亮场或霍夫曼成像的细胞纺锤体定位系统和方法

摘要: 本发明属于医学图像处理、辅助生殖显微操作和人工智能辅助定位,涉及基于普通亮场或霍夫曼成像的细胞纺锤体定位系统和方法,具体涉及基于普通亮场或霍夫曼图像的卵母细胞纺...
基于普通亮场或霍夫曼成像的细胞纺锤体定位系统和方法

本发明属于医学图像处理、辅助生殖显微操作和人工智能辅助定位,涉及基于普通亮场或霍夫曼成像的细胞纺锤体定位系统和方法,具体涉及基于普通亮场或霍夫曼图像的卵母细胞纺锤体智能定位系统和方法。

背景技术:

1、卵胞浆内单精子显微注射,即 icsi,是辅助生殖技术中常用的显微操作方法。在icsi 操作过程中,操作者需要将单个精子注入卵母细胞胞质内。由于卵母细胞减数分裂纺锤体参与染色体排列与分离,其结构完整性和空间位置对后续受精、染色体正常分配以及胚胎发育具有重要影响,因此在显微注射过程中应尽量避免注射针损伤纺锤体。

2、然而,在医院中常规使用的普通亮场或霍夫曼显微成像系统中,卵母细胞轮廓、透明带、胞质区域和第一极体等结构较易观察,而纺锤体通常表现为弱可见甚至不可见,操作者难以直接判断其真实位置。现有临床操作中通常根据第一极体位置间接推测纺锤体方位,但第一极体与纺锤体之间并非始终保持固定空间关系,仅依赖第一极体进行判断容易产生偏差。因此,如何基于常规普通亮场或霍夫曼图像实现卵母细胞纺锤体位置的智能定位,成为亟待解决的问题。

3、为解决辅助生殖过程中生殖细胞结构内感兴趣位置的判断问题,中国发明专利cn116456892a提供一种基于神经网络确定生殖细胞结构中感兴趣位置的系统和方法。该方法通过成像器获取生殖细胞结构图像,并将所述图像输入神经网络,以生成表示生殖细胞结构内感兴趣位置的临床参数;在具体实施方式中,该临床参数可用于表示卵母细胞内极体所在区域,或者表示胚胎透明带上适宜进行辅助操作的位置。该专利说明了人工智能技术在辅助生殖图像位置判断中的应用价值。然而,该专利主要侧重于对极体位置、透明带操作位置或其他感兴趣区域进行分类和提示,并未针对普通亮场或霍夫曼图像中纺锤体弱可见甚至不可见的问题,建立从常规显微图像到纺锤体可检测图像表达的转换机制,也未进一步对纺锤体候选区域进行检测、空间聚类和多结果融合定位,因此无法解决普通亮场或霍夫曼图像下卵母细胞纺锤体精确定位的问题。

4、在纺锤体直接观察方面,美国发明专利us6879713b1《meiotic spindle imagingin oocytes and uses therefor in in vitro fertilization》提出了一种在活体卵母细胞中对减数分裂纺锤体进行成像和分析的方法。该方法利用取向无关偏振光显微镜获取卵母细胞的偏振光信息,并基于双折射、延迟量和方位角等参数确定纺锤体的存在、位置和形态,从而用于卵母细胞质量评价、受精潜能判断或辅助 ivf 过程。该专利能够在不进行固定染色的情况下观察活体卵母细胞纺锤体,为纺锤体位置判断提供了较为直接的依据。然而,该专利仍然依赖专用偏振光显微设备、液晶补偿器、偏振光图像采集以及双折射参数计算流程,对设备和操作条件要求较高;在缺少偏振光成像条件的常规 icsi 显微操作环境中,该技术无法利用普通亮场图像或霍夫曼图像完成纺锤体定位。

5、综上所述,现有技术仍存在以下不足:一是依赖第一极体位置难以稳定判断纺锤体真实位置;二是基于偏振光显微成像的纺锤体观察方法虽然能够直接显示或测量纺锤体,但依赖专用偏振光显微设备和实际偏振光图像采集;三是已有人工智能辅助位置判断方法多侧重于极体位置、透明带操作位置或其他感兴趣区域的分类提示,尚未解决普通亮场或霍夫曼图像下纺锤体弱可见、直接检测困难的问题;四是单次图像判断或单次检测结果容易受图像质量、焦平面差异、胞质纹理干扰和模型推理波动影响,定位稳定性不足。

6、因此,亟需一种能够基于常规普通亮场或霍夫曼图像,生成具有偏振光成像特征的图像表达,并进一步实现纺锤体候选检测、多结果融合定位和原始图像坐标回映射的卵母细胞纺锤体智能定位系统和方法。

技术实现思路

1、针对现有技术存在的问题,本发明提供基于普通亮场或霍夫曼成像的细胞纺锤体定位系统和方法。本发明通过获取常规显微操作过程中易于获得的普通亮场或霍夫曼图像,对卵母细胞区域进行标准化处理;利用预先训练得到的条件图像生成模型生成具有偏振光成像特征的偏振光风格图像;进一步通过纺锤体检测模型获得纺锤体候选区域,并结合多结果融合定位方法确定最终纺锤体位置;最后将纺锤体定位结果映射回原始普通亮场或霍夫曼图像坐标系并进行可视化显示。由此,本发明能够在无需直接获取偏振光显微图像的条件下,提升普通亮场图像或霍夫曼图像下卵母细胞纺锤体的可辨识性和定位可靠性,降低单次生成或单次检测结果波动对定位结果的影响,并保证定位结果与原始显微操作视野之间的空间对应关系,从而为 icsi 操作中的进针位置和进针方向选择提供参考,降低纺锤体损伤风险。

2、为实现上述目的,本发明采用的技术方案为:

3、基于普通亮场或霍夫曼成像的细胞纺锤体定位方法,包括以下步骤:

4、步骤1,使用显微镜获取卵母细胞的原始显微镜图像和原始偏振光图像,组成原始图像对,进一步获得由原始图像对组成的原始图像对集。具体的:

5、步骤1.1,使用相机在显微镜的普通亮场成像模式下获取卵母细胞的普通亮场图像或在显微镜的霍夫曼成像模式下获取卵母细胞的霍夫曼图像,作为原始显微镜图像。原始显微镜图像其中的宽度为;原始显微镜图像其中的高度为;

6、步骤1.2,使用相机在显微镜的偏振光成像模式下获取同一卵母细胞的对应图像,拍摄时要保持卵母细胞的位置、姿态与步骤1.1中的完全一致,拍摄的图像称为原始偏振光图像。原始偏振光图像与原始显微镜图像组成原始图像对。

7、(1)

8、其中,为卵母细胞样本在全部样本中的编号。

9、原始图像对的集合称为原始图像对集。

10、步骤2,对原始图像对集进行图像预处理,得到标准图像对集。具体的:

11、步骤2.1,对于每一个原始图像对,在原始显微镜图像上,人工标注卵母细胞几何中心点位置坐标。

12、步骤2.2,以卵母细胞几何中心点位置坐标为中心,进行尺寸裁剪、缩放原始显微镜图像,并进一步进行图像像素数值的归一化,得到标准输入图像。

13、(2)

14、其中,表示根据卵母细胞几何中心点位置坐标、裁剪尺寸、缩放比例确定的空间变换,以及像素归一化的数值变换;表示空间变换参数;

15、步骤2.3,对原始图像对中的原始偏振光图像以对应的中卵母细胞几何中心点位置坐标为中心,按照与步骤2.2相同的分辨率进行尺寸裁剪、缩放原始显微镜图像,并进一步进行图像像素数值的归一化,获得标准偏振光图像。

16、(3)

17、步骤2.4,对标准偏振光图像纺锤体所在的区域进行加强,得到标准加强偏振光图像。人工标注出标准偏振光图像中纺锤体所在的区域,设标准偏振光图像中像素点的原始像素值为,增强后的像素值为,则增强后的标准偏振光图像表示为:

18、(4)

19、其中,表示纺锤体区域增强值;为标准图像对,由和组成;

20、标准图像对的集合称为标准图像对集。

21、步骤3,将步骤2得到的标准图像对集划分为第一训练集、第一验证集、第一测试集。

22、步骤4,构建纺锤体检测模型,包括构建条件图像生成模型,根据标准输入图像生成对应的一个或多个偏振光风格图像;构建目标检测模型,检测生成的偏振光风格图像中的纺锤体区域;构建投票模型,从一个或多个检测得到的纺锤体区域确定最终的纺锤体区域。具体的:

23、步骤4.1,构建条件图像生成模型,其包括基于条件生成对抗网络的图像到图像转换模型、基于编码器—解码器网络或自编码器网络的条件图像生成模型、基于扩散概率模型或潜空间扩散模型的条件图像生成模型、基于transformer网络的条件图像生成模型,以及由卷积神经网络、transformer网络或二者组合构成的条件图像生成模型。

24、构建的条件图像生成模型以标准输入图像为输入,输出为偏振光风格图像。

25、(5)

26、其中,表示训练完成的条件图像生成模型,表示第个生成条件、推理参数或随机扰动参数。

27、通过改变生成条件、推理参数或随机扰动参数,获得偏振光风格图像集。

28、(6)

29、其中,表示第张偏振光风格图像,表示偏振光风格图像的数量。

30、步骤4.2,构建目标检测模型。纺锤体检测模型选自yolo系列目标检测模型、其他适用于小目标检测的卷积神经网络、transformer检测网络或医学图像目标检测模型。

31、设目标检测模型,则对于输入的偏振光风格图像,纺锤体检测模型输出表示为:

32、(7)

33、(8)

34、其中,表示第个候选矩形框;表示该候选矩形框对应的检测置信度;表示输出的候选矩形框数量。为在上检测出的第个候选矩形框左上角顶点的横坐标;为在上检测出的第个候选矩形框左上角顶点的纵坐标;为在上检测出的第个候选矩形框右下角顶点的横坐标;为在上检测出的第个候选矩形框右上角顶点的纵坐标;

35、步骤4.3,构建投票模型,用于将同一个卵细胞的多张图像所检测出的候选矩形框的集合通过投票的方法得到一个集成矩形框。具体的:

36、步骤4.3.1,获得有效候选矩形框集合。

37、将步骤4.1得到的偏振光风格图像集中的每张偏振光风格图像分别输入步骤4.2中得到的目标检测模型,获得对应的候选矩形框及检测置信度。

38、对于每张偏振光风格图像,目标检测模型输出至多一个候选矩形框及其对应的检测置信度。所有的候选矩形框构成候选矩形框集合;

39、(9)

40、其中,为第个候选矩形框;为候选矩形框对应的检测置信度;为输出的候选矩形框数量。

41、将检测置信度不低于预设检测置信度阈值的预测结果构成有效候选矩形框集合:

42、(10)

43、其中,表示有效候选矩形框集合;为检测置信度阈值,范围为0.6-0.8。

44、步骤4.3.2,计算有效候选矩形框集合中各候选矩形框的几何中心点坐标。

45、对于有效候选矩形框集合中的第个候选矩形框:

46、(11)

47、其中,为第个候选矩形框左上角顶点的横坐标;为第个候选矩形框左上角顶点的纵坐标;为第个候选矩形框右下角顶点的横坐标;为第个候选矩形框右上角顶点的纵坐标;

48、候选矩形的几何中心点坐标表示为:

49、(12)

50、进一步的,将中心点坐标归一化至零至一范围内,得到归一化中心点坐标:

51、(13)

52、其中,和分别表示偏振光风格图像的宽度和高度;为候选矩形的几何中心点坐标的横坐标;为候选矩形的几何中心点坐标的纵坐标。

53、步骤4.3.3,对候选矩形框的几何中心点进行空间聚类和置信度融合。

54、根据候选矩形框的几何中心点之间的空间距离,对纺锤体候选区域集合中的候选区域进行空间聚类。空间聚类采用 dbscan 聚类方法、阈值距离聚类方法或其他空间聚类方法。

55、设聚类后得到r个候选簇,分别记为:

56、(14)

57、其中,表示通过空间聚类方法得到的候选簇数量;表示第个候选簇,是候选簇中所有候选矩形框对应的序号的集合;表示第1个候选簇;表示第2个候选簇;表示第个候选簇。

58、对于第r个候选簇,计算中全部候选矩形框的置信度之和,称为候选簇置信度:

59、(15)

60、其中,第个候选矩形框对应的检测置信度;

61、将候选簇置信度总和最高且满足预设融合置信度阈值的候选簇确定为目标簇:

62、(16)

63、则目标簇需要满足:

64、(17)

65、其中,表示预设融合置信度阈值,范围为1.5-2.0。

66、当按照步骤4.3.3不存在满足预设融合置信度阈值要求的目标簇时,投票模型输出的集成矩形框为空,即未检测到纺锤体

67、当存在满足预设融合置信度阈值要求的目标簇时,继续执行步骤4.3.4。

68、步骤4.3.4,根据目标簇内的矩形框,计算集成矩形框。

69、对于目标聚类,计算目标簇内各候选矩形框中心点的置信度加权平均中心点:

70、(18)

71、其中,为目标簇中第个候选矩形框的中心点;

72、随后,在目标簇内选择中心点与加权平均中心点距离最近的真实候选矩形框,作为最终纺锤体定位框:

73、(19)

74、(20)

75、其中,表示投票模型输出的集成矩形框。

76、所述检测置信度阈值、预设融合置信度阈值为投票模型的超参数。

77、步骤5,模型训练。基于步骤4得到的条件图像生成模型、目标检测模型、投票模型,以及步骤3得到的第一训练集、第一验证集。训练得到纺锤体条件图像生成模型、纺锤体检测模型,并且调优投票模型的超参数,得到最佳超参数。具体的:

78、步骤5.1,基于条件图像生成模型、第一训练集,第一验证集训练得到纺锤体条件图像生成模型:将第一训练集中标准输入图像输入步骤4.1的条件图像生成模型,得到偏振光风格图像;以增强后第一训练集中标准加强偏振光图像作为监督目标,通过迭代更新条件图像生成模型参数,使条件图像生成模型学习由普通亮场图像或霍夫曼图像生成偏振光风格图像的条件映射关系,从而得到纺锤体条件图像生成模型,并通过第一验证集进行验证;具体的:

79、步骤5.1.1,构建纺锤体区域加权损失。

80、本发明引入基于纺锤体区域的加权损失函数,提高纺锤体条件图像生成模型对纺锤体结构区域的关注能力。

81、根据标准偏振光图像中纺锤体所在的区域构建区域权重图,其表示为:

82、(21)

83、其中,表示纺锤体区域损失权重,且;

84、设像素点处的生成误差为,则纺锤体区域加权损失可表示为:

85、(22)

86、其中,表示标准加强偏振光图像中的全部像素区域;表示纺锤体风格图像上像素对应的值;表示标准偏振光图像上像素对应的值;

87、步骤5.1.2,验证训练得到的纺锤体条件图像生成模型。

88、利用纺锤体数据集的验证集对训练过程中的条件图像生成模型进行性能评估,根据生成的偏振光风格图像与标准加强偏振光图像之间的结构一致性、图像质量、纺锤体区域表达效果及后续纺锤体检测效果,选择满足预设性能条件的模型参数,得到训练完成的纺锤体条件图像生成模型。

89、所述预设性能条件为:生成图像与标准加强偏振光图像之间的结构相似性指数(ssim)不低于第一预设阈值,峰值信噪比(psnr)不低于第二预设阈值,从而保证生成图像在结构信息保持和图像质量方面满足要求。其中,第一预设阈值为0.70~0.90,优选为0.80;所述第二预设阈值为20~40 db,优选为30 db。

90、步骤5.2,训练得到纺锤体目标检测模型。具体的:

91、步骤5.2.1,构建纺锤体检测数据集,将其划分为第二训练集、第二验证集、第二测试集。

92、对于第一训练集中的每个标准图像对的标准输入图像输入步骤5.1训练完成的纺锤体条件图像生成模型进行推理,通过改变生成条件、推理参数或随机扰动参数,生成多张偏振光风格图像。

93、设第一训练集第个样本对应的标准输入图像为,第个生成条件为,则对应的偏振光风格图像表示为:

94、(23)

95、其中,为训练完成的条件图像生成模型,为第j个生成条件、推理参数或随机扰动参数;

96、步骤5.2.2,获得纺锤体矩形标注框。

97、人工为步骤5.2.1中获得的偏振光风格图像标注对应纺锤体的矩形标注框。

98、设第e个纺锤体检测数据集中的图像对应的纺锤体矩形标注框为,则矩形标注框表示为:

99、(24)

100、其中,表示纺锤体矩形标注框左上角坐标,表示纺锤体矩形标注框右下角坐标。

101、进一步的,纺锤体矩形标注框还表示为纺锤体几何中心点坐标、矩形框宽度和矩形框高度:

102、(25)

103、其中,表示纺锤体矩形标注框几何中心点坐标,和分别表示矩形标注框的宽度和高度。

104、步骤5.2.3,训练纺锤体目标检测模型。

105、将偏振光风格图像输入目标检测模型,将与其对应的纺锤体矩形标注框作为监督信息,通过迭代更新目标检测模型参数,使目标检测模型学习偏振光风格图像中的纺锤体区域特征与纺锤体矩形框位置之间的对应关系,从而获得纺锤体目标检测模型。

106、纺锤体目标检测模型的训练损失包括矩形框回归损失、类别损失和检测置信度损失中的一种或多种,训练总损失表示为:

107、(26)

108、其中,表示预测矩形框与矩形标注框之间的回归损失,表示纺锤体类别预测损失,表示预测矩形框目标置信度损失;、和分别表示对应损失项的权重系数,为矩形框与纺锤体矩形标注框之间的回归损失的权重系数,为纺锤体类别预测损失的权重系数,为预测矩形框目标置信度损失的权重系数。

109、步骤5.2.4,验证训练完成的纺锤体检测模型。

110、利用第二验证集对训练过程中的纺锤体检测模型进行性能评估,根据纺锤体候选矩形框的位置准确性、检测置信度及纺锤体区域检测效果,选择满足预设性能条件的模型参数,得到训练完成的纺锤体目标检测模型。

111、所述预设性能条件为:在第二验证集中,纺锤体检测结果与真实标注区域之间的交并比iou不低于0.5,优选不低于0.6;检测模型的平均精度均值map@0.5不低于0.80,优选不低于0.85;检测精确率precision不低于0.85,召回率recall不低于0.70,并且检测结果置信度不低于0.25。

112、步骤5.3,调整投票模型的超参数,得到投票模型的最佳超参数。

113、步骤5.3.1,将第一验证集输入步骤5.1得到的纺锤体条件图像生成模型,通过改变生成条件、推理参数或随机扰动参数,生成多张偏振光风格图像,获得偏振光风格图像集合,偏振光风格图像集合由其子集组成。

114、(27)

115、(28)

116、其中,为第一验证集第个图像在条件下经纺锤体条件图像生成模型推理得到的偏振光风格图像。为第一验证集的标准图像对个数。为纺锤体条件图像生成模型推理时条件的种类个数。

117、步骤5.3.2,将所有偏振光风格图像输入步骤5.2得到的纺锤体目标检测模型中进行检测,得到每一张偏振光风格图像对应的候选矩形框。得到检测后的偏振光风格图像集合,由其子集组成。

118、(29)

119、(30)

120、其中,为偏振光风格图像对应的候选矩形框,为候选检测框对应的检测置信度。

121、步骤5.3.3,通过检测后的偏振光风格图像集合的所有子集得到候选矩形框集合。

122、(31)

123、将候选矩形框集合输入步骤4.3得到的投票模型,得到集成矩形框。

124、步骤5.3.4,获得第一验证集样本的真值矩形框。

125、将第一验证集中第个的标准加强偏振光图像输入步骤5.2得到的纺锤体目标检测模型中进行推理,得到对应的真值矩形框。

126、步骤5.3.5,网格遍历投票模型的超参数得到多组候选超参数组合,计算第一验证集中每一个标准加强偏振光图像的集成矩形框与真值矩形框中心点之间的欧氏距离,各候选超参数组合中,对应的平均中心点距离最小的即最优投票模型的超参数。

127、步骤6,基于步骤1.1和步骤2.2的图像获取和预处理方法,步骤5得到的纺锤体条件图像生成模型、纺锤体目标检测模型、投票模型的最佳超参数,构建完整的纺锤体检测系统。具体的:

128、步骤6.1,完成模型训练并确定最优模型参数后,将所得到的纺锤体目标检测模型进行保存与部署。在后续实际应用过程中,无需针对每一次检测任务重新进行模型训练,直接调用已训练完成的纺锤体条件图像生成模型、纺锤体目标检测模型、投票模型对输入图像进行推理。

129、当检测环境、样本类型或应用需求发生变化时,通过进一步采集新的标注数据,并基于已有纺锤体条件图像生成模型、纺锤体目标检测模型、投票模型参数进行迁移学习或增量微调,使纺锤体条件图像生成模型、纺锤体目标检测模型、投票模型适应新的数据分布。在微调过程中,仅需利用新增数据对纺锤体条件图像生成模型、纺锤体目标检测模型、投票模型参数进行优化更新,即能够提升纺锤体条件图像生成模型、纺锤体目标检测模型、投票模型在特定场景下的检测精度,而无需从零开始重新训练模型,从而提高纺锤体条件图像生成模型、纺锤体目标检测模型、投票模型使用效率和实际应用的灵活性。

130、步骤6.2,基于步骤1.1得到待测卵母细胞原始显微镜图像,将输入2.2得到,将输入得到偏振光风格图像集合的子集,将输入纺锤体目标检测模型得到检测后的偏振光风格图像集合的子集,最后由投票模型输出集成矩形框。

131、其中,为左上角顶点的横坐标;为左上角顶点的纵坐标;为右下角顶点的横坐标;为右下角顶点的纵坐标;

132、步骤6.3,基于步骤6.2得到的集成矩形框,计算得到代表待测卵母细胞纺锤体在原始显微镜图像上的位置的原始集成矩形框。

133、(32)

134、最终,获得映射至原始显微镜图像坐标系下的纺锤体位置检测框,用于表示待测卵母细胞纺锤体在原始显微镜图像中的空间位置。

135、基于普通亮场或霍夫曼成像的细胞纺锤体定位系统,采用细胞纺锤体定位系统实现上述细胞纺锤体定位方法。细胞纺锤体定位系统包括图像获取模块、图像预处理模块、偏振光风格图像生成模块、纺锤体候选检测模块、多结果融合定位模块以及坐标映射模块;具体的:

136、所述图像获取模块用于获取待检测卵母细胞的原始显微镜图像,并将原始显微镜图像传输至图像预处理模块;原始显微镜图像为普通亮场图像或霍夫曼图像,原始显微镜图像中包括卵母细胞轮廓、透明带、胞质区域和第一极体中的一种或多种结构信息。图像获取模块获取的图像可以由显微成像设备采集获得,也可以由用户通过本地软件界面选择已有图像后输入系统。

137、所述图像预处理模块与所述图像获取模块连接,用于对所述原始显微镜图像进行卵母细胞中心点提取、尺寸裁剪、缩放和像素归一化处理,得到满足模型输入要求的标准输入图像。所述图像预处理模块还用于记录原始显微镜图像的高度和宽度、裁剪区域左上角顶点的坐标、缩放比例,得到空间变换参数。

138、所述偏振光风格图像生成模块与所述图像预处理模块连接,用于将所述标准输入图像输入预先训练得到的纺锤体条件图像生成模型,生成具有偏振光成像特征的偏振光风格图像。所述偏振光风格图像用于增强或表达普通亮场或霍夫曼图像中弱可见或不可直接观察的纺锤体相关信息。所述偏振光风格图像生成模块还用于在不同生成条件、推理参数或随机扰动参数下,基于同一标准输入图像生成一张或多张偏振光风格图像,得到偏振光风格图像集。

139、所述纺锤体候选检测模块与所述偏振光风格图像生成模块连接,用于将所述偏振光风格图像集中的每张偏振光风格图像输入预先训练得到的纺锤体目标检测模型,并对所述偏振光风格图像中的纺锤体区域进行目标检测,得到候选矩形框集合。

140、所述多结果融合定位模块与所述纺锤体候选检测模块连接,用于对所述候选矩形框集合中的多个候选矩形框进行空间聚类和置信度融合,确定集成矩形框作为纺锤体的参考位置。

141、所述坐标映射模块分别与所述图像预处理模块和所述多结果融合定位模块连接,用于根据所述图像预处理模块记录的空间变换参数,将所述多结果融合定位模块得到的代表纺锤体参考位置的集成矩形框从标准输入图像坐标系映射至原始显微镜图像坐标系,得到原始普通亮场或霍夫曼图像中的纺锤体定位结果。所述坐标映射模块还用于在原始普通亮场或霍夫曼图像上叠加显示纺锤体预测框,从而向操作者输出用于辅助 icsi 显微操作的纺锤体定位提示。

142、与现有技术相比,本发明的有益效果为:

143、第一、本发明能够降低卵母细胞纺锤体定位对实时偏振光显微成像设备的依赖。

144、本发明以常规显微操作过程中易于获取的普通亮场或霍夫曼图像作为输入,通过预先训练得到的纺锤体条件图像生成模型生成具有偏振光成像特征的偏振光风格图像,使普通亮场或霍夫曼图像中弱可见或不可直接观察的纺锤体相关信息得到增强表达。因此,在实际定位过程中,无需每次均采集真实偏振光图像,即可为后续纺锤体检测提供更易识别的图像表达,从而降低对专用偏振光显微设备和实时偏振光成像流程的依赖。

145、第二、本发明能够提高普通亮场或霍夫曼图像下卵母细胞纺锤体的可检测性。

146、普通亮场或霍夫曼图像虽然能够显示卵母细胞轮廓、透明带、胞质区域和第一极体等结构,但纺锤体在其中通常表现为弱特征,无法直接检测。本发明通过偏振光风格图像生成模块,将普通亮场或霍夫曼图像中的隐含纺锤体相关特征转换为更利于检测模型识别的偏振光风格图像特征,再由纺锤体候选检测模块对所述偏振光风格图像进行目标检测,从而提高纺锤体候选区域的检出能力。

147、第三、本发明能够提高纺锤体定位结果的稳定性和可靠性。

148、由于单次图像生成结果或单次纺锤体检测结果可能受到图像质量、焦平面差异、胞质纹理干扰以及模型推理波动等因素影响,本发明不是直接采用单次检测结果作为最终输出,而是基于同一标准输入图像生成一张或多张偏振光风格图像,并获得多个代表纺锤体位置的候选矩形框。随后,通过多结果融合定位模块对代表纺锤体位置的候选矩形框进行空间聚类和置信度融合,选择聚类置信度满足要求的目标聚类确定最终纺锤体位置,从而降低单一候选结果波动对最终定位结果的影响,提高定位结果的稳定性。

149、第四、本发明能够将纺锤体定位结果直接反馈至操作者熟悉的原始图像界面。

150、本发明在图像预处理过程中记录原始显微图像尺寸、裁剪区域位置、缩放比例,并在获得目标纺锤体最终位置后,通过坐标映射模块将该位置从标准输入图像坐标系映射回原始普通亮场或霍夫曼图像坐标系。由此,系统能够在原始普通亮场或霍夫曼图像上叠加显示纺锤体预测框,使操作者能够在常规显微图像界面中直观查看纺锤体可能所在位置。

151、第五、本发明能够为 icsi 显微操作中的纺锤体避让提供辅助参考。

152、本发明输出的纺锤体定位结果可以用于提示纺锤体相对于卵母细胞、第一极体和注射方向的空间位置关系,为操作者进行卵母细胞旋转、注射路径选择和纺锤体避让提供辅助参考。与仅依赖第一极体位置进行经验判断相比,本发明能够提供更直接的纺锤体位置提示,有助于降低因纺锤体位置判断偏差导致的操作风险。

153、第六、本发明能够形成从图像获取、特征增强、候选检测、融合定位到结果显示的完整智能定位流程。

154、现有偏振光成像方案主要依赖真实偏振光图像采集,现有 icsi 操作装置改进方案主要解决固定针、注射针、换针和调针等硬件问题,而本发明围绕普通亮场或霍夫曼图像下纺锤体弱可见这一问题,依次设置图像预处理、偏振光风格图像生成、纺锤体候选检测、多结果融合定位和坐标映射显示等技术步骤,能够将普通显微图像中的隐含纺锤体信息转化为可检测、可融合、可回映射和可显示的定位结果,从而提高该系统在常规 icsi 显微操作场景中的实用性。

155、综上所述,本发明通过对普通亮场图像或霍夫曼图像进行卵母细胞区域提取及标准化处理,利用条件图像生成模型生成具有偏振光成像特征的偏振光风格图像,并通过预先训练的纺锤体检测模型对各偏振光风格图像进行纺锤体定位;进一步针对同一卵母细胞在不同生成条件下获得的多个检测结果,采用空间聚类和置信度融合方式确定可靠的最终纺锤体位置,最后将所述定位结果映射回原始显微图像坐标系并进行可视化显示。由此,能够在不依赖实时偏振光显微成像的情况下,提高普通亮场图像或霍夫曼图像下卵母细胞纺锤体定位结果的稳定性、可解释性及临床操作适配性,为 icsi 显微操作提供纺锤体避让辅助参考。