基于深度卷积神经网络的精子形态识别方法及存储介质与流程

1.本发明实施例涉及医学图像处理技术领域，尤其涉及一种基于深度卷积神经网络的精子形态识别方法及存储介质。


背景技术：

2.近年来，随着生活压力的增大和环境污染等因素的影响，男性不育患者的数量呈现逐年增加的趋势，精液分析是评价男性生育力的最常用检查方式，而在精液分析中，精子形态检测是最重要的评估因素之一。
3.目前，临床工作中精子形态检测都是将精液涂片进行染色后在显微镜下手工进行计数统计，该过程工作任务繁琐，持续时间长，识别判断结果受医生主观影响大，且染色过程可能改变精子形态，影响精子形态识别的准确性。


技术实现要素：

4.本发明提供一种基于深度卷积神经网络的精子形态识别方法及存储介质，以实现精子形态识别更加准确快速，提高精子形态分析的效率和质量。
5.第一方面，本发明实施例提供了一种精子形态识别方法，该方法包括：
6.获取多精子图像，并对所述多精子图像进行图像分割处理，得到至少一个单精子图像；
7.提取各所述单精子图像中的至少一个精子部位，并确定各所述精子部位的部位轮廓图像；
8.基于深度卷积神经网络识别所述部位轮廓图像，得到单精子的精子形态识别结果；其中，所述精子形态识别结果包括精子形态正常或者精子形态异常。
9.可选的，所述精子部位包括头部、顶体、空泡、颈部以及尾部中的至少一个部位。
10.可选的，所述确定各所述精子部位的部位轮廓图像，包括：
11.对各所述精子部位进行部位边缘识别，得到所述各精子部位的部位轮廓曲线数据；
12.基于各所述精子部位的部位轮廓曲线数据与预设空白图像数据，得到所述单精子图像的精子部位轮廓图像。
13.可选的，在获取多精子图像之后，还包括：
14.获取多精子图像的尺寸信息；
15.若所述尺寸信息不在预设尺寸阈值范围内，则调整所述多精子图像。
16.可选的，所述对所述多精子图像进行图像分割处理，得到至少一个单精子图像，包括：
17.获取预先设置的精子分割模型，将所述多精子图像输入至所述精子分割模型，得到所述精子分割模型输出的各单精子数据；
18.基于各所述单精子数据与预设空白图像数据，得到各单精子图像。
19.可选的，所述提取各所述单精子图像中的至少一个精子部位，包括：
20.获取预先设置的部位分割模型，将所述单精子图像输入至所述部位分割模型，得到所述部位分割模型的输出结果，以确定所述单精子图像中单精子的至少一个精子部位。
21.可选的，所述基于深度卷积神经网络识别所述部位轮廓图像，得到单精子的精子形态识别结果，包括：
22.获取预先训练的形态识别模型，将所述部位轮廓图像输入至所述形态识别模型，得到所述形态识别模型输出的精子形态识别结果。
23.可选的，若所述精子形态识别结果包括精子形态异常；
24.相应的，所述基于深度卷积神经网络识别所述部位轮廓图像，得到单精子的精子形态识别结果，还包括：
25.将所述部位轮廓图像输入至所述形态识别模型，得到所述形态识别模型输出的精子形态异常的识别结果，以及至少一个导致所述精子形态异常的精子部位形态识别结果。
26.可选的，在获取预先设置的精子分割模型之前，还包括：
27.获取用于训练初始精子分割模型的样本数据；其中，所述样本数据包括至少一张已标记的多精子样本图像；
28.确定任一多精子样本图像的样本尺寸信息；
29.若所述样本尺寸信息不在预设尺寸阈值范围内，则对所述多精子样本图像进行裁剪处理，得到至少一张裁剪后的多精子样本图像；
30.基于所述至少一张裁剪后的多精子样本图像对所述初始精子分割模型进行训练，得到训练好的精子分割模型。
31.第二方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例提供的精子形态识别方法。
32.本实施例的技术方案通过获取多精子图像，并对多精子图像进行图像分割处理，得到至少一个单精子图像；去除了原始的多精子图像中除精子之外的其他冗余信息，加快识别速度，提取各单精子图像中的至少一个精子部位，并确定各精子部位的部位轮廓图像；去除单精子图像中除部位轮廓外的其他冗余信息，进一步地加快识别准确率；基于深度卷积神经网络识别部位轮廓图像，得到单精子的精子形态识别结果；其中，精子形态识别结果包括精子形态正常或者精子形态异常。解决了现有技术中精子图像因为染色差异、显微镜差异造成的精子图像颜色、亮度、色泽纹理等变化，导致影响现有技术精子形态识别的准确性的问题，实现了精子形态识别的判断更加快速准确，显著提高分析速度；进一步地，对不染色以及不同染色方法、不同显微镜成像的图像均能进行准确分析增加了精子形态分析的灵活性。
附图说明
33.为了更加清楚地说明本发明示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本发明所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。
34.图1是本发明实施例一提供的精子形态识别方法的流程示意图；
35.图2是本发明实施例二提供的精子形态识别方法的流程示意图；
36.图3是本发明实施例二涉及的精子部位的部位轮廓的结构示意图；
37.图4是本发明实施例三提供的精子形态识别装置的结构示意图；
38.图5为本发明实施例四提供的电子设备的结构示意图。
具体实施方式
39.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
40.实施例一
41.图1为本发明实施例一提供的一种精子形态识别方法的流程图，本实施例可适用于在对精子形态进行识别的情况；具体的，更适用于基于精子部位的部位轮廓图像识别精子形态的情况。该方法可以由精子形态识别装置来执行，该装置可以由软件和/或硬件的方式来实现。
42.在对本实施的技术方案进行介绍之前，先对本实施例的技术方案的应用场景进行示例性的介绍。具体的，应用场景包括：近年来，随着生活压力的增大和环境污染等因素的影响，男性不育患者的数量呈现逐年增加的趋势，精液分析是评价男性生育力的最常用检查方式，而在精液分析中，精子形态检测是最重要的评估因素之一。目前，临床工作中存在利用计算机视觉技术、机器学习理论、深度学习等分类方法进行精子形态分析，但现有技术中一种技术只适用于一种特定图像(如特定染色方法 特定成像方式)对精子形态进行识别。例如，将精液涂片进行染色后在显微镜下手工进行计数统计，该过程工作任务繁琐，持续时间长，识别判断结果受医生主观影响大；具体的，染色差异、显微镜差异造成的精子图像颜色、亮度、色泽纹理等变化都会影响现有技术精子形态分类的准确性；进一步地，现有技术中使用的特定图像中冗余信息多，形态分析速度慢。
43.针对于上述存在的技术问题，本实施例的技术丝路通过利用深度学习方法对精子形态特征化处理，去除对形态判别无用的冗余信息，使处理后的精子图像形态特征更加突出，从而使后续精子形态识别的判断更加简单、准确，且显著提高分析速度；并且，本实施例的技术方案对不同染色方法、不同显微镜成像的图像均能进行准确分析。基于上述技术思路，本实施例的技术方案通过获取多精子图像，并对多精子图像进行图像分割处理，得到至少一个单精子图像；去除了原始的多精子图像中除精子之外的其他冗余信息，加快识别速度，提取各单精子图像中的至少一个精子部位，并确定各精子部位的部位轮廓图像；去除单精子图像中除部位轮廓外的其他冗余信息，进一步地加快识别准确率；其中，精子部位包括头部、顶体、空泡、颈部以及尾部中的至少一个部位；基于深度卷积神经网络识别部位轮廓图像，得到单精子的精子形态识别结果；其中，精子形态识别结果包括精子形态正常或者精子形态异常。解决了现有技术中精子图像因为染色差异、显微镜差异造成的精子图像颜色、亮度、色泽纹理等变化，导致影响现有技术精子形态分类的准确性的问题，实现了精子形态识别的判断更加快速准确，显著提高分析速度；进一步地，对不同染色方法、不同显微镜成像的图像均能进行准确分析增加了精子形态分析的灵活性。
44.当然，上述应用场景的介绍只是作为可选应用场景，本实施例还可以应用于其他
应用场景，例如基于目标对象的图像对目标对象进行识别。
45.如图1所示，本实施例的技术方案具体包括以下步骤：
46.s110、获取多精子图像，并对多精子图像进行图像分割处理，得到至少一个单精子图像。
47.在本发明实施例中，多精子图像可以是将精液预先经过化学试剂处理后，并通过显微镜成像而得到的精液的初始图像，也可以是原始精液直接通过显微镜成像而得到的精液的初始图像；其中，该多精子图像中包括至少一个单精子。本实施例中，化学试剂可以是各种类型的染色剂，显微镜也可以是不同型号的显微镜，本实施例对染色剂以及显微镜的均不加以限制，即得到各种类型以及尺寸的多精子图像均可。
48.为了使更快速的获取到多精子图像中的各单精子，本实施例的技术的方案在获取到多精子图像后，获取多精子图像的尺寸信息；若尺寸信息不在预设尺寸阈值范围内，则调整多精子图像，以使处理后的多精子图像与预先训练的精子分割模型的输入尺寸相匹配，从而实现快速分割。
49.其中，精子图像的尺寸信息包括长度信息以及宽度信息，预设尺寸阈值范围可以是精子分割模型可以输入的尺寸范围，具体包括预设长度范围和预设宽度范围。具体的，将多精子图像的长度信息与预设长度范围进行比对，以及将多精子图像的宽度信息与预设宽度范围进行比对；分别得到长度比对结果以及宽度比对结果，并根据上述比对结果分别调整多精子图像的长度和宽度。可选的，可以对多精子图像进行缩放处理，以保证不丢失多精子图像的精子个数；为了保证精子分割的准确性，还可以对多精子图像进行裁剪处理；当然还可以根据实际情况确定对多精子图像的具体调整方法，本实施例对多精子图像的调整方法不加以限定。
50.具体的，得到处理后的多精子图像之后，对多精子图像进行图像分割处理，得到至少一个单精子图像。可选的，图像分割处理的方法可以基于预先训练的分割网络模型进行分割；也可以基于图像处理算法进行分割，本实施例对分割方法不加以限定。具体的，基于预先训练的分割网络模型进行分割的方法可以包括：获取预先设置的精子分割模型，将多精子图像输入至精子分割模型，得到精子分割模型输出的各单精子数据。具体的，该精子分割模型可以采用unet 模型，也可以采用其他分割网络模型，本实施例对分割模型的选取不加以限定。
51.进一步的，在得到精子分割模型输出的各单精子数据之后，基于各单精子数据与预设空白图像数据，得到各单精子图像。
52.其中，预设空白图像数据可以是像素值均为0的数据，当然为了使单精子图像中的单精子数据与背景数据对比度更加明显，可以基于单精子数据中的像素值，将空白图像数据中的像素值设置为其他像素值，例如为了减小单精子图像中的冗余信息，可以将空白图像数据中的像素值均设置为同一颜色对应的像素。进而基于预设空白图像数据与单精子数据得到单精子图像；具体，可以是将单精子数据叠加于预设空白图像数据上，得到单精子图像。在本实施例中，预设空白图像数据可以是预设尺寸的空白图像数据，即得到预设尺寸的单精子图像，以使单精子图像的尺寸满足后续部位分割模型的输入尺寸，便于快速对单精子图像进行部位分割，得到单精子图像中单精子的至少一个精子部位。
53.s120、提取各单精子图像中的至少一个精子部位，并确定各精子部位的部位轮廓
图像。
54.在本实施例中，精子部位可以是精子的各个身体部位。本实施例中，精子部位包括头部、顶体、空泡、颈部以及尾部中的至少一个部位。具体的，可以基于分割网络提取单精子图像中单精子的至少一个精子部位的。可选的，提取各精子部位的方法可以是获取预先设置的部位分割模型，将单精子图像输入至部位分割模型，得到部位分割模型的输出结果，以确定单精子图像中单精子的至少一个精子部位。具体的，将单精子图像作为输入数据，输入至部位分割模型，进而基于部位分割模型的输出结果确定单精子的至少一个精子部位，并确定各精子部位对应的精子部位数据。
55.进一步的，基于该精子部位数据确定各精子部位的部位轮廓图像。可选的，可以是对各精子部位进行部位边缘识别，得到各精子部位的部位轮廓曲线数据。基于各精子部位的部位轮廓曲线数据与预设空白图像数据，得到单精子图像的精子部位轮廓图像。
56.其中，预设空白图像数据可以是像素值均为0的数据，当然为了使部位轮廓图像中的单部位轮廓曲线数据与背景数据对比度更加明显，可以基于部位轮廓曲线数据中的像素值，将空白图像数据中的像素值设置为其他像素值，例如为了减小部位轮廓曲线数据各精子部位除边缘外的冗余信息，可以将空白图像数据中的像素值均设置为同一颜色对应的像素。
57.具体的，可以是基于二值化的方法对精子部位进行部位边缘识别，基于识别结果确定各精子部位的边缘轮廓，进而得到各精子部位的部位轮廓曲线数据。
58.进而基于预设空白图像数据与部位轮廓曲线数据得到部位轮廓图像；具体，可以是将部位轮廓曲线数据叠加于预设空白图像数据上，得到部位轮廓图像。在本实施例中，预设空白图像数据可以是预设尺寸的空白图像数据，即得到预设尺寸的部位轮廓图像，以使部位轮廓图像的尺寸满足后续精子形态模型的输入尺寸，便于快速对精子形态进行形态识别。
59.需要说明的是，上述技术方案得到的部位轮廓图像可以是基于单个精子部位的部位轮廓曲线得到的部位轮廓图像；也可以是为了减小迭代量，将各精子部位的部位轮廓曲线数据叠加在同一张预设空白图像得到的部位轮廓图像；换言之，本实施例的技术方案中的部位轮廓图像中的部位数量可以是一个或者多个，本实施例对部位轮廓曲线中的部位数量不加以限制。
60.s130、基于深度卷积神经网络识别部位轮廓图像，得到单精子的精子形态识别结果；其中，精子形态识别结果包括精子形态正常或者精子形态异常。
61.在本实施例中，精子形态可以是用于判断精子质量的整条单精子的形态；其中，精子形态包括精子形态正常或者精子形态异常。具体的，精子形态可以基于部位轮廓图像中各精子部位的部位形态进行确定，进一步的，可以基于神经网络识别模型确定，也可以基于预设识别算法对各精子部位进行计算，得到精子形态识别结果。
62.可选的，基于神经网络识别模型确定精子形态的方法可以包括：获取预先训练的形态识别模型，将部位轮廓图像输入至形态识别模型，得到形态识别模型输出的精子形态识别结果。
63.具体的，由于任一精子部位形态异常代表该条精子的精子形态异常。所以，可以将具有多个精子部位的部位轮廓图像输入至预先训练的形态识别模型得到精子形态识别结
果。当然还可以将具有单个精子部位的部位轮廓图像输入至预先训练的形态识别模型得到精子形态识别结果；需要说明的是，将具有多个精子部位的部位轮廓图像输入至预先训练的形态识别模型，可以加快精子形态的识别结果。将单个精子部位的部位轮廓图像输入至预先训练的形态识别模型可以为后续基于各精子部位的部位形态分析精子形态形成数据基础。因此，本实施例对输入的部位轮廓图像中的部位个数不加以限定。
64.在一些其他实施例中，若所述精子形态识别结果包括精子形态异常；相应的，将所述部位轮廓图像输入至所述形态识别模型，得到所述形态识别模型输出的精子形态异常的识别结果，以及至少一个导致所述精子形态异常的精子部位形态识别结果。
65.具体的，当形态识别模型输出的识别结果为精子形态异常，则该形态识别模型还会对应输出导致该精子形态异常的精子部位的形态识别结果；进一步的，可以验证精子部位的形态识别结果与精子形态识别结果是否一致，便于后期对形态识别模型的识别准确性进行验证。
66.本实施例的技术方案通过获取多精子图像，并对多精子图像进行图像分割处理，得到至少一个单精子图像；去除了原始的多精子图像中除精子之外的其他冗余信息，加快识别速度，提取各单精子图像中的至少一个精子部位，并确定各精子部位的部位轮廓图像；去除单精子图像中除部位轮廓外的其他冗余信息，进一步地加快识别准确率；其中，精子部位包括头部、顶体、空泡、颈部以及尾部中的至少一个部位；基于深度卷积神经网络识别各部位轮廓图像，得到单精子的精子形态识别结果；其中，精子形态识别结果包括精子形态正常或者精子形态异常。解决了现有技术中精子图像因为染色差异、显微镜差异造成的精子图像颜色、亮度、色泽纹理等变化，导致影响现有技术精子形态分类的准确性的问题，实现了精子形态识别的判断更加快速准确，显著提高分析速度；进一步地，对不同染色方法、不同显微镜成像的图像均能进行准确分析增加了精子形态分析的灵活性。
67.实施例二
68.图2为本发明实施例二提供的一种精子形态识别方法的流程图，本实施例在上述各实施例的基础上，在步骤“获取多精子图像，并对多精子图像进行图像分割处理，得到至少一个单精子图像”之前，增加了“获取用于训练初始精子分割模型的样本数据。”其中与上述各实施例相同或相应的术语的解释在此不再赘述。参见图2，本实施例提供的精子形态识别方法包括：
69.s210、获取用于训练初始精子分割模型的样本数据。
70.在发明实施例中，样本数据可以是已标记过的至少一张多精子样本图像。可选的，在获取各标记过的多精子样本图像之后，确定任一多精子样本图像的样本尺寸信息；若样本尺寸信息不在预设尺寸阈值范围内，则对多精子样本图像进行裁剪处理，得到至少一张裁剪后的多精子样本图像；其中，精子样本图像的样本尺寸信息包括样本长度信息以及样本宽度信息，预设样本尺寸阈值范围可以是初始精子分割模型可以输入的尺寸范围，具体包括预设长度范围和预设宽度范围。具体的，将多精子样本图像的样本长度信息与预设长度范围进行比对，以及将多精子样本图像的样本宽度信息与预设宽度范围进行比对；分别得到样本长度比对结果以及样本宽度比对结果，并根据上述样本比对结果分别调整多精子样本图像的样本长度和样本宽度。
71.示例性的，采集的多精子样本图像的初始样本尺寸为1024*1536，从该初始样本图
像的左上、左下、中上、中下、右上、右下各裁剪一个512*512大小的样本图像；进一步的，对裁剪获得的样本图像的每个像素值除以255并进行归一化处理，以使处理后的样本图像能够训练出更加精确的精子分割模型。需要说明的是上述样本数据中的数据标签也执行相同的裁剪处理。
72.进一步的，基于至少一张裁剪后的多精子样本图像对初始精子分割模型进行训练，得到训练好的精子分割模型。
73.具体的，将预处理后的多精子样本图像输入至初始unet 模型，得到初始精子分割模型预测掩码，基于初始精子分割模型预测掩码和精子分割数据标签计算损失代价函数值。基于代价函数使用adam优化器对初始精子分割模型参数进行训练。重复该过程，直至损失代价函数达到预设阈值或者迭代次数达到预设阈值停止对初始精子分割模型进行训练，得到训练好的精子分割模型。
74.在本实施例中，损失函数可以为dice损失函数或者加权交叉熵损失函数。dice损失函数的定义为：其中，x表示精子分割模型预测的精子区域，y表示根据手动标注的精子边界轮廓获得的精子区域。dice损失函数计算时只考虑目标区域，忽略了大量背景像素，解决了正负样本不均衡的问题。加权交叉熵损失函数表示为：crossentropyloss＝
‑
(w0·
y0log(x0) w1y1·
log(x1))；其中，x1表示精子分割模型预测的精子区域，y1表示根据手动标注的精子边界轮廓获得的精子区域；x0表示精子分割模型预测的背景区域，y0表示根据手动标注的精子边界轮廓获得的精子区域外的背景区域。w0代表背景区域的权重系数，w1表示精子区域的权重系数。根据精子区域和背景区域的像素个数的比值，例如，w0和w1可以分别设置为1和5。值得注意的是，本实施例中的加权交叉熵损失函数增大了目标区域损失函数的比值，使网络能够朝着使目标区域正确分割的方向收敛，从而获得具有优异分割性能的精子分割模型。
75.进一步的，基于训练好的精子分割模型，以及多精子样本图像，得到至少一个单精子样本数据；基于各单精子样本数据得到各单精子样本图像；并对各单精子样本图像中单精子的各精子部位进行标记，得到标记后的单精子样本数据。进而，基于标记后的单精子样本图像训练初始部位分割模型unet。首先对单精子样本图像每个像素值除以255并进行归一化处理。将预处理后的单精子样本图像输入至初始部位分割模型unet，得到初始部位分割模型预测掩码；并基于预测掩码和部位标记信息计算加权交叉熵损失代价函数值。基于代价函数使用adam优化器对初始部位分割模型参数进行训练。重复该过程，直至损失代价函数达到预设阈值或者迭代次数达到预设阈值停止精子部位分割模型的训练。损失函数为：crossentropyloss＝
‑
(w0·
y0·
log(x0) w1·
y1·
log(x1) w2·
y2·
log(x2))；其中，x1表示部位分割模型预测的第一区域，y1表示根据第一区域标签获得的第一区域；x2表示部位分割模型预测的第二区域，y2表示根据第二区域标签获得的第二区域；x0表示初始部位分割模型预测的背景区域，y0表示手动标注的背景区域。w0代表背景区域的权重系数，w1表示第一区域的权重系数，w2表示第二区域的权重系数。根据第一区域、第二区域和背景区域的像素个数的比值，例如，本实施例中w0、w1以及w2可以分别设置为1、10以及50。
76.需要说明的是，区域的个数可以根据待分割的部位进行设置，本实施例对区域的个数以及对待分割的部位的个数不加以限定。
77.进一步的，在确定单精子样本图像中单精子的各精子部位之后，根据单精子的各精子部位的边界轮廓对图像进行二值化，仅保留轮廓线，其他区域均设置为像素值为0的背景区域，得到二值化的各精子部位的部位轮廓样本图像，如图3所示。具体的，图3中包括整条单精子的轮廓，以及精子的头部、顶体、空泡、颈部和尾部在内的各精子特征。在本实施例中，二值化的精子部位的部位轮廓图像虽然简单，但包括了精子头部形状、颈部和尾部的形状、顶体大小、空泡情况等所有的判断精子形态所需要的信息。
78.进一步的，对二值化的各精子部位的部位轮廓样本图像进行部位形态以及对应的精子形态进行标注。形态类别包括头部形状异常、顶体异常、空泡异常、颈部或尾部异常以及形态正常。
79.使用带有形态标签的二值化的各精子部位的部位轮廓样本图像训练初始精子形态识别模型resnet34。将二值化的各精子部位的部位轮廓样本图像输入至初始精子形态识别模型获得模型预测向量。基于形态识别模型预测向量及二值化的部位轮廓图像对应的形态标签计算交叉熵损失代价函数值。基于代价函数使用adam优化器对初始精子形态识别模型的参数进行训练。重复该过程，直至交叉熵损失代价函数达到预设阈值或者迭代次数达到预设阈值停止对初始精子形态识别模型的训练，得到训练好的精子形态识别模型。
80.s220、获取多精子图像，并对多精子图像进行图像分割处理，得到至少一个单精子图像。
81.s230、提取各单精子图像中的至少一个精子部位，并确定各精子部位的部位轮廓图像。
82.s240、基于深度卷积神经网络识别部位轮廓图像，得到单精子的精子形态识别结果；其中，精子形态识别结果包括精子形态正常或者精子形态异常。
83.本实施例的技术方案，通过将获取的初始样本图像基于图像尺寸进行裁剪，其有益效果在于：一方面获得适合模型输入尺寸的图像，另一方面用于样本数据数量的增加，缓解模型在训练过程中因为样本数量较少而导致的过拟合问题。并且由于二值化的各精子部位的部位轮廓样本图像简单明了，且部位形态的特征突出，所以仅使用层数较少的浅层网络模型就可以实现高准确度的精子形态识别。由于网络结构简单，精子形态识别的推理速度也可以获得很大地提升。
84.以下是本发明实施例提供的精子形态识别装置的实施例，该装置与上述各实施例的精子形态识别方法属于同一个发明构思，在精子形态识别装置的实施例中未详尽描述的细节内容，可以参考上述精子形态识别方法的实施例。
85.实施例三
86.图4为本发明实施例三提供的精子形态识别装置的结构示意图，本实施例可适用于在对精子形态进行识别的情况；具体的，更适用于基于精子部位的部位轮廓图像识别精子形态的情况。参见图4，该精子形态识别装置的具体结构包括：单精子图像获取模块310，部位轮廓图像获取模块320和精子形态识别结果确定模块330；其中，
87.单精子图像获取模块310，用于获取多精子图像，并对所述多精子图像进行图像分割处理，得到至少一个单精子图像；
88.部位轮廓图像获取模块320，用于提取各所述单精子图像中的至少一个精子部位，并确定各所述精子部位的部位轮廓图像；
89.精子形态识别结果确定模块330，用于基于深度卷积神经网络识别所述部位轮廓图像，得到单精子的精子形态识别结果；其中，所述精子形态识别结果包括精子形态正常或者精子形态异常。
90.本实施例的技术方案通过获取多精子图像，并对所述多精子图像进行图像分割处理，得到至少一个单精子图像；去除了原始的多精子图像中除精子之外的其他冗余信息，加快识别速度，提取各所述单精子图像中的至少一个精子部位，并确定各所述精子部位的部位轮廓图像；去除单精子图像中除部位轮廓外的其他冗余信息，进一步地加快识别准确率；其中，所述精子部位包括头部、顶体、空泡、颈部以及尾部中的至少一个部位；基于深度卷积神经网络识别所述部位轮廓图像，得到单精子的精子形态识别结果；其中，所述精子形态识别结果包括精子形态正常或者精子形态异常。解决了现有技术中精子图像因为染色差异、显微镜差异造成的精子图像颜色、亮度、色泽纹理等变化，导致影响现有技术精子形态分类的准确性的问题，实现了精子形态识别的判断更加快速准确，显著提高分析速度；进一步地，对不同染色方法、不同显微镜成像的图像均能进行准确分析增加了精子形态分析的灵活性。
91.在上述各实施例的基础上，所述精子部位包括头部、顶体、空泡、颈部以及尾部中的至少一个部位。
92.在上述各实施例的基础上，部位轮廓图像获取模块320，包括：
93.部位轮廓曲线数据确定单元，用于对各所述精子部位进行部位边缘识别，得到所述各精子部位的部位轮廓曲线数据；
94.精子部位轮廓图像确定单元，用于基于各所述精子部位的部位轮廓曲线数据与预设空白图像数据，得到所述单精子图像的精子部位轮廓图像。
95.在上述各实施例的基础上，该装置还包括：
96.尺寸信息获取单元，用于在获取多精子图像之后，获取多精子图像的尺寸信息；
97.缩放处理单元，用于若所述尺寸信息不在预设尺寸阈值范围内，则调整所述多精子图像。
98.在上述各实施例的基础上，单精子图像获取模块310，包括：
99.单精子数据获取单元，用于获取预先设置的精子分割模型，将所述多精子图像输入至所述精子分割模型，得到所述精子分割模型输出的各单精子数据；
100.单精子图像获取单元，用于基于各所述单精子数据与预设空白图像数据，得到各单精子图像。
101.在上述各实施例的基础上，部位轮廓图像获取模块320，包括：
102.精子部位获取单元，用于获取预先设置的部位分割模型，将所述单精子图像输入至所述部位分割模型，得到所述部位分割模型的输出结果，以确定所述单精子图像中单精子的至少一个精子部位。
103.在上述各实施例的基础上，精子形态识别结果确定模块330，包括：
104.第一精子形态识别结果确定单元，用于获取预先训练的形态识别模型，将所述部位轮廓图像输入至所述形态识别模型，得到所述形态识别模型输出的精子形态识别结果。
105.在上述各实施例的基础上，若所述精子形态识别结果包括精子形态异常；
106.相应的，精子形态识别结果确定模块330，包括：
107.第二精子形态识别结果确定单元，用于将所述部位轮廓图像输入至所述形态识别模型，得到所述形态识别模型输出的精子形态异常的识别结果，以及至少一个导致所述精子形态异常的精子部位形态识别结果。
108.在上述各实施例的基础上，该装置还包括：
109.样本数据获取单元，用于在获取预先设置的精子分割模型之前，获取用于训练初始精子分割模型的样本数据；其中，所述样本数据包括至少一张已标记的多精子样本图像；
110.样本尺寸信息确定单元，用于确定任一多精子样本图像的样本尺寸信息；
111.裁剪处理单元，用于若所述样本尺寸信息不在预设尺寸阈值范围内，则对所述多精子样本图像进行裁剪处理，得到至少一张裁剪后的多精子样本图像；
112.精子分割模型训练单元，用于基于所述至少一张裁剪后的多精子样本图像对所述初始精子分割模型进行训练，得到训练好的精子分割模型。
113.本发明实施例所提供的精子形态识别装置可执行本发明任意实施例所提供的精子形态识别方法，具备执行方法相应的功能模块和有益效果。
114.值得注意的是，上述精子形态识别装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
115.实施例四
116.图5为本发明实施例四提供的一种电子设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图5显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
117.如图5所示，电子设备12以通用计算电子设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
118.总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
119.电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
120.系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd
‑
rom,dvd
‑
rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
121.具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储
器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
122.电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图5所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图5中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
123.处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及样本数据获取，例如实现本发实施例所提供的一种精子形态识别方法步骤，精子形态识别方法包括：
124.获取多精子图像，并对所述多精子图像进行图像分割处理，得到至少一个单精子图像；
125.提取各所述单精子图像中的至少一个精子部位，并确定各所述精子部位的部位轮廓图像；
126.基于深度卷积神经网络识别所述部位轮廓图像，得到单精子的精子形态识别结果；其中，所述精子形态识别结果包括精子形态正常或者精子形态异常。
127.当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的样本数据获取方法的技术方案。
128.实施例五
129.本实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现例如实现本发实施例所提供的一种精子形态识别方法步骤，精子形态识别方法包括：
130.获取多精子图像，并对所述多精子图像进行图像分割处理，得到至少一个单精子图像；
131.提取各所述单精子图像中的至少一个精子部位，并确定各所述精子部位的部位轮廓图像；其中，所述精子部位包括头部、顶体、空泡、颈部以及尾部中的至少一个部位；
132.基于深度卷积神经网络识别所述部位轮廓图像，得到单精子的精子形态识别结果；其中，所述精子形态识别结果包括精子形态正常或者精子形态异常。
133.本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd
‑
rom)、光
存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
134.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
135.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
136.可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
137.本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
138.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。