精子头部检测方法及系统与流程

1.本发明涉及图像处理技术领域，具体涉及一种基于卷积神经网络的深度 学习和图像识别的精子头部检测方法及系统。


背景技术：

2.对精液进行分析是诊断男性不孕不育的主要方式，对精子的形态分析是 评估诊断者是否患病的关键因素之一。
3.目前传统的对精子形态质量的检测方法，主要是由人工对图像进行肉眼 观察评价，人工评估存在一定的主观性，受医生的主观经验判断影响，评价 结果标准不严格，而且人工评估时间长、工作效率较低，评估结果也不够准 确，因此，利用图像目标检测算法，通过高性能计算机去实现精子头部的检 测，辅助医生进行精子形态分析是非常具有临床实用价值。


技术实现要素：

4.本发明的目的在于提供一种将深度学习和图像识别的技术结合进行医学 图像的识别和分析的，以解决上述背景技术中存在的至少一项技术问题。
5.为了实现上述目的，本发明采取了如下技术方案：
6.一方面，本发明提供一种精子头部检测方法，包括：
7.获取待检测的精液染色图像；
8.利用预先训练好的精子头部检测模型对待检测的精液染色图像进行处 理，得到精子头部检测识别结果；其中，所述预先训练好的精子头部检测模 型使用训练集训练得到，所述训练集包括多张精液染色图像以及标注图像中 精子头部位置的标签。
9.优选的，训练所述精子头部检测模型所使用的主干特征提取网络使用了 残差网络，每一次卷积均进行正则化，完成卷积后进行标准化与激活函数。
10.优选的，在主干特征提取网络后构建特征金字塔进行加强特征提取。
11.优选的，所述特征金字塔进行加强特征提取包括：
12.第三特征层进行多次卷积处理后，一部分用于卷积 上采样后与第二特征 层进行拼接，另一部分用于输出对应的预测结果；
13.第二特征层与卷积 上采样得到的特征层进行拼接，再进行多次卷积处理 后，一部分用于卷积 上采样后与第一特征层进行拼接，另一部分用于输出对 应的预测结果；
14.第一特征层与卷积 上采样upsampling得到的特征层进行拼接，进行多次 卷积后，得到特征层。
15.优选的，经过预测结果的解码、得分排序与非极大抑制筛选，得到精子 头部位置预测框。
16.优选的，预测结果解码包括：确定预测框的中心；再利用先验框结合先 验框的宽和高的调整参数，计算出预测框的宽合高，得到整个预测框的位 置。
17.优选的，训练集的制作包括：
18.在每张精液染色图像中，由人工标定所有染色的精子头部位置；其中， 标定的位置为矩形；
19.对每张图像进行数据增强，对获取到的标签的坐标进行归一化；
20.对归一化后的坐标进行转换，转换后的坐标用精子头部位置的横坐标的 最小值、纵坐标的最小值以及归一化宽和归一化后的高表示。
21.第二方面，本发明提供一种精子头部检测系统，包括：
22.获取模块，用于获取待检测的精液染色图像；
23.识别模块，用于利用预先训练好的精子头部检测模型对待检测的精液染 色图像进行处理，得到精子头部检测识别结果；其中，所述预先训练好的精 子头部检测模型使用训练集训练得到，所述训练集包括多张精液染色图像以 及标注图像中精子头部位置的标签。
24.第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计 算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时， 实现如上所述的精子头部检测方法。
25.第四方面，本发明提供一种电子设备，包括：处理器、存储器以及计算 机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电 子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设 备执行实现如上所述的精子头部检测方法的指令。
26.本发明有益效果：利用基于卷积神经网络，对精子头部进行自动检测， 提高了精子检测的工作效率以及准确度，有效帮助医生进行精子形态分析。
27.本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的 描述中变得明显，或通过本发明的实践了解到。
附图说明
28.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所 需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发 明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前 提下，还可以根据这些附图获得其他的附图。
29.图1为本发明实施例所述的精子头部检测方法流程示意图。图2为本发明实施例所述的精子头部检测方法网络模型结构图。
具体实施方式
30.下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出， 其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功 能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明， 而不能解释为对本发明的限制。
31.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语 (包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一 般理解相同的意义。
32.还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与 现有技
术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用 理想化或过于正式的含义来解释。
33.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式
ꢀ“
一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发 明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元 件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、 操作、元件和/或它们的组。
34.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、
ꢀ“
具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特 征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且， 描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中 以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以 将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结 合和组合。
35.为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释 说明，且具体实施例并不构成对本发明实施例的限定。
36.本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并 不一定是实施本发明所必须的。
37.实施例1
38.目标检测是深度学习的一个关键分支，利用卷积神经网络cnn强大的特 征提取能力，构建学习模型，将目标图像标注的位置信息作为模型的输入， 然后进行信息特征提取，池化操作，紧接着输入全连接层，最终将物体在图 片中的位置定位出来，然后进行识别分类。yolo v3模型，它的主体结构是 由一系列的1
×
1和3
×
3的卷积层组成，网络中有53个convolutional layers，所 以叫做darknet-53，最后是全连接层和softmax逻辑回归函数。
39.由此，本实施例1提供一种基于darknet-53网络的精子头部检测系统，该 系统包括：
40.获取模块，用于获取待检测的精液染色图像；
41.识别模块，用于利用预先训练好的精子头部检测模型对待检测的精液染 色图像进行处理，得到精子头部检测识别结果；其中，所述预先训练好的精 子头部检测模型使用训练集训练得到，所述训练集包括多张精液染色图像以 及标注图像中精子头部位置的标签。
42.本实施例1中，利用上述的精子头部检测系统，实现了一种精子头部检测 方法，该方法包括：
43.利用获取模块，获取待检测的精液染色图像；
44.利用识别模块利用预先训练好的精子头部检测模型对待检测的精液染色 图像进行处理，得到精子头部检测识别结果；其中，所述预先训练好的精子 头部检测模型使用训练集训练得到，所述训练集包括多张精液染色图像以及 标注图像中精子头部位置的标签。
45.本实施例1中，训练所述精子头部检测模型所使用的主干特征提取网络 darknet-53使用了残差网络，每一次卷积均进行正则化，完成卷积后进行标准 化与激活函数。
46.具体的，如图2所示，在darknet53网络中使用了残差网络residual。此 外，darknet53的每一个卷积部分使用了特有的darknetconv2d结构，每一次卷 积的时候进行
l2正则化，完成卷积后进行batchnormalization标准化与 leakyrelu激活函数。darknet53网络用来提取特征，即网络的输入是一个416
ꢀ×
416
×
3的图片，最终会获得并提取三个表示图片特征的特征层，而这三个 特征层位于主干部分darknet53的不同位置，且特征维度分分别为 (52,52,256)、(26,26,512)、(13,13,1024)。
47.本实施例1中，在主干特征提取网络后构建特征金字塔进行加强特征提 取。所述特征金字塔进行加强特征提取包括：
48.第三特征层进行多次卷积处理后，一部分用于卷积 上采样后与第二特征 层进行拼接，另一部分用于输出对应的预测结果；
49.第二特征层与卷积 上采样得到的特征层进行拼接，再进行多次卷积处理 后，一部分用于卷积 上采样后与第一特征层进行拼接，另一部分用于输出对 应的预测结果；
50.第一特征层与卷积 上采样upsampling得到的特征层进行拼接，进行多次 卷积后，得到特征层。
51.具体的，本实施例1中，第三个特征层(13,13,1024)进行5次卷积处理，处 理完后一部分用于卷积 上采样upsampling后与26x26x512特征层进行拼接。 另一部分用于输出对应的预测结果(13,13,75)。
52.第二个特征层(26,26,512)与卷积 上采样upsampling得到的(26,26,256)特 征层进行拼接，拼接特征层的shape为(26,26,768)，再进行5次卷积，处理完后 一部分用于卷积 上采样upsampling后与52x52x256特征层进行拼接。另一部 分用于输出对应的预测结果(26,26,75)。
53.第一个特征层(52,52,256)与卷积 上采样upsampling得到的(52,52,128)特 征层进行拼接，拼接特征层的shape为(52,52,384)，再进行5次卷积,最后再 conv2d 3
×
3和conv2d1
×
1两个卷积，得到(52,52,75)特征层。
54.特征金字塔针对每一个特征层的每一个特征点存在3个先验框，所以预测 结果的通道数为3x25。
55.经过预测结果的解码、得分排序与非极大抑制筛选，得到精子头部位置 预测框。预测结果解码包括：确定预测框的中心；再利用先验框结合先验框 的宽和高的调整参数，计算出预测框的宽合高，得到整个预测框的位置。
56.具体的，预测结果并不对应着最终的预测框在图片上的位置，还需要解 码。即先将每个网格点加上它对应的x_offset和y_offset，加完后的结果就是预 测框的中心；然后再利用先验框和h、w结合，计算出预测框的宽高。这样就 能得到整个预测框的位置。这里x_offset和y_offset表示先验框中心的调整参数, 分别表示网格左上角相对x轴和y轴的距离(偏移量)。h和w表示先验框宽高 的调整参数。取出预测置信度得分大于一定阈值的框和得分进行排序。利用 框的位置和得分进行非极大抑制。最后可以得出概率最大的边界框，也就是 最后得到的预测框。
57.本实施例1中，训练集的制作包括：
58.在每张精液染色图像中，由人工标定所有染色的精子头部位置；其中， 标定的位置为矩形；
59.对每张图像进行数据增强，对获取到的标签的坐标进行归一化；
60.对归一化后的坐标进行转换，转换后的坐标用精子头部位置的横坐标的 最小值、
纵坐标的最小值以及归一化宽和归一化后的高表示。
61.具体的，本实施例1中使用的图像为显微镜下拍摄得到的精液染色图像， 图像放大倍数不低于2500倍。图像能够清晰显示精子的头部和尾部形态。
62.将获得的数据集随机选取一部分，用于制作标签。这部分随机选取的数 据集被称为训练集。标签制作的对象即为训练集。
63.标签制作过程是，在训练集中的每张染色精子图像中，由人工标定所有 染色的精子头部位置。该位置为矩形，且该位置用数组[x
min
,y
min
,x
max
,y
max
]表 示，其中，x
min
表示染色精子头部横坐标的最小值，y
min
表示染色精子头部横 坐标的最大值，x
max
表示染色精子头部纵坐标的最小值，y
max
表示染色精子头 部纵坐标的最大值。
[0064]
对训练集中的每张图像进行数据增强，具体包括对该图像进行平移、扭 曲、调整大小、色域变换等处理，其中图像用img表示。
[0065]
完成上述数据增强的操作后，对获取到的标签的坐标进行归一化，归一 化后的坐标被标记为并且：
[0066][0067]
其中，表示归一化后染色精子头部横坐标的最小值，表示归一化 后染色精子头部横坐标的最大值，表示归一化后染色精子头部纵坐标的最 小值，表示归一化后染色精子头部纵坐标的最大值，表示图像img的宽， 表示图像img的高。
[0068]
归一化完成后，对归一化后的坐标进行转换，转换后的坐标用 表示，即：其中，wn表示归一化 宽，hn表示归一化高。
[0069]
实施例2
[0070]
本实施例2提出一种基于卷积神经网络的精子头部自动自动检测方法，为 医生进行精子形态分析提供辅助诊断技术。如图1所示，本实施例2所述的方 法包括三个步骤，即数据集与标签制作、数据预处理、网络模型训练和网络 模型评估。
[0071]
步骤1：数据集与标签制作
[0072]
本实施例2使用的图像为显微镜下拍摄得到的精液染色图像，图像放大倍 数不低于2500倍。图像能够清晰显示精子的头部和尾部形态。
[0073]
将上述获得的图像数据集随机选取一部分，用于制作标签。这部分随机 选取的数据集被称为训练集。标签制作的对象即为训练集。标签制作过程 是，在训练集中的每张染色精子图像中，由人工标定所有染色的精子头部位 置。该位置为矩形，且该位置用数组[x
min
,y
min
,x
max
,y
max
]表示，其中，x
min
表示染 色精子头部横坐标的最小值，y
min
表示染色精子头部横坐标的最大值，x
max
表 示染色精子头部纵坐标的最小值，y
max
表示染色精子头部纵坐标的最大值。
[0074]
数据集预处理：对训练集中的每张图像进行数据增强，具体包括对该图 像进行平移、扭曲、调整大小、色域变换等处理，其中图像用img表示。
[0075]
完成上述数据增强的操作后，对获取到的标签的坐标进行归一化，归一 化后的坐标被标记为并且：
[0076][0077]
其中，表示归一化后染色精子头部横坐标的最小值，表示归一化 后染色精子头部横坐标的最大值，表示归一化后染色精子头部纵坐标的最 小值，表示归一化后染色精子头部纵坐标的最大值，表示图像img的宽， 表示图像img的高。
[0078]
归一化完成后，对归一化后的坐标进行转换，转换后的坐标用 表示，即：其中，wn表示归一化 宽，hn表示归一化高。
[0079]
步骤2：网络模型与训练
[0080]
本实施例2中，网络所使用的主干特征提取网络为darknet53，如图2所 示。在darknet53网络中使用了残差网络residual。此外，darknet53的每一个卷 积部分使用了特有的darknetconv2d结构，每一次卷积的时候进行l2正则化， 完成卷积后进行batchnormalization标准化与leakyrelu激活函数。darknet53 网络用来提取特征，即网络的输入是一个416
×
416
×
3的图片，最终会获得并 提取三个表示图片特征的特征层，而这三个特征层位于主干部分darknet53的 不同位置，且特征维度分分别为(52,52,256)、(26,26,512)、(13,13,1024)。
[0081]
在主干网darknet53之后，本发明构建特征金字塔进行加强特征提取：
[0082]
①
第三个特征层(13,13,1024)进行5次卷积处理，处理完后一部分用于卷积 上采样upsampling后与26x26x512特征层进行拼接。另一部分用于输出对应 的预测结果(13,13,75)。
[0083]
②
第二个特征层(26,26,512)与卷积 上采样upsampling得到的(26,26,256) 特征层进行拼接，拼接特征层的shape为(26,26,768)，再进行5次卷积，处理完 后一部分用于卷积 上采样upsampling后与52x52x256特征层进行拼接。另一 部分用于输出对应的预测结果(26,26,75)。
[0084]
③
第一个特征层(52,52,256)与卷积 上采样upsampling得到的(52,52,128) 特征层进行拼接，拼接特征层的shape为(52,52,384)，再进行5次卷积,最后再 conv2d 3
×
3和conv2d1
×
1两个卷积，得到(52,52,75)特征层。
[0085]
特征金字塔针对每一个特征层的每一个特征点存在3个先验框，所以预测 结果的通道数为3x25。
[0086]
最后进行预测结果的解码、得分排序与非极大抑制筛选。预测结果并不 对应着最终的预测框在图片上的位置，还需要解码。即先将每个网格点加上 它对应的x_offset和y_offset，加完后的结果就是预测框的中心；然后再利用先 验框和h、w结合，计算出预测框的宽高。这样就能得到整个预测框的位置。 这里x_offset和y_offset表示先验框中心的调整参数,分别表示网格左上角相对x 轴和y轴的距离(偏移量)。h和w表示先验框宽高的调整参数。取出预测置信 度得分大于一定阈值的框和得分进行排序。利用框的位置和得分进行非极大 抑制。最后可以得出概率最大的边界框，也就是最后得到的预测框。
[0087]
网络训练前将训练集图像和对应标签存放在相应文件夹下，然后生成定 义了图片位置及其真实框位置的txt文件，本实施例2中，网络将90％的数据用 于训练，10％的数据用于验证。最后通过本发明提出的卷积神经网络，获得 网络参数及训练模型。
[0088]
步骤3：评估
[0089]
预测结果评估采用precision(精确度)和recall(召回率)。
[0090]
精确度定义为：
[0091]
其中，tp是分类器认为是正样本而且确实是正样本的例子，fp是分类器 认为是正样本但实际上不是正样本的例子。
[0092]
召回率定义为：
[0093]
其中，fn是分类器认为是负样本但实际上不是负样本的例子。
[0094]
利用map计算目标检测精确度ap指的是利用不同的precision和recall的点 的组合，画出的曲线下方的面积。map就是所有的类的ap值求平均。本实施 例2对精子头部检测的map超过0.98。
[0095]
实施例3
[0096]
本发明实施例3提供一种非暂态计算机可读存储介质，所述非暂态计算机 可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现 如上所述的精子头部检测方法，该方法包括：
[0097]
获取待检测的精液染色图像；
[0098]
利用预先训练好的精子头部检测模型对待检测的精液染色图像进行处 理，得到精子头部检测识别结果；其中，所述预先训练好的精子头部检测模 型使用训练集训练得到，所述训练集包括多张精液染色图像以及标注图像中 精子头部位置的标签。
[0099]
实施例4
[0100]
本发明实施例4提供一种计算机程序(产品)，包括计算机程序，所述计 算机程序当在一个或多个处理器上运行时，用于实现如上所述的精子头部检 测方法，该方法包括：
[0101]
获取待检测的精液染色图像；
[0102]
利用预先训练好的精子头部检测模型对待检测的精液染色图像进行处 理，得到精子头部检测识别结果；其中，所述预先训练好的精子头部检测模 型使用训练集训练得到，所述训练集包括多张精液染色图像以及标注图像中 精子头部位置的标签。
[0103]
实施例5
[0104]
本发明实施例5提供一种电子设备，包括：处理器、存储器以及计算机程 序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设 备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执 行实现如上所述的精子头部检测方法的指令，该方法包括：
[0105]
获取待检测的精液染色图像；
[0106]
利用预先训练好的精子头部检测模型对待检测的精液染色图像进行处 理，得到精子头部检测识别结果；其中，所述预先训练好的精子头部检测模 型使用训练集训练得到，所述训练集包括多张精液染色图像以及标注图像中 精子头部位置的标签。
[0107]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或 计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、 或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个 其中包含有计算机可用程序代码的计算
机可用存储介质(包括但不限于磁盘 存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0108]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序 产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程 图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流 程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算 机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使 得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现 在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功 能的装置。
[0109]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设 备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器 中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或 多个流程和/或方框图一个方框或多个方框中指定的功能。
[0110]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上， 在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处 理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一 个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0111]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发 明保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案 的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或 变形，都应涵盖在本发明的保护范围之内。