精子活动力检测方法、装置、计算机设备、存储介质与流程

1.本技术涉及计算机技术领域，特别是涉及一种精子活动力检测方法、装置、计算机设备、存储介质和计算机程序产品。


背景技术：

2.精子活动力是评价精子质量的一项必不可少的指标。精子活动力一般分为四级，包括快速前向运动，慢速前向运动，非前向运动、不运动，若活动精子(包括快速前向运动精子、慢速前向运动精子、非前向运动精子)比例小于一定值，或者前向运动精子(包括快速前向运动精子、慢速前向运动精子)比例小于一定值，则为确定精子缺少活力。
3.传统技术中，精子活动力检测可以基于计算机视觉技术、机器学习理论、深度学习等方法实现。以深度学习方法为例，可以通过深度学习模型对多张精子图像进行检测，得到每张精子图像中精子的位置坐标。再对多张精子图像中精子的位置坐标进行逻辑运算，得到精子的运动轨迹，进而根据精子的运动轨迹确定精子活动力检测结果。但是，随着深度学习技术和计算机设备的不断发展，亟需一种更为高效的精子活动力检测方式。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够更高效、更准确地识别精子活动力的精子活动力检测方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
5.第一方面，本技术提供了一种精子活动力检测方法。所述方法包括：
6.获取连续多帧精子图像，对每帧所述精子图像进行目标检测，根据所得到的目标检测结果，确定同一个精子在多帧所述精子图像中的位置信息；
7.根据所述精子在多帧所述精子图像中的位置信息，生成与所述精子对应的精子特征矩阵，对所述精子特征矩阵进行特征提取，得到第一精子特征；
8.对所述第一精子特征进行分类识别，得到所述精子的活动力类别；
9.根据所述精子的活动力类别，生成精子活动力的检测结果。
10.在其中一个实施例中，所述根据所述精子在多帧所述精子图像中的位置信息，生成与所述精子对应的精子特征矩阵，包括：
11.按照多帧所述精子图像的排序对所述精子在多帧所述精子图像中的位置信息进行排列，生成位置矩阵；
12.对所述位置矩阵进行矩阵变换，根据所述位置矩阵以及矩阵变换后的所述位置矩阵，生成所述精子的精子特征矩阵。
13.在其中一个实施例中，所述对所述位置矩阵进行矩阵变换，根据所述位置矩阵以及矩阵变换后的所述位置矩阵，生成所述精子的精子特征矩阵，包括：
14.对所述位置矩阵进行翻转处理，将所述位置矩阵与翻转处理后的所述位置矩阵从矩阵的行方向上进行拼接，得到中间特征矩阵；
15.对所述中间特征矩阵中，位于第i 1行的各个位置信息与位于第i行且相同列的各
个位置信息进行运算处理，将运算处理后的位置矩阵作为所述精子特征矩阵，其中，i为正整数。
16.在其中一个实施例中，所述对所述精子特征矩阵进行特征提取，得到第一精子特征，包括：
17.将所述精子特征矩阵输入至帧卷积模型，所述帧卷积模型包括多个二维卷积核、池化层，多个所述二维卷积核的第一维代表多帧所述精子图像的帧数，第二维代表所述精子图像对应的位置信息维度；
18.通过每个所述二维卷积核对所述精子特征矩阵进行卷积处理，得到与每个所述二维卷积核对应的卷积结果；
19.通过所述池化层对每个所述二维卷积核对应的卷积结果进行处理，并拼接池化处理后的多个卷积结果，得到所述第一精子特征。
20.在其中一个实施例中，所述方法还包括：
21.对所述精子在多帧所述精子图像中的位置信息进行特征工程处理，生成第二精子特征；
22.所述对所述第一精子特征进行分类识别，得到所述精子的活动力类别，包括：
23.对所述第一精子特征与所述第二精子特征进行分类识别，得到所述精子的活动力类别。
24.在其中一个实施例中，所述对所述精子在多帧所述精子图像中的位置信息进行特征工程处理，生成第二精子特征，包括：
25.通过以下至少一项处理方式对所述精子在多帧所述精子图像中的位置信息进行处理，生成所述第二精子特征：
26.获取所述精子在第一帧精子图像中的位置信息，与在最后一帧精子图像中的位置信息之间的差值；
27.获取所述精子在多帧所述精子图像中的位置信息的标准差；
28.获取所述精子在每个相邻两帧精子图像的位置信息之间的差值，并获取所得到的差值的均值；
29.获取所述精子在每个相邻两帧精子图像的位置信息之间的角度差，并获取所述角度差的均值；
30.获取所述精子在第一帧精子图像中的位置信息，与在最后一帧精子图像中的位置信息之间的第一距离，以及获取所述精子在每个相邻两帧精子图像的位置信息之间的第二距离，并获取所述第一距离与所述第二距离之间的比值；
31.获取所述精子的移动距离大于预设距离的第一帧数，与多帧所述精子图像的帧数之间的比值；
32.获取所述精子在每帧所述精子图像的移动距离与多帧所述精子图像的帧数之间的比值。
33.在其中一个实施例中，所述对所述第一精子特征与所述第二精子特征进行分类识别，得到所述精子的活动力类别，包括：
34.将所述第一精子特征与所述第二精子特征输入至活动力分类模型，所述活动力分类模型包括拼接层、全连接层；
35.通过所述拼接层拼接所述第一精子特征与所述第二精子特征，得到精子的目标精子特征；
36.通过所述全连接层对所述目标精子特征进行处理，输出所述精子的活动力类别。
37.第二方面，本技术还提供了一种精子活动力检测装置。所述装置包括：
38.位置检测模块，用于获取连续多帧精子图像，对每帧所述精子图像进行目标检测，根据所得到的目标检测结果，确定同一个精子在多帧所述精子图像中的位置信息；
39.特征生成模块，用于根据所述精子在多帧所述精子图像中的位置信息，生成与所述精子对应的精子特征矩阵，对所述精子特征矩阵进行特征提取，得到第一精子特征；
40.分类模块，用于对所述第一精子特征进行分类识别，得到所述精子的活动力类别；
41.活动力结果生成模块，用于根据所述精子的活动力类别，生成精子活动力的检测结果。
42.第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项实施例所述的精子活动力检测方法。
43.第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一项实施例所述的精子活动力检测方法。
44.第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面任一项实施例所述的精子活动力检测方法。
45.上述精子活动力检测方法、装置、计算机设备、存储介质和计算机程序产品，对所获取的多张精子图像进行目标检测，根据所得到的目标检测结果，确定同一个精子在多帧精子图像中的位置信息。然后，根据精子在多帧精子图像中的位置信息，生成与精子对应的精子特征矩阵，对精子特征矩阵进行特征提取，得到第一精子特征。最后，对第一精子特征进行分类识别，得到精子的活动力类别。根据精子的活动力类别，生成精子活动力的检测结果，通过采用每个精子在多张精子图像中的位置信息描述每个精子的特征，并基于深度学习模型对精子特征进行识别，便可直接得到精子的活动力类别，从而极大地简化了精子活动力检测的工作流程、提升了精子活动力检测效率。另外，采用已具备足够检测能力的深度学习模型对精子图像进行检测，还能够提升精子活动力检测的准确性。
附图说明
46.图1为一个实施例中精子活动力检测方法的流程示意图；
47.图2为一个实施例中对精子特征矩阵进行特征提取步骤的流程示意图；
48.图3为一个实施例中帧卷积模型的结构示意图；
49.图4为另一个实施例中精子活动力检测方法的流程示意图；
50.图5为一个实施例中得到精子活动力类别的结构示意图；
51.图6为一个实施例中精子活动力检测装置的结构框图；
52.图7为一个实施例中计算机设备的内部结构图。
具体实施方式
53.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
54.本技术实施例提供的精子活动力检测方法，可以应用于终端、服务器等计算机设备中，或者包括终端和服务器的系统中。以下内容将以应用于终端为例进行说明。终端中预先部署有已训练的至少一种深度学习模型。深度学习模型可以使用该终端或者该终端之外的其他计算机设备预训练完成。具体地，终端获取连续多帧精子图像，对每帧精子图像进行目标检测，根据所得到的目标检测结果，确定同一个精子在多帧精子图像中的位置信息。根据精子在多帧精子图像中的位置信息，生成与精子对应的精子特征矩阵，对精子特征矩阵进行特征提取，得到第一精子特征。对第一精子特征进行分类识别，得到精子的活动力类别。根据精子的活动力类别，生成精子活动力的检测结果。
55.其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
56.在一个实施例中，如图1所示，提供了一种精子活动力检测方法，以该方法应用于终端为例进行说明，包括以下步骤：
57.步骤s110，获取连续多帧精子图像，对每帧精子图像进行目标检测，根据所得到的目标检测结果，确定同一个精子在多帧精子图像中的位置信息。
58.其中，精子图像可以是从精子视频中提取得到的图像。精子视频可以是指对新鲜精液样本进行采集得到的视频。新鲜精液样本可以是未经染色或者染色的样本。例如，将新鲜精液滴入载玻片，使用图像采集装置(例如光学显微镜)对载玻片采集得到。精子视频可以是实时采集的视频，则终端可以从图像采集装置处实时获取所采集得到的视频。精子视频还可以是预先采集并存储在本地数据库或者服务器数据库中的视频，那么终端可以从本地数据库或者服务器数据库中获取精子视频。终端在获取精子视频后，从精子视频中提取得到连续多帧精子图像。
59.一些实施例中，多帧精子图像还可以是对精子视频中提取的图像进行一系列预处理后得到的图像，预处理可以但不限于是尺寸处理、图像增强处理等。
60.另一些实施例中，多帧精子图像的帧数依实际需求而定，例如，可以是从任意时间段提取的连续10帧。
61.具体地，终端通过已训练的目标检测模型对每帧精子图像进行检测。目标检测模型是至少具备目标检测能力的模型，可以通过一种端到端模型，或者通过多种独立模型组合实现。终端将每帧精子图像输入至目标检测模型，当通过目标检测模型确定每帧精子图像中存在精子时，获取每帧精子图像中单个精子的位置信息。每帧精子图像中可能存在多个精子，在这种情况下，终端则获取各个精子的位置信息。
62.当每帧精子图像中都存在一个精子时，可以将多帧精子图像中的精子作为同一个精子。当至少一帧精子图像中存在多个精子时，则从第一帧精子图像开始，根据当前帧精子图像以及当前帧的下一帧中各个精子的位置信息，从下一帧中多个精子中确定出与当前帧
的各个精子为同一个的精子。直至对多帧精子图像处理完毕，确定多帧精子图像中的同一个精子，进而得到同一个精子在多帧精子图像中的位置信息。
63.一个实施例中，每帧精子图像中的同一个精子可以通过相同的唯一性精子标识表征，以便于后续使用。
64.另一个实施例中，每帧精子图像可以通过唯一性图像标识表征。在获取每帧精子图像中精子的位置信息后，终端可以建立图像标识、精子标识以及精子的位置信息之间的对应关系，以便于后续使用。
65.步骤s120，根据精子在多帧精子图像中的位置信息，生成与精子对应的精子特征矩阵，对精子特征矩阵进行特征提取，得到第一精子特征。
66.具体地，终端按照预设的排列方式将精子在多帧精子图像中的位置信息进行排列，生成与各个精子对应的精子特征矩阵。通过特征提取模型对精子特征矩阵进行特征提取，得到各个精子的第一精子特征。其中，特征提取模型可以为卷积神经网络、循环神经网络等中的任一种模型。
67.一个实施例中，终端可以将精子在各帧精子图像中的位置信息作为矩阵行，生成与各个精子对应的精子特征矩阵。另一个实施例中，终端可以将精子在各帧精子图像中的位置信息作为矩阵列，生成与各个精子对应的精子特征矩阵。
68.步骤s130，对第一精子特征进行分类识别，得到精子的活动力类别。
69.其中，活动力类别可以但不限于是快速前向运动、慢速前向运动、非前向运动与、不运动中的其中一种。
70.具体地，终端通过已训练的活动力分类模型对各个精子的第一精子特征进行分类识别。活动力分类模型是至少识别活动力类别能力的模型，可以通过一种端到端模型，或者通过多种独立模型组合实现。终端将各个精子的第一精子特征输入至活动力分类模型，得到各个精子的活动力类别。
71.步骤s140，根据精子的活动力类别，生成精子活动力的检测结果。
72.具体地，通常情况下，若活动精子(包括类别为快速前向运动、慢速前向运动、非前向运动的精子)在所有精子中的占比小于第一阈值(例如40％)，或者，前向运动精子(包括类别为快速前向运动、慢速前向运动的精子)在所有精子中的占比小于第二阈值(例如32％)，则精子活动力异常(为弱精症)。否则，精子活动力正常。终端可以根据各个精子的活动力类别，得到活动精子或者前向活动精子在所有精子中的实际占比，并根据实际占比生成精子活动力正常或者异常的检测结果。
73.上述精子活动力检测方法中，对所获取的多张精子图像进行目标检测，根据所得到的目标检测结果，确定同一个精子在多帧精子图像中的位置信息。然后，根据精子在多帧精子图像中的位置信息，生成与精子对应的精子特征矩阵，对精子特征矩阵进行特征提取，得到第一精子特征。最后，对第一精子特征进行分类识别，得到精子的活动力类别。根据精子的活动力类别，生成精子活动力的检测结果，通过采用每个精子在多张精子图像中的位置信息描述每个精子的特征，并基于深度学习模型对精子特征进行识别便可直接得到精子的活动力类别，从而极大地简化了精子活动力检测的工作流程、提升了精子活动力检测效率。另外，采用已具备足够检测能力的深度学习模型对精子图像进行检测，还能够提升精子活动力检测的准确性。
74.在一个实施例中，步骤s120中，根据精子在多帧精子图像中的位置信息，生成与精子对应的精子特征矩阵，包括：按照多帧所述精子图像的排序对精子在多帧精子图像中的位置信息进行排列，生成位置矩阵；对位置矩阵进行矩阵变换，根据位置矩阵以及矩阵变换后的位置矩阵，生成精子的精子特征矩阵。
75.其中，矩阵变换的方式可以为平移、翻转、缩放等中的任一种，依实际需求而定。
76.具体地，终端将精子在每帧精子图像中的位置信息作为矩阵行，第i行为精子在第i帧精子图像中的位置信息，位置信息中属于相同属性的值作为同一列，生成位置矩阵。其中，i＝1,2...n，n为多帧精子图像的帧数。一个示例中，精子图像存在5帧，表1示出了某个精子在5帧精子图像中的位置信息：
77.表1：
[0078][0079]
终端按照预设的矩阵变换方式对各个精子的位置矩阵进行变换，得到变换后的位置矩阵。进而根据位置矩阵和变换后的位置矩阵，得到各个精子对应的第一精子特征。
[0080]
一个示例中，可以从矩阵行方向或者矩阵列方向拼接位置矩阵和变换后的位置矩阵，得到精子特征矩阵。另一个示例中，可以融合(例如计算矩阵乘积)位置矩阵和变化后的位置矩阵，得到精子特征矩阵。
[0081]
本实施例中，通过对各个精子的位置矩阵进行矩阵变换，根据变换前和变换后的位置矩阵生成各个精子的精子特征矩阵，能够从不同方面描述精子的位置特征，从而可以提升精子特征的全面性。
[0082]
在一个实施例中，对基于矩阵变换生成精子特征矩阵的一种实施方式进行说明。具体地，终端在得到各个精子的位置矩阵(假设为p
(n
×
m)
，其中，n代表位置矩阵的行数、多帧精子图像的帧数，m代表位置矩阵的列数)后，按照预设的翻转方式对位置矩阵进行翻转处理，得到翻转处理后的位置矩阵(为p'
(n
×
m)
)，并将位置矩阵与翻转处理后的位置矩阵从矩阵的行方向进行拼接，得到中间特征矩阵(假设为m
(n
×
2m)
，其中，n代表中间特征矩阵的行数，2m代表中间特征矩阵的列数)。其中，对位置矩阵进行翻转处理的方式可以但不限于是水平翻转、竖直翻转、对角线翻转等中的任一种。终端对中间特征矩阵中，位于第i 1行的各个位置信息与位于第i行且相同列的各个位置信息进行运算处理，将运算处理后的位置矩阵作为精子特征矩阵。其中，运算处理的方式可以但不限于是加、减、乘、除等中的任一种。
[0083]
在一个实施例中，翻转处理方式为水平翻转。对中间特征矩阵的运算处理方式为
相减。
[0084]
继续以表1示出的位置信息为例进行说明。根据表1生成位置矩阵p
(n
×
m)
：
[0085][0086]
若翻转处理的方式为水平翻转，则可以得到翻转处理后的p'
(n
×
m)
：
[0087][0088]
将位置矩阵p
(n
×
m)
与翻转处理后的位置矩阵p'
(n
×
m)
从矩阵的行方向进行拼接，得到中间特征矩阵m
(n
×
2m)
：
[0089][0090]
若运算处理的方式为相减，则对中间特征矩阵中，位于第i 1行的各个位置信息与位于第i行且相同列的各个位置信息进行相减处理(取绝对值)，得到精子特征矩阵g
((n-1)
×
2m)
：
[0091][0092]
本实施例中，通过对各个精子的位置矩阵依次进行翻转处理和运算处理，得到精子特征矩阵，使精子特征矩阵能够描述精子在多帧精子图像中的位置变化信息，进而能够提升精子活动力类别的分类准确性。
[0093]
在一个实施例中，如图2所示，步骤s120中，对精子特征矩阵进行特征提取，得到第一精子特征，包括：
[0094]
步骤s210，将精子特征矩阵输入至帧卷积模型。
[0095]
其中，图3示例性示出了一种特征提取模型(帧卷积模型)，帧卷积模型包括多个二
维卷积核(图3示出3个二维卷积核)、池化层。多个二维卷积核的第一维代表多帧精子图像的帧数，第二维代表精子图像对应的位置信息维度(例如x轴坐标、y轴坐标)。不同的二维卷积核的第一维大小不同、通道数相同，从而可以对不同程度的连续帧数卷积，从帧数的移动变化中抽取不同的结果。不同的二维卷积核的第二维相同，从而可以实现每次卷积完全覆盖一帧下的所有位置信息。
[0096]
步骤s220，通过每个二维卷积核对精子特征矩阵进行卷积处理，得到与每个二维卷积核对应的卷积结果。
[0097]
步骤s230，通过池化层对每个二维卷积核对应的卷积结果进行处理，并拼接池化处理后的多个卷积结果，得到第一精子特征。
[0098]
具体地，终端将精子特征矩阵输入至帧卷积模型，分别通过各个二维卷积核对精子特征矩阵进行卷积处理，得到每个二维卷积核输出的卷积结果。通过线性整流激活函数(rectified linear unit，relu)对每个二维卷积核输出的卷积结果进行处理，剔除一定量冗余信息。分别将剔除冗余信息后的卷积结果输入至池化层，通过池化层对每个二维卷积核对应的卷积结果进行池化处理。将池化处理后的多个卷积结果进行拼接并展开，得到第一精子特征。
[0099]
本实施例中，通过采用图3所示的帧卷积模型对精子特征矩阵进行处理，既可以确保精子在每帧精子图像中的位置信息都能被覆盖到，又能够捕捉不同连续图像帧之间的运动情况，从而有助于判别原地抖动精子和不运动精子，进而能够提升精子活动力类别的识别准确性。
[0100]
在一个实施例中，在确定同一个精子在多帧精子图像中的位置信息之后，所述方法还包括：对各个精子在多帧精子图像中的位置信息进行特征工程处理，生成第二精子特征。
[0101]
其中，特征工程是指用一系列工程化的方式从原始数据中得到更好的数据特征，以提升模型能力。特征工程可以但不限于包括数据预处理、特征选择、降维、特征构建等。在本实施例中，特征工程是指根据预设的至少一个特征构建方式，以及各个精子在多帧精子图像中的位置信息构建得到各个精子的第二精子特征。
[0102]
进一步地，在本实施例中，在得到第二精子特征后，终端将第一精子特征和第二精子特征作为输入数据输入至活动力分类模型，得到精子的活动力类别。
[0103]
在一个实施例中，活动力分类模型包括拼接层、全连接层。在存在第一精子特征和第二精子特征的情况下，终端将第一精子特征与第二精子特征输入至活动力分类模型，通过拼接层拼接第一精子特征与第二精子特征，得到精子的目标精子特征。通过全连接层对目标精子特征进行处理，输出精子的活动力类别。
[0104]
本实施例中，通过对精子在多帧精子图像中的位置信息进行特征工程处理，构建更多的精子特征，使模型能够获取更多的位置特征信息，从而有助于提升模型的识别能力。
[0105]
在一个实施例中，终端可以通过以下至少一项处理方式对精子在多帧精子图像中的位置信息进行特征工程处理，生成第二精子特征。一个示例中，存在5帧精子图像，某个精子的每帧精子图像的位置信息为目标检测模型输出的边界框中心坐标，包括两个坐标值，则某个精子的位置信息可以表示为[(x1,y1),(x2,y2),(x3,y3),(x4,y4),(x5,y5)]。
[0106]
(1)获取精子在第一帧精子图像中的位置信息，与在最后一帧精子图像中的位置
信息之间的差值：(x
5-x1,y
5-y1)
[0107]
(2)获取精子在多帧精子图像中的位置信息的标准差：
[0108]
(std(x1,x2,x3,x4,x5),std(y1,y2,y3,y4,y5))
[0109]
(3)获取精子在每个相邻两帧精子图像的位置信息之间的差值，并获取所得到的差值的均值：
[0110]
(mean(x
2-x1,x
3-x2,x
4-x3,x
5-x4),mean(y
2-y1,y
3-y2,y
4-y3,y
5-y4))
[0111]
(4)获取精子在每个相邻两帧精子图像的位置信息之间的角度差，并获取角度差的均值：
[0112][0113]
(5)获取精子在第一帧精子图像中的位置信息，与在最后一帧精子图像中的位置信息之间的第一距离，以及获取精子在每个相邻两帧精子图像的位置信息之间的第二距离，并获取第一距离与第二距离之间的比值：
[0114][0115]
(6)获取精子的移动距离大于预设距离的第一帧数，与多帧精子图像的帧数之间的比值：
[0116][0117]
其中，当x》2时，m(x)＝1；否则m(x)＝0。
[0118]
(7)获取精子在每帧精子图像的移动距离与多帧精子图像的帧数之间的比值：
[0119][0120]
其中，移动距离可以通过欧氏距离表征，在这种情况下，精子在第m帧和第n针之间的移动距离l2(m,n)为：
[0121][0122]
在一个实施例中，如图4所示提供一种具体的精子活动力检测方法，该方法应用于如图5所示的流程图中，包括以下步骤：
[0123]
步骤s402，获取待检测精子视频，从待检测精子视频中提取得到连续多帧原始精子图像。对每帧原始精子图像进行预处理，得到对应的精子图像。
[0124]
其中，待检测精子视频可以通过配备数码相机的光学显微镜在40倍物镜下对滴有精液的载玻片进行成像拍照得到。提取的原始精子图像的图像尺寸(像素尺寸)为1024*1536。预处理包括像素值归一化处理和尺寸标准化处理。即，将所得到的原始精子图像的各个像素值除以255并进行归一化，将归一化后的每帧原始精子图像的尺寸缩放为640*640，得到对应的精子图像。
[0125]
步骤s404，通过目标检测模型对每帧精子图像进行目标检测，当检测精子图像中存在精子头部时，获取精子头部所在矩形框中心位置坐标，作为精子的位置信息。
[0126]
以下对目标检测模型的一种训练方式进行说明：
[0127]
目标检测模型采用第5版本的yolo模型。首先，获取若干精子头部图像样本，以及与每张精子头部图像样本对应的数据标签。精子头部图像样本的图像尺寸为1024*1536。从每张精子头部图像样本的宽度方向的左边和右边各裁剪得到1024*1024大小的图像。对裁剪获得的图像进行像素值归一化处理，并将处理后的图像缩放至640*640大小，得到训练图像样本。对数据标签进行相同的裁剪处理和缩放处理，得到与每张训练图像样本对应的训练标签。将训练图像样本输入至初始yolo模型。通过初始yolo模型输出预测头部结果。采用回归损失函数计算预测头部结果和训练标签之间的损失值。使用adam优化器对初始yolo模型的模型参数进行调整。重复上述过程，直至损失值达到预设阈值或者迭代次数达到预设次数，生成最终使用的yolo模型。
[0128]
步骤s406，根据每帧精子图像对应的精子的位置信息，确定同一个精子在多帧精子图像中的位置信息。
[0129]
具体地，终端获取当前帧精子图像(即终端当前正在处理的图像)中各个精子的第一位置信息，以及当前帧的下一帧精子图像中各个精子的第二位置信息。针对当前帧精子图像中的各个精子，终端计算该个精子的第一位置信息与下一帧精子图像中的各个第二位置信息之间的距离。其中，距离可以通过以下计算公式得到：
[0130]
d＝dist-10*iou
[0131]
其中，d代表距离；dist代表当前帧中各个精子的头部检测框的中心点与下一帧中的各个精子的头部检测框的中心点之间的距离；iou代表当前帧中各个精子的头部检测框与下一帧中的各个精子的头部检测框的iou(intersection over union，交并比)值。
[0132]
终端从多个距离中获取值最小的距离。确定值最小的距离对应的第一位置信息和第二位置信息，将位于该第一位置信息和第二位置信息中的精子作为同一个精子，进而确定多帧精子图像中的同一个精子，得到同一个精子在多帧精子图像中的位置信息。
[0133]
步骤s408，按照多帧精子图像的排序对精子在多帧精子图像中的位置信息进行排列，生成位置矩阵，并对位置矩阵进行翻转处理，根据位置矩阵以及翻转处理后的位置矩阵，生成精子的精子特征矩阵。精子特征矩阵的具体生成方式可以参照上述实施例，在此不作具体阐述。
[0134]
步骤s410，将精子特征矩阵输入至帧卷积模型，通过帧卷积模型对精子特征矩阵进行特征提取，得到第一精子特征。
[0135]
步骤s412，对同一个精子在多帧精子图像中的位置信息进行特征工程，生成第二特征矩阵。
[0136]
步骤s414，将第一精子特征和第二精子特征输入至活动力分类模型，得到精子的活动力类别。重复步骤s406～s414，得到精液样本中每个精子的活动力类别。
[0137]
以下对活动力分类模型的一种训练方式进行说明：
[0138]
首先，通过预训练的目标检测模型对若干连续多帧精子图像样本进行识别，得到同一个精子在多帧精子图像样本中的位置信息。根据精子在多帧精子图像样本中的位置信息生成第一精子特征样本和第二精子特征样本。其中，第一精子特征样本的生成方式可以参照上述第一精子特征的生成方式，第二精子特征样本的生成方式可以参照上述第二精子特征的生成方式，在此不作具体阐述。将第一精子特征样本和第二精子特征样本输入至初始活动力分类模型，通过初始活动力分类模型输出预测活动力类别。采用交叉熵损失代价
函数计算预测活动力类别和训练标签之间的损失值。使用adam优化器对初始活动力分类模型的模型参数进行调整。重复上述过程，直至损失值达到预设阈值或者迭代次数达到预设次数，生成最终使用的活动力分类模型。
[0139]
步骤s416，根据精液样本中每个精子的活动力类别，生成精子活动力的检测结果。
[0140]
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0141]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的精子活动力检测方法的精子活动力检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个精子活动力检测装置实施例中的具体限定可以参见上文中对于精子活动力检测方法的限定，在此不再赘述。
[0142]
在一个实施例中，如图6所示，提供了一种精子活动力检测装置600，包括：位置检测模块602、特征生成模块604、分类模块606、活动力结果生成模块608，其中：
[0143]
位置检测模块602，用于获取连续多帧精子图像，对每帧精子图像进行目标检测，根据所得到的目标检测结果，确定同一个精子在多帧精子图像中的位置信息；特征生成模块604，用于根据精子在多帧精子图像中的位置信息，生成与精子对应的精子特征矩阵，对精子特征矩阵进行特征提取，得到第一精子特征；分类模块606，用于对第一精子特征进行分类识别，得到精子的活动力类别；活动力结果生成模块608，用于根据精子的活动力类别，生成精子活动力的检测结果。
[0144]
在一个实施例中，特征生成模块604，包括：矩阵生成单元，用于按照多帧精子图像的排序对精子在多帧精子图像中的位置信息进行排列，生成位置矩阵；对位置矩阵进行矩阵变换，根据位置矩阵以及矩阵变换后的位置矩阵，生成精子的精子特征矩阵。
[0145]
在一个实施例中，特征生成模块604，包括：矩阵变换单元，用于对位置矩阵进行翻转处理，将位置矩阵与翻转处理后的位置矩阵从矩阵的行方向上进行拼接，得到中间特征矩阵；运算单元，用于对中间特征矩阵中，位于第i 1行的各个位置信息与位于第i行且相同列的各个位置信息进行运算处理，将运算处理后的位置矩阵作为精子特征矩阵，其中，i为正整数。
[0146]
在一个实施例中，特征生成模块604，包括：第一输入单元，用于将精子特征矩阵输入至帧卷积模型，帧卷积模型包括多个二维卷积核、池化层，多个二维卷积核的第一维代表多帧精子图像的帧数，第二维代表精子图像对应的位置信息维度；卷积单元，用于通过每个二维卷积核对精子特征矩阵进行卷积处理，得到与每个二维卷积核对应的卷积结果；池化和拼接单元，用于
[0147]
通过池化层对每个二维卷积核对应的卷积结果进行处理，并拼接池化处理后的多个卷积结果，得到第一精子特征。
[0148]
在一个实施例中，所述装置600还包括：特征工程处理模块，用于对精子在多帧精
子图像中的位置信息进行特征工程处理，生成第二精子特征；在本实施例中，所述分类模块606，用于对第一精子特征与第二精子特征进行分类识别，得到精子的活动力类别。
[0149]
在一个实施例中，特征工程处理模块，用于通过以下至少一项处理方式对精子在多帧精子图像中的位置信息进行处理，生成第二精子特征：获取精子在第一帧精子图像中的位置信息，与在最后一帧精子图像中的位置信息之间的差值；获取精子在多帧精子图像中的位置信息的标准差；获取精子在每个相邻两帧精子图像的位置信息之间的差值，并获取所得到的差值的均值；获取精子在每个相邻两帧精子图像的位置信息之间的角度差，并获取角度差的均值；获取精子在第一帧精子图像中的位置信息，与在最后一帧精子图像中的位置信息之间的第一距离，以及获取精子在每个相邻两帧精子图像的位置信息之间的第二距离，并获取第一距离与第二距离之间的比值；获取精子的移动距离大于预设距离的第一帧数，与多帧精子图像的帧数之间的比值；获取精子在每帧精子图像的移动距离与多帧精子图像的帧数之间的比值。
[0150]
在一个实施例中，分类模块606，包括：第二输入单元，用于将第一精子特征与第二精子特征输入至活动力分类模型，活动力分类模型包括拼接层、全连接层；拼接单元，用于通过拼接层拼接第一精子特征与第二精子特征，得到精子的目标精子特征；分类单元，用于通过全连接层对目标精子特征进行处理，输出精子的活动力类别。
[0151]
上述精子活动力检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0152]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种精子活动力检测方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0153]
本领域技术人员可以理解，图7中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0154]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述任一项实施例所述的精子活动力检测方法。
[0155]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项实施例所述的精子活动力检测方法。
[0156]
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任一项实施例所述的精子活动力检测方法。
[0157]
需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
[0158]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0159]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0160]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。