一种胚胎发育过程视频的自动标注方法及系统与流程

1.本发明涉及基于延时摄影的胚胎发育检测，具体地，涉及一种对胚胎发育过程视频自动标注的方法及系统。


背景技术：

2.通过对胚胎进行覆盖多个胚胎阶段的延时(time-lapse)摄影的延时摄影设备是现有技术中已知的，通过将高分辨率的摄像头与胚胎培养箱相结合，以特定的间隔、频率、角度等对胚胎发育过程进行连续动态监测并且拍摄图像，无需频繁干扰胚胎培养箱内环境，即能够对胚胎发育过程进行形态学观测和分析。
3.目前，延时成像已经广泛用于评估胚胎质量，因其可以确定胚胎发育事件的时间，并用于衡量胚胎的形态动力学参数。例如中国专利cn101331500b公开了利用基于延时摄影获取的一系列胚胎图像的像素差异获得差异图像，利用差异图像的参数集合形成的时间系列图获得细胞重排的量的信息，藉此确定胚胎的质量。
4.利用ai(人工智能)技术来对影像资料进行识别已经成为医疗领域降本增效的有效途径之一，而在机器学习过程中，需要用到大量的图像训练样本，并需要对图像训练样本中的目标物体进行标注。所谓的标注也就是指，需要标注出目标物体在图像中的位置，以便机器学习时从目标物体的图像中进行特征提取进行学习。现有技术中，图像训练样本的标注主要是指在二维图像中标注目标物体所在的矩形区域，该过程通常需要由工作人员通过手工标注的方式来完成，但是，且在延时摄影拍摄的胚胎图像通常为纯黑白色、分辨率较低且目标特征边际模糊，需要耗费大量的人力以及时间成本去进行标注。


技术实现要素：

5.本发明的目的是根据胚胎发育过程视频前后帧之间的关联性，提供一种自动化标注技术方案，以提高胚胎发育过程视频标注效率，降低人工参与率。
6.本发明第一方面涉及一种胚胎发育过程视频的自动标注系统，包括视频接收模块、胚胎图像分类模块、图像提取模块、交互预标注模块和自动标注模块，该视频接收模块用于接收通过对胚胎进行覆盖多个胚胎阶段的延时摄影获取的胚胎发育过程视频；该胚胎图像分类模块用于将该胚胎发育过程视频划分成多个胚胎发育阶段对应的多个胚胎发育阶段视频子集，每个该胚胎发育阶段视频子集包括至少3帧具有同一胚胎特征的胚胎图像；该图像提取模块用于提取该胚胎发育阶段视频子集的首帧图像和尾帧图像；该交互预标注模块接收该首帧图像和该尾帧图像以及用户的交互输入，以标记该首帧图像中胚胎特征的初始包围盒和该尾帧图像中该胚胎特征的最终包围盒；该胚胎图像自动标注模块利用插值算法通过该初始包围盒和该最终包围盒获取该胚胎发育阶段视频子集的第n帧图像中该胚胎特征的中间包围盒，其中1＜n＜ns，其中ns为该胚胎发育阶段视频子集总帧数。
7.优选地，该初始包围盒、该中间包围盒和该最终包围盒分别由四个二维顶点坐标限定，该中间包围盒的顶点坐标为：其中q1为所述初始包围盒的对应
顶点坐标，q2为所述最终包围盒的对应顶点坐标。
8.优选地，该自动标注系统还包括胚胎图像标注校验模块，该胚胎图像标注校验模块在该初始包围盒、该中间包围盒和该最终包围盒的相同长宽比例位置处分别设置初始校验点、中间校验点和最终校验点，并且当该中间校验点在该中间包围盒构成的坐标系中的坐标值超过阈值时，更新该中间包围盒的坐标q；该初始校验点在该初始包围盒构成的坐标系中的坐标值和该最终校验点在该最终包围盒构成的坐标系中的坐标值设定。
9.本发明第二方面涉及一种胚胎发育过程视频的自动标注方法，其中该胚胎阶段视频通过对胚胎进行延时摄影获得，该方法包括：胚胎图像分类步骤：在该胚胎图像分类步骤中，将该胚胎发育过程视频划分成多个胚胎发育阶段对应的多个胚胎发育阶段视频子集，每个该胚胎发育阶段视频子集包括至少3帧具有同一胚胎特征的胚胎图像；胚胎图像提取步骤：在该胚胎图像提取步骤中，提取该胚胎发育阶段视频子集的首帧图像和尾帧图像；胚胎图像预标记步骤：在该胚胎图像预标记步骤中，标记该首帧图像中胚胎特征的初始包围盒和该尾帧图像中该胚胎特征的最终包围盒；胚胎图像自动标注步骤：在该胚胎图像自动标注步骤中，通过插值算法利用该初始包围盒和该最终包围盒获取该胚胎发育阶段视频子集的第n帧图像中该胚胎特征的中间包围盒，其中1＜n＜ns，其中ns为该胚胎发育阶段视频子集总帧数。
10.优选地，该胚胎特征为胚胎圆心、胚胎原核、胚胎核仁或胚胎极体。
11.优选地，该初始包围盒、该中间包围盒和该最终包围盒分别由四个二维顶点坐标限定。
12.优选地，该初始包围盒、该中间包围盒和该最终包围盒分别由四个二维顶点坐标限定，该中间包围盒的顶点坐标为：
13.其中q1为所述初始包围盒的对应顶点坐标，q2为所述最终包围盒的对应顶点坐标。。
14.优选地，该自动标注方法还包括胚胎图像标注校验步骤，其中在该初始包围盒、该中间包围盒和该最终包围盒的相同长宽比例位置处分别设置初始校验点、中间校验点和最终校验点，并且当该中间校验点在该中间包围盒构成的坐标系中的坐标值超过阈值时，更新该中间包围盒的坐标；
15.该初始校验点在该初始包围盒构成的坐标系中的坐标值和该最终校验点在该最终包围盒构成的坐标系中的坐标值设定。
16.通过线性插值算法对胚胎发育过程中各个阶段的第一帧图像及最后一帧图像进行标注，就可以获得该胚胎发育阶段过程中的胚胎坐标信息。
17.本发明的自动标注系统能够方便医师进行标签，医师只需要对该视频中的八个阶段，每个阶段分别标记首尾两帧图像坐标，就可以利用本专利提出的线性插值方法，对每个阶段中的图像进行打标签，生成包含胚胎类别以及坐标信息的标签。
附图说明
18.本发明的以上发明内容以及下面的具体实施方式在结合附图阅读时会得到更好的理解。需要说明的是，附图仅作为所请求保护的发明的示例。在附图中，相同的附图标记
代表相同或类似的元素。
19.图1示出胚胎发育过程视频的自动标注方法示意图。
20.图2对n1 n2进行标注以获取n的示意图；
21.图3示出获取初始校准点坐标的方法示意图；
22.图4示出利用中间校准点检验中间包围盒b的标注的方法示意图。
具体实施方式
23.以下在具体实施方式中详细叙述本发明的详细特征以及优点，其内容足以使任何本领域技术人员了解本发明的技术内容并据以实施，且根据本说明书所揭露的说明书、权利要求及附图，本领域技术人员可轻易地理解本发明相关的目的及优点。
24.图1示出一种胚胎发育过程视频的自动标注方法，其中胚胎阶段视频通过对胚胎进行延时摄影获得。视频接收模块用于接收通过对胚胎进行覆盖多个胚胎阶段的延时摄影获取的胚胎发育过程视频。
25.在胚胎图像分类步骤s10中，将胚胎发育过程视频划分成与m个胚胎发育阶段对应的m个胚胎发育阶段视频子集，每个胚胎发育阶段视频子集g1～gm包括至少3帧具有同一胚胎特征的胚胎图像；参见图1，在此示例性地分为八个胚胎发育阶段视频子集g1，g2，g3
……
g8。其中第一胚胎发育阶段视频子集g1对应于精子与卵子结合形成受精卵的第一阶段。第二胚胎发育阶段视频子集g2对应于受精卵的细胞发生了代谢变化、开始分裂成2个细胞团的第二阶段。第三胚胎发育阶段视频子集g3对应于2个细胞团分裂成3个细胞团的第三阶段。第四胚胎发育阶段视频子集g4对应于3个细胞团分裂成4个细胞团的第四阶段。第五胚胎发育阶段视频子集g5对应于4个细胞团分裂成5个细胞团的第五阶段。第六胚胎发育阶段视频子集g6对应于5个细胞团分裂成6个细胞团d的第六阶段。第七胚胎发育阶段视频子集g7对应于6个细胞团分裂成7个细胞团的第七阶段。第八胚胎发育阶段视频子集g8对应于7个细胞团分裂成多个细胞团、大于7个细胞团的第八阶段。
26.该阶段中既可以由熟练的医师手工划分，更常用地，可采用另一预训练的人工智能模型自动地完成该过程，例如利用基于卷积神经网络的分类器，例如可以为yolov3。
27.在胚胎图像提取步骤中s20，提取一个或多个胚胎发育阶段视频子集的首帧图像n1和尾帧图像n2，该胚胎发育阶段视频子集总帧数为ns，则除首帧图像n1和尾帧图像n2之外共有ns-2的中间帧。
28.在胚胎图像预标记步骤s30中，标记首帧图像n1中胚胎特征的初始包围盒b1和尾帧图像n2中胚胎特征的最终包围盒b2。此处包围盒即bbox，体现为将胚胎圆心、胚胎原核、胚胎核仁或胚胎极体等胚胎特征完全包容起来的封闭空间，因单幅胚胎图像为二维平面图像，包围盒体现为四边形结构。
29.初始包围盒b1、中间包围盒b和最终包围盒b2分别由四个二维顶点坐标限定，如图2中更详细地示出，在该阶段(示如第一阶段)的首帧图像n1中标注初始包围盒b1的四个顶点位置，其中左下角坐标、左上角坐标、右下角坐标、右上角坐标分别为q
11
(x1,y1)、q
12
(x1,y2)、q
13
(x2,y1)、q
14
(x2,y2)；并且尾帧图像n2中标注最终包围盒b2的四个顶点位置，其中左下角坐标、左上角坐标、右下角坐标、右上角坐标分别为q
21
(x1,y1)、q
22
(x1,y2)、q
23
(x2,y1)、q
24
(x2,y2)。
30.同一胚胎阶段内，胚胎的运动是成线性运动变化的，因此为了便于观察和解释本专利提出的线性插值自动化标注，我们将首帧图像、中间帧图像、尾帧图像拉成一条直线(如果将首帧、中间帧、尾帧围绕x轴或者y轴排列，不便于发现胚胎线性变化或者幅度较小)，可以直观查看首帧到尾帧包围盒的四个顶点位置随着胚胎线性变化也呈现线性变化。
31.胚胎图像自动标注步骤s40：在胚胎图像自动标注步骤中，通过插值算法利用初始包围盒b1和最终包围盒b2获取胚胎发育阶段视频子集的第n帧图像n(其中1＜n＜ns，ns为该胚胎发育阶段视频子集总帧数)中胚胎特征的中间包围盒b的四个顶点位置，其中左下角坐标、左上角坐标、右下角坐标、右上角坐标分别为q1(x1,y1)、q2(x1,y2)、q3(x2,y1)、q4(x2,y2)。
32.中间包围盒b的左下角坐标q1坐标点中x1计算公式如下：
[0033][0034]
中间包围盒b的左下角坐标q1坐标点中y1计算公式如下：
[0035][0036]
根据上述公式求得中间包围盒b的左下角坐标q1，其余坐标点的计算公式以此类推。
[0037]
优选地，自动标注方法还包括胚胎图像标注校验步骤。
[0038]
具体地，采用有两个变量的插值函数的线性插值扩展，在x，y两个方向分别进行一次线性插值。在前述步骤中，已经利用线性插值通过首尾两帧的坐标计算出中间帧的四个顶点坐标信息，下面介绍在此基础上对自动标注进行校准。
[0039]
其中在初始包围盒b1、中间包围盒b和最终包围盒b2的相同长宽比例位置处分别设置初始校验点p1、中间校验点p和最终校验点p2。
[0040]
如图3所示，初始包围盒b1中的初始校验点p1在初始包围盒b1的长度方向(x坐标轴方向)的三分之一处、宽度方向(y坐标轴方向)的三分之二处；相应地，最终校验点p2在最终包围盒b2的长度方向的三分之一处、宽度方向的三分之二处；相应地，中间校验点p在中间包围盒b的长度方向的三分之一处、宽度方向的三分之二处。此时“长度方向的三分之一、宽度方向的三分之二”即是“相同长宽比例”的示例。
[0041]
在每一帧图像中，再次利用线性插值算法，参考图3，例如在首帧图像n1的x方向进行线性插值，利用首帧图像n1的左下角坐标q
11
(x1,y1)和右下角坐标q
12
(x1,y2)两个顶点坐标计算出第一辅助点r1的x轴坐标rx1，计算公式如下：
[0042][0043]
则第一辅助点r1的坐标为(rx1,y1)
[0044]
同样，利用首帧图像n1的左上角坐标q
12
(x1,y2)和q
14
(x2,y1)两个顶点坐标计算出第二辅助点r2的x轴坐标：
[0045][0046]
利用计算出来的第一辅助点r1和第二辅助点r2的坐标，在y方向进行线性插值，计
算初始校准点p1的坐标q(p1)：
[0047][0048]
类似地，以同样方法，能够计算出最终校准点p2的坐标q(p2)以及中间校准点的坐标q(p)。
[0049]
然后，当中间校验点p在中间包围盒b构成的坐标系中的坐标值q超过阈值时，更新中间包围盒b的坐标q；
[0050]
初始校验点p1在初始包围盒b1构成的坐标系中的坐标值q1和最终校验点p2在最终包围盒b2构成的坐标系中的坐标值q2设定，例如设置阈值为25个坐标点(上下左右)。
[0051]
如果中间帧图像的中间校准点p的坐标q(p)与首帧图像n1的初始校准点p的坐标q(p1)或者尾帧图像n2的最终校准点p的坐标q(p2)之间的一个方向上的坐标值差值超过阈值25个坐标点，该情况表示该胚胎发育标注阶段中可能包含其他发育阶段，导致中间帧图像的胚胎自动标注不准确，因此需要在该阶段中间添加尾帧图像；如果前述坐标值差值超过10个坐标点，并且该中间帧图像属于该胚胎发育阶段视频子集的前20％帧和后帧20％时，那将中间校准点p的坐标q(p)缩到初始校准点q(p1)或者最终校准点q(p2)的10个坐标点区间内，同步更新该中间帧图像n的中间包围盒的四个顶点坐标值。换言之，当中间校验点p在中间包围盒b构成的坐标系中的坐标值q超过阈值时，更新中间包围盒b的坐标q，初始校验点p1在初始包围盒b1构成的坐标系中的坐标值q1和最终校验点p2在最终包围盒b2构成的坐标系中的坐标值q2设定。
[0052]
因本发明中的自动标注方法单独计算x方向坐标及y方向坐标，中间帧生成的每个包围盒的顶点都是通过线性插值算法进行独立计算，互相独立存在，四个顶点之间不存在关联性，会导致中间帧生成的包围盒无法进行约束。因此在计算出中间包围盒坐标后，通过利用综合了两个方向坐标的校验点进行校准，该校验点是根据中间帧生成的包围盒的四个顶点计算得来，因此该校验点将四个独立顶点产生关联性，并且该中间帧校验点可以代表该中间帧坐标信息，再将该中间帧校验点与首尾帧校验点对比，查看偏差，可以有效的对自动标注框进行约束，能够对偏差较大标注框进行调整。
[0053]
本发明第二方面涉及一种胚胎发育过程视频的自动标注系统，包括视频接收模块、胚胎图像分类模块、图像提取模块、交互预标注模块和自动标注模块，视频接收模块用于接收通过对胚胎进行覆盖多个胚胎阶段的延时摄影获取的胚胎发育过程视频；胚胎图像分类模块用于将胚胎发育过程视频划分成与m个胚胎发育阶段对应的m个胚胎发育阶段视频子集g1～gm，每个胚胎发育阶段视频子集包括至少3帧具有同一胚胎特征的胚胎图像；图像提取模块用于提取胚胎发育阶段视频子集的首帧图像n1和尾帧图像n2；交互预标注模块接收首帧图像n1和尾帧图像n2以及用户的交互输入，以标记首帧图像n1中胚胎特征的初始包围盒b1和尾帧图像n2中胚胎特征的最终包围盒b2；胚胎图像自动标注模块利用插值算法通过初始包围盒b1和最终包围盒b2获取胚胎发育阶段视频子集的第n帧图像n中胚胎特征的中间包围盒b，其中1＜n＜ns，其中ns为胚胎发育阶段视频子集总帧数。
[0054]
优选地，初始包围盒b1、中间包围盒b和最终包围盒b2分别由四个二维顶点坐标qx,y限定，中间包围盒b的顶点坐标q为：
[0055][0056]
其中q1为初始包围盒的对应顶点坐标，q2为最终包围盒的对应顶点坐标。
[0057]
优选地，自动标注系统还包括胚胎图像标注校验模块，胚胎图像标注校验模块在初始包围盒b1、中间包围盒b和最终包围盒b2的相同长宽比例位置处分别设置初始校验点p1、中间校验点p和最终校验点p2，并且当中间校验点p在中间包围盒b构成的坐标系中的坐标值q超过阈值时，更新中间包围盒b的坐标q；
[0058]
初始校验点p1在初始包围盒b1构成的坐标系中的坐标值q1和最终校验点p2在最终包围盒b2构成的坐标系中的坐标值q2设定。
[0059]
除此之外，本发明的自动化标注不仅提供利用线性插值算法进行预标注，还可提供了利用已有的预训练模型(预训练模型包括图像分类、目标检测、文本检测、文本识别、语音识别、语音翻译等各领域深度学习模型进行训练得到，为平台提供更多自动化标注场景)进行标注。针对胚胎发育过程的胚胎、原核、核仁、极体的标注，系统提供已训练的胚胎、原核、核仁、极体检测模型，能够对医师所需标注的胚胎图像内容进行自动标注，医师只需要对标注信息进行微调即可。
[0060]
本发明的自动标注系统还可集成tensorflow.js和mediapipe提供的机器学习模型库，用户可根据需求在浏览器中运行预训练好的模型进行自动化标注。
[0061]
虽然本发明已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，在没有脱离本发明精神的情况下还可作出各种等效的变化或替换，因此，只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本技术的权利要求书的范围内。