一种基于心脏超声视频测量特征尺寸的处理方法和装置与流程

1.本发明涉及数据处理技术领域，特别涉及一种基于心脏超声视频测量特征尺寸的处理方法和装置。


背景技术：

2.超声心动图技术是指使用超声波检查心脏和大血管的解剖结构及活动状态的无创性技术。二维超声心动图技术则是指由超声探头发出的超声束进入胸壁后呈扇形扫描，根据探头的设定部位和设定角度不同得到不同类型切面图(胸骨旁长轴切面图、胸骨旁短轴切面图、心尖切面图、剑突下切面图等)的超声心动图技术。在由二维超声心动图技术得到的胸骨旁长轴切面图上可对心脏左心室、右心室、室间隔、左心室后壁、左心房、主动脉瓣环、主动脉窦部、升主动脉的切面结构进行观测，观测时主要是对上述切面结构的特征尺寸(左心室内径、右心室内径、室间隔厚度、左心室后壁厚度、左心房前后径、主动脉瓣环直径、主动脉窦部直径、升主动脉内径)进行测量。
3.目前，大多数对胸骨旁长轴切面图进行特征尺寸测量的具体实施步骤是这样的：操作者将心脏超声检查设备的超声探头置于检测者胸部与胸骨旁长轴切面图对应的检测部位并进行二维超声心动图检测输出一段视频数据即心脏超声视频，这段心脏超声视频的时间长度大致为检测者的一个心搏周期；然后通过图像分帧技术将这段心脏超声视频分成多个单帧图像，每帧图像就是一个独立的胸骨旁长轴切面图；然后通过人工筛选的方式，从多个单帧图像中选出三个典型时刻(舒张期、收缩期和心室收缩中期)的单帧图像；然后再通过人工观测方式，在这三个典型时刻单帧图像上进行不同切面结构(左心室、右心室、室间隔、左心室后壁、左心房、主动脉瓣环、主动脉窦部、升主动脉的切面结构)的特征尺寸(左心室内径、右心室内径、室间隔厚度、左心室后壁厚度、左心房前后径、主动脉瓣环直径、主动脉窦部直径、升主动脉内径)测量。很显然，这种常规的胸骨旁长轴切面图特征尺寸测量方式主要依靠人力完成，受人为因素影响这种常规测量方式既不能输出较高的测量效率、也不能保证稳定的测量质量。


技术实现要素：

4.本发明的目的，就是针对现有技术的缺陷，提供一种基于心脏超声视频测量特征尺寸的处理方法、装置、电子设备及计算机可读存储介质，先对心脏超声视频进行帧图像提取；再基于关键点检测模型对每帧图像进行关键点检测得到对应八个切面结构(左心室、右心室、室间隔、左心室后壁、左心房、主动脉瓣环、主动脉窦部、升主动脉)的十六个关键点和八个特征尺寸；并以左心室特征尺寸即左心室内径为依据从多帧图像中筛选出舒张期、收缩期帧图像，以主动脉瓣环和主动脉窦部的特征尺寸即主动脉瓣环直径和主动脉窦部直径为依据从多帧图像中筛选出心室收缩中期帧图像；并在舒张期帧图像上对右心室内径、室间隔厚度、左心室期内径和左心室后壁厚度进行关键点标记和特称尺寸标注，在收缩期帧图像上对左心室内径进行关键点标记和特称尺寸标注，在心室收缩中期帧图像上对左房前
后径、主动脉瓣环直径、主动脉窦部直径和升主动脉内径进行关键点标记和特称尺寸标注；最后将完成关键点标记和特称尺寸标注的舒张期、收缩期、心室收缩中期帧图像作为处理结果输出。通过本发明，可以解决常规处理方式中需要人工介入的问题，可以提高测量效率、保证测量质量的稳定性。
5.为实现上述目的，本发明实施例第一方面提供了一种基于心脏超声视频测量特征尺寸的处理方法，所述方法包括：
6.接收心脏超声视频作为对应的第一视频；
7.对所述第一视频进行视频帧图像提取处理生成对应的第一帧图像序列；所述第一帧图像序列由多个第一帧图像pi按时间先后排序组成，各个所述第一帧图像对应一个第一帧时间戳ti，帧图像索引i≥1；
8.基于预设的关键点检测模型对各个所述第一帧图像pi进行关键点检测处理得到对应的十六个关键点和八个特征尺寸；所述八个特征尺寸包括第一左心室内径d
vs,i
、第一主动脉瓣环直径d
avr,i
和第一主动脉窦部直径d
as,i
；
9.根据所有所述第一左心室内径d
vs,i
对所述第一帧图像序列进行舒张期与收缩期帧图像筛选处理得到对应的第一舒张期帧图像和第一收缩期帧图像；并根据所有所述第一主动脉瓣环直径d
avr,i
和所述第一主动脉窦部直径d
as,i
对所述第一帧图像序列进行心室收缩中期帧图像筛选处理得到对应的第一心室收缩中期帧图像；
10.在所述第一舒张期帧图像上对右心室内径、室间隔厚度、左心室期内径和左心室后壁厚度进行关键点标记和特称尺寸标注处理；并在所述第一收缩期帧图像上对左心室内径进行关键点标记和特称尺寸标注处理；并在所述第一心室收缩中期帧图像上对左房前后径、主动脉瓣环直径、主动脉窦部直径和升主动脉内径进行关键点标记和特称尺寸标注处理；
11.将完成关键点标记和特称尺寸标注处理的所述第一舒张期帧图像、所述第一收缩期帧图像和所述第一心室收缩中期帧图像作为本次心脏超声视频测量特征尺寸的处理结果输出。
12.优选的，所述关键点检测模型基于keypoint-rcnn模型实现；所述关键点检测模型包括第一特征提取网络、第一区域提案网络、第一关注区域对齐网络、第一全连接网络、第二全连接网络、第三全连接网络、第一关键点头网络和第一融合模块；所述第一特征提取网络与所述第一区域提案网络连接；所述第一区域提案网络与所述第一关注区域对齐网络连接；所述第一关注区域对齐网络分别与所述第一全连接网络和所述第一关键点头网络连接；所述第一全连接网络分别与所述第二全连接网络和所述第三全连接网络连接；所述第一融合模块分别与所述第一关键点头网络、所述第二全连接网络和所述第三全连接网络连接；所述第一特征提取网络为resnet50网络；所述第一关键点头网络包括多个卷积神经网络；
13.所述第一特征提取网络用于对模型输入图像进行主干特征提取处理生成对应的第一特征图；
14.所述第一区域提案网络用于对所述第一特征图进行目标区域预识别处理生成多个第一预选框；所述第一预选框包括第一预选框偏移位置和第一预选框尺寸；所述第一预选框偏移位置为所述第一预选框在所述第一特征图中的偏移位置；所述目标区域包括十六
类目标区域，分别为左心室的两个关键区域、主动脉瓣环的两个关键区域、主动脉窦部的两个关键区域、右心室的两个关键区域、室间隔的两个关键区域、左心室后壁的两个关键区域、左心房的两个关键区域和升主动脉的两个关键区域；所述第一预选框的数量大于16；
15.所述第一关注区域对齐网络用于对所有所述第一预选框进行预选框合并处理生成十六个第一终选框，并将所述第一特征图上各个所述第一终选框的子特征图提取出来作为对应的第一子特征图；所述第一终选框包括第一终选框偏移位置和第一终选框尺寸；所述第一终选框偏移位置为所述第一终选框在所述第一特征图中的偏移位置；十六个所述第一子特征图对应十六个关键点的区域特征，具体为：左心室第一关键点区域特征图、左心室第二关键点区域特征图、主动脉瓣环第一关键点区域特征图、主动脉瓣环第二关键点区域特征图、主动脉窦部第一关键点区域特征图、主动脉窦部第二关键点区域特征图、右心室第一关键点区域特征图、右心室第二关键点区域特征图、室间隔第一关键点区域特征图、室间隔第二关键点区域特征图、左心室后壁第一关键点区域特征图、左心室后壁第二关键点区域特征图、左心房第一关键点区域特征图、左心房第二关键点区域特征图、升主动脉第一关键点区域特征图、升主动脉第二关键点区域特征图；
16.所述第一全连接网络用于对各个所述第一子特征图进行全局向量转换生成对应的第一全局向量；并对各个所述第一全局向量进行全连接计算生成对应的第一全连接向量；所述第二全连接网络用于根据各个所述第一子特征图对应的所述第一全连接向量对当前所述第一子特征图在所述模型输入图像中偏移位置进行回归预测生成对应的第一子特征图偏移位置；所述第三全连接网络用于根据各个所述第一子特征图对应的所述第一全连接向量对当前所述第一子特征图进行关键点分类预测生成十六个第一类型标签；所述第一子特征图类型标签的取值包括1或0；十六个所述第一类型标签对应十六个关键点类型，具体为：左心室第一关键点类型、左心室第二关键点类型、主动脉瓣环第一关键点类型、主动脉瓣环第二关键点类型、主动脉窦部第一关键点类型、主动脉窦部第二关键点类型、右心室第一关键点类型、右心室第二关键点类型、室间隔第一关键点类型、室间隔第二关键点类型、左心室后壁第一关键点类型、左心室后壁第二关键点类型、左心房第一关键点类型、左心房第二关键点类型、升主动脉第一关键点类型、升主动脉第二关键点类型；十六个所述第一类型标签中只有一个标签的取值为1、其余均为0；
17.所述第一关键点头网络用于对十六个所述第一子特征图进行关键点位置识别得到十六个第一子特征图关键点；所述第一子特征图关键点对应一个第一关键点偏移位置；十六个所述第一子特征图关键点包括第一左心室关键点、第二左心室关键点、第一主动脉瓣环关键点、第二主动脉瓣环关键点、第一主动脉窦部关键点、第二主动脉窦部关键点、第一右心室关键点、第二右心室关键点、第一室间隔关键点、第二室间隔关键点、第一左心室后壁关键点、第二左心室后壁关键点、第一左心房关键点、第二左心房关键点、第一升主动脉关键点、第二升主动脉关键点；
18.所述第一融合模块用于根据各个所述第一子特征图对应的所述第一终选框偏移位置和对应的所述第一关键点偏移位置进行关键点绝对位置预测生成对应的第一预测关键点图像坐标；并从各个所述第一子特征图对应的十六个所述第一类型标签中选择取值为1的所述第一类型标签对应的关键点类型作为对应的第一预测关键点类型；并由各个所述第一子特征图对应的所述第一预测关键点图像坐标和所述第一预测关键点类型组成对应
的输出特征向量；并由得到的十六个所述输出特征向量组成对应的模型输出张量并输出。
19.优选的，所述基于预设的关键点检测模型对各个所述第一帧图像pi进行关键点检测处理得到对应的十六个关键点和八个特征尺寸，具体包括：
20.将所述第一帧图像pi输入所述关键点检测模型进行处理生成对应的第一模型输出张量；所述第一模型输出张量包括十六个第一输出特征向量；所述第一输出特征向量包括所述第一预测关键点图像坐标和所述第一预测关键点类型；
21.根据所述第一、第二左心室关键点的所述第一预测关键点图像坐标，计算所述第一、第二左心室关键点间的直线连接线段长度记为对应的所述第一左心室内径d
vs,i
；并根据所述第一、第二主动脉瓣环关键点的所述第一预测关键点图像坐标，计算所述第一、第二主动脉瓣环关键点间的直线连接线段长度记为对应的所述第一主动脉瓣环直径d
avr,i
；并根据所述第一、第二主动脉窦部关键点的所述第一预测关键点图像坐标，计算所述第一、第二主动脉窦部关键点间的直线连接线段长度记为对应的所述第一主动脉窦部直径d
as,i
；并根据所述第一、第二右心室关键点的所述第一预测关键点图像坐标，计算所述第一、第二右心室关键点间的直线连接线段长度记为对应的第一右心室内径d
vd,i
；并根据所述第一、第二室间隔关键点的所述第一预测关键点图像坐标，计算所述第一、第二室间隔关键点间的直线连接线段长度记为对应的第一室间隔厚度d
is,i
；并根据所述第一、第二左心室后壁关键点的所述第一预测关键点图像坐标，计算所述第一、第二左心室后壁关键点间的直线连接线段长度记为对应的第一左心室后壁厚度d
lvpw,i
；并根据所述第一、第二左心房关键点的所述第一预测关键点图像坐标，计算所述第一、第二左心房关键点间的直线连接线段长度记为对应的第一左心房前后径d
la,i
；并根据所述第一、第二升主动脉关键点的所述第一预测关键点图像坐标，计算所述第一、第二升主动脉关键点间的直线连接线段长度记为对应的第一升主动脉内径d
aa,i
；
22.由得到的十六个第一输出特征向量对应的十六个所述第一子特征图关键点组成对应的所述十六个关键点；所述十六个关键点包括所述第一左心室关键点、所述第二左心室关键点、所述第一主动脉瓣环关键点、所述第二主动脉瓣环关键点、所述第一主动脉窦部关键点、所述第二主动脉窦部关键点、所述第一右心室关键点、所述第二右心室关键点、所述第一室间隔关键点、所述第二室间隔关键点、所述第一左心室后壁关键点、所述第二左心室后壁关键点、所述第一左心房关键点、所述第二左心房关键点、所述第一升主动脉关键点和所述第二升主动脉关键点；
23.由得到的八个直线连接线段长度组成对应的所述八个特征尺寸；所述八个特征尺寸包括所述第一左心室内径d
vs,i
、所述第一主动脉瓣环直径d
avr,i
、所述第一主动脉窦部直径d
as,i
、所述第一右心室内径d
vd,i
、所述第一室间隔厚度d
is,i
、所述第一左心室后壁厚度d
lvpw,i
、所述第一左心房前后径d
la,i
、所述第一升主动脉内径d
aa,i
。
24.优选的，所述根据所有所述第一左心室内径d
vs,i
对所述第一帧图像序列进行舒张期与收缩期帧图像筛选处理得到对应的第一舒张期帧图像和第一收缩期帧图像，具体包括：
25.以左心室内径为纵轴y、以时间为横轴x构建二维坐标系记为对应的左心室内径-时间坐标系；
26.在所述左心室内径-时间坐标系上以各个所述第一左心室内径d
vs,i
为描计点纵轴
坐标、以当前所述第一左心室内径d
vs,i
对应的所述第一帧时间戳ti为描计点横轴坐标进行描计点标记处理得到对应的第一描计点；
27.对第一个到最后一个所述第一描计点进行顺次连接得到对应的第一曲线；并对所述第一曲线进行中值滤波处理得到对应的第二曲线；
28.对所述第二曲线进行最显著峰值点筛选处理得到对应的第一最显著峰值点；并将所述第一最显著峰值点的横轴坐标提取出来作为对应的第一时间点；并将所述第一帧图像序列中，与所述第一时间点的时间间隔最小的所述第一帧时间戳ti对应的所述第一帧图像pi作为对应的所述第一舒张期帧图像；
29.对所述第二曲线进行上下翻转得到对应的第三曲线；并对所述第三曲线进行最显著峰值点筛选处理得到对应的第二最显著峰值点；并将所述第二最显著峰值点的横轴坐标提取出来作为对应的第二时间点；并将所述第一帧图像序列中，与所述第二时间点的时间间隔最小的所述第一帧时间戳ti对应的所述第一帧图像pi作为对应的所述第一收缩期帧图像。
30.进一步的，所述最显著峰值点筛选处理，具体包括：
31.将本次最显著峰值点筛选处理的所述第二曲线或所述第三曲线作为对应的当前曲线；并对所述当前曲线的各个峰值点进行标记作为对应的第一峰值点；
32.对各个所述第一峰值点进行遍历；遍历时，将当前遍历的所述第一峰值点记为对应的当前峰值点；并在所述左心室内径-时间坐标系上过所述当前峰值点做一条平行横轴x的直线记为对应的第一直线；并将所述第一直线在所述当前峰值点的左侧与所述当前曲线的任一个曲线下降沿的交点记为对应的第一下降沿交点，并将所述第一直线在所述当前峰值点的右侧与所述当前曲线的任一个曲线上升沿的交点记为对应的第一上升沿交点，并分别对所述的第一下降沿交点和所述第一上升沿交点的数量进行统计生成对应的第一下降沿交点数量和第一上升沿交点数量；并对所述第一下降沿交点数量是否为0进行识别，若是则将所述当前曲线的起始位置作为对应的第一起始位置，若否则将所述当前峰值点的左侧的第一个所述第一下降沿交点作为对应的所述第一起始位置；并对所述第一上升沿交点数量是否为0进行识别，若是则将所述当前曲线的结束位置作为对应的第一结束位置，若否则将所述当前峰值点的右侧的第一个所述第一上升沿交点作为对应的所述第一结束位置；并将所述当前曲线上在所述第一结束位置与所述当前峰值点之间的最小谷值点作为对应的第一谷值点，在所述当前峰值点与所述第一结束位置与之间的最小谷值点作为对应的第二谷值点，并将所述第一、第二谷值点中的较大值作为对应的当前谷值点；并对所述当前峰值点与所述当前谷值点的纵轴坐标差值进行计算生成对应的第一峰谷差；并在遍历结束时，从得到的所有所述第一峰谷差中选出最大值作为对应的最大峰谷差，并将所述最大峰谷差对应的所述第一峰值点作为对应的当前最显著峰值点；
33.若所述当前曲线为所述第二曲线，则将所述当前最显著峰值点作为对应的所述第一最显著峰值点输出；若所述当前曲线为所述第三曲线，则将所述当前最显著峰值点作为对应的所述第二最显著峰值点输出。
34.优选的，所述根据所有所述第一主动脉瓣环直径d
avr,i
和所述第一主动脉窦部直径d
as,i
对所述第一帧图像序列进行心室收缩中期帧图像筛选处理得到对应的第一心室收缩中期帧图像，具体包括：
35.将各个所述第一主动脉瓣环直径d
avr,i
对应的所述第一、第二主动脉瓣环关键点的两个所述第一预测关键点图像坐标记为对应的第一、第二坐标s
1,i
、s
2,i
；并根据所述第一、第二坐标s
1,i
、s
2,i
生成从所述第一主动脉瓣环关键点到所述第二主动脉瓣环关键点的向量记为对应的第一向量s
1-》2,i
；s
1-》2,i
＝s
2,i-s
1,i
；
36.将各个所述第一主动脉窦部直径d
as,i
对应的所述第一、第二主动脉窦部关键点的两个所述第一预测关键点图像坐标记为对应的第三、第四坐标s
3,i
、s
4,i
；并根据所述第三、第四坐标s
3,i
、s
4,i
生成从所述第一主动脉窦部关键点到所述第二主动脉窦部关键点的向量记为对应的第二向量s
3-》4,i
；s
3-》4,i
＝s
4,i-s
3,i
；
37.并由所述帧图像索引i相同的所述第一主动脉瓣环直径d
avr,i
、所述第一主动脉窦部直径d
as,i
、所述第一向量s
1-》2,i
和所述第二向量s
3-》4,i
组成对应的第一数据组；
38.对各个所述第一数据组进行合理性分析生成对应的第一分析结果；并对所有所述第一分析结果为合理的所述第一数据组进行离散数据组识别得到多个第一离散数据组；所述第一分析结果包括合理和不合理；
39.将所述第一帧图像序列中，与各个所述第一分析结果为不合理的所述第一数据组对应的所述第一帧图像pi以及与各个所述第一离散数据组对应的所述第一帧图像pi都记为对应的第一异常帧图像；并对各个所述第一异常帧图像进行异常帧图像数据修正处理；
40.所述异常帧图像数据修正处理成功，则对各个所述第一帧图像pi对应的所述第一主动脉瓣环直径d
avr,i
和所述第一主动脉窦部直径d
as,i
进行相加得到对应的第一加和数据；并从得到的所有所述第一加和数据中选择最大值作为对应的最大加和数据；并将所述最大加和数据对应的所述第一帧图像pi作为对应的所述第一心室收缩中期帧图像输出。
41.进一步的，所述对各个所述第一数据组进行合理性分析生成对应的第一分析结果，具体包括：
42.对所述第一数据组的所述第一主动脉瓣环直径d
avr,i
与所述第一主动脉窦部直径d
as,i
的直径差的绝对值进行计算生成对应的第一绝对直径差；并对所述第一绝对直径差是否低于预设的绝对直径差阈值进行识别；若是则设置对应的第一检验位为成功，若否则设置对应的所述第一检验位为失败；
43.根据所述第一数据组的所述第一向量s
1-》2,i
和所述第二向量s
3-》4,i
进行向量夹角估算生成对应的第一夹角，第一夹角并对所述第一夹角是否小于预设的小角度阈值进行识别；若是则设置对应的第二检验位为成功，若否则设置对应的所述第二检验位为失败；
44.对所述第一数据组的所述第一主动脉瓣环直径d
avr,i
对应的直线线段与所述第一主动脉窦部直径d
as,i
对应的直线线段是否有交点进行识别；若是则设置对应的第三检验位为失败，若否则设置对应的所述第三检验位为成功；
45.对所述第三检验位进行识别；若所述第三检验位为失败，则设置对应的第四检验位为失败；若所述第三检验位为成功，则对所述第一数据组的所述第一主动脉瓣环直径d
avr,i
对应的直线线段是否在所述第一主动脉窦部直径d
as,i
对应的直线线段的左侧进行识别；若是则设置对应的所述第四检验位为成功，若否则设置对应的所述第四检验位为失败；
46.若得到的所述第一、第二、第三和第四检验位都为成功，则设置对应的所述第一分
析结果为合理；若得到的所述第一、第二、第三或第四检验位为失败，则设置对应的所述第一分析结果为不合理。
47.进一步的，所述对所有所述第一分析结果为合理的所述第一数据组进行离散数据组识别得到多个第一离散数据组，具体包括：
48.将所述第一分析结果为合理的所述第一数据组记为对应的第二数据组；
49.由所有所述第二数据组的所述第一主动脉瓣环直径d
avr,i
组成对应的第一直径集合；并对所述第一直径集合中所述第一主动脉瓣环直径d
avr,i
的数量进行统计生成对应的第一数量n1；并对所述第一直径集合的均值和标准差进行计算得到对应的第一均值μ1和第一标准差σ1；并根据所述第一均值μ1和所述第一标准差σ1构建对应的第一限幅范围；并将所述第一主动脉瓣环直径d
avr,i
超出所述第一限幅范围的所述第二数据组记为对应的所述第一离散数据组；其中，所述第一限幅范围的下限为(μ
1-α1*σ1)，上限为(μ1 α1*σ1)，α1为预设系数；
50.由所有所述第二数据组的所述第一主动脉窦部直径d
as,i
组成对应的第二直径集合；并对所述第二直径集合中所述第一主动脉窦部直径d
as,i
的数量进行统计生成对应的第二数量n2；并对所述第二直径集合的均值和标准差进行计算得到对应的第二均值μ2和第二标准差σ2；并根据所述第二均值μ2和所述第二标准差σ2构建对应的第二限幅范围；并将所述第一主动脉窦部直径d
as,i
超出所述第二限幅范围的所述第二数据组记为对应的所述第一离散数据组；其中，所述第二限幅范围的下限为(μ
2-α2*σ2)，上限为(μ2 α2*σ2)，α2为预设系数。
51.进一步的，所述对各个所述第一异常帧图像进行异常帧图像数据修正处理，具体包括：
52.将所述第一帧图像序列中的任一个所述第一异常帧图像作为对应的当前异常帧图像；并将所述第一帧图像序列中，所述当前异常帧图像的前一个和后一个非异常帧图像作为对应的前正常帧图像和后正常帧图像；
53.使用所述前、后正常帧图像各自对应的所述第一左心室内径d
vs,i
、所述第一主动脉瓣环直径d
avr,i
、所述第一主动脉窦部直径d
as,i
、所述第一右心室内径d
vd,i
、所述第一室间隔厚度d
is,i
、所述第一左心室后壁厚度d
lvpw,i
、所述第一左心房前后径d
la,i
和所述第一升主动脉内径d
aa,i
，对所述当前异常帧图像对应的所述第一左心室内径d
vs,i
、所述第一主动脉瓣环直径d
avr,i
、所述第一主动脉窦部直径d
as,i
、所述第一右心室内径d
vd,i
、所述第一室间隔厚度d
is,i
、所述第一左心室后壁厚度d
lvpw,i
、所述第一左心房前后径d
la,i
和所述第一升主动脉内径d
aa,i
按线性插值方式进行插值重置；
54.使用所述前、后正常帧图像各自对应的所述第一左心室关键点、所述第二左心室关键点、所述第一主动脉瓣环关键点、所述第二主动脉瓣环关键点、所述第一主动脉窦部关键点、所述第二主动脉窦部关键点、所述第一右心室关键点、所述第二右心室关键点、所述第一室间隔关键点、所述第二室间隔关键点、所述第一左心室后壁关键点、所述第二左心室
后壁关键点、所述第一左心房关键点、所述第二左心房关键点、所述第一升主动脉关键点和所述第二升主动脉关键点的所述第一预测关键点图像坐标，对所述当前异常帧图像对应的所述第一左心室关键点、所述第二左心室关键点、所述第一主动脉瓣环关键点、所述第二主动脉瓣环关键点、所述第一主动脉窦部关键点、所述第二主动脉窦部关键点、所述第一右心室关键点、所述第二右心室关键点、所述第一室间隔关键点、所述第二室间隔关键点、所述第一左心室后壁关键点、所述第二左心室后壁关键点、所述第一左心房关键点、所述第二左心房关键点、所述第一升主动脉关键点和所述第二升主动脉关键点的所述第一预测关键点图像坐标按线性插值方式进行插值重置。
55.优选的，所述在所述第一舒张期帧图像上对右心室内径、室间隔厚度、左心室期内径和左心室后壁厚度进行关键点标记和特称尺寸标注处理，具体包括：
56.在所述第一舒张期帧图像上，将所述第一、第二右心室关键点的两个所述第一预测关键点图像坐标对应的两个像素点的颜色设为预设的第一颜色；并基于所述第一颜色在所述第一、第二右心室关键点对应的两个像素点间进行连接线段绘制得到对应的第一线段；并将所述第一舒张期帧图像对应的所述第一右心室内径d
vd,i
与预设的单位标尺的乘积作为对应的第二右心室内径；并将所述第一线段的显示标注信息设为对应的所述第二右心室内径；
57.在所述第一舒张期帧图像上，将所述第一、第二室间隔关键点的两个所述第一预测关键点图像坐标对应的两个像素点的颜色设为预设的第二颜色；并基于所述第二颜色在所述第一、第二室间隔关键点对应的两个像素点间进行连接线段绘制得到对应的第二线段；并将所述第一舒张期帧图像对应的所述第一室间隔厚度d
is,i
与所述单位标尺的乘积作为对应的第二室间隔厚度；并将所述第二线段的显示标注信息设为对应的所述第二室间隔厚度；
58.在所述第一舒张期帧图像上，将所述第一、第二左心室关键点的两个所述第一预测关键点图像坐标对应的两个像素点的颜色设为预设的第三颜色；并基于所述第三颜色在所述第一、第二左心室关键点对应的两个像素点间进行连接线段绘制得到对应的第三线段；并将所述第一舒张期帧图像对应的所述第一左心室内径d
vs,i
与所述单位标尺的乘积作为对应的第二左心室内径；并将所述第三线段的显示标注信息设为对应的所述第二左心室内径；
59.在所述第一舒张期帧图像上，将所述第一、第二左心室后壁关键点的两个所述第一预测关键点图像坐标对应的两个像素点的颜色设为预设的第四颜色并基于所述第四颜色在所述第一、第二左心室后壁关键点对应的两个像素点间进行连接线段绘制得到对应的第四线段；并将所述第一舒张期帧图像对应的所述第一左心室后壁厚度d
lvpw,i
与所述单位标尺的乘积作为对应的第二左心室后壁厚度；并将所述第四线段的显示标注信息设为对应的所述第二左心室后壁厚度。
60.优选的，所述在所述第一收缩期帧图像上对左心室内径进行关键点标记和特称尺寸标注处理，具体包括：
61.在所述第一收缩期帧图像上，将所述第一、第二左心室关键点的两个所述第一预测关键点图像坐标对应的两个像素点的颜色设为预设的第五颜色；并基于所述第五颜色在所述第一、第二左心室关键点对应的两个像素点间进行连接线段绘制得到对应的第五线
段；并将所述第一收缩期帧图像对应的所述第一左心室内径d
vs,i
与预设的单位标尺的乘积作为对应的第三左心室内径；并将所述第五线段的显示标注信息设为对应的所述第三左心室内径。
62.优选的，所述在所述第一心室收缩中期帧图像上对左房前后径、主动脉瓣环直径、主动脉窦部直径和升主动脉内径进行关键点标记和特称尺寸标注处理，具体包括：
63.在所述第一心室收缩中期帧图像上，将所述第一、第二左心房关键点的两个所述第一预测关键点图像坐标对应的两个像素点的颜色设为预设的第六颜色；并基于所述第六颜色在所述第一、第二左心房关键点对应的两个像素点间进行连接线段绘制得到对应的第六线段；并将所述第一心室收缩中期帧图像对应的所述第一左心房前后径d
la,i
与预设的单位标尺的乘积作为对应的第二左心房前后径；并将所述第六线段的显示标注信息设为对应的所述第二左心房前后径；
64.在所述第一心室收缩中期帧图像上，将所述第一、第二主动脉瓣环关键点的两个所述第一预测关键点图像坐标对应的两个像素点的颜色设为预设的第七颜色；并基于所述第七颜色在所述第一、第二主动脉瓣环关键点对应的两个像素点间进行连接线段绘制得到对应的第七线段；并将所述第一心室收缩中期帧图像对应的所述第一主动脉瓣环直径d
avr,i
与所述单位标尺的乘积作为对应的第二主动脉瓣环直径；并将所述第七线段的显示标注信息设为对应的所述第二主动脉瓣环直径；
65.在所述第一心室收缩中期帧图像上，将所述第一、第二主动脉窦部关键点的两个所述第一预测关键点图像坐标对应的两个像素点的颜色设为预设的第八颜色；并基于所述第八颜色在所述第一、第二主动脉窦部关键点对应的两个像素点间进行连接线段绘制得到对应的第八线段；并将所述第一心室收缩中期帧图像对应的所述第一主动脉窦部直径d
as,i
与所述单位标尺的乘积作为对应的第二主动脉窦部直径；并将所述第八线段的显示标注信息设为对应的所述第二主动脉窦部直径；
66.在所述第一心室收缩中期帧图像上，将所述第一、第二升主动脉关键点的两个所述第一预测关键点图像坐标对应的两个像素点的颜色设为预设的第九颜色；并基于所述第九颜色在所述第一、第二升主动脉关键点对应的两个像素点间进行连接线段绘制得到对应的第九线段；并将所述第一心室收缩中期帧图像对应的所述第一升主动脉内径d
aa,i
与所述单位标尺的乘积作为对应的第二升主动脉内径；并将所述第九线段的显示标注信息设为对应的所述第二升主动脉内径。
67.本发明实施例第二方面提供了一种实现上述第一方面所述的方法的装置，包括：接收模块、图像分帧模块、关键点检测模块、分帧图像筛选模块、图像标注模块和输出模块；
68.所述接收模块用于接收心脏超声视频作为对应的第一视频；
69.所述图像分帧模块用于对所述第一视频进行视频帧图像提取处理生成对应的第一帧图像序列；所述第一帧图像序列由多个第一帧图像pi按时间先后排序组成，各个所述第一帧图像对应一个第一帧时间戳ti，帧图像索引i≥1；
70.所述关键点检测模块用于基于预设的关键点检测模型对各个所述第一帧图像pi进行关键点检测处理得到对应的十六个关键点和八个特征尺寸；所述八个特征尺寸包括第一左心室内径d
vs,i
、第一主动脉瓣环直径d
avr,i
和第一主动脉窦部直径d
as,i
；
71.所述分帧图像筛选模块用于根据所有所述第一左心室内径d
vs,i
对所述第一帧图
像序列进行舒张期与收缩期帧图像筛选处理得到对应的第一舒张期帧图像和第一收缩期帧图像；并根据所有所述第一主动脉瓣环直径d
avr,i
和所述第一主动脉窦部直径d
as,i
对所述第一帧图像序列进行心室收缩中期帧图像筛选处理得到对应的第一心室收缩中期帧图像；
72.所述图像标注模块用于在所述第一舒张期帧图像上对右心室内径、室间隔厚度、左心室期内径和左心室后壁厚度进行关键点标记和特称尺寸标注处理；并在所述第一收缩期帧图像上对左心室内径进行关键点标记和特称尺寸标注处理；并在所述第一心室收缩中期帧图像上对左房前后径、主动脉瓣环直径、主动脉窦部直径和升主动脉内径进行关键点标记和特称尺寸标注处理；
73.所述输出模块用于将完成关键点标记和特称尺寸标注处理的所述第一舒张期帧图像、所述第一收缩期帧图像和所述第一心室收缩中期帧图像作为本次心脏超声视频测量特征尺寸的处理结果输出。
74.本发明实施例第三方面提供了一种电子设备，包括：存储器、处理器和收发器；
75.所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现上述第一方面所述的方法；
76.所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。
77.本发明实施例第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行上述第一方面所述的方法。
78.本发明实施例提供了一种基于心脏超声视频测量特征尺寸的处理方法、装置、电子设备及计算机可读存储介质，先对心脏超声视频进行帧图像提取；再基于关键点检测模型对每帧图像进行关键点检测得到对应八个切面结构(左心室、右心室、室间隔、左心室后壁、左心房、主动脉瓣环、主动脉窦部、升主动脉)的十六个关键点和八个特征尺寸；并以左心室特征尺寸即左心室内径为依据从多帧图像中筛选出舒张期、收缩期帧图像，以主动脉瓣环和主动脉窦部的特征尺寸即主动脉瓣环直径和主动脉窦部直径为依据从多帧图像中筛选出心室收缩中期帧图像；并在舒张期帧图像上对右心室内径、室间隔厚度、左心室期内径和左心室后壁厚度进行关键点标记和特称尺寸标注，在收缩期帧图像上对左心室内径进行关键点标记和特称尺寸标注，在心室收缩中期帧图像上对左房前后径、主动脉瓣环直径、主动脉窦部直径和升主动脉内径进行关键点标记和特称尺寸标注；最后将完成关键点标记和特称尺寸标注的舒张期、收缩期、心室收缩中期帧图像作为处理结果输出。通过本发明，解决了常规处理方式中需要人工介入的问题，提高了测量效率、保证了测量质量的稳定性。
附图说明
79.图1为本发明实施例一提供的一种基于心脏超声视频测量特征尺寸的处理方法示意图；
80.图2为本发明实施例二提供的一种基于心脏超声视频测量特征尺寸的处理装置的模块结构图；
81.图3为本发明实施例三提供的一种电子设备的结构示意图。
具体实施方式
82.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
83.本发明实施例一提供的一种基于心脏超声视频测量特征尺寸的处理方法，如图1为本发明实施例一提供的一种基于心脏超声视频测量特征尺寸的处理方法示意图所示，本方法主要包括如下步骤：
84.步骤1，接收心脏超声视频作为对应的第一视频。
85.这里，本发明实施例一接收的心脏超声视频是操作者将心脏超声检查设备的超声探头置于检测者胸部与胸骨旁长轴切面图对应的检测部位并进行二维超声心动图检测得到的一段心脏超声视频，这段心脏超声视频的时间长度大致为检测者的一个心搏周期。
86.步骤2，对第一视频进行视频帧图像提取处理生成对应的第一帧图像序列；
87.其中，第一帧图像序列由多个第一帧图像pi按时间先后排序组成，各个第一帧图像对应一个第一帧时间戳ti，帧图像索引i≥1。
88.这里，按预设的分帧频率对第一视频进行图像分帧从而得到多个第一帧图像，每个第一帧图像实际就是一帧胸骨旁长轴切面图；再按时间先后顺序对所有第一帧图像进行排序就得到第一帧图像序列，因为每帧图像都有一个确定的时间信息所以各个第一帧图像对应一个第一帧时间戳ti。
89.本发明实施例一在得到第一帧图像序列后会通过后续步骤3使用预设的关键点检测模型对每帧图像进行关键点检测。在对后续步骤3进行说明之前，这里先对本发明实施例一的关键点检测模型进行如下说明：
90.本发明实施例一的关键点检测模型是参考keypoint-rcnn模型的模型结构实现的，而keypoint-rcnn模型的模型结构是由mask r-cnn的关键点检测分支结构而来，具体可查阅公开的技术论文《mask r-cnn》，在此不做重复性描述；本发明实施例一的关键点检测模型的神经网络包括第一特征提取网络、第一区域提案(region proposal networks，rpn)网络、第一关注区域对齐(region of interest align，roi align)网络、第一全连接(full connected，fc)网络、第二全连接网络、第三全连接网络、第一关键点头(keypoint rcnn head)网络和第一融合模块；第一特征提取网络为resnet50网络；第一关键点头网络包括多个卷积神经网络；
91.模型中各网络/模块的连接关系为：第一特征提取网络与第一区域提案网络连接；第一区域提案网络与第一关注区域对齐网络连接；第一关注区域对齐网络分别与第一全连接网络和第一关键点头网络连接；第一全连接网络分别与第二全连接网络和第三全连接网络连接；第一融合模块分别与第一关键点头网络、第二全连接网络和第三全连接网络连接；
92.本发明实施例一的第一特征提取网络被用于对模型输入图像进行主干特征提取处理生成对应的第一特征图；
93.本发明实施例一的第一区域提案网络被用于对第一特征图进行目标区域预识别处理生成多个第一预选框(bounding box，bbox)；
94.其中，第一预选框包括第一预选框偏移位置和第一预选框尺寸；第一预选框偏移
位置为第一预选框在第一特征图中的偏移位置；这里，第一区域提案网络关注的目标区域包括十六类目标区域，这十六类目标区域涉及心脏的八个切面结构(左心室、右心室、室间隔、左心室后壁、左心房、主动脉瓣环、主动脉窦部、升主动脉)、每个切面结构有两个关键点区域(也称为关键区域)，所以这十六类目标区域分别为：左心室的两个关键区域、主动脉瓣环的两个关键区域、主动脉窦部的两个关键区域、右心室的两个关键区域、室间隔的两个关键区域、左心室后壁的两个关键区域、左心房的两个关键区域和升主动脉的两个关键区域；因为第一区域提案网络对于某一类目标区域可能会产生多个第一预选框，所以第一预选框的数量大于16；
95.本发明实施例一的第一关注区域对齐网络被用于对所有第一预选框进行预选框合并处理生成十六个第一终选框，并将第一特征图上各个第一终选框的子特征图提取出来作为对应的第一子特征图；
96.其中，第一终选框包括第一终选框偏移位置和第一终选框尺寸；第一终选框偏移位置为第一终选框在第一特征图中的偏移位置；这里第一关注区域对齐网络会将对应同一类目标区域的一个或多个第一终选框进行合生成一个对应的第一终选框，从而最终得到分别对应十六类目标区域的十六个第一终选框；再将第一特征图上由各个第一终选框覆盖的子特征图提取出来就能得到对应的第一子特征图，从而也能最终得到十六个第一子特征图；十六个第一子特征图分别对应十六类目标区域，也就是说这十六个第一子特征图对应十六个关键点的区域特征，具体为：左心室第一关键点区域特征图、左心室第二关键点区域特征图、主动脉瓣环第一关键点区域特征图、主动脉瓣环第二关键点区域特征图、主动脉窦部第一关键点区域特征图、主动脉窦部第二关键点区域特征图、右心室第一关键点区域特征图、右心室第二关键点区域特征图、室间隔第一关键点区域特征图、室间隔第二关键点区域特征图、左心室后壁第一关键点区域特征图、左心室后壁第二关键点区域特征图、左心房第一关键点区域特征图、左心房第二关键点区域特征图、升主动脉第一关键点区域特征图、升主动脉第二关键点区域特征图；
97.本发明实施例一的第一全连接网络被用于对各个第一子特征图进行全局向量转换生成对应的第一全局向量；并对各个第一全局向量进行全连接计算生成对应的第一全连接向量；本发明实施例一的第二全连接网络被用于根据各个第一子特征图对应的第一全连接向量对当前第一子特征图在模型输入图像中偏移位置进行回归预测生成对应的第一子特征图偏移位置；本发明实施例一的第三全连接网络被用于根据各个第一子特征图对应的第一全连接向量对当前第一子特征图进行关键点分类预测生成十六个第一类型标签；
98.其中，第一子特征图类型标签的取值包括1或0；十六个第一类型标签对应十六个关键点类型，具体为：左心室第一关键点类型、左心室第二关键点类型、主动脉瓣环第一关键点类型、主动脉瓣环第二关键点类型、主动脉窦部第一关键点类型、主动脉窦部第二关键点类型、右心室第一关键点类型、右心室第二关键点类型、室间隔第一关键点类型、室间隔第二关键点类型、左心室后壁第一关键点类型、左心室后壁第二关键点类型、左心房第一关键点类型、左心房第二关键点类型、升主动脉第一关键点类型、升主动脉第二关键点类型；十六个第一类型标签中只有一个标签的取值为1、其余均为0；
99.本发明实施例一的第一关键点头网络被用于对十六个第一子特征图进行关键点位置识别得到十六个第一子特征图关键点；
100.其中，第一子特征图关键点对应一个第一关键点偏移位置；十六个第一子特征图关键点包括第一左心室关键点、第二左心室关键点、第一主动脉瓣环关键点、第二主动脉瓣环关键点、第一主动脉窦部关键点、第二主动脉窦部关键点、第一右心室关键点、第二右心室关键点、第一室间隔关键点、第二室间隔关键点、第一左心室后壁关键点、第二左心室后壁关键点、第一左心房关键点、第二左心房关键点、第一升主动脉关键点、第二升主动脉关键点；
101.本发明实施例一的第一融合模块被用于根据各个第一子特征图对应的第一终选框偏移位置和对应的第一关键点偏移位置进行关键点绝对位置预测生成对应的第一预测关键点图像坐标；并从各个第一子特征图对应的十六个第一类型标签中选择取值为1的第一类型标签对应的关键点类型作为对应的第一预测关键点类型；并由各个第一子特征图对应的第一预测关键点图像坐标和第一预测关键点类型组成对应的输出特征向量；并由得到的十六个输出特征向量组成对应的模型输出张量并输出。
102.综上所述，本发明实施例一的关键点检测模型就是用于对各个第一帧图像pi上心脏八个切面结构(左心室、右心室、室间隔、左心室后壁、左心房、主动脉瓣环、主动脉窦部、升主动脉)的十六个关键点(第一左心室关键点、第二左心室关键点、第一主动脉瓣环关键点、第二主动脉瓣环关键点、第一主动脉窦部关键点、第二主动脉窦部关键点、第一右心室关键点、第二右心室关键点、第一室间隔关键点、第二室间隔关键点、第一左心室后壁关键点、第二左心室后壁关键点、第一左心房关键点、第二左心房关键点、第一升主动脉关键点和第二升主动脉关键点)进行检测的人工智能模型。
103.需要说明的是，第一、第二左心室关键点实际就是左心室切面上用于测量左心室内径的两个特征点，第一、第二右心室关键点实际就是右心室切面上用于测量右心室内径的两个特征点，第一、第二室间隔关键点实际就是室间隔切面上用于测量左右心室间隔厚度(也称为室间隔厚度)的两个特征点，第一、第二左心室后壁关键点实际就是左心室后壁切面上用于测量左心室后壁厚度的两个特征点，第一、第二左心房关键点实际就是左心房切面上用于测量左心房前后径的两个特征点，第一、第二主动脉瓣环关键点实际就是主动脉瓣环切面上用于测量主动脉瓣环直径的两个特征点，第一、第二主动脉窦部关键点实际就是主动脉窦部切面上用于测量主动脉窦部直径的两个特征点，第一、第二升主动脉关键点实际就是升主动脉切面上用于测量升主动脉内径的两个特征点。还需要说明的是，在使用本发明实施例一的关键点检测模型之前，需要对其进行模型训练，模型训练方式采用有监督的模型训练方式实现，即选取带有十六类目标区域标签和十六个关键点标签的训练数据送入所述关键点检测模型进行训练，并在训练过程中采用多分类交叉熵损失函数作为模型训练的损失函数。本发明实施例一的关键点检测模型的训练次数不是固定的，可以预先设定一个训练频次对模型进行定期训练，通过持续的模型训练就可以持续提高模型的图像分析质量。
104.步骤3，基于预设的关键点检测模型对各个第一帧图像pi进行关键点检测处理得到对应的十六个关键点和八个特征尺寸；
105.具体包括：步骤31，将第一帧图像pi输入关键点检测模型进行处理生成对应的第一模型输出张量；
106.其中，第一模型输出张量包括十六个第一输出特征向量；第一输出特征向量包括
第一预测关键点图像坐标和第一预测关键点类型；
107.这里，由前文可知本发明实施例一的关键点检测模型对每个第一帧图像pi上心脏八个切面结构(左心室、右心室、室间隔、左心室后壁、左心房、主动脉瓣环、主动脉窦部、升主动脉)的十六个关键点进行检测并输出对应的检测结果即第一模型输出张量；
108.第一模型输出张量中每个第一输出特征向量对应一个关键点；第一输出特征向量的第一预测关键点类型为对应关键点的具体类型，即十六种关键点类型(左心室第一关键点类型、左心室第二关键点类型、主动脉瓣环第一关键点类型、主动脉瓣环第二关键点类型、主动脉窦部第一关键点类型、主动脉窦部第二关键点类型、右心室第一关键点类型、右心室第二关键点类型、室间隔第一关键点类型、室间隔第二关键点类型、左心室后壁第一关键点类型、左心室后壁第二关键点类型、左心房第一关键点类型、左心房第二关键点类型、升主动脉第一关键点类型、升主动脉第二关键点类型)中的一种；第一输出特征向量的第一预测关键点图像坐标为对应关键点在当前第一帧图像pi上的图像坐标；
109.步骤32，根据第一、第二左心室关键点的第一预测关键点图像坐标，计算第一、第二左心室关键点间的直线连接线段长度记为对应的第一左心室内径d
vs,i
；并根据第一、第二主动脉瓣环关键点的第一预测关键点图像坐标，计算第一、第二主动脉瓣环关键点间的直线连接线段长度记为对应的第一主动脉瓣环直径d
avr,i
；并根据第一、第二主动脉窦部关键点的第一预测关键点图像坐标，计算第一、第二主动脉窦部关键点间的直线连接线段长度记为对应的第一主动脉窦部直径d
as,i
；并根据第一、第二右心室关键点的第一预测关键点图像坐标，计算第一、第二右心室关键点间的直线连接线段长度记为对应的第一右心室内径d
vd,i
；并根据第一、第二室间隔关键点的第一预测关键点图像坐标，计算第一、第二室间隔关键点间的直线连接线段长度记为对应的第一室间隔厚度d
is,i
；并根据第一、第二左心室后壁关键点的第一预测关键点图像坐标，计算第一、第二左心室后壁关键点间的直线连接线段长度记为对应的第一左心室后壁厚度d
lvpw,i
；并根据第一、第二左心房关键点的第一预测关键点图像坐标，计算第一、第二左心房关键点间的直线连接线段长度记为对应的第一左心房前后径d
la,i
；并根据第一、第二升主动脉关键点的第一预测关键点图像坐标，计算第一、第二升主动脉关键点间的直线连接线段长度记为对应的第一升主动脉内径d
aa,i
；
110.这里，在八个切面结构(左心室、右心室、室间隔、左心室后壁、左心房、主动脉瓣环、主动脉窦部、升主动脉)的十六个关键点的图像坐标都已知的情况下，对每个切面结构对应的两个关键点进行直线连接并计算直线连接线段长度就能得到八个切面结构的八个直线连接线段长度：第一左心室内径d
vs,i
、第一主动脉瓣环直径d
avr,i
、第一主动脉窦部直径d
as,i
、第一右心室内径d
vd,i
、第一室间隔厚度d
is,i
、第一左心室后壁厚度d
lvpw,i
、第一左心房前后径d
la,i
、第一升主动脉内径d
aa,i
；
111.步骤33，由得到的十六个第一输出特征向量对应的十六个第一子特征图关键点组成对应的十六个关键点；由得到的八个直线连接线段长度组成对应的八个特征尺寸；
112.其中，十六个关键点包括第一左心室关键点、第二左心室关键点、第一主动脉瓣环关键点、第二主动脉瓣环关键点、第一主动脉窦部关键点、第二主动脉窦部关键点、第一右心室关键点、第二右心室关键点、第一室间隔关键点、第二室间隔关键点、第一左心室后壁关键点、第二左心室后壁关键点、第一左心房关键点、第二左心房关键点、第一升主动脉关键点和第二升主动脉关键点；
113.八个特征尺寸包括第一左心室内径d
vs,i
、第一主动脉瓣环直径d
avr,i
、第一主动脉窦部直径d
as,i
、第一右心室内径d
vd,i
、第一室间隔厚度d
is,i
、第一左心室后壁厚度d
lvpw,i
、第一左心房前后径d
la,i
、第一升主动脉内径d
aa,i
。
114.步骤4，根据所有第一左心室内径d
vs,i
对第一帧图像序列进行舒张期与收缩期帧图像筛选处理得到对应的第一舒张期帧图像和第一收缩期帧图像；并根据所有第一主动脉瓣环直径d
avr,i
和第一主动脉窦部直径d
as,i
对第一帧图像序列进行心室收缩中期帧图像筛选处理得到对应的第一心室收缩中期帧图像；
115.具体包括：步骤41，根据所有第一左心室内径d
vs,i
对第一帧图像序列进行舒张期与收缩期帧图像筛选处理得到对应的第一舒张期帧图像和第一收缩期帧图像；
116.具体包括：步骤411，以左心室内径为纵轴y、以时间为横轴x构建二维坐标系记为对应的左心室内径-时间坐标系；
117.步骤412，在左心室内径-时间坐标系上以各个第一左心室内径d
vs,i
为描计点纵轴坐标、以当前第一左心室内径d
vs,i
对应的第一帧时间戳ti为描计点横轴坐标进行描计点标记处理得到对应的第一描计点；
118.步骤413，对第一个到最后一个第一描计点进行顺次连接得到对应的第一曲线；
119.这里，得到的第一曲线实际就是一个左心室内径随时间变化的曲线；
120.步骤414，对第一曲线进行中值滤波处理得到对应的第二曲线；
121.这里，一般情况下得到的第一曲线都可能会有较多毛刺，所以需要对其进行一次滤波使得曲线趋于平滑；本发明实施例一基于中值滤波方式对第一曲线进行滤波得到对应的第二曲线；
122.步骤415，对第二曲线进行最显著峰值点筛选处理得到对应的第一最显著峰值点；并将第一最显著峰值点的横轴坐标提取出来作为对应的第一时间点；并将第一帧图像序列中，与第一时间点的时间间隔最小的第一帧时间戳ti对应的第一帧图像pi作为对应的第一舒张期帧图像；
123.步骤416，对第二曲线进行上下翻转得到对应的第三曲线；并对第三曲线进行最显著峰值点筛选处理得到对应的第二最显著峰值点；并将第二最显著峰值点的横轴坐标提取出来作为对应的第二时间点；并将第一帧图像序列中，与第二时间点的时间间隔最小的第一帧时间戳ti对应的第一帧图像pi作为对应的第一收缩期帧图像；
124.这里，本发明实施例一在上述步骤415和当前步骤416中的进行的最显著峰值点筛选处理是相同的处理流程，该最显著峰值点筛选处理的处理步骤具体包括：
125.步骤a1，将本次最显著峰值点筛选处理的第二曲线或第三曲线作为对应的当前曲线；并对当前曲线的各个峰值点进行标记作为对应的第一峰值点；
126.步骤a2，对各个第一峰值点进行遍历；遍历时，将当前遍历的第一峰值点记为对应的当前峰值点；并在左心室内径-时间坐标系上过当前峰值点做一条平行横轴x的直线记为对应的第一直线；并将第一直线在当前峰值点的左侧与当前曲线的任一个曲线下降沿的交点记为对应的第一下降沿交点，并将第一直线在当前峰值点的右侧与当前曲线的任一个曲线上升沿的交点记为对应的第一上升沿交点，并分别对的第一下降沿交点和第一上升沿交点的数量进行统计生成对应的第一下降沿交点数量和第一上升沿交点数量；并对第一下降沿交点数量是否为0进行识别，若是则将当前曲线的起始位置作为对应的第一起始位置，若
否则将当前峰值点的左侧的第一个第一下降沿交点作为对应的第一起始位置；并对第一上升沿交点数量是否为0进行识别，若是则将当前曲线的结束位置作为对应的第一结束位置，若否则将当前峰值点的右侧的第一个第一上升沿交点作为对应的第一结束位置；并将当前曲线上在第一结束位置与当前峰值点之间的最小谷值点作为对应的第一谷值点，在当前峰值点与第一结束位置与之间的最小谷值点作为对应的第二谷值点，并将第一、第二谷值点中的较大值作为对应的当前谷值点；并对当前峰值点与当前谷值点的纵轴坐标差值进行计算生成对应的第一峰谷差；并在遍历结束时，从得到的所有第一峰谷差中选出最大值作为对应的最大峰谷差，并将最大峰谷差对应的第一峰值点作为对应的当前最显著峰值点；
127.步骤a3，若当前曲线为第二曲线，则将当前最显著峰值点作为对应的第一最显著峰值点输出；若当前曲线为第三曲线，则将当前最显著峰值点作为对应的第二最显著峰值点输出；
128.步骤42，根据所有第一主动脉瓣环直径d
avr,i
和第一主动脉窦部直径d
as,i
对第一帧图像序列进行心室收缩中期帧图像筛选处理得到对应的第一心室收缩中期帧图像；
129.具体包括：步骤421，将各个第一主动脉瓣环直径d
avr,i
对应的第一、第二主动脉瓣环关键点的两个第一预测关键点图像坐标记为对应的第一、第二坐标s
1,i
、s
2,i
；并根据第一、第二坐标s
1,i
、s
2,i
生成从第一主动脉瓣环关键点到第二主动脉瓣环关键点的向量记为对应的第一向量s
1-》2,i
；s
1-》2,i
＝s
2,i-s
1,i
；
130.步骤422，将各个第一主动脉窦部直径d
as,i
对应的第一、第二主动脉窦部关键点的两个第一预测关键点图像坐标记为对应的第三、第四坐标s
3,i
、s
4,i
；并根据第三、第四坐标s
3,i
、s
4,i
生成从第一主动脉窦部关键点到第二主动脉窦部关键点的向量记为对应的第二向量s
3-》4,i
；s
3-》4,i
＝s
4,i-s
3,i
；
131.步骤423，由帧图像索引i相同的第一主动脉瓣环直径d
avr,i
、第一主动脉窦部直径d
as,i
、第一向量s
1-》2,i
和第二向量s
3-》4,i
组成对应的第一数据组；
132.步骤424，对各个第一数据组进行合理性分析生成对应的第一分析结果；
133.其中，第一分析结果包括合理和不合理；
134.具体包括：步骤4241，对第一数据组的第一主动脉瓣环直径d
avr,i
与第一主动脉窦部直径d
as,i
的直径差的绝对值进行计算生成对应的第一绝对直径差；并对第一绝对直径差是否低于预设的绝对直径差阈值进行识别；若是则设置对应的第一检验位为成功，若否则设置对应的第一检验位为失败；
135.这里，在实际应用场景中主动脉瓣环直径和主动脉窦部直径的直径差不会过大应在一个合理直径差范围之类，所以本发明实施例一预先设定一个绝对直径差阈值，并以此绝对直径差阈值作为第一主动脉瓣环直径d
avr,i
与第一主动脉窦部直径d
as,i
的一个约束条件；
136.步骤4242，根据第一数据组的第一向量s
1-》2,i
和第二向量s
3-》4,i
进行向量夹角估算生成对应的第一夹角，第一夹角并对第一夹角是否小于预设的小角度阈值进行识别；若是则设置对应的第二检验位为成功，若否则设置对应的第二检验位为失败；
137.这里，在实际应用场景中第一主动脉瓣环直径d
avr,i
与第一主动脉窦部直径d
as,i
对
应的两条线段基本应为平行状态，所以本发明实施例一预先设定一个趋近于0的小角度阈值，并以此小角度阈值作为第一主动脉瓣环直径d
avr,i
与第一主动脉窦部直径d
as,i
的又一个约束条件；
138.步骤4243，对第一数据组的第一主动脉瓣环直径d
avr,i
对应的直线线段与第一主动脉窦部直径d
as,i
对应的直线线段是否有交点进行识别；若是则设置对应的第三检验位为失败，若否则设置对应的第三检验位为成功；
139.这里，在实际应用场景中第一主动脉瓣环直径d
avr,i
与第一主动脉窦部直径d
as,i
对应的两条线段应不会相交，也即是说两条线段不会存在交点，所以本发明实施例一以两条线段不能有交点来做为第一主动脉瓣环直径d
avr,i
与第一主动脉窦部直径d
as,i
的又一个约束条件；
140.本发明实施例一在对第一数据组的第一主动脉瓣环直径d
avr,i
对应的直线线段与第一主动脉窦部直径d
as,i
对应的直线线段是否有交点进行识别时支持多种实现方式；其中一种实现方式为：将第一主动脉瓣环直径d
avr,i
对应的两个关键点记为点a、b，将第一主动脉窦部直径d
as,i
对应的两个关键点记为点c、d，并将点a到点d的向量记为向量j
a-》d
、将点b到点d的向量记为向量j
b-》d
、将点c到点d的向量记为向量j
c-》d
，并在(ja→d×
jc→d)
·
(jb→d×
jc→d)《0时确认第一主动脉瓣环直径d
avr,i
对应的直线线段与第一主动脉窦部直径d
as,i
对应的直线线段有交点；
141.步骤4244，对第三检验位进行识别；若第三检验位为失败，则设置对应的第四检验位为失败；若第三检验位为成功，则对第一数据组的第一主动脉瓣环直径d
avr,i
对应的直线线段是否在第一主动脉窦部直径d
as,i
对应的直线线段的左侧进行识别；若是则设置对应的第四检验位为成功，若否则设置对应的第四检验位为失败；
142.这里，在实际应用场景中第一主动脉瓣环直径d
avr,i
对应的直线线段还应在第一主动脉窦部直径d
as,i
对应的直线线段的左侧，所以本发明实施例一在确认两个直线线段没相交的前提下，进一步以第一主动脉瓣环直径d
avr,i
对应的直线线段必须在第一主动脉窦部直径d
as,i
对应的直线线段的左侧做为第一主动脉瓣环直径d
avr,i
与第一主动脉窦部直径d
as,i
的又一个约束条件；
143.本发明实施例一在对第一数据组的第一主动脉瓣环直径d
avr,i
对应的直线线段是否在第一主动脉窦部直径d
as,i
对应的直线线段的左侧进行识别时支持多种实现方式；其中一种实现方式为：从第一主动脉瓣环直径d
avr,i
对应的两个关键点中任选一个作为点e，并将第一主动脉窦部直径d
as,i
对应的两个关键点记为点f、g，并将从点e到点g的向量记为向量j
e-》g
、从点f到点g的向量记为向量j
f-》g
，并在(jf→g×
je→g)《0时确认第一主动脉瓣环直径d
avr,i
对应的直线线段在第一主动脉窦部直径d
as,i
对应的直线线段的左侧；
144.步骤4245，若得到的第一、第二、第三和第四检验位都为成功，则设置对应的第一分析结果为合理；若得到的第一、第二、第三或第四检验位为失败，则设置对应的第一分析结果为不合理；
145.这里，若第一、第二、第三和第四检验位都为成功说明当前第一数据组的第一主动脉瓣环直径d
avr,i
与第一主动脉窦部直径d
as,i
对上述四个约束条件都满足，所以设置对应的第一分析结果为合理；反之，若第一、第二、第三或第四检验位任一个为失败则说明当前第一数据组的第一主动脉瓣环直径d
avr,i
与第一主动脉窦部直径d
as,i
对上述四个约束条件并
未全部满足，所以设置对应的第一分析结果为失败；
146.步骤425，对所有第一分析结果为合理的第一数据组进行离散数据组识别得到多个第一离散数据组；
147.具体包括：步骤4251，将第一分析结果为合理的第一数据组记为对应的第二数据组；
148.步骤4252，由所有第二数据组的第一主动脉瓣环直径d
avr,i
组成对应的第一直径集合；并对第一直径集合中第一主动脉瓣环直径d
avr,i
的数量进行统计生成对应的第一数量n1；并对第一直径集合的均值和标准差进行计算得到对应的第一均值μ1和第一标准差σ1；并根据第一均值μ1和第一标准差σ1构建对应的第一限幅范围；并将第一主动脉瓣环直径d
avr,i
超出第一限幅范围的第二数据组记为对应的第一离散数据组；
149.其中，第一限幅范围的下限为(μ
1-α1*σ1)，上限为(μ1 α1*σ1)，α1为预设系数；
150.这里，本发明实施例一基于总体标准差对离散的第一主动脉瓣环直径d
avr,i
进行识别，并将带有离散主动脉瓣环直径的第二数据组记为对应的第一离散数据组；
151.步骤4253，由所有第二数据组的第一主动脉窦部直径d
as,i
组成对应的第二直径集合；并对第二直径集合中第一主动脉窦部直径d
as,i
的数量进行统计生成对应的第二数量n2；并对第二直径集合的均值和标准差进行计算得到对应的第二均值μ2和第二标准差σ2；并根据第二均值μ2和第二标准差σ2构建对应的第二限幅范围；并将第一主动脉窦部直径d
as,i
超出第二限幅范围的第二数据组记为对应的第一离散数据组；
152.其中，第二限幅范围的下限为(μ
2-α2*σ2)，上限为(μ2 α2*σ2)，α2为预设系数；
153.这里，本发明实施例一基于总体标准差对离散的第一主动脉窦部直径d
as,i
进行识别，并将带有离散主动脉窦部直径的第二数据组记为对应的第一离散数据组；
154.步骤426，将第一帧图像序列中，与各个第一分析结果为不合理的第一数据组对应的第一帧图像pi以及与各个第一离散数据组对应的第一帧图像pi都记为对应的第一异常帧图像；
155.步骤427，对各个第一异常帧图像进行异常帧图像数据修正处理；
156.具体包括：步骤4271，将第一帧图像序列中的任一个第一异常帧图像作为对应的当前异常帧图像；并将第一帧图像序列中，当前异常帧图像的前一个和后一个非异常帧图像作为对应的前正常帧图像和后正常帧图像；
157.步骤4272，使用前、后正常帧图像各自对应的第一左心室内径d
vs,i
、第一主动脉瓣环直径d
avr,i
、第一主动脉窦部直径d
as,i
、第一右心室内径d
vd,i
、第一室间隔厚度d
is,i
、第一左心室后壁厚度d
lvpw,i
、第一左心房前后径d
la,i
和第一升主动脉内径d
aa,i
，对当前异常帧图像对应的第一左心室内径d
vs,i
、第一主动脉瓣环直径d
avr,i
、第一主动脉窦部直径d
as,i
、第一右心室内径d
vd,i
、第一室间隔厚度d
is,i
、第一左心室后壁厚度d
lvpw,i
、第一左心房前后径d
la,i
和
第一升主动脉内径d
aa,i
按线性插值方式进行插值重置；
158.具体为：使用前、后正常帧图像各自对应的第一尺寸数据作为对应的前、后尺寸数据q
pre
、q
aft
，并计算当前异常帧图像的第一帧时间戳ti与前、后正常帧图像的第一帧时间戳ti的时间间隔生成对应前、后时间间隔
△
t
pre
、
△
t
aft
；并基于前、后尺寸数据q
pre
、q
aft
和前、后时间间隔
△
t
pre
、
△
t
aft
进行线性插值计算得到对应的第一插值尺寸数据q
*
；并将当前异常帧图像对应的第一尺寸数据设为对应的第一插值尺寸数据q
*
；
159.其中，第一尺寸数据为第一左心室内径d
vs,i
、或第一主动脉瓣环直径d
avr,i
、或第一主动脉窦部直径d
as,i
、或第一右心室内径d
vd,i
、或第一室间隔厚度d
is,i
、或第一左心室后壁厚度d
lvpw,i
、或第一左心房前后径d
la,i
、或第一升主动脉内径d
aa,i
；
160.这里，本发明实施例一以前、后正常帧图像的八个特征尺寸对当前第一异常帧图像的八个特征尺寸进行修正重置；
161.步骤4273，使用前、后正常帧图像各自对应的第一左心室关键点、第二左心室关键点、第一主动脉瓣环关键点、第二主动脉瓣环关键点、第一主动脉窦部关键点、第二主动脉窦部关键点、第一右心室关键点、第二右心室关键点、第一室间隔关键点、第二室间隔关键点、第一左心室后壁关键点、第二左心室后壁关键点、第一左心房关键点、第二左心房关键点、第一升主动脉关键点和第二升主动脉关键点的第一预测关键点图像坐标，对当前异常帧图像对应的第一左心室关键点、第二左心室关键点、第一主动脉瓣环关键点、第二主动脉瓣环关键点、第一主动脉窦部关键点、第二主动脉窦部关键点、第一右心室关键点、第二右心室关键点、第一室间隔关键点、第二室间隔关键点、第一左心室后壁关键点、第二左心室后壁关键点、第一左心房关键点、第二左心房关键点、第一升主动脉关键点和第二升主动脉关键点的第一预测关键点图像坐标按线性插值方式进行插值重置；
162.具体为：使用前、后正常帧图像各自对应的第一关键点图像坐标作为对应的前、后关键点图像坐标k
pre
、k
aft
，并计算当前异常帧图像的第一帧时间戳ti与前、后正常帧图像的第一帧时间戳ti的时间间隔生成对应前、后时间间隔
△
t
pre
、
△
t
aft
；并基于前、后关键点图像坐标k
pre
、k
aft
和前、后时间间隔
△
t
pre
、
△
t
aft
进行线性插值计算得到对应的第一插值坐标k
*
；并将当前异常帧图像对应的第一关键点图像坐标设为对应的第一插值坐标k
*
；；
163.其中，第一关键点图像坐标为第一左心室关键点的第一预测关键点图像坐标、或第二左心室关键点的第一预测关键点图像坐标、或第一主动脉瓣环关键点的第一预测关键点图像坐标、或第二主动脉瓣环关键点的第一预测关键点图像坐标、或第一主动脉窦部关键点的第一预测关键点图像坐标、或第二主动脉窦部关键点的第一预测关键点图像坐标、或第一右心室关键点的第一预测关键点图像坐标、或第二右心室关键点的第一预测关键点图像坐标、或第一室间隔关键点的第一预测关键点图像坐标、或第二室间隔关键点的第一预测关键点图像坐标、或第一左心室后壁关键点的第一预测关键点图像坐标、或第二左心室后壁关键点的第一预测关键点图像坐标、或第一左心房关键点的第一预测关键点图像坐标、或第二左心房关键点的第一预测关键点图像坐标、或第一升主动脉关键点的第一预测
关键点图像坐标、或第二升主动脉关键点的第一预测关键点图像坐标；
164.这里，本发明实施例一以前、后正常帧图像的十六个关键点的图像坐标对当前第一异常帧图像的的十六个关键点的图像坐标进行修正重置；
165.步骤428，异常帧图像数据修正处理成功，则对各个第一帧图像pi对应的第一主动脉瓣环直径d
avr,i
和第一主动脉窦部直径d
as,i
进行相加得到对应的第一加和数据；并从得到的所有第一加和数据中选择最大值作为对应的最大加和数据；并将最大加和数据对应的第一帧图像pi作为对应的第一心室收缩中期帧图像输出。
166.这里，本发明实施一以各帧图像中的主动脉瓣环直径 主动脉窦部直径的直径和也就是第一加和数据来做为心室收缩中期帧图像的筛选依据，并将最大的第一加和数据即最大加和数据对应的第一帧图像pi作为筛选结果即第一心室收缩中期帧图像。
167.步骤5，在第一舒张期帧图像上对右心室内径、室间隔厚度、左心室期内径和左心室后壁厚度进行关键点标记和特称尺寸标注处理；并在第一收缩期帧图像上对左心室内径进行关键点标记和特称尺寸标注处理；并在第一心室收缩中期帧图像上对左房前后径、主动脉瓣环直径、主动脉窦部直径和升主动脉内径进行关键点标记和特称尺寸标注处理；
168.具体包括：步骤51，在第一舒张期帧图像上对右心室内径、室间隔厚度、左心室期内径和左心室后壁厚度进行关键点标记和特称尺寸标注处理；
169.具体包括：步骤511，在第一舒张期帧图像上，将第一、第二右心室关键点的两个第一预测关键点图像坐标对应的两个像素点的颜色设为预设的第一颜色；并基于第一颜色在第一、第二右心室关键点对应的两个像素点间进行连接线段绘制得到对应的第一线段；并将第一舒张期帧图像对应的第一右心室内径d
vd,i
与预设的单位标尺的乘积作为对应的第二右心室内径；并将第一线段的显示标注信息设为对应的第二右心室内径；
170.这里，前述步骤中得到的第一右心室内径d
vd,i
的单位是图像长段单位并非实际长度单位，本发明实施例一预先设定的单位标尺即是将图像长段单位转换到实际长度单位的转换标尺，将第一右心室内径d
vd,i
乘以单位标尺就能得到右心室内径的实际长度；
171.步骤512，在第一舒张期帧图像上，将第一、第二室间隔关键点的两个第一预测关键点图像坐标对应的两个像素点的颜色设为预设的第二颜色；并基于第二颜色在第一、第二室间隔关键点对应的两个像素点间进行连接线段绘制得到对应的第二线段；并将第一舒张期帧图像对应的第一室间隔厚度d
is,i
与单位标尺的乘积作为对应的第二室间隔厚度；并将第二线段的显示标注信息设为对应的第二室间隔厚度；
172.这里，前述步骤中得到的第一室间隔厚度d
is,i
的单位是图像长段单位并非实际长度单位，将第一室间隔厚度d
is,i
乘以单位标尺就能得到室间隔厚度的实际厚度；
173.步骤513，在第一舒张期帧图像上，将第一、第二左心室关键点的两个第一预测关键点图像坐标对应的两个像素点的颜色设为预设的第三颜色；并基于第三颜色在第一、第二左心室关键点对应的两个像素点间进行连接线段绘制得到对应的第三线段；并将第一舒张期帧图像对应的第一左心室内径d
vs,i
与单位标尺的乘积作为对应的第二左心室内径；并将第三线段的显示标注信息设为对应的第二左心室内径；
174.这里，前述步骤中得到的第一左心室内径d
vs,i
的单位是图像长段单位并非实际长度单位，将第一左心室内径d
vs,i
乘以单位标尺就能得到左心室内径的实际长度；
175.步骤514，在第一舒张期帧图像上，将第一、第二左心室后壁关键点的两个第一预
测关键点图像坐标对应的两个像素点的颜色设为预设的第四颜色；并基于第四颜色在第一、第二左心室后壁关键点对应的两个像素点间进行连接线段绘制得到对应的第四线段；并将第一舒张期帧图像对应的第一左心室后壁厚度d
lvpw,i
与单位标尺的乘积作为对应的第二左心室后壁厚度；并将第四线段的显示标注信息设为对应的第二左心室后壁厚度；
176.这里，前述步骤中得到的第一左心室后壁厚度d
lvpw,i
的单位是图像长段单位并非实际长度单位，将第一左心室后壁厚度d
lvpw,i
乘以单位标尺就能得到左心室后壁厚度的实际厚度；
177.步骤52，在第一收缩期帧图像上对左心室内径进行关键点标记和特称尺寸标注处理；
178.具体包括：在第一收缩期帧图像上，将第一、第二左心室关键点的两个第一预测关键点图像坐标对应的两个像素点的颜色设为预设的第五颜色；并基于第五颜色在第一、第二左心室关键点对应的两个像素点间进行连接线段绘制得到对应的第五线段；并将第一收缩期帧图像对应的第一左心室内径d
vs,i
与单位标尺的乘积作为对应的第三左心室内径；并将第五线段的显示标注信息设为对应的第三左心室内径；
179.这里，前述步骤中得到的第一左心室内径d
vs,i
的单位是图像长段单位并非实际长度单位，将第一左心室内径d
vs,i
乘以单位标尺就能得到左心室内径的实际长度；
180.步骤53，在第一心室收缩中期帧图像上对左房前后径、主动脉瓣环直径、主动脉窦部直径和升主动脉内径进行关键点标记和特称尺寸标注处理；
181.具体包括：步骤531，在第一心室收缩中期帧图像上，将第一、第二左心房关键点的两个第一预测关键点图像坐标对应的两个像素点的颜色设为预设的第六颜色；并基于第六颜色在第一、第二左心房关键点对应的两个像素点间进行连接线段绘制得到对应的第六线段；并将第一心室收缩中期帧图像对应的第一左心房前后径d
la,i
与单位标尺的乘积作为对应的第二左心房前后径；并将第六线段的显示标注信息设为对应的第二左心房前后径；
182.这里，前述步骤中得到的第一左心房前后径d
la,i
的单位是图像长段单位并非实际长度单位，将第一左心房前后径d
la,i
乘以单位标尺就能得到左心房前后径的实际长度；
183.步骤532，在第一心室收缩中期帧图像上，将第一、第二主动脉瓣环关键点的两个第一预测关键点图像坐标对应的两个像素点的颜色设为预设的第七颜色；并基于第七颜色在第一、第二主动脉瓣环关键点对应的两个像素点间进行连接线段绘制得到对应的第七线段；并将第一心室收缩中期帧图像对应的第一主动脉瓣环直径d
avr,i
与单位标尺的乘积作为对应的第二主动脉瓣环直径；并将第七线段的显示标注信息设为对应的第二主动脉瓣环直径；
184.这里，前述步骤中得到的第一主动脉瓣环直径d
avr,i
的单位是图像长段单位并非实际长度单位，将第一主动脉瓣环直径d
avr,i
乘以单位标尺就能得到主动脉瓣环直径的实际长度；
185.步骤533，在第一心室收缩中期帧图像上，将第一、第二主动脉窦部关键点的两个第一预测关键点图像坐标对应的两个像素点的颜色设为预设的第八颜色；并基于第八颜色在第一、第二主动脉窦部关键点对应的两个像素点间进行连接线段绘制得到对应的第八线段；并将第一心室收缩中期帧图像对应的第一主动脉窦部直径d
as,i
与单位标尺的乘积作为对应的第二主动脉窦部直径；并将第八线段的显示标注信息设为对应的第二主动脉窦部直
径；
186.这里，前述步骤中得到的第一主动脉窦部直径d
as,i
的单位是图像长段单位并非实际长度单位，将第一主动脉窦部直径d
as,i
乘以单位标尺就能得到主动脉窦部直径的实际长度；
187.步骤534，在第一心室收缩中期帧图像上，将第一、第二升主动脉关键点的两个第一预测关键点图像坐标对应的两个像素点的颜色设为预设的第九颜色；并基于第九颜色在第一、第二升主动脉关键点对应的两个像素点间进行连接线段绘制得到对应的第九线段；并将第一心室收缩中期帧图像对应的第一升主动脉内径d
aa,i
与单位标尺的乘积作为对应的第二升主动脉内径；并将第九线段的显示标注信息设为对应的第二升主动脉内径。
188.这里，前述步骤中得到的第一升主动脉内径d
aa,i
的单位是图像长段单位并非实际长度单位，将第一升主动脉内径d
aa,i
乘以单位标尺就能得到升主动脉内径的实际长度。
189.步骤6，将完成关键点标记和特称尺寸标注处理的第一舒张期帧图像、第一收缩期帧图像和第一心室收缩中期帧图像作为本次心脏超声视频测量特征尺寸的处理结果输出。
190.图2为本发明实施例二提供的一种基于心脏超声视频测量特征尺寸的处理装置的模块结构图，该装置可以为实现本发明实施例方法的终端设备或者服务器，也可以为与上述终端设备或者服务器连接的实现本发明实施例方法的装置，例如该装置可以是上述终端设备或者服务器的装置或芯片系统。如图2所示，该装置包括：接收模块201、图像分帧模块202、关键点检测模块203、分帧图像筛选模块204、图像标注模块205和输出模块206。
191.接收模块201用于接收心脏超声视频作为对应的第一视频。
192.图像分帧模块202用于对第一视频进行视频帧图像提取处理生成对应的第一帧图像序列；第一帧图像序列由多个第一帧图像pi按时间先后排序组成，各个第一帧图像对应一个第一帧时间戳ti，帧图像索引i≥1。
193.关键点检测模块203用于基于预设的关键点检测模型对各个第一帧图像pi进行关键点检测处理得到对应的十六个关键点和八个特征尺寸；八个特征尺寸包括第一左心室内径d
vs,i
、第一主动脉瓣环直径d
avr,i
和第一主动脉窦部直径d
as,i
。
194.分帧图像筛选模块204用于根据所有第一左心室内径d
vs,i
对第一帧图像序列进行舒张期与收缩期帧图像筛选处理得到对应的第一舒张期帧图像和第一收缩期帧图像；并根据所有第一主动脉瓣环直径d
avr,i
和第一主动脉窦部直径d
as,i
对第一帧图像序列进行心室收缩中期帧图像筛选处理得到对应的第一心室收缩中期帧图像。
195.图像标注模块205用于在第一舒张期帧图像上对右心室内径、室间隔厚度、左心室期内径和左心室后壁厚度进行关键点标记和特称尺寸标注处理；并在第一收缩期帧图像上对左心室内径进行关键点标记和特称尺寸标注处理；并在第一心室收缩中期帧图像上对左房前后径、主动脉瓣环直径、主动脉窦部直径和升主动脉内径进行关键点标记和特称尺寸标注处理。
196.输出模块206用于将完成关键点标记和特称尺寸标注处理的第一舒张期帧图像、第一收缩期帧图像和第一心室收缩中期帧图像作为本次心脏超声视频测量特征尺寸的处理结果输出。
197.本发明实施例提供的一种基于心脏超声视频测量特征尺寸的处理装置，可以执行上述方法实施例中的方法步骤，其实现原理和技术效果类似，在此不再赘述。
architecture，eisa)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(random access memory，ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
203.上述的处理器可以是通用处理器，包括中央处理器cpu、网络处理器(network processor，np)等；还可以是数字信号处理器dsp、专用集成电路asic、现场可编程门阵列fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
204.需要说明的是，本发明实施例还提供一种计算机可读存储介质，该存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中提供的方法和处理过程。
205.本发明实施例还提供一种运行指令的芯片，该芯片用于执行上述实施例中提供的方法和处理过程。
206.本发明实施例提供了一种基于心脏超声视频测量特征尺寸的处理方法、装置、电子设备及计算机可读存储介质，先对心脏超声视频进行帧图像提取；再基于关键点检测模型对每帧图像进行关键点检测得到对应八个切面结构(左心室、右心室、室间隔、左心室后壁、左心房、主动脉瓣环、主动脉窦部、升主动脉)的十六个关键点和八个特征尺寸；并以左心室特征尺寸即左心室内径为依据从多帧图像中筛选出舒张期、收缩期帧图像，以主动脉瓣环和主动脉窦部的特征尺寸即主动脉瓣环直径和主动脉窦部直径为依据从多帧图像中筛选出心室收缩中期帧图像；并在舒张期帧图像上对右心室内径、室间隔厚度、左心室期内径和左心室后壁厚度进行关键点标记和特称尺寸标注，在收缩期帧图像上对左心室内径进行关键点标记和特称尺寸标注，在心室收缩中期帧图像上对左房前后径、主动脉瓣环直径、主动脉窦部直径和升主动脉内径进行关键点标记和特称尺寸标注；最后将完成关键点标记和特称尺寸标注的舒张期、收缩期、心室收缩中期帧图像作为处理结果输出。通过本发明，解决了常规处理方式中需要人工介入的问题，提高了测量效率、保证了测量质量的稳定性。
207.专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
208.结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
209.以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。