一种基于超声视频的气泡自动检测分级方法及系统与流程

1.本发明属于图像处理技术领域，特别涉及一种基于超声视频的气泡自动检测分级方法及系统。


背景技术：

2.潜水业务，尤其是深度潜水，即使完全遵循减压方案，潜水员体内也有可能会产生气泡，造成静脉气体栓塞(venous gas emboli，vge)。很多时候，由于气泡的数量较少，潜水员多数情况下不会出现明显的减压病症状(decompression illness，dci)，因此难以察觉到静脉气体栓塞。
3.有研究表明，体内的气泡数量与减压病发生的风险呈现正相关，因此研究出减压病血管内气泡的检测方法显得尤其重要。近年来，采用二维超声成像进行视觉监测被应用在减压病领域。相比多普勒超声测量，该方法可同时对左右心的气泡进行检测，易于监控，对操作员的要求较低。目前对于二维超声图像分级系统，使用较多的是1997年开发的eb(eftedal-brubakk)分级系统，一共分为0～5六个等级，级别越高代表减压病发生的风险越高。但是该方法仍然需要依赖操作员的经验和主观判断来进行减压病的分级，存在主观性强、无法自动识别气泡等缺点。


技术实现要素：

4.有鉴于现有技术的上述缺陷，本发明的目的在于提供一种基于超声视频的气泡自动检测分级方法及系统，可以实现超声视频的气泡自动检测分级，从而辅助判断减压病的轻重，在很大程度上避免了依赖操作员的经验和主观判断来进行减压病的分级。
5.为实现上述目的，一方面，本发明提供了一种基于超声视频的气泡自动检测分级方法，包括以下步骤：
6.步骤s1：读取心脏的超声视频，选取想要识别气泡的区域，即待检测区域；
7.步骤s2：采用目标追踪算法对所述超声视频的每一帧视频图像中的所述待检测区域进行追踪；
8.步骤s3：在一帧视频图像中，计算所述待检测区域中的roi区域(region of interest)，即可能存在气泡的区域；
9.步骤s4：重复进行步骤s3，直至遍历所述超声视频的所有帧；
10.步骤s5：使用多个超声视频的由步骤s1～s4获取的roi区域和对应的减压病等级构建数据集；
11.步骤s6：通过步骤s5构建的所述数据集训练3d卷积神经网络(convolutional neural networks，cnn)；
12.步骤s7：使用步骤s6训练的3d卷积神经网络对输入的待检测超声视频进行自动检测，得到自动分级结果。
13.进一步地，步骤s1中所述的超声视频为采用超声设备采集的心脏超声视频，读取
视频后需要转为灰度图。
14.进一步地，步骤s1中所述的选取想要识别气泡的区域是操作人员手动选取第一帧视频图像中想要识别气泡的区域。
15.进一步地，步骤s2中所述的采用目标追踪算法对所述超声视频中的所述待检测区域进行追踪是在视频图像每一帧中追踪想要检测气泡的区域。目标追踪算法可以采用比如kcf(kernel correlation filter)算法。
16.进一步地，步骤s3所述的计算所述待检测区域中的roi区域包括以下步骤：
17.i)采用连续n1帧相邻帧间差分法得到n
1-1帧差分图，对n
1-1帧差分图中对应像素点的方差的大小来进行判断，大于阈值θ1的则认为是roi区域，即可能存在气泡的区域。具体地，若相减两帧图像的帧数分别为第k帧，第(k 1)帧，分别表示为fk(x，y)，f
k 1
(x，y)，差分图像用dk(x，y)表示为：
18.dk(x，y)＝f
k 1
(x，y)-fk(x，y)，k＝1，2,3，
…
，n
1-1
19.第i帧的roi区域r
′i(x，y)表示为：
[0020][0021]
其中，当第i帧前面没有足够的帧时，采用最前面一帧补充，n1为奇数。
[0022]
ii)由于存在瓣膜等因素的干扰，因此上述得到的roi区域还需要进一步去除干扰，得到去除干扰后的roi区域。可以观察到的是，瓣膜在一定范围内呈现周期型的运动，而气泡是在不断产生和消失的。因此，首先需要通过归一化互相关方法找出连续n2帧中相似的图像，判断是否相关的公式表示为：
[0023][0024]
其中，f代表的是图像，代表的是要匹配的模板图像的均值，是f(x，y)在图像模板下的均值。该方法中的t即为当前第i帧图像，f表示为连续n2帧中的一帧图像。得到的相关系数矩阵γ(u，u)的最大值即第i帧图像与另外一帧的相关系数。通过找连续n2帧中相关系数的波峰值即可得到对应的相似度最大的图像的帧数：
[0025][0026]
对n2帧超声图像通过阈值θ2进行二值化，采用连续n2帧的图像对应像素点的交集得到超声图像瓣膜的种子点。第k帧图像二值化的结果为：
[0027][0028]
连续n2帧瓣膜的种子点si(x，y)表示为：
[0029]
si(x，y)＝∏bk(x，y，θ2)
[0030]
对于每一帧具体的瓣膜，首先通过阈值θ3二值化，然后通过形态学操作，来消除细小区域，并在纤细处分离瓣膜和气泡的连接和平滑较大瓣膜的边界，其结构元素为diamond，从原点到菱形点的距离为a。区域生长法需要对灰度图像进行处理，因此将上述得到的二值图像乘上这一帧原始的图像得到限定区域的超声图像li(x，y)：
[0031][0032]
接着对该超声图像li(x，y)使用得到的种子点si(x，y)，采用区域生长法来找寻每一帧中准确的瓣膜的大小vi(x，y)，其中区域生长法的阈值θv。
[0033]
iii)最终将第i)步中的roi区域r
′i(x，y)减去第ii)步的瓣膜区域vi(x，y)得到的即为去除干扰后的roi区域ri(x，y)。
[0034]
进一步地，上述步骤ii)中所述的通过归一化互相关方法找出连续n2帧中相似的图像，是由于心脏存在周期性的搏动，因此通过该方法找出的相关图像即可以对应为不同心动周期中的同一时刻采集到的超声图像，两帧相关图像理论上相距一个心动周期。如今的心脏超声设备，往往搭配有一个ecg接口。因此当使用带有ecg接口采集的心脏超声数据时，可以通过心电信号按照心动周期对每个图像进行相位标记，从而直接得到待处理的帧在不同心动周期中的同一时刻对应的超声图像，避免因为归一化互相关方法计算得到的相关帧的不准确而造成误差。
[0035]
进一步地，步骤s4中所述的重复进行步骤s3，直至遍历超声视频的所有帧，是对超声视频中的视频图像逐帧进行处理，直至将超声视频所有帧的气泡roi区域进行识别。
[0036]
进一步地，步骤s5中所述的减压病等级一共有0～5六个等级。
[0037]
进一步地，步骤s6中所述的训练3d卷积神经网络时，网络的输入是超声视频帧序列的roi区域，输出则是对应的减压病等级0～5。
[0038]
进一步地，步骤s7先通过步骤s1～s4获取的超声视频的气泡roi区域，接着将该数据输入训练完成的3d卷积神经网络，得到最终的分级结果。
[0039]
另一方面，本发明还提供了一种基于超声视频的气泡自动检测分级系统，包括：
[0040]
超声设备，用于采集心脏超声视频；
[0041]
目标追踪模块，用于追踪所述超声视频的每一帧超声图像中的待检测区域；
[0042]
roi区域检测模块，用于计算所述待检测区域中的roi区域，即可能存在气泡的区域；
[0043]
经训练的3d卷积神经网络，用于对输入的待检测超声视频进行自动检测，得到自动分级结果。
[0044]
进一步地，所述超声设备具有ecg接口。
[0045]
进一步地，所述目标追踪模块采用目标追踪算法，例如kcf(kernel correlationfilter)算法。
[0046]
进一步地，所述3d卷积神经网络是通过roi区域和对应的减压病等级构建数据集进行训练，输入是超声视频帧序列的roi区域，输出则是对应的减压病等级0～5。
[0047]
进一步地，所述目标追踪模块、所述roi区域检测模块和所述3d卷积神经网络集成于智能化计算机设备中，例如台式电脑、笔记本电脑、平板电脑或智能手机中。
[0048]
本发明具有以下有益效果：
[0049]
本发明提出了一种基于超声视频的气泡自动检测分级方法和系统，可以实现超声
视频的气泡自动检测分级，从而辅助判断减压病的轻重，在很大程度上避免了依赖操作员的经验和主观判断来进行减压病的分级。
附图说明
[0050]
图1是本发明一个较佳实施例的基于超声视频的气泡自动检测分级方法的流程示意图；
[0051]
图2是猪的心脏超声视频中一帧的示意图；
[0052]
图3是经本发明识别后的图2中这一帧的roi区域的示意图。
具体实施方式
[0053]
下面对本发明的实施例作详细说明，下述的实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0054]
如图1所示，在一个较佳实施例中，本发明的一种基于超声视频的气泡自动检测分级方法包括以下步骤：
[0055]
步骤s1：本实施例中，读取的超声视频是超声设备采集的一段猪的心脏超声视频，读取视频后需要将各帧视频图像转为灰度图。操作人员手动选取第一帧视频图像中想要识别气泡的区域，即待检测区域，该区域为一个矩形区域，表示为(x
col
，x
row
，d
col
，d
row
)。其中，x
col
代表该区域左上角为第x
col
列，x
row
代表该区域左上角为第x
row
行，d
col
和d
row
分别代表该区域所占的列数和行数。
[0056]
步骤s2：采用目标追踪算法对该区域进行追踪，在每一帧视频图像中追踪想要待检测区域。在本实施例中，目标追踪算法采用的是kcf(kernel correlation filter)算法，使用hog特征和高斯核函数，来进行每一帧视频图像的待检测区域的追踪。
[0057]
步骤s3：计算待检测区域中的roi区域，即可能存在气泡的区域，具体包括以下步骤：
[0058]
i)采用连续n1帧相邻帧间差分法得到n
1-1帧差分图，对n
1-1帧差分图中对应像素点的方差的大小来进行判断，大于阈值θ1的则认为是roi区域，即可能存在气泡的区域。具体地，若相减两帧图像的帧数分别为第k帧，第(k 1)帧，分别表示为fk(x，y)，f
k 1
(x，y)，差分图像用dk(x，y)表示为：
[0059]dk
(x，y)＝f
k 1
(x，y)-fk(x，y)，k＝1，2,3，
…
，n
1-1
[0060]
第i帧的roi区域r
′i(x，y)表示为：
[0061][0062]
其中，当第i帧前面没有足够的帧时，采用最前面一帧补充，n1为奇数。
[0063]
在本实施例中，n1的值为15，θ1为0.05(max(r
′i(x，y))-min(r
′i(x，y)))。
[0064]
ii)由于存在瓣膜等因素的干扰，因此上述得到的roi区域还需要进一步去除干扰，得到去除干扰后的roi区域。可以观察到的是，瓣膜在一定范围内呈现周期型的运动，而
气泡是在不断产生和消失的。因此，首先需要通过归一化互相关方法找出连续n2帧中相似的图像，判断是否相关的公式表示为：
[0065][0066]
其中，f代表的是图像，代表的是要匹配的模板图像的均值，是f(x，y)在图像模板下的均值。该方法中的t即为当前第i帧图像，f表示为连续n2帧中的一帧图像。得到的相关系数矩阵γ(u，v)的最大值即第i帧图像与另外一帧的相关系数。通过找连续n2帧中相关系数的波峰值即可得到对应的相似度最大的图像的帧数：
[0067][0068]
心脏存在周期性的搏动，因此通过归一化互相关方法找出的相关图像可以对应为不同心动周期中的同一时刻采集到的超声图像，两帧相关图像理论上相距一个心动周期。如今的心脏超声设备，往往搭配有一个ecg接口。因此当使用带有ecg接口采集的心脏超声数据时，可以通过心电信号按照心动周期对每个图像进行相位标记，从而直接得到待处理的帧在不同心动周期中的同一时刻对应的超声图像，避免因为归一化互相关方法计算得到的相关帧的不准确而造成误差。
[0069]
对n2帧超声图像通过阈值θ2进行二值化，采用连续n2帧的图像对应像素点的交集得到超声图像瓣膜的种子点。第k帧图像二值化的结果为：
[0070][0071]
连续n2帧瓣膜的种子点si(x，y)表示为：
[0072]
si(x，y)＝∏bk(x，y，θ2)
[0073]
对于每一帧具体的瓣膜，首先通过阈值θ3二值化，然后通过形态学操作，来消除细小区域，并在纤细处分离瓣膜和气泡的连接和平滑较大瓣膜的边界，其结构元素为diamond，从原点到菱形点的距离为a。区域生长法需要对灰度图像进行处理，因此将上述得到的二值图像乘上这一帧原始的图像得到限定区域的超声图像li(x，y)：
[0074][0075]
接着对该超声图像li(x，y)使用得到的种子点si(x，y)，采用区域生长法来找寻每一帧中准确的瓣膜的大小vi(x，y)，其中区域生长法的阈值θv。
[0076]
在本实施例中，n2的值为15，θ2为0.5*255，θ3为0.35*255，a为4，θv为0.22。
[0077]
iii)最终将第i)步中的roi区域r
′i(x，y)减去第ii)步的瓣膜区域vi(x，y)得到的即为去除干扰后的roi区域ri(x，y)，如图2所示。
[0078]
步骤s4：重复进行步骤s3，直至遍历视频图像所有帧，也就是将超声视频所有帧里的可能存在气泡的roi区域进行识别。
[0079]
步骤s5：将通过步骤s3～s4获取的超声视频的roi区域和对应的减压病等级构建
数据集，用来训练神经网络。减压病等级一共有0～5六个等级。
[0080]
步骤s6：使用构建的数据集训练3d卷积神经网络，3d卷积神经网络的输入是超声视频帧序列的气泡roi区域，输出则是对应的减压病等级(0～5)。
[0081]
步骤s7：使用训练完成的3d卷积神经网络实现对待检测超声视频的自动分级。具体地，先通过步骤s1～s4获取待检测超声视频的roi区域，接着将该数据输入训练完成的3d卷积神经网络，得到自动分级结果。本实施例中，得到的自动分级结果为等级5。
[0082]
在一个较佳实施例中，本发明的一种基于超声视频的气泡自动检测分级系统包括：超声设备，用于采集心脏超声视频；目标追踪模块，用于追踪所述超声视频的每一帧超声图像中的待检测区域；roi区域检测模块，用于计算所述待检测区域中的roi区域，即可能存在气泡的区域；以及经训练的3d卷积神经网络，用于对输入的待检测超声视频进行自动检测，得到自动分级结果。
[0083]
所述超声设备具有ecg接口。
[0084]
所述目标追踪模块采用目标追踪算法，例如kcf(kernel correlation filter)算法。
[0085]
所述3d卷积神经网络是通过roi区域和对应的减压病等级构建数据集进行训练，输入是超声视频帧序列的roi区域，输出则是对应的减压病等级0～5。
[0086]
所述目标追踪模块、所述roi区域检测模块和所述3d卷积神经网络集成于智能化计算机设备中，例如台式电脑、笔记本电脑、平板电脑或智能手机中。
[0087]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的试验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。