超声图像中目标组织的监测方法、装置及存储介质与流程

超声图像中目标组织的监测方法、装置及存储介质
【技术领域】
1.本技术涉及一种超声图像中目标组织的监测方法、设备及存储介质，属于医学影像技术领域。


背景技术：

2.超声图像是指使用超声设备对生物组织进行扫查后得到的图像。超声图像可以反映不同组织在介质中声学参数的差异。得到超声图像后，医生可以根据超声图像呈现的图像内容，定位目标组织、并根据经验确定目标组织的尺寸。然而，人工识别目标组织的效率较低。


技术实现要素：

3.本技术提供了一种超声图像中目标组织的监测方法、设备及存储介质，可以解决人工从超声图像中定位目标组织的效率较低的问题。本技术提供如下技术方案：
4.第一方面，提供一种超声图像中目标组织的监测方法，所述方法包括：
5.从连续的m帧超声图像中确定待监测的目标超声图像，所述m帧超声图像是对所述目标组织进行超声扫描得到的，所述m为大于1的整数；
6.获取所述目标超声图像中目标组织的组织区域；
7.使用所述组织区域的图像数据进行曲线演化，以使演化后的曲线与所述组织区域内的组织边缘重合；
8.基于所述演化后的曲线，在所述目标超声图像中显示所述目标组织的组织边缘。
9.可选地，所述从连续的m帧超声图像中确定待监测的目标超声图像，包括：
10.依次确定所述m帧超声图像中目标组织的组织数量；
11.将组织数量最多的一帧超声图像确定为所述目标超声图像。
12.可选地，所述依次确定所述m帧超声图像中目标组织的组织数量，包括：
13.对于所述m帧超声图像中的第i帧超声图像，在所述i的取值能够被n整除的情况下，将所述第i帧超声图像输入预先训练的目标检测模型，得到所述第i帧超声图像中目标组织的检测结果；所述检测结果包括所述目标组织的组织区域和组织数量；
14.在所述i的取值不能够被n整除的情况下，将第i
‑
1帧超声图像中目标组织的检测结果输入预先创建的跟踪模型，得到第i帧超声图像中目标组织的检测结果；所述跟踪模型用于基于所述第i
‑
1帧超声图像中目标组织的位置预测所述第i帧超声图像中目标组织的位置，并在所述第i帧超声图像中基于预测出的位置确定搜索范围，在所述搜索范围内对所述目标组织进行搜索；
15.其中，所述i的依次取0至m
‑
1的整数；所述n为取值固定的正整数。
16.可选地，在所述目标超声图像的帧号不能够被n整除的情况下，所述获取所述目标超声图像中目标组织的组织区域，包括：
17.将所述目标超声图像输入所述目标检测模型，得到所述目标超声图像的检测结
果；
18.确定所述目标检测模型输出的检测结果和所述跟踪模型输出的检测结果的并集，得到所述目标超声图像中目标组织的组织区域。
19.可选地，所述目标检测模型包括：
20.依次相连的k层特征提取层，每层特征提取层用于提取输入数据的图像特征，得到特征图；所述k为大于1的整数；
21.所述前k
‑
1层特征提取层中的每层特征提取层均连接有注意力层，所述注意力层用于提所述特征提取层输出的特征图中的关注信息；
22.第k
‑
1层特征融合层，与第k层特征提取层和第k
‑
1层注意力层分别相连；所述第k
‑
1层特征融合层用于将所述第k层特征提取层输出的特征图与所述第k
‑
1注意力层输出的关注信息进行特征融合，得到第k
‑
1层融合特征；
23.第j层特征融合层，与第j层注意力层和第j 1层特征融合层分别相连；所述第j层特征融合层用于将所述第j层注意力层输出关注信息与所述第j 1层特征融合层输出的第j 1层融合特征进行特征融合，得到第j层融合特征；所述j依次取k
‑
2至1的整数；
24.与第1层特征融合层相连的输出层，所述输出层用于基于所述第1层特征融合层输出的第1层融合特征，计算所述目标超声图像的检测结果。
25.可选地，所述使用所述组织区域的图像数据进行曲线演化，以使演化后的曲线与所述组织区域内的组织边缘重合，包括：
26.对所述组织区域进行预处理，得到预处理后的组织区域；所述预处理包括直方图均衡化处理和/或中值滤波处理；
27.将所述预处理后的组织区域输入预先创建的参数主动轮廓模型，得到与所述组织边缘重合的封闭曲线，所述封闭曲线为所述演化后的曲线。
28.可选地，所述将所述预处理后的组织区域输入预先创建的参数主动轮廓模型，得到与所述组织边缘重合的封闭曲线，包括：
29.基于所述预处理后的组织区域的中心位置生成初始化包络曲线；
30.基于所述初始化包络曲线，使用所述参数主动轮廓模型的能量函数进行曲线演化，将所述能量函数的最小函数值对应的包络曲线确定为所述封闭曲线；
31.其中，所述能量函数用于对包络曲线上的每个点的能力进行积分；所述能量函数包括第一积分项、第二积分项和第三积分项；所述第一积分项用于控制所述包络曲线的平滑性；所述第二积分项用于控制所述包络曲线的连续性；所述第三积分项用于控制所述包络曲线逼近所述组织边缘。
32.可选地，所述基于所述演化后的曲线，在所述目标超声图像中显示所述目标组织的组织边缘，包括：
33.对于所述目标超声图像中的每个目标组织，在所述目标超声图像中通过每个目标组织所对应的演化后的曲线来描绘所述目标组织的组织边缘。
34.第二方面，提供一种超声图像中目标组织的监测装置，所述装置包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现第一方面提供的超声图像中目标组织的监测方法。
35.第三方面，提供一种计算机可读存储介质，所述存储介质中存储有程序，所述程序
被处理器执行时用于实现第一方面提供的超声图像中目标组织的监测方法。
36.本技术的有益效果至少包括：通过从连续的m帧超声图像中确定待监测的目标超声图像，m帧超声图像是对目标组织进行超声扫描得到的；获取目标超声图像中目标组织的组织区域；使用组织区域的图像数据进行曲线演化，以使演化后的曲线与组织区域内的组织边缘重合；基于演化后的曲线，在目标超声图像中显示目标组织的组织边缘；可以解决人工从超声图像中定位目标组织的效率较低的问题；通过曲线演化的方式自动确定目标组织的组织边缘，并在目标超声图像中显示，无需人工识别目标组织，可以提高定位目标组织的效率。
37.另外，由于传统的基于像素的神经网络对目标组织进行分割时，会出现分割结果不完整、溢出或者图像分割困难的问题。而曲线演化方式得到的演化后的曲线比较平滑，且适用于边缘模糊的图像，因此，本实施例中，通过使用曲线演化的方式来确定目标组织的组织边缘，相较于基于像素的神经网络计算出的组织边缘来说，确定出的组织边缘更加准确。
38.另外，通过从m帧超声图像中选择数量最多的一帧目标超声图像进行分析，可以更全面地分析目标组织，提高分析结果的准确性。
39.另外，在确定目标超声图像时，若超声图像的帧号能够被n整除，则使用目标检测模型对该超声图像进行目标检测；并通过跟踪模型对该帧超声图像之后的n
‑
1帧图像进行目标跟踪；由于追踪模型是以当前一帧超声图像的之前的一帧超声图像的检测结果为基础进行追踪的，相较于使用检测模型计算检测结果的速度来说，使用追踪模型计算检测结果的速度更快。同时，由于检测模型常会出现的遗漏、误检等检测结果不稳定的情况，使用追踪模型计算结果可以避免检测模型出现的问题，提高检测结果的准确性。
40.另外，如果在对第0帧超声图像使用目标检测模型进行目标检测后，后续的超声图像都只使用追踪模型追踪目标组织，若存在新增的目标组织，则这个新增的目标组织会被追踪模型遗漏。基于此，本实施例中，仅对部分超声图像使用跟踪模型进行跟踪，当i能被n整除时，再次使用目标检测模型处理，可以识别出第i帧之前已经在跟踪的卵泡目标，还也可以识别出新增的目标组织；保证识别目标组织的准确性。
41.另外，通过设置目标检测模型在卷积神经网络的基础上，增加注意力层和特征融合层，可以从特征图中提取出用户期望关注的图像特征，提高目标检测模型计算检测结果的准确性。同时，通过将底层的关注信息和中高层的关注信息进行特征融合层，既可以加强中高层注意力层观察不到的细节信息，还可以克服底层注意力层无法观察到目标全局信息的问题。通过特征提取层由低至高地一层层地进行特征提取，再由特征融合层由高至低地一层层地进行融合特征，以对超声图像的局部特征和全局特征进行建模，能更好地识别不同尺寸的目标组织。另外，由于目标组织在超声图像中的目标重叠度高，容易造成识别目标不完全的问题。通过将浅层特征和深层特征融合，可以获取到更全面的特征，有利于识别所有的目标组织。
42.另外，通过基于目标检测模型输出的检测结果和跟踪模型输出的检测结果的并集，确定目标组织的组织区域，可以更全面地检测目标超声图像中的目标组织。
43.上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，并可依照说明书的内容予以实施，以下以本技术的较佳实施例并配合附图详细说明如后。
【附图说明】
44.图1是本技术一个实施例提供的超声图像中目标组织的监测方法的流程图；
45.图2是本技术一个实施例提供的确定目标超声图像的流程图；
46.图3是本技术一个实施例提供的目标检测模型的结构示意图；
47.图4是本技术一个实施例提供的目标超声图像中目标组织的组织区域的示意图；
48.图5是本技术一个实施例提供的对各个组织区域进行曲线演化的示意图；
49.图6是本技术一个实施例提供的在目标超声图像中显示组织边缘的示意图；
50.图7是本技术一个实施例提供的超声图像中目标组织的监测装置的框图；
51.图8是本技术一个实施例提供的超声设备的框图。
【具体实施方式】
52.下面结合附图和实施例，对本技术的具体实施方式做进一步详细描述。以下实施例用于说明本技术，但不用来限制本技术的范围。
53.在医学图像处理中，很多场景需要对图像进行分割。比如：需要将超声图像中的卵泡组织和/或卵巢组织提取出来，在提取目标组织的过程中，需要对图像进行分割。又比如，在对颈动脉斑块识别时，需要对颈动脉图像中的斑块进行分割。
54.传统的图像分割方法包括基于边缘的canny边缘检测方法、基于区域的马尔克夫(markov)分割方法等。然而，这些方法只能获取到图像的局部信息，无法结合图像的总体信息进行计算，导致图像分割的结果不准确的问题。另外，传统的分割方法得到的图像分割结果边缘断续，而医学图像(如本技术中的超声图像)中的目标组织的边缘是连续的，这就导致图像分割结果无法满足区域完整性要求的问题。
55.而变形模型(deformable models)或称可变形模型可以综合对图像数据的解释和先验知识，得到的分割结果更符合人类的视觉机理。一般地，变形模型包括对待分割目标(即本技术中的目标组织)的形状和特征的先验性的假设，即先验模型；并以能量函数度量先验模型和图像数据之间的吻合度，而曲线或曲面变形的目的就是提高先验模型和图像数据之间的吻合度。其中，提高吻合度的方式通过最小化能量函数来达到。
56.变形模型包括主动轮廓线模型(active contour model，acm；或称主动轮廓线模型等)，用于定义图像域的曲线或曲面，并且在由曲线或曲面自身相关的内力，以及由图像数据定义的外力的作用下移动。内力的作用是保持模型的平滑性，外力的作用是将模型靠近待分割目标的边缘。通过保持模型的平滑，以及综合其它诸如目标形状等的先验信息，活动轮廓线模型不仅对图像噪声和边缘间隙具有很好的鲁棒性，而且可以将图像边缘元素集成为相关且一致的数学表达形式，以应用于后续更高层次的图像信息处理。
57.基于主动轮廓线模型的分割方法包括参数主动轮廓模型和几何主动轮廓模型。其中，参数主动轮廓线模型中，轮廓是参数表示的，比如：snake模型；几何主动轮廓模型中，轮廓是几何表示的，比如：水平集方法。
58.其中，snake模型是一条可变形的参数曲线及相应的能量函数，该模型以最小化能量目标函数为目标，控制参数曲线进行曲线演化，具有最小能量的闭合曲线就是目标轮廓。
59.曲线演化(curve evolution)理论：是指利用曲线的单位法矢和曲率等集合参数来研究曲线随时间变形的理论。基于曲线演化理论的几何曲线演化模型应用于图像分割
时，基本思想为耦合图像数据和曲线的演化速度，使得曲线演化停止在目标组织的边缘位置。
60.目标检测(object detection)：用于确定出图像中感兴趣的目标，确定该目标的类别和位置。比如：从超声图像中确定出目标组织，并确定目标组织的类别和位置。
61.传统的目标检测算法包括两类：
62.第一类：两阶段(two stage)算法，主要原理包括：先在图像中确定包括目标的预选框；在通过卷积神经网络(convolutional neural networks，cnn)进行样本分类。
63.two stage算法包括但不限于：区域卷积神经网络(region
‑
cnn，r
‑
cnn)、基于深度卷积网络的空间金字塔池视觉识别(spatial pyramid pooling in deep convolutional networks for visual recognition，spp
‑
net)等，本实施例不对two stage算法的类型作限定。
64.第二类：一阶段(one stage)算法，主要原理包括：不需要在图像中确定包括目标的预选框，直接使用神经网络模型提取图像特征来预测目标分类和位置。
65.one stage算法包括但不限于：单激发多盒探测器(single shot multibox detector，ssd)、你只看一次(you only look once，yolo)系列算法等，本实施例不对one stage算法的类型作限定。
66.目标追踪(visual object tracking)：是指在连续的图像帧中定位某一目标的技术。由于在已知前一帧图像中目标位置、运动方向和运动速度的情况下，在下一帧图像中，可以使用这些信息来预测下一帧中目标的位置，并使用目标的预测位置进行小范围搜索，以准确定位目标。因此，目标追踪的计算速度快于目标检测的计算速度。
67.目标追踪的算法包括生成类方法、判别类方法和深度学习(deep convnet based)类方法。其中，判别类方法包括相关滤波(correlation filter，cf)类方法，比如：判别相关滤波器(discriminative correlation filter，dcf)、核相关滤波(kernel correlation filter，kcf)算法等。
68.以kcf算法为例，kcf算法的原理包括：使用回归方法对目标和背景进行区分，以目标所在区域为正样本，并通过循环矩阵构造多个负样本；使用每个样本采用岭回归的方法来训练跟踪器，同时在求解非线性回归时，基于核方法将低维数据映射到高维空间，以将非线性计算转换成线性计算。在跟踪器训练完成后，使用训练好的跟踪器对图像进行滤波计算，得到输出的分布图，将最大响应位置作为目标的中心位置。之后，使用该目标的中心位置确定新的正样本，并基于该正样本生成新的负样本，以对跟踪器进行更新，如此迭代实现对连续图像帧中同一目标的追踪。
69.注意力(attention)机制：是机器学习中的一种数据处理方法，广泛应用在自然语言处理、图像处理及语音识别等各种不同类型的机器学习任务中。注意力机制使得神经网络具备专注于输入(或特征)的子集的能力，即选择特定的输入。
70.可选地，本技术以各个实施例提供的超声图像中目标组织的监测方法用于超声图像中目标组织的监测装置中为例进行说明，该监测装置可以是超声成像设备，或者与超声扫查设备相连的其它设备，本实施例不对该监测装置的类型作限定。
71.图1是本技术一个实施例提供的超声图像中目标组织的监测方法的流程图，该方法至少包括以下几个步骤：
72.步骤101，从连续的m帧超声图像中确定待监测的目标超声图像。
73.其中，m帧超声图像是对目标组织进行超声扫描得到的，m为大于1的整数。
74.可选地，m帧超声图像可以为同一视频流中的连续m帧图像；或者，为对目标组织进行多次图像采集得到的连续的m张图像。
75.本实施例中，目标组织包括但不限于：卵泡、卵巢、心脏、肺部、脑组织等生物组织，目标组织的组织边缘为封闭曲线，本实施例不对目标组织的组织类型作限定。
76.由于目标超声图像的图像质量会影响目标组织的监测结果。基于此，本实施例中，目标超声图像是m帧超声图像中目标组织最多的超声图像。相应地，从连续的m帧超声图像中确定待监测的目标超声图像，包括：依次确定m帧超声图像中目标组织的组织数量；将组织数量最多的一帧超声图像确定为目标超声图像。
77.在一个示例中，依次确定m帧超声图像中目标组织的组织数量，包括：对于m帧超声图像中的第i帧超声图像，在i的取值能够被n整除的情况下，将第i帧超声图像输入预先训练的目标检测模型，得到第i帧超声图像中目标组织的检测结果；在i的取值不能够被n整除的情况下，将第i
‑
1帧超声图像中目标组织的检测结果输入预先创建的跟踪模型，得到第i帧超声图像中目标组织的检测结果。检测结果包括目标组织的组织区域和组织数量。
78.其中，i的依次取0至m
‑
1的整数；n为取值固定的正整数。n的取值基于目标组织的组织数量连续保持不变的帧数的经验值设置，n的值可以为6，或者5，本实施例不对n的取值作限定。
79.跟踪模型用于基于第i
‑
1帧超声图像中目标组织的位置预测第i帧超声图像中目标组织的位置，并在第i帧超声图像中基于预测出的位能够置确定搜索范围，在搜索范围内对目标组织进行搜索。
80.本实施例中，每帧超声图像预先设置有帧号，超声图像的帧号是按照采集时间从先至后的顺序从0开始依次编号得到的。
81.为了更清楚地理解本实施例提供的目标超声图像的确定方式，下面对该方式举一个实例进行说明。参见图2，m帧超声图像中目标超声图像的确定过程至少包括步骤21
‑
23：
82.步骤21，初始化i＝0；
83.步骤22，确定i是否与m相等；若是，则执行步骤26；若否，则执行步骤23；
84.步骤23，确定i是否能够被n整数；若是，则执行步骤24；若不能，则执行步骤25；
85.步骤24，将第i帧超声图像输入目标检测模型，得到第i帧超声图像中目标组织的检测结果，令i＝i 1并再次执行步骤22；
86.步骤25，将第i
‑
1帧超声图像中目标组织的检测结果输入跟踪模型，得到第i帧超声图像中目标组织的检测结果；令i＝i 1，再次执行步骤22；
87.步骤26，将组织数量最大的一帧超声图像确定为目标超声图像，流程结束。
88.根据图2所示的流程图可知，对于帧号能够被n整除的每帧超声图像，该帧超声图像通过检测模型计算检测结果；该帧超声图像之后的n
‑
1帧图像通过跟踪模型计算检测结果。由于追踪模型是以当前一帧超声图像的之前的一帧超声图像的检测结果为基础进行追踪的，相较于使用检测模型计算检测结果的速度来说，使用追踪模型计算检测结果的速度更快。同时，由于检测模型常会出现的遗漏、误检等检测结果不稳定的情况，使用追踪模型计算结果可以避免检测模型出现的问题，提高检测结果的准确性。
89.另外，如果在对第0帧超声图像使用目标检测模型进行目标检测后，后续的超声图像都只使用追踪模型追踪目标组织，若存在新增的目标组织，则这个新增的目标组织会被追踪模型遗漏。基于此，本实施例中，仅对部分超声图像使用跟踪模型进行跟踪，当i能被n整除时，再次使用目标检测模型处理，可以识别出第i帧之前已经在跟踪的卵泡目标，还也可以识别出新增的目标组织；保证识别目标组织的准确性。
90.本实施例中，目标检测模型能够对超声图像中的各个图像内容进行分类，从而得到超声图像中的各个目标组织；同时，目标检测模型能够计算出每个目标组织的组织区域。
91.可选地，组织区域通过目标组织的外接矩形框表示(换言之，外接矩形框中的图像内容包括目标组织的图像)，组织区域在超声图像上的位置通过外接矩形框的左上顶点的位置、外接矩形框的宽和高表示。
92.在一个示例中，目标检测模型是在卷积神经网络的基础上，增加注意力层和特征融合层得到的。具体地，参见图3所示的目标检测模型，在数据传输方向上，目标检测模型包括：依次相连的k层特征提取层31、前k
‑
1层特征提取层中的每层特征提取层均连接的注意力层32、与第k层特征提取层和第k
‑
1层注意力层分别相连的第k
‑
1层特征融合层33、与第j层注意力层和第j 1层特征融合层分别相连的第j层特征融合层34、以及与第1层特征融合层相连的输出层35。k为大于1的整数；j依次取k
‑
2至1的整数。
93.图3中以k为4为例进行说明，在实际实现时，k的取值可以为更大或更小的取值，本实施例不对k的取值作限定。
94.每层特征提取层31用于提取输入数据的图像特征，得到特征图。示意性地，特征提取层31可以为卷积层。每层特征提取层31中的卷积层的数量可以为一层或多层，本实施例不对特征提取层31的实现方式作限定。
95.前k
‑
1层特征提取层中的每层特征提取层均连接有注意力层32。即，目标检测模型存在k
‑
1层注意力层32。注意力层32用于提特征提取层输出的特征图中的关注信息。关注信息可以为空间注意力信息或者为通道注意力信息，这样，可以从特征图中提取出用户期望关注的图像特征，提高目标检测模型计算检测结果的准确性。本实施例中，注意力层32不仅可以从特征提取层输出的特征图中提取更有效的信息来提高目标检测效果，还可以供特征融合层将不同层级的关注信息融合。
96.第k
‑
1层特征融合层33与第k层特征提取层和第k
‑
1层注意力层分别相连。第k
‑
1层特征融合层33用于将第k层特征提取层输出的特征图与第k
‑
1注意力层输出的关注信息进行特征融合，得到第k
‑
1层融合特征。
97.由于第k层特征提取层用于提取超声图像的深层特征，深层特征的数据通常较少，本实施例中，不在第k层特征提取层之后引入注意力层，可以防止深层特征过渡提取，导致深层特征较少，影响目标检测结果的问题。
98.另外，通过将第k层特征提取层输出的特征图与第k
‑
1注意力层输出的关注信息进行特征融合，可以保证深层的特征数据与中高层的关注信息融合，从而结合不同层级的数据进行目标检测，提高目标检测的准确性。
99.第j层特征融合层31与第j层注意力层和第j 1层特征融合层分别相连。第j层特征融合层用于将第j层注意力层输出关注信息与第j 1层特征融合层输出的第j 1层融合特征进行特征融合，得到第j层融合特征。
100.本实施例中，通过将底层的关注信息和中高层的关注信息进行特征融合层，既可以加强中高层注意力层观察不到的细节信息，还可以克服底层注意力层无法观察到目标全局信息的问题。通过特征提取层由低至高地一层层地进行特征提取，再由特征融合层由高至低地一层层地进行融合特征，以对超声图像的局部特征和全局特征进行建模，能更好地识别不同尺寸的目标组织。
101.另外，由于目标组织在超声图像中的目标重叠度高，容易造成识别目标不完全的问题。通过将浅层特征和深层特征融合，可以获取到更全面的特征，有利于识别所有的目标组织。
102.输出层35用于基于第1层特征融合层输出的第1层融合特征，计算目标超声图像的检测结果。
103.本实施例中，目标检测模型是使用训练数据对神经网络模型进行训练得到的。其中，神经网络模型的模型结构与目标检测模型的模型结构相同，比如：参考图3所示的模型结构。使用训练数据对神经网络模型进行训练，包括以下几个步骤：
104.步骤1，获取训练数据。
105.训练数据包括样本图像和该样本图像中目标组织的标签。可选地，标签是对样本图像中的目标组织使用矩形框进行标注得到的，该标签包括目标组织的标注概率和实际矩形框的位置信息。若标注概率等于1，表示当前的目标就是目标组织。若标注概率小于1，表示当前的目标可能不是目标组织。实际矩形框的位置信息包括实际矩形框的中心点位置、宽度和高度。
106.步骤2，将训练数据中的样本图像输入神经网络模型，得到模型结果。
107.模型结果包括：各个目标组织的预测概率和每个目标组织的预测矩形框的位置信息。预测矩形框的位置信息包括预测矩形框的中心点位置、宽度和高度。
108.步骤3，将该模型结果和样本图像对应的标签输入预设的损失函数，得到损失函数值。
109.可选地，损失函数用于表示模型结果和标签之间的误差。
110.示意性地，损失函数通过下式表示：
[0111][0112]
其中，b表示一张样本图像中目标组织的总数量。q表示第q个目标组织。p
q
表示第q个目标组织的标注概率。表示神经网络输出的第q个目标组织的模型结果(或者说是预测概率)，的取值范围为[0,1]。表示标注概率与预测概率的平方误差。x
q
表示第q个目标组织所属实际矩形框的中心点位置的横坐标。表示第q个目标组织所属预测矩形框的中心点位置的横坐标。y
q
表示第q个目标组织所属实际矩形框的中心点位置的纵坐标。表示第q个目标组织所属预测矩形框的中心点位置的纵坐标。w
q
表示第q个目标组织所属实际矩形框的宽度。表示第q个目标组织所属预测矩形框的宽度。h
q
表示第q个目标组织所属实际矩形框的高度。表示第q个目标组织所属预测矩形框的高度。
[0113]
步骤4，基于损失函数值对神经网络模型进行迭代训练，直至神经网络模型收敛或者迭代次数达到预设次数时停止，得到目标检测模型。
[0114]
其中，对神经网络模型进行迭代训练是指计算神经网络中的参数对损失函数的偏导数，更新神经网络中的参数，以使损失函数值逐渐降低。
[0115]
可选地，跟踪模型可以为kcf算法。此时，将第i
‑
1帧超声图像中目标组织的检测结果输入预先创建的跟踪模型，得到第i帧超声图像中目标组织的检测结果，包括：以第i
‑
1帧超声图像的检测结果指示的组织区域为正样本，通过循环矩阵构造多个负样本；使用每个样本采用岭回归的方法训练跟踪器，同时在求解非线性回归时，基于核方法将低维数据映射到高维空间，以将非线性计算转换成线性计算；在跟踪器训练完成后，使用训练好的跟踪器对第i帧超声图像进行滤波计算，得到输出的分布图，将最大响应位置作为目标组织的中心位置，得到第i帧超声图像中目标组织的检测结果。
[0116]
步骤102，获取目标超声图像中目标组织的组织区域。
[0117]
本实施例中，组织区域是对目标超声图像进行目标检测得到的。在其他实施方式中，组织区域也可以由用户框选，本实施例不对组织区域的获取方式作限定。
[0118]
在一个示例中，获取目标超声图像中目标组织的组织区域，包括：将目标超声图像输入目标检测模型，得到目标组织的组织区域。
[0119]
目标检测模型的相关描述详见步骤101，本实施例在此不再赘述。
[0120]
在另一个示例中，获取目标超声图像中目标组织的组织区域，包括：在目标超声图像的帧号不能够被n整除的情况下，将目标超声图像输入目标检测模型，得到目标超声图像的检测结果；确定目标检测模型输出的检测结果和跟踪模型输出的检测结果的并集，得到目标超声图像中目标组织的组织区域。
[0121]
由于在目标超声图像的帧号不能够被n整除的情况下，说明目标超声图像仅经过跟踪模型的计算，而未经过目标检测模型的计算。此时，将该目标超声图像输入目标检测模型，可以保证目标检测的准确性。
[0122]
另外，本实施例中，通过基于目标检测模型输出的检测结果和跟踪模型输出的检测结果的并集，确定目标组织的组织区域，可以更全面地检测目标超声图像中的目标组织。
[0123]
可选地，在目标超声图像的帧号能够被n整除的情况下，直接读取目标检测模型已经计算得到的检测结果，得到目标组织的组织区域。此时，不需要再次执行将目标超声图像输入目标检测模型，得到目标超声图像的检测结果的过程，可以节省监测装置的计算资源。
[0124]
步骤103，使用组织区域的图像数据进行曲线演化，以使演化后的曲线与组织区域内的组织边缘重合。
[0125]
传统的边缘识别方式中，通常使用u型网络(u
‑
net)等基于像素的神经网络对目标组织进行分割，得到目标组织的边缘。但是，超声图像中目标组织的边缘可能存在不清晰的部分，基于像素的神经网络进行图像分割时会出现分割结果不完整，或者溢出的问题。另外，由于目标组织的尺寸可能很小，会导致基于像素的神经网络进行图像分割困难的问题。
[0126]
基于上述技术问题，本实施例中，使用曲线演化的方式确定目标组织的组织边缘。由于曲线演化方式得到的演化后的曲线比较平滑，且适用于边缘模糊的图像，因此，相较于基于像素的神经网络计算出的组织边缘来说，通过曲线演化方式确定出的组织边缘更加准确。
[0127]
可选地，曲线演化的方式包括但不限于：使用参数主动轮廓模型进行曲线演化，或者使用几何主动轮廓模型进行曲线演化等，本实施例不对曲线演化方式作限定。
[0128]
在一个示例中，由于相较于其它曲线演化方式来说，参数主动轮廓模型能够确定出一条更加平滑的封闭曲线，且更加适用于边缘模糊的图像。因此，本实施例以曲线演化的方式为参数主动轮廓模型为例进行说明。此时，使用组织区域的图像数据进行曲线演化，以使演化后的曲线与组织区域内的组织边缘重合，包括：对组织区域进行预处理，得到预处理后的组织区域；预处理包括直方图均衡化处理和/或中值滤波处理；将预处理后的组织区域输入预先创建的参数主动轮廓模型，得到与组织边缘重合的封闭曲线，该封闭曲线为演化后的曲线。
[0129]
直方图均衡化处理用于使得相邻像素之间的差异变大，从而增大组织区域的图像的对比度。
[0130]
中值滤波处理用于保护组织区域的图像中边缘信息的同时，对该图像进行平滑处理，并消除该图像中的部分噪声。
[0131]
将预处理后的组织区域输入预先创建的参数主动轮廓模型，得到与组织边缘重合的封闭曲线，包括：基于预处理后的组织区域的中心位置生成初始化包络曲线；基于初始化包络曲线，使用参数主动轮廓模型的能量函数进行曲线演化，将能量函数的最小函数值对应的包络曲线确定为封闭曲线。
[0132]
其中，能量函数用于对包络曲线上的每个点的能力进行积分；能量函数包括第一积分项、第二积分项和第三积分项；第一积分项用于控制包络曲线的平滑性；第二积分项用于控制包络曲线的连续性；第三积分项用于控制包络曲线逼近组织边缘。
[0133]
示意性地，能量函数通过下式表示：
[0134][0135]
其中，s表示当前包络曲线上的任意一个点，能量函数计算出的总能量energy是对前包络曲线上的每个点的能力进行积分。为第一积分项，第一积分项表示s点演化发生变化时产生的弹性能力，并用于控制包络曲线的平滑性。为第二积分项，第二积分项表示s点演化发生变化时产生的弯曲能量，并用于控制包络曲线的连续性。为第三积分项，第三积分项表示s点演化发生变化时，s点处的图像梯度值，并用于控制包络曲线逼近组织边缘。在包络曲线逼近组织边缘时，s点处的图像梯度值变大，能量函数的总能量energy变小。当总能量达到最小值时，说明包络曲线与组织边缘重合，即得到目标组织的包络。相较于unet等基于像素的神经网络，参数主动轮廓模型的能量函数还具有第一积分项和第二积分项，从而实现对包络曲线的形状进行限制。
[0136]
需要补充说明的是，本实施例中，以仅使用每个目标组织的组织区域进行曲线演化为例进行说明。在实际实现时，也可以使用完整的一张目标超声图像中的图像数据进行曲线演化，本实施例不对曲线演化时使用的图像数据作限定。
[0137]
步骤104，基于演化后的曲线，在目标超声图像中显示目标组织的组织边缘。
[0138]
由于在步骤103中，是将每个目标组织的组织区域对应的图像内容进行曲线演化。因此，在得到演化后的曲线后，需要将该演化后的曲线映射至原始的目标超声图像中。
[0139]
示意性地，基于演化后的曲线，在目标超声图像中显示目标组织的组织边缘，包括：对于目标超声图像中的每个目标组织，在目标超声图像中通过每个目标组织所对应的演化后的曲线来描绘目标组织的组织边缘。实际实现时，可以使用目标组织的第一组织区域替换目标组织的第二组织区域。
[0140]
其中，第一组织区域为具有演化后的曲线的组织区域，换言之，第一组织区域是对原始的组织区域进行曲线演化后得到的组织区域；第二组织区域为目标组织在目标超声图像中的原始区域，即该原始的组织区域。
[0141]
可选地，使用目标组织的第一组织区域替换目标组织的第二组织区域，包括：在目标超声图像上，使用第一组织区域覆盖第二组织区域。
[0142]
比如：目标超声图像经过目标检测模型检测后得到的检测结果参考图4所示。根据图4可知，目标超声图像包括4个组织区域，每个组织区域通过矩形框表示。之后，对各个组织区域进行曲线演化的过程参考图5。对于每个组织区域51，对该组织区域进行预处理，得到预处理后的组织区域52；然后，将每个预处理后的组织区域52输入参数主动轮廓模型53，得到具有演化后的曲线的组织区域，即，第一组织区域54。
[0143]
之后，使用第一组织区域54替换目标超声图像中对应位置的原始的组织区域(即第一组织区域)，得到替换后的目标超声图像。替换后的目标超声图像参考图6所示。根据图6可知，替换后的目标超声图像包括每个目标组织对应的演化后的曲线，该演化后的曲线与目标组织的组织边缘重合。
[0144]
综上所述，本实施例提供的超声图像中目标组织的监测方法，通过从连续的m帧超声图像中确定待监测的目标超声图像，m帧超声图像是对目标组织进行超声扫描得到的；获取目标超声图像中目标组织的组织区域；使用组织区域的图像数据进行曲线演化，以使演化后的曲线与组织区域内的组织边缘重合；基于演化后的曲线，在目标超声图像中显示目标组织的组织边缘；可以解决人工从超声图像中定位目标组织的效率较低的问题；通过曲线演化的方式自动确定目标组织的组织边缘，并在目标超声图像中显示，无需人工识别目标组织，可以提高定位目标组织的效率。
[0145]
另外，由于传统的基于像素的神经网络对目标组织进行分割时，会出现分割结果不完整、溢出或者图像分割困难的问题。而曲线演化方式得到的演化后的曲线比较平滑，且适用于边缘模糊的图像，因此，本实施例中，通过使用曲线演化的方式来确定目标组织的组织边缘，相较于基于像素的神经网络计算出的组织边缘来说，确定出的组织边缘更加准确。
[0146]
另外，通过从m帧超声图像中选择数量最多的一帧目标超声图像进行分析，可以更全面地分析目标组织，提高分析结果的准确性。
[0147]
另外，在确定目标超声图像时，若超声图像的帧号能够被n整除，则使用目标检测模型对该超声图像进行目标检测；并通过跟踪模型对该帧超声图像之后的n
‑
1帧图像进行目标跟踪；由于追踪模型是以当前一帧超声图像的之前的一帧超声图像的检测结果为基础进行追踪的，相较于使用检测模型计算检测结果的速度来说，使用追踪模型计算检测结果的速度更快。同时，由于检测模型常会出现的遗漏、误检等检测结果不稳定的情况，使用追踪模型计算结果可以避免检测模型出现的问题，提高检测结果的准确性。
[0148]
另外，如果在对第0帧超声图像使用目标检测模型进行目标检测后，后续的超声图像都只使用追踪模型追踪目标组织，若存在新增的目标组织，则这个新增的目标组织会被追踪模型遗漏。基于此，本实施例中，仅对部分超声图像使用跟踪模型进行跟踪，当i能被n整除时，再次使用目标检测模型处理，可以识别出第i帧之前已经在跟踪的卵泡目标，还也可以识别出新增的目标组织；保证识别目标组织的准确性。
[0149]
另外，通过设置目标检测模型在卷积神经网络的基础上，增加注意力层和特征融合层，可以从特征图中提取出用户期望关注的图像特征，提高目标检测模型计算检测结果的准确性。同时，通过将底层的关注信息和中高层的关注信息进行特征融合层，既可以加强中高层注意力层观察不到的细节信息，还可以克服底层注意力层无法观察到目标全局信息的问题。通过特征提取层由低至高地一层层地进行特征提取，再由特征融合层由高至低地一层层地进行融合特征，以对超声图像的局部特征和全局特征进行建模，能更好地识别不同尺寸的目标组织。另外，由于目标组织在超声图像中的目标重叠度高，容易造成识别目标不完全的问题。通过将浅层特征和深层特征融合，可以获取到更全面的特征，有利于识别所有的目标组织。
[0150]
另外，通过基于目标检测模型输出的检测结果和跟踪模型输出的检测结果的并集，确定目标组织的组织区域，可以更全面地检测目标超声图像中的目标组织。
[0151]
可选地，基于上述实施例，监测装置在得到目标组织的组织边缘后，还可以自动对该目标组织的尺寸进行测量，得到目标组织的尺寸数据。
[0152]
此时，在步骤103之后，该超声图像中目标组织的监测方法，还包括：基于每个目标组织的演化后的曲线，计算该目标组织的尺寸数据；显示各个目标组织的尺寸数据。
[0153]
可选地，目标组织的尺寸数据包括但不限于：目标组织的面积和直径中的至少一种。以目标组织为卵泡为例，直径包括卵泡的长轴和短轴；或者直径为卵泡的长轴和短轴的平均值，本实施例不对卵泡的直径的计算方式作限定。
[0154]
在一个示例中，目标组织的尺寸数据包括目标组织的直径。此时，基于每个目标组织的演化后的曲线，计算该目标组织的尺寸数据，包括：使用演化后的曲线进行椭圆拟合，得到拟合后的椭圆的长轴和短轴。
[0155]
在一个示例中，目标组织的尺寸数据包括目标组织的直径和面积。此时，基于每个目标组织的演化后的曲线，计算该目标组织的尺寸数据，包括：使用演化后的曲线进行椭圆拟合，得到拟合后的椭圆的长轴和短轴；使用长轴和短轴计算椭圆面积，得到目标组织的面积。
[0156]
可选地，在使用演化后的曲线无法拟合出椭圆时，说明目标组织的尺寸过小，此时，忽略该目标组织。
[0157]
在其它实施方式中，也可以将演化后的曲线上任意两点之间的最大值确定为长轴；将组织边缘上任意两点之间的最小值确定为短轴；基于长轴和短轴计算目标组织的面积，本实施例不对计算直径和面积的方式作限定。
[0158]
另外，目标组织的尺寸数据还可以包括目标组织的体积。此时，对图像位置对应的目标组织进行尺寸测量，包括：使用包括目标组织的多帧超声图像对该目标组织进行三维重建；对三维重建后的目标组织进行体素计数，得到目标组织的体积。或者，使用包括目标组织的多帧超声图像对该目标组织进行三维重建，得到三维重建后的目标组织；使用四面
体剖分算法计算该三维重建后的目标组织的体积，得到目标组织的体积。本实施例不对尺寸数据的数据内容和体积的计算方式作限定。
[0159]
本实施例中，通过在得到目标组织的组织边缘后，基于该组织边缘计算目标组织的尺寸数据，可以实现目标组织的自动测量，提高目标组织的测量效率
[0160]
图7是本技术一个实施例提供的超声图像中目标组织的监测装置的框图。该装置至少包括以下几个模块：图像确定模块710、区域确定模块720、曲线演化模块730和边缘显示模块740。
[0161]
图像确定模块710，用于从连续的m帧超声图像中确定待监测的目标超声图像，所述m帧超声图像是对所述目标组织进行超声扫描得到的，所述m为大于1的整数；
[0162]
区域确定模块720，用于获取所述目标超声图像中目标组织的组织区域，所述组织区域是对所述目标超声图像进行目标检测得到的；
[0163]
曲线演化模块730，用于使用所述组织区域的图像数据进行曲线演化，以使演化后的曲线与所述组织区域内的组织边缘重合；
[0164]
边缘显示模块740，用于基于所述演化后的曲线，在所述目标超声图像中显示所述目标组织的组织边缘。
[0165]
相关细节参考上述方法实施例。
[0166]
需要说明的是：上述实施例中提供的超声图像中目标组织的监测装置在进行超声图像中目标组织的监测时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将超声图像中目标组织的监测装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的超声图像中目标组织的监测装置与超声图像中目标组织的监测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0167]
请参阅图8，图8是本发明可选实施例提供的一种超声设备的结构示意图，该超声设备可以为上述实施例中的目标组织的监测装置。如图8所示，该超声设备可以包括：超声探头、至少一个处理器81，例如cpu(central processing unit，中央处理器)，至少一个通信接口83，存储器84，至少一个通信总线82。其中，通信总线82用于实现这些组件之间的连接通信。其中，通信接口83可以包括显示屏(display)、键盘(keyboard)，可选通信接口83还可以包括标准的有线接口、无线接口。存储器84可以是高速ram存储器(random access memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non
‑
volatile memory)，例如至少一个磁盘存储器。存储器84可选的还可以是至少一个位于远离前述处理器81的存储装置。其中处理器81可以结合图7所描述的装置，存储器84中存储应用程序，且处理器81调用存储器84中存储的程序代码，以用于执行上述任一方法步骤。
[0168]
超声探头：由压电元件、连接器和支撑结构组成。超声探头在发射模式中将电能转换成机械能，产生的机械波向介质传播。在接收模式中，接收反射的机械波形并由超声探头转换成电信号。
[0169]
其中，通信总线82可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(e8tended industry standard architecture，简称eisa)总线等。通信总线82可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0170]
其中，存储器84可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random
‑
access memory，缩写：ram)；存储器也可以包括非易失性存储器(英文：non
‑
volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard disk drive，缩写：hdd)或固态硬盘(英文：solid
‑
state drive，缩写：ssd)；存储器84还可以包括上述种类的存储器的组合。
[0171]
其中，处理器81可以是中央处理器(英文：central processing unit，缩写：cpu)，网络处理器(英文：network processor，缩写：np)或者cpu和np的组合。
[0172]
其中，处理器81还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application
‑
specific integrated circuit，缩写：asic)，可编程逻辑器件(英文：programmable logic device，缩写：pld)或其组合。上述pld可以是复杂可编程逻辑器件(英文：comple8 programmable logic device，缩写：cpld)，现场可编程逻辑门阵列(英文：field
‑
programmable gate array，缩写：fpga)，通用阵列逻辑(英文：generic array logic,缩写：gal)或其任意组合。
[0173]
可选地，存储器84还用于存储程序指令。处理器81可以调用程序指令，实现如本技术图1实施例中所示的超声图像中目标组织的监测方法。
[0174]
可选的，超声设备中还可以包括如下部件：
[0175]
波形发生器：用于产生数据信号，以便脉冲发生器根据该数据信号产生发射脉冲。
[0176]
发射波束合成器：用于实现电子聚焦和控制多阵元超声探头的声束。并针对每个阵元适当地延迟发送的信号，以使得发射器信号同时到达目标并在目标处产生最高声强，也即获取最强回波信号。
[0177]
脉冲发生器：用于产生发射脉冲。
[0178]
t/r开关：发射接收开关，用于控制超声探头当前处于发射模式或者接收模式。
[0179]
tgc增益：控制放大器增益随探测深度的增加而加大，以补偿超声信号随传播距离的衰减。
[0180]
模数转换器：用于将模拟信号转换成数字信号。
[0181]
接收波束合成器：与发射波束合成器类似，用于实现电子聚焦和控制多阵元超声探头的声束。并通过对接收到的回波应用适当的延迟，以实现线性叠加来自多个阵元的回波信号，实现最高灵敏度。
[0182]
匹配滤波器：和发射编码相匹配的滤波器实现编码的压缩。
[0183]
横向滤波器：用于对接收到的信号做距离旁瓣抑制。
[0184]
带通滤波器：用于从接收到的信号中选择过滤出期望的频带。
[0185]
幅值检测器：用于检测得到接收到的信号的幅值。
[0186]
扫描转换/显示：用于执行数据转换，进而做超声图像的展示。
[0187]
当然实际实现时，超声设备可以包括更多或者更少的部件，本实施例对此并不做限定。
[0188]
可选地，本技术还提供有一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的超声图像中目标组织的监测方法。
[0189]
可选地，本技术还提供有一种计算机产品，该计算机产品包括计算机可读存储介
质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的超声图像中目标组织的监测方法。
[0190]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0191]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。