一种新颖的深度孪生网络改进形变轮廓模型的性能

1.本发明涉及医学图像处理、深度学习相关技术领域，具体为一种新颖的深度孪生网络改进形变轮廓模型的性能。


背景技术：

2.基于图像引导的计算机辅助诊疗被广泛地应用于肿瘤治疗，其中准确定义肿瘤成像序列中每一帧病变区域的边界是指定术前治疗计划的重要一步。形变轮廓分割模型被广泛地应用于医学图像中目标边缘的提取。形变轮廓模型分割目标主要通过图像的目标特征驱动初始化的形变轮廓去搜索待分割图像中目标的真实边缘。但是，现有技术的医疗超声成像过程中存在严重的伪影、噪声等因素会严重干扰形变轮廓分割过程中搜索到真实的目标轮廓。


技术实现要素：

3.本发明的目的在于提供一种新颖的深度孪生网络改进形变轮廓模型的性能，以解决上述背景技术中提出的现有技术的医疗超声成像过程中存在严重的伪影、噪声等因素会严重干扰形变轮廓分割过程中搜索到真实的目标轮廓的问题。
4.为实现上述目的，本发明提供如下技术方案：一种新颖的深度孪生网络改进形变轮廓模型的性能，其具体来讲，是用于改进形变轮廓模型分割超声图像序列的性能，其包括网络改进形变轮廓模型，所述网络改进形变轮廓模型的主体架构是一个孪生卷积网络，主要是为训练一个损失函数，该损失函数可为形变轮廓搜索目标边缘的评价值；训练所述孪生卷积网络架构的输入数据是一系列的图像对，其中每个分支有相同的结构和参数；
5.所述网络改进形变轮廓模型的每个分支结构由一个卷积层、三个密集连接残差模块dcrb、三个注意力聚焦模块afb、三个平均池化层、一个空间金字塔池spp层和一个完全连接层fc组成；其中的平均池化层的滑动跨步为两个像素，虽然这会逐渐降低特征图的分辨率，但增加演化层的感受野。
6.作为进一步的技术方案，所述网络模型中的dcrb旨在通过促进网络内的特征传播来缓解传统深度卷积神经网络训练过程中存在的梯度消失问题，实现所述网络中每个卷积层的输出由一系列的密集连接所有后续的卷积层，并将所有后续卷积层生成的特征图连接起来作为后续层的输入。
7.作为进一步的技术方案，所述注意力聚焦模块afb位于两个密集连接残差模块dcrb之间，其作用是通过在网络工作中引入空间注意机制，使得网络在训练过程中集中在目标对象区域，从而减少待分割图像中因素的影响。
8.作为进一步的技术方案，所述spp能够确保该网络的输入图像在尺寸不同的情况下输出的特征图具有相同的尺寸大小，且在网络末端fc生成输入数据的特征。
9.作为进一步的技术方案，所述密集连接残差模块可增强深度神经网络的特征传播性能，并有效地缓解传统深度卷积神经网络随着网络层数的增加，导致的特征传播过程中
梯度消失问题。
10.作为进一步的技术方案，所述网络中的注意力聚焦模块主要用于使网络在特征学习阶段聚焦于病变区域，实现该模块由空间金字塔层归一化特征图的尺寸，然后使用将特征图的每个元素与sigmoid层相乘。
11.作为进一步的技术方案，所述特征存储模块为key-value结构，用于存储目标、背景特征向量，所述模块可看作是目标、背景的先验特征空间，模块中的对象和背景特征向量由网络的fc层给出，然后对其及逆行l2范数的归一化，所述特征存储模块中的value结构用于存储特征向量，key结构用于标注该特征向量是“目标”或“背景”。
12.与现有技术相比，本发明的有益效果是：
13.1.该网络模型的主体架构采用一种孪生网络模型，在该网络用于训练一个对比损失函数。该损失函数的值作为一种判别性依据被整合进传统的形变轮廓模型用于提升形变轮廓模型在超声图像中搜索目标边缘的性能。
14.2.为了克服深度神经网络模型训练样本阶段，出现的梯度消失问题以及让深度神经网络在学习训练过程中专注于病灶区域的特性学习，本发明在该网络模型中设计了密集连接残余块和注意力聚焦模块。
15.3.在本网络模型中，为了给损失函数提供正、负的先验样本，设计了一种特征存储模块用于并生成本网络生成的目标先验特征。
16.4.为了对图像序列中的目标形状的相似性进行建模，本发明采用矩阵的秩对超声图像序列中目标形状的相似性进行度量，从而作为目标函数的约束项抵抗形变轮廓对超声图像中确实边缘或若边缘的鲁棒性。
附图说明
17.图1为本发明结构的网络主体架构示意图；
18.图2为本发明结构的对象和背景的验特征计算对比损失示意图；
19.图3为本发明结构的形变轮廓搜索目标边缘的过程算法1示意图。
具体实施方式
20.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.具体实施方式一，参阅图1-3，本发明提供一种技术方案：一种新颖的深度孪生网络改进形变轮廓模型的性能，包括网络改进形变轮廓模型，其特征在于：网络改进形变轮廓模型的主体架构是一个孪生卷积网络，主要是为训练一个损失函数，该损失函数可为形变轮廓搜索目标边缘提供评价值；孪生卷积网络架构的输入数据是一系列的图像对，其中每个分支有相同的结构和参数；网络改进形变轮廓模型的每个分支结构由一个卷积层、三个密集连接残差模块dcrb、三个注意力聚焦模块afb、三个平均池化层、一个空间金字塔池spp层和一个完全连接层fc组成；其中的平均池化层的滑动跨步为两个像素，虽然这会逐渐降低特征图的分辨率，但增加演化层的感受野。
22.具体实施方式二，本发明中的孪生卷积网络架构的输入数据是一系列的图像对，其中每个分支有相同的结构和参数，其中损失函数的定义如下：
23.loss
t
(p，a，n)＝d
a，p
max((d
a，p-d
a，n
α)，0)，
ꢀꢀꢀ
(1)
24.其中α表示训练参数，输入变量p、a、n分别表示正样本、锚样本和负样本。距离在输入变量之间，可以通过公式(2)计算得到：
[0025][0026]
其中a和b表示两个输入数据，fa和fb是两个输入数据的l2归一化特征。在我们的工作中，网络的训练数据包括许多图像对和相应的标签y∈0，1。
[0027]
具体实施方式三，本发明中的密集连接残差模块可增强深度神经网络的特征传播性能，并有效地缓解特征传播过程中梯度消失问题。公式(3)中的x2表示第l个卷积层的输出，即应用h运算后的结果，hl是一个非线性变换。然后，对第l层的输出结果进行批量归一化(batch normalization)和校正线性单元(rule)操作。
[0028]
x
l
＝h
l
(x
l-1
)
ꢀꢀꢀ
(3)
[0029]
其中x
l-1
是第l-1层的输出。我们使第l层接收由[0，1，
…
，l-1]层生成的所有特征图层作为输入。此外，为了减少特征数量并融合密集层中的特征，在每个dcrb的末尾添加了一个transition层，该transition层由一个1卷积层、一个batch normalization layer和一个relu操作组成。因此，第l层的输出可以定义为：
[0030]
x
l
＝h
t
(h
l
[x0，x1，...，x
l-1
])
ꢀꢀꢀ
(4)
[0031]
其中h
t
是过渡层的非线性变换。为了进一步促进信息传播并使网络更易于优化，我们还在块中使用了残差连接。
[0032]
具体实施方式四，本发明在注意力聚焦模块中应用空间金字塔层主要是确保输入的特征图在输出的时候具有相同的大小。注意力机制块的输出是输入特征映射和特征映射的元素相乘一个注意力掩膜矩阵。注意力掩膜矩阵由sigmoid层产生，
[0033]mt
(x)＝f(h
t
(x))
ꢀꢀꢀ
(5)
[0034][0035]
具体实施方式五，本发明损失函数(如公式(1)所示)的值来判别形变轮廓上的标记点与病灶区域真实边缘的距离远近。当损失函数的值越大时，说明标记点距离真实边缘的距离越远，反之亦然。在本发明中我们将该损失函数整合进经典的形变轮廓分割模型中，如公式(8)所示，
[0036][0037]
其中ds是曲线c上两个标记点之间的欧氏距离，loss
t
(p
i(x，y)
，po，pb)分别表示以标记点(x，y)为中心的图像块与目标和背景先验特征p0和pb的对比损失；公式(8)的第一项表示轮廓曲线的长度，i
(x，y)
是待分割的图像，ωc是图像域中曲线c包围的闭合区域，该闭合区域的内外平均值分别是c1和c2。λ是控制c平滑度的固定权重。
[0038]
具体实施方式六，本实施方式是对具体实施方式一的进一步限定，。
[0039]
·
具体实施方式七，本实施方式是对具体实施方式一的进一步限定，特征存储模
块的对象和背景特征的对应key值分别设置为0或1。给定n
t
对的训练样本，该模块包含n
t
个插槽。当模块的容量已满时，可通过公式(7)进行更新：
[0040]
vi＝α*vi (1-α)*pca(m[v(：)，ki])，k∈{0，1}，
ꢀꢀꢀ
(7)
[0041]
其中m[v(：)，ki]表示由标签ki的特征组成的向量，pca(
·
)表示主成分，超参数α∈[0，1]控制更新速率。
[0042]
在分割图像的过程中，该特征记忆模块生成的目标和背景先验特征以及网络学习到的特征被发送到损失函数，以区分学习到的特征是靠近目标区域还是远离目标区域。具体是，我们分别对对象和背景向量以及两个特征集的协方差矩阵的最显著特征值(占总变化的98％)应用pca。
[0043]
具体实施方式八，本发明中超声成像过程中提供的人体组织某个方向(x轴、y轴或z轴)一系列图像切片序列。我们观察到每个切片中病变区域的轮廓形状具有相似性，并希望利用这种相似性来约束形变轮廓分割分割模型在分割该序列病变区域时的轮廓变化。
[0044]
本发明将不同切片中病变区域的轮廓参数化表示为一个闭合曲线c＝[x1，...，xn，y1，...，yn]t∈r
2n
，其中(xi，yi)表示轮廓上的标记点。图像序列中要分割的病变区域可表示为矩阵x＝[c1，...，cm]该矩阵可被视为待分割图像序列中病灶区域轮廓形状的变化空间。假设任何轮廓ci可通过仿射变换从矩阵x中的其他轮廓c
τ
生成，即，
[0045][0046]
其中是仿射变换矩阵。由于的维数仅取决于c
t
，因此矩阵x的秩最多为6。因此，利用矩阵x的低秩属性来约束分割图像序列过程中形变轮廓的变化。
[0047]
具体实施方式九，本实施方式是对具体实施方式一的进一步限定，本发明中公式(10)就是让可变形轮廓分割模型(公式(8))应用于图像序列的分割，并保持形变轮廓在分割图像序列过程中形状之间的相似性，
[0048][0049]
其中，表示由公式(8)计算得到的形变轮廓分割图像序列过程中的曲线，rank(x)表示计算矩阵秩的运算符，rank(x)可看做形状相似性的约束项，其中核规范||x||
*
可看做求解rank(x)的近似解。在分割过程中，形变轮廓的形状小扰动可能导致rank(x)值的变化。在本发明中，近似梯度法被用于求解公式(10)，具体如下
[0050][0051]
其中，在公式(11)中，可被公式(12)求解
[0052][0053]
其中pi表示轮廓上的标记点n
pi
，和k
pi
分别表示标记点pi上的法向量和曲率，||x||
*
可通过公式(13)求解，公式(13)引用了一种奇异值阈值算法(singular value thresholding).
[0054][0055]
其中ui和vi分别是矩阵x的左、右奇异值向量，()

＝max(，0)。
[0056]
在图像序列分割过程中，需要在待分割图像序列中初始化所提出的可变形轮廓模型，然后形变轮廓根据算法1搜索图像序列过程中病灶区域的边缘。在形变轮廓搜索目标边缘的过程中，低秩属性可用来约束可变形轮廓的演化，且算法1详细地描述了该过程。
[0057]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。