一种基于三元组网络的肝脏肿瘤MVI预测方法与流程

一种基于三元组网络的肝脏肿瘤mvi预测方法
技术领域
1.本发明涉及医学图像分类技术领域，尤其涉及一种基于三元组网络的肝脏肿瘤mvi预测方法。


背景技术：

2.肝细胞癌(hepatocellular carcinoma，hcc)约占总体肝癌病例的80％，容易复发和远端转移导致预后很差。微细血管侵犯(microvascular invasion，mvi)是影响预后的危险因素，可提示肝癌复发，是hcc常见的血管侵犯模式。成功的术前mvi预测对确定hcc患者的治疗方案至关重要，并能显著改善患者的预后。目前的mvi诊断金标准是通过术中取材进行病理分析得到，对hcc患者的术前诊断没有明显的指导意义。近年来，无创的磁共振图像mri诊断已开始在mvi预测中发挥重要作用，并成为mvi预测的常用工具，直接通过肝脏mri影像预测出肝细胞癌的mvi情况，一方面可以减少患者进行有创的穿刺活检，另一方面可以减轻医生的工作强度，为医生进行诊断提供参考和辅助，提高了疾病诊断的有效性。
3.目前基于磁共振图像的hcc的mvi预测，主要有基于影像组学的方法和深度学习的方法，以影像组学的方法为主。2020年，nebbia等人在多参数的mri图像上基于影像组学特征进行了肝癌mvi预测的研究，主要是利用各种人工定义的特征提取方法，提取高通量的影像学特征进行综合分析，利用传统的机器学习算法建立预测模型，对hcc患者的mvi进行预测；2021年，zhang等人提出利用卷积神经网络对hcc患者的mvi进行预测。基于影像组学方法的不足之处在于影像特征定义和提取受人为因素的影响较大，在临床应用中受到了一些约束。深度学习的方法可以通过大量样本的训练，从低层次的特征抽象为高层次的类别特征，从而完成对hcc患者的mvi预测。目前利用深度学习进行hcc患者mvi预测的研究有了一些初步的结果，但是目前的方法大多没有考虑hcc患者mri图像之间的相似性或者图像的细粒度特征。


技术实现要素：

4.由于现有的深度学习的方法忽略了hcc患者mri图像之间的相似性或者图像的细粒度特征，导致mvi预测模型准确率不高，为了解决该技术问题，本发明提供了一种基于三元组网络的肝脏肿瘤mvi预测模型，利用三元组网络对图像之间的相似性进行学习，构建深度学习模型，用于hcc患者的术前mvi诊断，能更有效的对mvi进行预测。
5.本发明提供一种基于三元组网络的肝脏肿瘤mvi预测方法，包括：
6.步骤1：将患者的肝脏mri图像数据划分为训练集和测试集；从训练集中选取三个样本，组成一个三元组样本；
7.步骤2：构造一个三元组网络模型，所述三元组网络模型由三路结构相同的卷积神经网络构成，所述三元组网络模型每次接受一个所述三元组样本作为输入；
8.步骤3：通过所述三元组网络模型将输入的所述三元组样本转换为嵌入层空间上的向量，计算三元组损失tl，并利用三元组网络模型中的一路卷积神经网络计算交叉熵损
失cel，将所述三元组损失tl和所述交叉熵损失cel融合，作为训练所述三元组网络模型的目标损失函数；
9.步骤4：采用所述训练集训练所述三元组网络模型，得到最优的三元组网络模型，采用训练好的三元组网络模型对所述测试集中的肝脏mri图像数据进行肝脏肿瘤mvi预测。
10.进一步地，步骤1中，所述训练集中的肝脏mri图像包括mvi患者的肝脏mri图像和非mvi患者的肝脏mri图像两种类型；
11.对应地，所述从训练集中选取三个样本，组成一个三元组样本具体为：
12.在所述训练集中随机选取一个样本，称为锚样本；然后从所述训练集中分别再选择一个和锚样本同类的样本作为正样本，一个和锚样本异类的样本作为负样本；所述锚样本、正样本和负样本组成三元组样本。
13.进一步地，步骤2中，所述卷积神经网络包括级联的若干个相同结构的密集块；所述密集块包括级联的若干个卷积层，在每个卷积层之前设置有se模块，并以前馈方式迭代连接除最后一个卷积层外的所有卷积层的特征输出。
14.进一步地，所述密集块中的每个所述卷积层依次由bn操作、relu函数、1
×
1卷积、bn操作、relu函数和3
×
3卷积层组成。
15.进一步地，所述卷积神经网络中的每两个所述密集块之间依次设置有se模块和过渡层。
16.进一步地，所述se模块依次由全局平均池化层、全连接层、relu函数、全连接层和sigmoid激活函数组成。
17.进一步地，所述过渡层依次由bn操作、1
×
1卷积和2
×
2的平均池化组成。
18.进一步地，所述三元组损失tl的计算公式如公式(1)所示：
[0019][0020]
其中，和分别表示训练集中第i个三元组样本中的锚样本、正样本和负样本；和分别表示当输入图像i分别为和时采用具有共享参数θ的深度学习网络f
θ
(i)对输入图像i进行映射后所得到的三个样本的特征表达式；α表示预设阈值，用于控制锚样本与正样本的距离小于锚样本与负样本的距离；n表示训练集中三元组样本的个数。
[0021]
进一步地，利用所述三元组网络模型中输入样本为锚样本的卷积神经网络，按照公式(2)计算交叉熵损失：
[0022][0023]
其中，m是训练集中的样本个数，y
j
表示正样本j的类别标签，1
‑
y
j
表示负样本的类别标签，p
j
和1
‑
p
j
分别表示正样本和负样本的预测概率。
[0024]
进一步地，按照公式(3)将所述三元组损失tl和所述交叉熵损失cel融合，作为训练所述三元组网络模型的目标损失函数loss
total
：
[0025]
loss
total
＝βcel (1
‑
β)tl
ꢀꢀ
(3)
[0026]
其中，β表示权重系数。
[0027]
本发明的有益效果：
[0028]
(1)采用三元组样本作为输入的输入方式间接地扩大了样本的规模，可以降低由小样本存在的过拟合问题所带来的影响。
[0029]
(2)本发明采用三元组网络进行mvi预测，三元组网络能够将图像像素特征转化为嵌入层的特征向量，通过特征向量去度量样本之间的距离，从而获取细粒度的样本差异信息；提取类内和类间的差异度作为分类的基础，通过对比学习来进行聚类，缩小了同类样本之间的距离，扩展了异类样本之间的距离；从而能够对相似的样本进行差异特征识别。
[0030]
(3)在训练三元组网络模型时，将三元损失和交叉熵损失融合的目标损失函数策略，可以更好地对输入样本对之间的细粒度特征进行建模，对输入样本之间的差异通过学习产生更好的表达输出；
[0031]
(4)构建的三元组网络模型中的每一路卷积神经网络为基于注意力机制的se
‑
densenet网络，可以提取丰富的高层语义特征，并在网络中加入了全局注意力，因此该卷积神经网络有很好的分类识别能力。
附图说明
[0032]
图1为本发明实施例提供的一种基于三元组网络的肝脏肿瘤mvi预测方法的流程示意图；
[0033]
图2为本发明实施例提供的卷积神经网络的结构示意图；
[0034]
图3为本发明实施例提供的se模块的结构示意图；
[0035]
图4为本发明实施例提供的用于mvi预测的三元组网络的结构示意图。
具体实施方式
[0036]
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0037]
结合图1至图4所示，本发明实施例提供一种基于三元组网络的肝脏肿瘤mvi预测方法，如图1所示，包括以下步骤：
[0038]
s101：将患者的肝脏mri图像数据划分为训练集和测试集；从训练集中选取三个样本，组成一个三元组样本；
[0039]
具体地，所述训练集中的肝脏mri图像包括mvi患者的肝脏mri图像和非mvi患者的肝脏mri图像两种类型；
[0040]
对应地，所述从训练集中选取三个样本，组成一个三元组样本具体为：
[0041]
在所述训练集中随机选取一个样本，称为锚样本anchor；然后从所述训练集中分别再选择一个和锚样本同类的样本作为正样本positive，一个和锚样本异类的样本作为负样本negative；所述锚样本、正样本和负样本组成三元组样本。
[0042]
s102：构造一个三元组网络模型，如图4所示，所述三元组网络模型由三路结构相同的卷积神经网络构成，所述三元组网络模型每次接受一个所述三元组样本作为输入；
[0043]
具体地，所述卷积神经网络包括级联的若干个相同结构的密集块，通过密集连接
的方式提取丰富的图像特征；所述密集块包括级联的若干个卷积层，在每个卷积层之前设置有se模块，并以前馈方式迭代连接除最后一个卷积层外的所有卷积层的特征输出。以卷积神经网络包含级联的4个相同结构的密集块为例，卷积神经网络的结构如图2所示。
[0044]
作为一种可实施方式，如图2所示，所述卷积神经网络中的每两个所述密集块之间依次设置有se模块和过渡层。
[0045]
作为一种可实施方式，所述密集块中的每个所述卷积层依次由bn操作、relu函数、1
×
1卷积、bn操作、relu函数和3
×
3卷积层组成。
[0046]
作为一种可实施方式，如图3所示，所述se模块依次由全局平均池化层、全连接层、relu函数、全连接层和sigmoid激活函数组成。由se模块完成对特征通道注意力的提取和重新标定。
[0047]
作为一种可实施方式，所述过渡层依次由bn操作、1
×
1卷积和2
×
2的平均池化组成。
[0048]
s103：通过所述三元组网络模型将输入的所述三元组样本转换为嵌入层空间上的向量，计算三元组损失tl，并利用三元组网络模型中的一路卷积神经网络计算交叉熵损失cel，将所述三元组损失tl和所述交叉熵损失cel融合，作为训练所述三元组网络模型的目标损失函数；
[0049]
具体地，三路卷积神经网络参数共享。通过三元组网络中的嵌入层将图像特征转换为某个向量空间上的表达，使用1范数或者2范数，通过向量空间计算样本对之间的距离，经过计算，嵌入层会产生两个中间值，表示嵌入层中样本对之间特征向量的距离，即：锚样本和正样本(相似)的距离，锚样本和负样本(异类)的距离。
[0050]
作为一种可实施方式，所述三元组损失tl的计算公式如公式(1)所示：
[0051][0052]
其中，和分别表示训练集中第i个三元组样本中的锚样本、正样本和负样本；科分别表示当输入图像i分别为和时采用具有共享参数θ的深度学习网络f
θ
(i)对输入图像i进行映射后所得到的三个样本的特征表达式；α表示预设阈值，用于控制锚样本与正样本的距离小于锚样本与负样本的距离，即：保证这两个差值之间的间距至少要达到α以上；n表示训练集中三元组样本的个数；公式(1)中，“[]
”中的“ ”表达的是只有当括号内公式的值大于零时，所计算的三元组损失才有意义。
[0053]
作为一种可实施方式，利用所述三元组网络模型中输入样本为锚样本的卷积神经网络，暗按照公式(2)计算交叉熵损失：
[0054][0055]
其中，m是训练集中的样本个数，y
j
表示正样本j的类别标签，1
‑
y
j
表示负样本的类别标签，巧和1
‑
巧分别表示正样本和负样本的预测概率。
[0056]
作为一种可实施方式，按照公式(3)将所述三元组损失tl和所述交叉熵损失cel融合，作为训练所述三元组网络模型的目标损失函数loss
total
：
[0057]
loss
total
＝βcel (1
‑
β)tl
ꢀꢀ
(3)
[0058]
其中，β表示权重系数。
[0059]
s104：采用所述训练集训练所述三元组网络模型，得到最优的三元组网络模型，采用训练好的三元组网络模型对所述测试集中的肝脏mri图像数据进行肝脏肿瘤mvi预测。
[0060]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。