基于超声动态序列影像特征的超声分级方法与流程

1.本发明涉及生物医学信息处理技术，特别是一种基于超声动态序列影像特征的超声分级方法。


背景技术：

2.甲状腺最适宜超声检查，在甲状腺病变术前诊断和术后随访中，超声已经成为甲状腺疾病检查的首选方法。甲状腺ti-rads分级是甲状腺影像报告和数据系统分级的简称，指的是在彩超检查中通过甲状腺结节声像图不同特点进行评分分级，可以将甲状腺恶性程度分为1～5级，为避免过度诊断和治疗提供了依据。
3.临床诊断过程中，医生需要根据超声图像的特征对甲状腺进行ti-rads分级，然而超声图像噪声大、对比度低给特征判别带来了困难。
4.影像组学关注肿瘤的全部特征，可以在图像表征与甲状腺组织信息之间建立联系，以期从超声图像中得出诊断，辅助精准治疗。影像组学分析包括图像获取、病灶分割、特征提取、模型筛选及构建等。利用计算机进行智能影像组学分析亟待开展。首先，利用计算机进行病灶的自动分割；然后，针对病灶区域进行自动特征提取；最后，使用训练好的深度学习网络进行智能分级。


技术实现要素：

5.本发明所要解决的技术问题是：如何进一步提高基于深度学习网络模型的超声分级的正确率。
6.本发明解决其技术问题所采用的技术方案是：一种基于超声动态序列影像特征的超声分级方法，包括以下步骤：
7.s1：获取目标组织的超声动态序列图像；
8.s2：提取超声动态序列图像的第1帧图像的目标组织区域的影像特征f1以及帧间差图像的目标组织区域的影像特征f
2,1
、f
3,2
、直至f
n,n-1
，帧间差图像包括第2帧与第1帧图像的帧间差图像i
2,1
、第3帧与第2帧图像的帧间差图像i
3,2
、直至第n帧与第n-1帧图像的帧间差图像i
n,n-1
；
9.s3：融合第1帧图像的影像特征f1和帧间差图像的影像特征f
2,1
、f
3,2
、直至f
n,n-1
，构成整个超声动态序列的影像特征f；
10.s4：将超声动态序列的影像特征f导入完成训练的深度学习网络模型中进行分级。
11.进一步限定，提取帧间差图像的目标组织区域的影像特征f
2,1
、f
3,2
、直至f
n,n-1
的方法为包括以下步骤：首先对超声动态序列图像的各帧图像进行分割，分割出目标组织区域；然后基于完成分割的超声动态序列图像的各帧图像获取帧间差图像i
2,1
、i
3,2
、直至i
n,n-1
；再然后基于获取的帧间差图像i
2,1
、i
3,2
、直至i
n,n-1
提取帧间差图像的目标组织区域的影像特征f
2,1
、f
3,2
、直至f
n,n-1
。
12.更进一步限定，对超声动态序列图像的各帧图像进行分割，分割出目标组织区域
的方法为包括以下步骤：首先对超声动态序列图像的其中一帧图像进行人工分割；然后以人工分割的一帧图像的目标组织区域为参考，利用图像分割算法分割出超声序列中其他帧图像的目标组织区域。
13.更进一步限定，以人工分割的一帧图像的目标组织区域的初始轮廓线为参考，图像分割算法为水平集算法。
14.进一步限定，影像特征具体为灰度特征、纹理特征或形状特征。
15.更进一步限定，灰度特征具体为直方图特征，纹理特征具体为灰度共生矩阵特征或灰度区域大小矩阵特征，形状特征具体为2d形状特征。
16.为进一步提高分级精度，进一步限定，步骤s3中通过权重法对影像特征进行融合，各个影像特征的权重相等，在步骤s4中的采用的深度学习网络模型为预训练权重的分类深度网络模型，该预训练权重的分类深度网络模型，使用已经分级的超声动态序列图像为训练样本进行训练，并在训练过程中进行网络参数的微调和权重的更新，直至网络模型收敛，完成训练。
17.更进一步限定，权重法具体为矩阵加权特征拼接方法，f＝[α1f1,α
2,1f2,1
,α
3,2f3,2
,...,α
n,n-1fn,n-1
]，其中，α1、α
2,1
、α
3,2
、直至α
n,n-1
为权重，并且，α1 α
2,1
... α
n,n-1
＝1。
[0018]
进一步限定，目标组织为甲状腺或乳腺，甲状腺分级标准为ti-rads分级标准。
[0019]
本发明的有益效果：(1)超声图像具有动态优势，通过超声动态序列图像获得的帧间差图像可以更好的体现出目标组织如甲状腺的动态变化，从而提取到差异性更加明显的表征特征，提高分级精度；同时，针对帧间差图像进行特征提取，可以降低计算的复杂度，提高计算效率，更好的应用于临床检查诊断过程中。
[0020]
(2)同时本发明使用权重法对特征进行融合，并在深度学习网络模型的训练过程中进行权重的更新，对于分级精度贡献度高的特征赋予高权重值，对于分级精度贡献度低的特征赋予低权重值，从而得到一个更加有利于高精度分级的融合特征，进一步提高超声分级的精度。
附图说明
[0021]
图1是本发明的流程图。
具体实施方式
[0022]
以目标组织为甲状腺，进行甲状腺ti-rads分级为例，本发明的基于超声动态序列影像特征的超声分级方法，包括以下步骤：
[0023]
s1：获取目标组织的超声动态序列图像。
[0024]
该s1步骤具体为：使用西门子彩色多普勒超声诊断系统acuson nx2采集甲状腺部位的超声图像，采集时长2s，共60帧超声动态序列图像。
[0025]
s2：提取超声动态序列图像的第1帧图像的目标组织区域的影像特征f1以及帧间差图像的目标组织区域的影像特征f
2,1
、f
3,2
、...、f
n,n-1
，帧间差图像包括第2帧与第1帧图像的帧间差图像i
2,1
、第3帧与第2帧图像的帧间差图像i
3,2
、...、第n帧与第n-1帧图像的帧间差图像i
n,n-1
。
[0026]
该s2步骤具体为：
[0027]
s2.1：由医生对超声动态序列图像的第1帧图像进行人工分割；
[0028]
s2.2：以人工分割的第1帧图像的目标组织区域为参考，利用图像分割算法分割出超声序列中其他帧图像的目标组织区域。参考对象具体为目标组织区域的初始轮廓线，图像分割算法为水平集算法。
[0029]
水平集算法为：
[0030][0031][0032][0033]
其中，是轮廓线上的积分，是轮廓线内部的能量积分，h是heaviside积分。g的形式如下：
[0034][0035]
其中，是梯度的偏微分。
[0036]
s2.3：提取人工分割的第1帧图像的目标组织区域的影像特征f1。
[0037]
s2.4：基于完成分割的超声动态序列图像的各帧图像获取帧间差图像，帧间差图像包括第2帧与第1帧图像的帧间差图像i
2,1
、第3帧与第2帧图像的帧间差图像i
3,2
、...、第n帧与第n-1帧图像的帧间差图像i
n,n-1
。帧间差图像一共有59幅。
[0038]
帧间差图像i
m,m-1
＝i
m-i
m-1
,m∈{2,...,n}
[0039]
其中，im指的是超声序列的第m帧图像，i
m-1
指的是超声序列的第m-1帧图像，n为采集到超声数据的序列总数。
[0040]
s2.5：基于获取的帧间差图像i
2,1
、i
3,2
、...、i
n,n-1
提取帧间差图像的目标组织区域的影像特征f
2,1
、f
3,2
、...、f
n,n-1
。
[0041]
在步骤s2.3和步骤s2.5中具体采用pyradiomics软件提取影像特征，pyradiomics是-个开源的python软件包，可以从医学影像中提取出影像特征。影像特征可以是灰度特征、纹理特征和形状特征中的一种。
[0042]
灰度特征可以具体为直方图特征，灰度特征包含的特征信息包括能量、总能量、熵、最小特征值、平均特征值、最大特征值、均方差、峰度、偏度、方差和均匀度。
[0043]
纹理特征可以具体为灰度共生矩阵特征或灰度区域大小矩阵特征，灰度共生矩阵特征包含的特征信息包括自相关、联合平均、对比度、相关性、最大相关系数、和平均、和熵、和方差、联合能量、联合熵和最大相关系数。
[0044]
形状特征具体为2d形状特征，形状特征包含的特征信息包括表面积、最大直径和直径比。
[0045]
s3：融合第1帧图像的影像特征f1和帧间差图像的影像特征f
2,1
、f
3,2
、...、f
n,n-1
，构成整个超声动态序列的影像特征f。
[0046]
步骤s3中通过权重法对影像特征进行融合，各个影像特征的权重相等，权重法具体为矩阵加权特征拼接方法，
[0047]
f＝[α1f1,α
2,1f2,1
,α
3,2f3,2
,...,α
n,n-1fn,n-1
]
[0048]
其中，α1、α
2,1
、α
3,2
、...、α
n,n-1
为权重，α1 α
2,1
... α
n,n-1
＝1。
[0049]
在本实施例中，n＝60，权重α1,α
2,1
,...,α
60,59
均为1/60。
[0050]
s4：将超声动态序列的影像特征f导入完成训练的深度学习网络模型中进行分级。
[0051]
在该步骤s4中的采用的深度学习网络模型为预训练权重的分类深度网络模型，该预训练权重的分类深度网络模型，使用已经分级的超声动态序列图像为训练样本进行训练，并在训练过程中进行网络参数的微调和权重的更新，直至网络模型收敛，完成训练。
[0052]
具体地，分类深度网络模型为resnet，已经分级的超声动态序列图像由超声科医生完成，按照ti-rads分级标准，共分为4级，在迁移学习的过程中进行网络参数的微调和权重α1,α
2,1
,...,α
60,59
的更新。
[0053]
利用未做分级的甲状腺超声动态序列图像使用本发明的基于超声动态序列影像特征的超声分级方法进行ti-rads分级，分级正确率可以达到90％以上。
[0054]
本发明除了可以用于甲状腺ti-rads分级，还可以用于乳腺的分级，可以取得基本相同的技术效果。