一种基于CTA图像的适用于不同分割模型的改进因子的制作方法

一种基于cta图像的适用于不同分割模型的改进因子
技术领域
1.本发明涉及医疗图像处理，尤其涉及cta图像区域分割技术领域，特别是提供一种基于cta图像的适用于不同分割模型的改进因子。


背景技术：

2.主动脉血管疾病往往病情凶险、进展速度快、病死率高。主动脉ct血管成像(computed tomography angiography,cta)技术已经成为对主动脉及其重要分支血管病变做检查的主要手段。主动脉cta为临床的研究工作提供了较为丰富的定性及定位资料。而借助于医疗图像分析技术，实现对于cta的快速准确分析，则可以为医务工作者省却很大工作量，从而使医生有更多的时间解决其他问题。
3.u
‑
net采用类似encoder
‑
decoder的结构方式，先在降采样环节使用多次卷积池化操作做为特征提取；同时这些特征又在上采样过程中得到重用，有效的提升了上采样的特征精度。u
‑
net的良好性能得到了众多科研工作者的青睐。在医学图像分析任务中，人们使用u
‑
net进行处理图像，并做了多种改进以更好的适应不同任务，比如u2
‑
net,unet3 等。
4.ce(cross entropy)在分类问题中取得了不错的效果，但是对于一些细节的部分就不怎么能够奏效，原因在于这些细节在整个图像中占比不高，而且有这些细节的图像在整个数据集里占比也不高。如图1a、b，这种因疾病导致血管变形的样例本就占比不多，而且该区域占整张图像的像素点数量也不多。图中横轴均是是背景像素点数量占比，纵轴分别是频数及背景和前景像素点数量的比值。从整个数据集里可以看出来，背景和前景的像素点数量的占比偏差很大。这个问题所带来的结果是，模型对于血管的不规则区域关注度不够高，导致特征提取不够准确。
5.wce(weighted cross entropy)则很好的解决了这个问题。wce是在ce计算的基础上，添加了权重因子。但是，由于在每张cta切面里，血管区域和非血管区域之间的像素点比例失衡，血管区域所占像素点过少，导致难以优化而且很重要的血管区域所传递出的反馈信息并没有得到足够大的重视，模型的优化过程变慢，性能受到限制。病变程度严重的切面所占比重不高，容易被模型忽略，但这些病变严重的切面却常常是诊断过程中关键的切面，对这些切面的分割效果差将导致医生损失重要的参考信息。
6.本发明使用改进之后的因子——加权因子及调制因子，基于多变化性的cta切面，对主动脉血管区域进行分割。使得最终的分割精度得到提升，并同时提升训练速度和训练的稳定性。


技术实现要素：

7.本发明的一个目的是，针对现有技术中存在的血管区域像素点比例失衡难以优化而且模型的优化过程变慢的问题，提出一种基于cta图像的适用于不同分割模型的改进因子。
8.本发明的另一个目的是，针对现有技术中存在的诊断过程中关键的病变严重的切
面分割效果差的问题，提出一种基于cta图像的适用于不同分割模型的改进因子。
9.本发明所提出的改进因子，具体包括加权因子及调制因子，其中，加权因子为软权重，调制因子为focal 因子及exp因子；具体如下：
10.1、软权重：
11.使用交叉熵(cross entropy，ce)损失函数，加权的ce损失函数表示如下：
[0012][0013]
其中，图像大小是m*n，weight是权，其中的weight
k
是第k类的权重。h
_i，j
是位置(i,j)处像素值；
[0014]
硬权重的加权方法如下：
[0015]
nump是所有类别点的总数，n
k
是k类点的数量，hardw
k
是硬权重方式。
[0016][0016][0017]
t
i，j
∈c
k
[0018]
本发明针对不同类别间像素点所占比重失衡的问题，提出了软权重(soft weight，以下简称sw)的加权方式。
[0019]
mt，nt分别是两个超参，
[0020][0021]
hsw＝h
wce
(sw)，hw＝h
wce
(hardw)
[0022]
其中，hsw为使用软权重的加权方法，hw为使用硬权重的加权方法；
[0023]
2、focal 因子：
[0024]
本发明的改进之后的focal 因子计算公式如下，设置β值为基线(baseline)的值，使得每个样本都有一些基础性权重值而不为0。在本发明的实施例中设置β值为1。当β值为0时，即为原版的focalloss。
[0025]
h
focal
＝[β (1
‑
p)
γ
]h
wce
[0026]
其中，β不等于0。
[0027]
3、exp因子：
[0028]
本发明提出的exp版本的focal使用exp(1
‑
p)作为调制系数，p是ce计算的结果，当x趋近于0的时候，exp趋近于1。这也就意味着，即使在x趋近于0的时候，模型依旧可以有很快的收敛速度。计算公式如下：
[0029]
h
expfocal
＝e
(1
‑
p)
h
wce
。
[0030]
本发明一种基于cta图像的适用于不同分割模型的改进因子，优点及效果在于：基于多变化性的cta切面，对主动脉血管区域进行分割，使得最终的分割精度得到提升，并同时提升训练速度和训练的稳定性。本发明作为首个在复杂病变的cta图像里实现血管区域
分割的方法，将极大辅助医生对主动脉血管信息的掌握，从而加快医生的工作进度。本发明从像素区域层面和切面层面，分别提出新的加权因子和新的调制因子，提升模型训练速度，增强模型训练的稳定性。加权因子平衡血管区域和非血管区域之间，使得血管区域得到更强的重视程度。调制因子增强了占比小的严重病变切面所传达信息的强度，利于模型泛化性能的提升。
附图说明
[0031]
图1a、b所示为背景技术中因疾病导致血管变形的样例在整个数据集的占比；
[0032]
图2a、b所示为本发明实施例硬权重和软权重的加权方法两个类别的权重值之间的对比；
[0033]
图3a、b所示为本发明实施例exp因子和focal 因子的函数值和导数值对比；
[0034]
图4a～d所示为本发明实施例不同模型针对困难样本及容易样本在训练过程中的处理效果；
[0035]
图5a～d所示为本发明实施例不同加权方式的效果对比。
具体实施方式
[0036]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本发明而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本发明所要求保护的技术方案。
[0037]
本发明提供一种基于cta图像的适用于不同分割模型的改进因子，所述的改进因子，具体包括加权因子及调制因子，其中，加权因子为软权重，调制因子为focal 因子及exp因子；具体如下：
[0038]
1、软权重：
[0039]
使用cross entropy损失函数，加权的ce损失函数表示如下：
[0040][0041]
其中，图像大小是m*n，weight是权，其中的weight
k
是第k类的权重。h
_i，j
是位置(i，j)处像素值；
[0042]
硬权重的加权方法如下：
[0043]
nump是所有类别点的总数，n
k
是k类点的数量，hardw
k
是硬权重方式。
[0044][0044][0045]
t
i，j
∈c
k
[0046]
本发明针对不同类别间像素点所占比重失衡的问题，提出了软权重(soft weight，以下简称sw)的加权方式。
[0047]
mt，nt分别是两个超参，
[0048][0049]
hsw＝h
wce
(sw)，hw＝h
wce
(hardw)
[0050]
其中，hsw为使用软权重的加权方法，hw为使用硬权重的加权方法。
[0051]
图2a、b为本发明实施例硬权重和软权重的加权方法两个类别的权重值之间的对比。
[0052]
2、focal 因子：
[0053]
在目标检测的任务中，会遇到难易样本不均衡问题，就是会遇到分类不明确的边框。这个问题体现在分割场景中，就是分割的难易程度。不常见的血管形态就会更难分割出来，可能会漏分割出一部分或者是误分割出一部分，这就是难样本。同样的道理，这样的样本所占的样本量是少的，难易样本不均衡问题同样存在。
[0054]
focalloss的思想是通过训练过程中的概率值，动态调整难易样本间的权重，使得模型不仅学会容易样本，更可以解决困难样本。
[0055]
本研究提出的改进之后的focal 因子计算公式如下，设置β值为基线(baseline)的值，使得每个样本都有一些基础性权重值而不为0。在本发明的实施例中设置β值为1。当β值为0时，即为原版的focalloss。
[0056]
h
focal
＝[β (1
‑
p)
γ
]h
wce
[0057]
其中，β不等于0。
[0058]
3、exp因子：
[0059]
但是在原版的focalloss及所述的focal 中，x.^n这种方式在x趋近于0的时候，x.^n同样是趋近于0的，也就意味着在概率调整过程中，其优化速度会很慢。本发明提出的exp版本的focal则使用exp(1
‑
p)作为调制系数，p是ce计算的结果；exp(n)与x.^(n)的差别在于，当x趋近于0的时候，exp趋近于1，而x.^n趋近于0。这也就意味着，即使在x趋近于0的时候，模型依旧可以有很快的收敛速度。差别也体现在loss值反馈的尺度大小上。计算公式如下：
[0060]
h
expfocal
＝e
(1
‑
p)
h
wce
。
[0061]
图3a、b对比了exp因子和focal 因子的函数值和导数值。图中可以看出exp因子在x趋近与0的时候依旧可以有较大的梯度回传值，而focal 在x趋近于0的时候，其梯度回传值趋近于0。这种特点使得他们适合于不同的模型。
[0062]
需要说明的是，本发明所述的改进因子，可以适用于不同分割模型；具体来说，在所关注的类别占比少的时候，需要进行加权，从而使用加权因子，即使用本发明提出的软权重进行加权则更有效。
[0063]
在困难样本少的时候，需要在样本层面更加关注困难样本，从而使用调制因子，即所述的focal 因子及exp因子两种新的因子。
[0064]
实施例1
[0065]
在本实施例中，图4a、b为困难样本示例，其中图4a为困难样本，虚线圈住的是目标区域，图4b为不同模型在训练过程中对此困难样本处理效果的变化趋势，横轴是训练轮数，
纵轴是iou。图4c、d为容易样本示例，其中图4c为是一个容易样本，虚线圈住的是目标区域，图4d为是不同模型在训练过程中，对此容易样本处理效果的变化趋势，横轴是训练轮数，纵轴是iou。
[0066]
其中，nw是代表没有权重的，可以看出在困难样本中，nw则iou一直不高，而其他组合的则会很高，在容易样本中，各项组合均很高。具体的：sw、e、f1、f0分别代表软权重、exp因子、focal 因子(取β为1)、focal 因子(β取0)；se、sf0、sf1为sw与e、f0、f1的组合。
[0067]
实施例2
[0068]
在本实施例中，为采用不同加权方式的deeplabv3 、u2net、u3 net、densenet四个模型在训练过程中的miou变化趋势，如图5a～d所示。其中，dl、u2、u3、d分别代表deeplabv3 、u2net、u3 net、densenet四个模型，sw代表软权重，w代表硬权重，nw代表不加权重。可以看出软权重的方法可以有效提升模型训练的速度，缩短到达较高miou数值的时间，并且训练过程更为稳定。
[0069]
实施例3
[0070]
在本实施例中，如下表1为不同改进因子及其组合的效果对比。各项均代表与不加权重的比较，向上的箭头代表提升或者增强，向下的箭头代表降低。f和e分别代表波动程度和提早收敛。比如f
↓
代表波动降低，e
↑
代表提早收敛。约等于号表示效果相近。sw、e、f1、f0分别代表软权重，exp因子，focal 因子(取β为1)，focal 因子(β取0)。se、sf0、sf1为sw与e、f0、f1的组合。
[0071][0072]
表1
[0073]
如下表2是不同模型和不同组合方式下的miou值。
[0074][0075]
表2
[0076]
从两个表中可以看出，软权重的方法有助于模型及早收敛，降低波动性。f0，f1，exp等调制因子有助于模型的加快模型训练。软权重和调制因子的结合，有助于模型同时保持较快的训练速度并增强训练的稳定性。不同的模型最适合的损失函数并不一样，在最佳
的模式里，可以保持较高miou值的同时，有很稳健的训练过程。
[0077]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本发明而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本发明所要求保护的技术方案。