基于多尺度卷积网络及主动学习的缺血性脑卒中分型方法与流程

1.发明涉及深度学习及主动学习技术领域，具体为基于多尺度卷积网络及主动学习的缺血性脑卒中分型系统。


背景技术：

2.脑卒中是全球高致死率、高致残率的疾病，其中缺血性脑卒中占比最高。不同病因导致的缺血性脑卒中，在治疗、康复、护理等过程中存在不同的需求。病因分型不仅可以提高患者分类诊疗的有效性，同时也可以进一步优化医院资源管理。
3.近来，缺血性脑卒中病因分型的方法主要分为三大类：基于传统临床分析的方法，基于机器学习的方法以及基于深度学习的方法。基于传统临床分析的方法依靠临床医生的经验和疾病指南进行人工的病因分型；基于机器学习的方法则借助机器学习算法实现病因分型，但由于不可解释性限制了其临床应用。同时，上述方法均需要依赖优质的临床大数据和医生的临床经验作为支撑。这些都导致上述方法推广有限，精度较低。


技术实现要素：

4.针对现有技术的不足，本发明提供了基于多尺度卷积网络及主动学习的缺血性脑卒中分型系统，解决了上述背景技术中提出的问题。
5.本发明技术方案如下：
6.基于多尺度卷积网络及主动学习的缺血性脑卒中分型系统，包括：
7.数据预处理模块，所述数据预处理模块将采集到患者数据根据缺血性脑卒中患者信息各项特征的特征重要性进行降序排列，形成原始数据集；
8.模型建立模块，所述模型建立模块采用多尺度的因果卷积网络建模缺血性脑卒中患者病因分型的分型模型；
9.数据分类模块，所述数据分类模块将所述原始数据集中的患者特征代入到所述分型模型中进行病因分型；
10.数据集更新模块，所述数据集更新模块利用混合不确定度根据数据分类模块对原始数据集分类时的分类难易程度选择更具分类难度的患者数据增加至原始数据集中形成新数据集；
11.终分型模块，所述终分型模块将所述新数据集中的患者特征代入到所述分型模型中，最终对缺血性脑中卒患者的病因进行分类。
12.进一步，所述数据预处理模块中的信息增益ig(x)根据下式确定：
13.ig(x)＝h(c)-h(c|x)
14.其中，h(c)代表各类别的信息熵，h(c|x)代表条件熵；
15.所述各类别的信息熵h(c)根据下式确定：
16.17.其中，k代表类别数量，p(ci)代表每类出现的概率，ci＝c1，c2，c3...，ck；
18.所述条件熵h(c|x)根据下式确定：
[0019][0020]
其中，p(x)代表特征x在所有类别中的出现概率，代表特征x在所有类别中不出现的概率，p(ci|x)代表出现特征x的情况下是ci类的概率，代表没有出现x的情况下是ci类的概率。
[0021]
进一步，出现特征x的情况下是ci类的概率p(ci|x)的计算方式：ci类中出现x的患者数除以总的出现x的患者数；
[0022]
没有出现特征x的情况下是ci类的概率的计算方式：ci类中没有出现x的次数除以总类中没有出现x的次数。
[0023]
进一步，所述模型建立模块的具体建立过程如下：
[0024]
步骤41、选取不同尺度的步长，其填补方式为因果填补，形成多尺度因果卷积网络；
[0025]
步骤42、通过组合不同层次的卷积层和池化层形成多尺度拼接；
[0026]
步骤43、结合kullback-leibler(kl)散度的focal损失函数作为模型训练过程中的损失函数；
[0027]
步骤44、将基于信息增益排序过所形成的原始数据集作为输入，经过步骤43中的卷积神经网络进行训练形成分型模型并保存。
[0028]
进一步，所述步骤s43中多尺度的因果卷积神经网络训练过程中采用结合kl散度的 focal损失函数，其计算根据下式确定：
[0029][0030]
其中，x为患者，p为模型预测的类别分布，q为真实的类别分布，fl(p
x
)表示训练过程中的focal损失；kl(p||q)表示预测类别分布和真实类别分布的kl散度。
[0031]
进一步，训练过程中focal损失fl(p
x
)根据下式确定：
[0032]
fl(p
x
)＝-(1-p
x
*q
x
)
γ
log(p
x
)
[0033]
其中，p
x
代表模型对患者x的预测分布，q
x
代表患者x的真实的类别分布，γ为聚焦参数；
[0034]
训练过程中预测类别分布和真实类别分布的kullback-leibler散度kl(p||q)根据下式确定；
[0035][0036]
进一步，所述数据集更新模块的具体更新过程如下：
[0037]
步骤71、获取原始数据集所有数据经过分型模型进行预测分布；
[0038]
步骤72、计算原始数据集中所有数据的混合不确定度；
[0039]
步骤73、基于混合不确定度对原始数据集中的所有数据进行重新降序排序；
[0040]
步骤74、选择步骤73中重新排序后的数据中部分排序靠前的数据增加至原始数据集，新城新数据集。
[0041]
进一步，所述步骤32中混合不确定度的计算根据下式确定；
[0042]
x
*
＝arg min
i＝1，2，3...，k
(α*xa (1-α)*xb)
[0043]
其中，xa为基于熵的不确定度，xb为基于margin的不确定度，α为不大于1的权衡系数。
[0044]
进一步，基于熵的不确定度xa的计算根据下式确定；
[0045][0046]
其中，病人预测类别中最大可能性类型的概率；
[0047]
基于margin的不确定度xb的计算根据下式确定；
[0048][0049]
其中，为病人预测类别中第二大可能性类型的概率。
[0050]
进一步，所述终分型模块的具体工作过程如下：
[0051]
步骤101、获取数据集更新模块得到的新数据集；
[0052]
步骤102、将新数据集作为分型模型的输入，进行模型训练；
[0053]
步骤103、重复前述训练，直到分型模型达到预期性能或者迭代到一定次数，达到性能上限。
[0054]
有益效果
[0055]
相对于现有技术，本发明提供的基于多尺度卷积网络及主动学习的缺血性脑卒中分型系统，具备以下有益效果：
[0056]
本发明采用因果卷积网络构建分类模型，对降序排序后的患者信息进行分析，模拟医生的工作过程，有效的提高了深度学习模型的可解释性；采用主动学习策略，将不好分类的信息补入原始数据集中，作为新的数据集代入数据分类模块进行最终分类，解决了高质量临床数据有限的问题；采用结合kl散度的focal损失函数，避免了主动学习循环中出现模型过拟合，提高了缺血性脑卒中患者的病因分型精度。
具体实施方式
[0057]
下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
[0058]
基于多尺度卷积网络及主动学习的缺血性脑卒中分型系统，包括：
[0059]
数据预处理模块，所述数据预处理模块将采集到患者数据根据缺血性脑卒中患者信息各项特征的特征重要性进行降序排列，形成原始数据集；
[0060]
模型建立模块，所述模型建立模块采用多尺度的因果卷积网络建模缺血性脑卒中患者病因分型的分型模型；
[0061]
数据分类模块，所述数据分类模块将所述原始数据集中的患者特征代入到所述分型模型中进行病因分型；
[0062]
数据集更新模块，所述数据集更新模块利用混合不确定度根据数据分类模块对原始数据集分类时的分类难易程度选择更具分类难度的患者数据增加至原始数据集中行程新数据集；
[0063]
终分型模块，所述终分型模块将所述新数据集中的患者特征代入到所述分型模型
中，最终对缺血性脑中卒患者的病因进行分类。
[0064]
所述数据预处理模块中的信息增益ig(x)根据下式确定：
[0065]
ig(x)＝h(c)-h(c|x)
[0066]
其中，h(c)代表各类别的信息熵，h(c|x)代表条件熵；
[0067]
所述各类别的信息熵h(c)根据下式确定：
[0068][0069]
其中，k代表类别数量，p(ci)代表每类出现的概率，ci＝c1，c2，c3...，ck；
[0070]
所述条件熵h(c|x)根据下式确定：
[0071][0072]
其中，p(x)代表特征x在所有类别中的出现概率，代表特征x在所有类别中不出现的概率，p(ci|x)代表出现特征x的情况下是ci类的概率，代表没有出现x的情况下是ci类的概率。
[0073]
出现特征x的情况下是ci类的概率p(ci|x)的计算方式：ci类中出现x的患者数除以总的出现x的患者数；
[0074]
没有出现特征x的情况下是ci类的概率的计算方式：ci类中没有出现x的次数除以总类中没有出现x的次数。
[0075]
所述模型建立模块的具体建立过程如下：
[0076]
步骤41、选取不同尺度的步长，其填补方式为因果填补，形成多尺度因果卷积网络；
[0077]
步骤42、通过组合不同层次的卷积层和池化层形成多尺度拼接；
[0078]
步骤43、结合kullback-leibler(kl)散度的focal损失函数作为模型训练过程中的损失函数；
[0079]
步骤44、将基于信息增益排序过所形成的原始数据集作为输入，经过步骤43中的卷积神经网络进行训练形成分型模型并保存。
[0080]
所述步骤s43中多尺度的因果卷积神经网络训练过程中采用结合kl散度的focal损失函数，其计算根据下式确定：
[0081][0082]
其中，x为患者，p为模型预测的类别分布，q为真实的类别分布，fl(p
x
)表示训练过程中的focal损失；kl(p||q)表示预测类别分布和真实类别分布的kl散度。
[0083]
训练过程中focal损失fl(p
x
)根据下式确定：
[0084]
fl(p
x
)＝-(1-p
x
*q
x
)
γ
log(p
x
)
[0085]
其中，p
x
代表模型对患者x的预测分布，q
x
代表患者x的真实的类别分布，γ为聚焦参数；
[0086]
训练过程中预测类别分布和真实类别分布的kullback-leibler散度kl(p||q)根据下式确定；
[0087][0088]
所述数据集更新模块的具体更新过程如下：
[0089]
步骤71、获取原始数据集所有数据经过分型模型进行预测分布；
[0090]
步骤72、计算原始数据集中所有数据的混合不确定度；
[0091]
步骤73、基于混合不确定度对原始数据集中的所有数据进行重新降序排序；
[0092]
步骤74、选择步骤73中重新排序后的数据中部分排序靠前的数据增加至原始数据集，新城新数据集。
[0093]
所述步骤32中混合不确定度的计算根据下式确定；
[0094]
x
*
＝arg min
i＝1，2，3...，k
(α*xa (1-α)*xb)
[0095]
其中，xa为基于熵的不确定度，xb为基于margin的不确定度，α为不大于1的权衡系数。
[0096]
基于熵的不确定度xa的计算根据下式确定；
[0097][0098]
其中，病人预测类别中最大可能性类型的概率；
[0099]
基于margin的不确定度xb的计算根据下式确定；
[0100][0101]
其中，为病人预测类别中第二大可能性类型的概率。
[0102]
所述终分型模块的具体工作过程如下：
[0103]
步骤101、获取数据集更新模块得到的新数据集；
[0104]
步骤102、将新数据集作为分型模型的输入，进行模型训练；
[0105]
步骤103、重复前述训练，直到分型模型达到预期性能或者迭代到一定次数，达到性能上限。
[0106]
实验过程说明
[0107]
1.实验数据集的选择
[0108]
本发明专利的实验数据集选自2014-2016年aaa医院收治的神经科病人中采集的脑卒中患者临床数据，其中包括2310名中风患者的临床特征数据，每名患者有122项特征。在该数据集中，toast亚型在患者中的分布情况如下表：
[0109]
缺血性中风病因亚型病人人数亚型比例大动脉粥样硬化129056％心血管栓塞1075％小动脉闭塞55024％其它确定的原因813％不明原因28212％
[0110]
2、实验设置
[0111]
在本发明中，所有实验均基于英特尔酷睿
tm
i7-8700k处理器，频率为3.70ghz，内存为32gb，一个nvidia geforce gtx 1080 ti和ubuntu 18.04操作系统。在scikit-learn 0.22.1和keras 2.2.4中训练模型，以tensrflow 1.12.0作为后端。采用10折交叉验证来评
估这些模型，并且epochs和批次大小设置为100和32。
[0112]
3、评价指标
[0113]
准确率，
[0114]
roc曲线下面积，auc；
[0115]
精确率，
[0116]
召回率，
[0117]
f1份数，
[0118]
其中，tp、tn、fp和fn分别代表真阳性、真阴性、假阳性和假阴性。
[0119]
4.不同版本的因果卷积神经网络模型(cnn)的比较实验
[0120]
利用4个版本的因果卷积神经网络模型(即cnn-v1、cnn-v2、cnn-v3、cnn-v4)实验前述数据集，并计算各版本因果卷积神经网络模型的实验结果如下表：
[0121][0122][0123]
由上表，可以看出cnn-v4版本的因果卷积神经网络模型的各项评价指标均为最佳，因此，本发明采用cnn-v4版本的因果卷积神经网络模型。
[0124]
5、不同基线模型的比较
[0125]
模型accaucprerecf1分数nb50.23％60.54％44.93％50.23％42.31％multinomial nb17.28％54.02％44.71％17.28％20.70％dt54.21％61.38％45.38％54.21％45.94％rf56.71％65.32％48.65％56.71％47.55％et57.86％65.04％50.22％57.86％50.16％cart44.31％54.76％45.27％44.31％45.57％gdbt56.39％59.56％43.21％56.39％45.44％xgboost56.05％64.53％47.34％56.05％47.02％adaboost54.09％58.12％46.39％54.09％47.16％lda56.47％63.02％45.77％56.47％46.53％qda26.16％56.67％41.11％26.16％20.39％lr55.65％63.09％44.52％55.65％42.90％knn53.66％60.31％45.13％53.66％45.64％svm56.46％62.28％44.61％56.46％45.70％nn55.39％51.92％36.49％55.39％40.83％mlp53.53％50.15％31.40％53.53％39.56％
lstm12.95％55.44％49.78％12.95％12.52％lstm att8.79％57.81％27.01％8.79％6.34％bi-lstm19.23％60.32％70.09％19.23％19.24％bi-lstm att15.15％60.2％69.86％15.15％14.46％cnn-v460.2％67.57％62.13％60.20％51.41％
[0126]
由上表可知，本发明提供的模型除了精确率以外的所有指标都优于其它基线模型，虽然本发明提供的模型的精确率低于bi-lstm和bi-lstm att模型，但是均优于其它大部分模型。
[0127]
6、不同损失函数的比较
[0128]
损失函数accaucprerecf1分数平均绝对误差46.47％51.00％38.86％46.47％31.15％平均绝对百分比误差49.33％50.80％44.57％49.33％33.83％均方误差51.89％56.64％50.85％51.89％39.08％均方对数误差56.43％59.28％58.95％56.43％46.93％分类交叉熵46.65％65.15％59.40％56.60％48.63％kl散度56.60％65.32％59.39％22.87％48.15％焦点损失22.87％61.04％57.04％50.20％23.79％kl-focal损失60.20％67.57％60.20％62.13％51.41％
[0129]
由上表，可以看出，本发明提出的kl-focal损失的性能明显优于其它类型的损失函数。
[0130]
7.主动选择准则不同策略的比较
[0131]
根据前述的结果，比较是在配备kl-focal损失的cnn-v4模型上进行的；分别比较单独结合基于熵的不确定度、单独结合基于margin的不确定度、结合混合不确定度分类后的各项指标，在比较混合不确定度时，比较权衡系数α不同的取值时的各项指标，具体比较结果入下表：
[0132] accaucprerecf1分数cnn-v4 kl-focal60.20％67.57％60.20％62.13％51.41％基于熵的不确定度58.85％74.06％64.31％58.85％57.17％基于margin的不确定度59.67％73.83％64.82％59.67％57.98％α＝0.160.10％74.35％65.81％60.10％58.47％α＝0.360.60％74.40％66.05％60.60％58.88％α＝0.558.79％73.44％64.73％58.79％57.53％α＝0.759.30％73.99％65.36％59.30％58.13％α＝0.959.08％74.25％65.80％59.08％57.65％
[0133]
由上表可以明显看出，单纯的使用多尺度因果卷积神经网络结合kl散度的focal损失函数，并结合对数据集进行更新，更新时选择基于熵的不确定度和基于margin的不确定度的混合不确定度能够获得明显优越的分类结果。
[0134]
随着数据集的增加，模型的时间复杂度也会相应增加，而不会造成更多的时间消耗。由于数据集和gpu计算能力的限制，我们的工作不需要担心时间消耗的负担。
[0135]
新增toast亚型在患者中的分布情况如下表：
[0136]
缺血性中风病因亚型病人人数初始数据的比例大动脉粥样硬化545 42％心血管栓塞47 44％小动脉闭塞400 72％其它确定的原因49 60％不明原因159 56％
[0137]
各个类别的分类性能比较如下表：
[0138][0139]
前述表格中，带“*”的指标为基于本方法中未进行主动学习时各种类型的分类情况，不带“*”的指标为基于本方法中进行主动学习时各种类型的分类情况；能够明显看出，本发明提供的方法具有优越的精准分类结果。
[0140]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。