一种用于判断COVID-19分期的基于人工智能的CT图像动态3D影像组学系统

一种用于判断covid-19分期的基于人工智能的ct图像动态3d影像组学系统
技术领域
1.本发明属于人工智能领域，具体涉及一种用于判断covid-19分期的基于人工智能的ct图像动态3d影像组学系统。


背景技术：

2.由严重急性呼吸综合征冠状病毒2型(sars-cov-2，又称新型冠状病毒) 引起的2019年冠状病毒肺炎(covid-19，又称新型冠状病毒肺炎)是一种传播力极强的肺炎。其诊断方法包括呼吸样本转录聚合酶链反应(rt-pcr)和胸部显像。其中，rt-pcr特异性高，但敏感性低，有报道低至60-70％。《中国新型冠状病毒肺炎诊疗方案(修订版第七版)》表明，临床疑似肺炎的影像学特征可以诊断为新型冠状病毒肺炎患者。胸部显像中，胸部x线在早期诊断中价值不大，而ct图像可以在症状出现之前发现异常。因此，对于疑似 covid-19病例，建议在初次评估、随访时进行胸部ct检查。
3.根据ct图像可以将covid-19分为早期、进展期、峰值期和吸收期四个阶段。
①
早期胸部表现往往不典型，病变呈淡薄斑片状磨玻璃密度影 (groundglassopacity，ggo)，多局限性、散在分布于两中下肺野，主要见于胸膜下。
②
进展期病灶多发，表现为ggo渗出、融合或伴有实变，以双肺野中外带分布多见，可伴少量胸腔积液。
③
峰值期(危重症)相当于疾病晚期，双肺密度弥漫性、广泛性进一步增高，称为“白肺”。此期病灶发展迅速， 48h可增加50％以上，治疗困难，患者死亡率较高。
④
吸收期，病灶缩小或吸收，部分病例可见肺间质纤维化改变。
4.但是，在临床工作中，阅读成千上万的ct图像让医生倍感压力。随着大量确诊患者继续住院，新冠肺炎疫情正成为对医疗资源的重大挑战。计算机辅助诊断(cad)系统是实现自动化、快速诊断的有效工具，开发出用于判断covid-19分期的人工智能系统对临床上对入院covid-19患者进行分流以及分期治疗具有重要意义。


技术实现要素：

5.本发明的目的在于提供一种用于判断covid-19分期的基于人工智能的 ct图像动态3d影像组学系统及其构建方法和用途。
6.本发明提供了一种用于判断covid-19分期的人工智能系统，所述人工智能系统包括以下模块：
7.(一)输入模块
8.在输入模块输入covid-19患者的影像组学特征和临床特征；
9.(二)分期判断模型建立模块
10.以训练集covid-19患者的影像组学特征和临床特征作为输入，利用 matlab自带的机器学习分类器训练模型，得到训练后的分期判断模型；
11.(三)分期判断及结果输出模块
12.以测试集covid-19患者的影像组学特征和临床特征作为输入，利用训练后的分期判断模型进行分期判断，输出判断结果。
13.进一步地，所述影像组学特征是通过以下方法提取的：利用训练集 covid-19患者的ct图像对肺分割网络scoat-net进行训练和测试，对病变分割网络scoat-net进行训练和测试，建立肺与病变分割模型；利用肺与病变分割模型对测试集covid-19患者的ct图像进行肺与病变分割，并基于肺与病变分割结果重建三维肺病变；在重建的三维肺病变的基础上提取影像组学特征；
14.所述临床特征包括年龄、性别、发病时间、进展时间中的一种或多种。
15.进一步地，所述建立肺与病变分割模型时的参数设置如下：基于pytorch 框架，使用随机梯度下降法优化骰子系数损失函数；网络参数初始化使用何恺明方法；模型训练的迭代次数设为100，初始学习率为0.01，每10次迭代乘以0.1；最终选择经过100个训练周期的模型作为分割模型。
16.进一步地，所述影像组学特征和临床特征是通过以下方法获得的：将提取的影像组学特征和临床特征利用特征选择方法选择后，按照权重由高到底依次排序，选取权重排序靠前的特征；所述特征选择方法选自rf-fs、relief-f 或llcfs，优选为rf-fs。
17.进一步地，所述权重排序靠前的特征为第1～30个特征中的一个或多个，优选为第1～30个特征或第1～17个特征。
18.进一步地，所述影像组学特征和临床特征包括以下30个特征中的一个或多个：发病时间、病灶与肺体积之比、纹理第八视角(自相关系数)、进展时间、纹理第五视角(行程百分比)、年龄、纹理第七视角(行程百分比)、强度(中值)、强度(交叉熵)、强度(偏度)、强度(均匀性)、纹理第八视角 (相关性的信息测量2)、肺区域面积、纹理第四视角(聚类突出系数)、纹理第四视角(最大概率)、强度(标准差)、纹理第七视角(归一化逆差分矩)、强度(平均绝对偏差)、纹理第四视角(能量)、强度(方差)、纹理第三视角 (聚类突出系数)、纹理第四视角(方差)、纹理第四视角(差分熵)、纹理第四视角(对比度)、纹理第五视角(行程长度不均匀性)、纹理第九视角(行程长度不均匀性)、纹理第八视角(行程长度不均匀性)、纹理第九视角(聚类突出系数)、纹理第七视角(行程长度不均匀性)、纹理第八视角(对比度)；
19.和/或，所述matlab自带的机器学习分类器选自rf分类器、svm分类器、或knn分类器；
20.和/或，所述covid-19分期为早期、进展期、峰值期或吸收期。
21.进一步地，所述matlab自带的机器学习分类器为rf分类器，所述影像组学特征和临床特征为以下30个特征：发病时间、病灶与肺体积之比、纹理第八视角(自相关系数)、进展时间、纹理第五视角(行程百分比)、年龄、纹理第七视角(行程百分比)、强度(中值)、强度(交叉熵)、强度(偏度)、强度(均匀性)、纹理第八视角(相关性的信息测量2)、肺区域面积、纹理第四视角(聚类突出系数)、纹理第四视角(最大概率)、强度(标准差)、纹理第七视角(归一化逆差分矩)、强度(平均绝对偏差)、纹理第四视角(能量)、强度(方差)、纹理第三视角(聚类突出系数)、纹理第四视角(方差)、纹理第四视角(差分熵)、纹理第四视角(对比度)、纹理第五视角(行程长度不均匀性)、纹理第九视角(行程长度不均匀性)、纹理第八视角(行程长度不均匀性)、纹理第九视角(聚类突出系数)、纹理第七视角(行程长度不均匀性)、纹理第八视角(对比度)。
22.进一步地，所述matlab自带的机器学习分类器为svm分类器，所述影像组学特征和临床特征为以下17个特征：发病时间、病灶与肺体积之比、纹理第八视角(自相关系数)、进展时间、纹理第五视角(行程百分比)、年龄、纹理第七视角(行程百分比)、强度(中值)、强度(交叉熵)、强度(偏度)、强度(均匀性)、纹理第八视角(相关性的信息测量2)、肺区域面积、纹理第四视角(聚类突出系数)、纹理第四视角(最大概率)、强度(标准差)、纹理第七视角(归一化逆差分矩)。
23.本发明还提供了上述的人工智能系统在制备用于判断covid-19分期的设备中的用途。
24.本发明还提供了一种用于判断covid-19分期的计算机设备，所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序为上述的用于判断covid-19分期的人工智能系统。
25.实验结果表明，利用本发明基于人工智能的ct图像动态3d影像组学系统对66例covid-19患者(平均年龄57
±
15岁；其中35名女性)进行 covid-19分期判断，准确率达90％。对于每个阶段的预测，阶段1(即早期)的auc为0.965(95％ ci:0.934,0.997)，阶段2(即进展期)的auc为0.958(95％ ci:0.931,0.984)，阶段3(即峰值期)的auc为0.998(95％ ci: 0.994,1.000)，阶段4(即吸收期)的auc为0.975(95％ ci:0.956,0.994)。因此，本发明提供的基于人工智能的ct图像动态3d影像组学系统能够有效对covid-19患者进行分期判断，可作为一种潜在的工具，帮助医院进行合理的资源配置并制定合适的治疗计划，应用前景广阔。
26.显然，根据本发明的上述内容，按照本领域的普通技术知识和惯用手段，在不脱离本发明上述基本技术思想前提下，还可以做出其它多种形式的修改、替换或变更。
27.以下通过实施例形式的具体实施方式，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。凡基于本发明上述内容所实现的技术均属于本发明的范围。
附图说明
28.图1：基于人工智能的动态三维影像组学分析方法流程图。(a)使用人工智能模型分割covid-19患者的肺和病变；(b)提取三维肺病变的3d-动态影像组学特征，并结合临床数据评估covid-19患者的分期。
29.图2：在4名患者的ct图像中显示covid-19的四个阶段。(a)横断面未增强图像；(b)冠状重建图像。第一行表示早期阶段，第二行表示进展期阶段，第三行表示峰值期阶段，最后一行表示吸收期阶段。
30.图3：提出的人工智能模型对肺病变的分割结果和相应的3d肺病变重建结果。
31.图4：三种特征选择方法中各特征的权重。动态3d-影像组学特征包括结构、形状、强度特征，临床特征包括年龄、性别、发病时间、进展时间。(a)rf-fs 选择方法；(b)relief-f特征选择方法；(c)llcfs特征选择方法。
32.图5：(a)covid-19分期与发病时间的关系(以天为单位)；(b)covid-19分期与病变/肺体积比值的关系。
33.图6：归一化混淆矩阵和四分类的roc曲线，在roc曲线中，红点曲线表示整体平均
曲线下面积(auc)。(a)rf分类器；(b)svm分类器。
34.图7：第(3)部分数据中研究人群的纳入和排除标准流程图。
35.图8：三种ai算法所使用的三个部分的数据，并且与图1相关的患者中，每个部分的数据按4:1的比例划分患者个数。
36.图9：scoat-net结构用于covid-19患者ct图像的肺和病变分割。
37.scoat-net对unet 的结构进行了重新设计，引入了由通道注意模块和空间注意模块组成的注意学习机制。
38.图10：使用9个不同视角(从每个视图提取纹理特征)对covid-19患者的三维病变进行分解。
39.图11：三种特征选择方法分别对应训练集中的每个机器学习分类器。(a)rf 分类器，(b)svm分类器，(c)knn分类器。
具体实施方式
40.本发明所用原料与设备均为已知产品，通过购买市售产品所得。
41.1、covid-19患者数据来源与预处理
42.本发明实施例采用的covid-19患者数据分为3个部分，分别来自于：
43.第(1)部分数据：收集170例covid-19患者的5750张ct片，来自两个公共数据集的、医生已经标注肺边界的ct图像；
44.第(2)部分数据：收集来自湘雅第二医院的共19例患者，共1117张 ct图像；
45.第(3)部分数据：收集来自某医院，共331例患者(包含1023例ct扫描及临床数据)，于2020年1月1日至2020年3月9日在整个治疗过程中连续行胸部ct检查的图像。
46.上述3个部分的数据分别按照4：1的比例随机划分为训练集和测试集。
47.根据2019年《新型冠状病毒肺炎影像学辅助诊断指南》，上述3个部分数据中的ct图像均由两名分别有14年及31年工作经验的放射科医生进行标记，这两名医生对临床数据一无所知。
48.数据预处理：使用固定肺窗[-1200,0]对所有原始ct图像进行调整，并将其归一化到范围[0,255]。没有使用任何的缩放技术，所有的ct图像都是相同大小的512
×
512像素。
[0049]
2、第(3)部分中的331例患者的基本信息
[0050]
331例covid-19患者的1023次ct扫描被纳入分期数据集。如表1所示，就诊时最常见的症状是咳嗽(331例中225例[70％])和发烧(331例中220 例[67％])。表2显示多数实验室结果正常，少数升高。c-反应蛋白水平、d
‑ꢀ
二聚体水平和红细胞沉降率在所有四个阶段均升高，并在第三阶段达到峰值。此外，乳酸脱氢酶水平和血清肌酐水平仅在第三阶段增加。四个阶段的发病时间差异明显，分别为4.4
±
6.1、11.0
±
7.1、15.4
±
8.3和26.3
±
12.0天。
[0051]
3、四个阶段的ct图像判断标准
[0052]
根据ct图像可以将covid-19分为早期、进展期、峰值期和吸收期四个阶段(图2)。
①
早期胸部表现往往不典型，病变呈淡薄斑片状磨玻璃密度影 (groundglassopacity，ggo)，多局限性、散在分布于两中下肺野，主要见于胸膜下。
②
进展期病灶多发，表现为ggo渗出、融合或伴有实变，以双肺野中外带分布多见，可伴少量胸腔积液。
③
峰值期(危重症)
相当于疾病晚期，双肺密度弥漫性、广泛性进一步增高，称为“白肺”。此期病灶发展迅速， 48h可增加50％以上，治疗困难，患者死亡率较高。
④
吸收期，病灶缩小或吸收，部分病例可见肺间质纤维化改变。
[0053]
实施例1、构建用于判断covid-19分期的基于人工智能的ct图像动态3d 影像组学系统的方法
[0054]
i、构建方法
[0055]
本实施例构建用于判断covid-19分期的基于人工智能的ct图像动态3d影像组学系统的方法包括以下步骤：
[0056]
(一)、建立肺与病变分割模型
[0057]
使用第(1)和第(2)部分数据训练基于空间和通道的粗-细注意网络 (scoat-net)的两个分割模型。scoat-net是一种新颖的u-net 架构，具有面向通道的注意模块和面向空间的注意模块，用于吸引网络的自注意学习，用于在通道级和像素级成功分割目标区域(图9)。
[0058]
肺与病变分割模型建立参数设置：本发明的肺和病变分割模型基于 pytorch框架，使用随机梯度下降法(sgd)优化骰子系数损失函数(dice)；网络参数初始化使用何恺明方法；模型训练的迭代次数设为100，初始学习率为0.01，每10次迭代乘以0.1。最终选择经过100个训练周期的模型作为分割模型。
[0059]
首先，利用第(1)部分数据在上述参数设置下对肺分割网络scoat-net 进行训练和测试，利用第(2)部分数据在上述参数设置下对病变分割网络 scoat-net进行训练和测试。然后，用训练好的肺分割网络和病变分割网络对第(3)部分数据的肺和病灶进行分割。接下来，基于肺和病变分割结果重建三维肺病变。关于分割的代码可以在https://github.com/phanzsx/scoat-net 上找到。
[0060]
肺分割网络和病变分割网络对第(1)部分和第(2)部分数据的分割性能如表7所示。分割和重构结果如图3所示。
[0061]
(二)、特征提取与特征选择
[0062]
1、特征提取
[0063]
影像组学特征提取：首先在重建的三维肺病变的基础上提取常见的影像组学(强度特征)；然后将三维肺病变分解为9个固定视图切片(图10)，在每个切片上提取共同的影像组学(纹理特征)；同时加入肺体积、病变体积、病变肺体积比作为形状特征。总之，先提取了314个常规三维影像组学特征，包括3个形状特征、14个强度特征、297个纹理特征。此外，考虑到放射科医师在评估分期时会考虑肺的变化，本发明还将两个相邻ct扫描的常规3d 特征的变化值作为动态3d影像组学特征。
[0064]
临床特征提取：除了影像组学特征外，本发明还结合了4个临床特征，包括年龄、性别、发病时间、进展时间。其中，发病时间(以天为单位)表示症状出现后的时间，进展时间(以天为单位)为两次相邻ct扫描之间的时间间隔。患者第一次ct扫描时，将动态3d特征和进展时间设置为0。
[0065]
此处总共提取了632个特征，包括628个影像组学特征和4个临床特征 (表6，第1栏)。
[0066]
2、特征选择
[0067]
在特征选择方面，本发明首先基于训练集使用了三种特征选择方法，即随机森林(rf-fs)，relief-f，基于局部学习的聚类特征选择(llcfs)。这三种特征选择方法的代码可以从feature selection toolbox v6.2中调用。
[0068]
(三)、建立分期判断模型及分类器选择
[0069]
在matlab软件上实现分期过程：特征选择后，以选择后的影像组学特征和临床特征作为输入，基于训练集使用matlab自带的机器学习分类器来训练分期模型。此处matlab自带的机器学习分类器分别为随机森林分类器(rf 分类器)、支持向量机分类器(svm分类器)、k近邻分类器(knn分类器) 中的一种。关于分期的代码可以在 https://github.com/phanzsx/assess-the-covid-19上找到。
[0070]
基于测试集评估训练后的分期模型对covid-19分期的判断效果。
[0071]
本发明应用了六个指标来评估分割和分期性能。利用骰子相似系数(dsc) 和交并比(iou)对分割性能进行评价。使用准确度、灵敏度、特异性和接受者工作特征曲线下面积(auc)来评价分类器的性能。此外，采用t检验对独立组间的差异进行检验，采用双侧p值《0.05认为有统计学意义。
[0072]
ii、结果分析
[0073]
1、分割结果和选择的特征
[0074]
肺分割网络和病变分割网络对第(1)部分和第(2)部分数据的分割性能如表7所示。本发明利用训练好的分割模型对第(3)部分数据的肺和病变进行分割，然后重建三维肺病变，提取影像组学特征，分割和重构结果如图 3所示。
[0075]
在使用不同的特征选择方法时，632个特征的权重分配如表6，然后对这些特征进行降序排序。每个分类器选择最高准确率时的n，n为特征数，准确率为训练集上十折交叉验证结果(图11)。最后，对于每个分类器进行四个时期单独分类时，根据最大的准确率获得最优特征数量的最优特征选择方法。这部分关于特征排序和特征选择的过程只在训练集上实现。
[0076]
表6结果表明，三种特征选择方法中，每种方法都可以对这些特征进行不同的排序。此外，本发明计算了不同类型特征的权重之和(图4)，发现动态 3d影像组学特征和临床特征都是训练集阶段评估的重要因素。本发明还根据权重列出了每种特征选择方法的前30个特征项，发现一些特征(发病时间、年龄、强度特征)同样显著(表3、8-9)。比较三种特征选择方法后，决定采用随机森林(rf-fs)这一特征选择方法。
[0077]
在对这些特征排序后，每个分类器选择最前面的n(1≤n≤632)个特征，在训练集上使用十倍交叉验证计算准确率。最后，如表10所示，对于每个分类器获得了具有最优特征数量的最优特征选择方法。rf-fs特征选择方法的前 30个特征项列于表3。我们发现，排在前两位的特征项是发病时间(表3)、病灶体积与肺体积之比(图5)。四个阶段病灶体积与肺体积之比为2.2％
±
3.6％、 14.8％
±
14.1％、46.0％
±
16.5％和7.8％
±
9.5％。
[0078]
2、covid-19分期判断结果
[0079]
以两个相邻ct扫描的选择后的影像组学特征和临床特征作为输入，在训练集上训练分期模型，然后使用训练后的分期模型在测试集上评估分期性能。结果如表4所示。此外，考虑到knn分类器在准确率上表现不佳，本发明仅使用rf和svm分类器进行详细分析。更具体地说，本发明计算了四种两分类(第1阶段/阶段2-3-4，第2阶段/阶段1-3-4，第3阶段/阶
段1-2-4，第4阶段/阶段1-2-3)在测试集上的准确性、敏感性和特异性，还计算了测试集上的混淆矩阵和roc曲线。结果如表5、图6所示。
[0080]
从表5和图6可以看出，这rf和svm分类器在准确性、特异性和auc 指标方面取得了相当的性能。然而，rf和svm分类器在灵敏度方面表现不同。具体来说，吸收阶段rf分类器优于svm分类器，早期svm分类器优于rf分类器。此外，本发明发现这两个分类器对峰值阶段都能达到100％的灵敏度。基于上述结果，所有分类器的诊断效率都是相当可观的。更具体地说，rf分类器在总准确率方面最有效(90％)。与rf分类器相比，svm分类器在早期诊断时灵敏度最高。
[0081]
实施例2、用于判断covid-19分期的基于人工智能的ct图像动态3d影像组学系统(以rf分类器建立分期判断模型)
[0082]
本实施例用于判断covid-19分期的系统包括以下三个模块：
[0083]
(一)输入模块
[0084]
在输入模块输入训练集covid-19患者的影像组学特征和临床特征，所述影像组学特征和临床特征为表3所示的30个特征。
[0085]
特征的提取方法同实施例1。
[0086]
(二)分期判断模型建立模块
[0087]
以模块(一)中的影像组学特征和临床特征作为输入，利用matlab自带的机器学习分类器——rf分类器训练模型，得到训练后的分期判断模型。
[0088]
(三)分期判断及结果输出模块
[0089]
以测试集covid-19患者的影像组学特征和临床特征(表3所示的30个特征)作为输入，利用模块(二)得到的训练后的分期判断模型进行分期判断，输出判断结果。
[0090]
实施例3、用于判断covid-19分期的基于人工智能的ct图像动态3d影像组学系统(以svm分类器建立分期判断模型)
[0091]
本实施例用于判断covid-19分期的系统包括以下三个模块：
[0092]
(一)输入模块
[0093]
在输入模块输入测试集covid-19患者的影像组学特征和临床特征，所述影像组学特征和临床特征为表3所示的第1～17个特征。
[0094]
特征的提取方法同实施例1。
[0095]
(二)分期判断模型建立模块
[0096]
以模块(一)中的影像组学特征和临床特征作为输入，利用matlab自带的机器学习分类器——svm分类器训练模型，得到训练后的分期判断模型。
[0097]
(三)分期判断及结果输出模块
[0098]
以测试集covid-19患者的影像组学特征和临床特征(表3所示的第1～17 个特征)作为输入，利用模块(二)得到的训练后的分期判断模型进行分期判断，输出判断结果。
[0099]
表1～表10如下所示：
[0100]
表1:患者的临床特征
[0101][0102]
表2:患者的实验室结果
[0103][0104][0105]
注:白细胞、嗜中性粒细胞、淋巴细胞的单位是g/l；c反应蛋白、d-二聚体的单位是mg/l；丙氨酸氨基转氨酶、门冬氨酸氨基转氨酶、乳酸脱氢酶的单位是u/l；血尿素氮的单位是mmol/l；血肌酐、血尿酸的单位是μmol/l；血沉的单位是mm/h；发病时间以天为单位。
[0106]
表3:使用随机森林特征选择方法(rf-fs)，权重排序位于前30个的特征
[0107][0108][0109]
表4:用训练集和测试集上的三个机器学习分类器的准确率决定最优特征选择方法和特征数量
[0110][0111]
表5:rf、svm分类器在测试集上的性能指标
[0112][0113]
表6:三种特征选择方法中详细的动态3d影像组学特征和4种临床特征的权重
[0114]
[0115]
[0116]
[0117]
[0118]
[0119]
[0120]
[0121]
[0122]
[0123]
[0124]
[0125]
[0126]
[0127]
[0128]
[0129]
[0130][0131]
表7:肺和病变分割数据集的分割性能
[0132][0133]
注：dsc表示骰子相似系数，iou表示交并比。
[0134]
表8:使用relief-f特征选择方法，权重排序位于前30个的特征
[0135][0136]
表9:使用llcfs特征选择方法，权重排序位于前30个的特征
[0137]
[0138][0139]
表10:在训练集上使用十倍交叉验证的三个分类器准确率决定了最优特征选择方法和特征数量
[0140]
分类器特征选择方法特征数量十倍交叉验证的准确率rfrf-fs300.8916svmrf-fs170.8592knnrf-fs1760.8153
[0141]
综上，本发明提供了一种用于判断covid-19分期的人工智能系统，属于人工智能领域。实验结果表明，利用本发明基于人工智能的ct图像动态3d影像组学系统对66例covid-19患者进行covid-19分期判断，准确率达90％。对于每个阶段的预测，阶段1(即早期)的auc为0.965(95％ ci:0.934, 0.997)，阶段2(即进展期)的auc为0.958(95％ ci:0.931,0.984)，阶段3 (即峰值期)的auc为0.998(95％ ci:0.994,1.000)，阶段4(即吸收期)的 auc为0.975(95％ ci:0.956,0.994)。因此，本发明提供的基于人工智能的 ct图像动态3d影像组学系统能够有效对covid-19患者进行分期判断，可作为一种潜在的工具，帮
助医院进行合理的资源配置并制定合适的治疗计划，应用前景广阔。