一种基于病史与标签辅助的胸部放射影像报告生成方法

1.本发明涉及一种基于病史与标签辅助的胸部放射影像报告生成方法，属于计算机视觉、自然语言处理、跨模态融合技术领域。


背景技术：

2.种类繁多的胸部疾病是威胁现代人民身体健康的主要因素之一。胸部放射影像(digit radiography，dr)作为体检的常规检查项，因其方便、快捷且成本低等众多优势成为了胸部常见疾病筛查与诊断的主要方式。传统的报告一般是由经验丰富的放射科医师撰写，准确有效的报告不仅依赖于医生丰富的临床经验，而且对医生的业务水平有着极高的要求。由于我国地域辽阔，医疗水平分布不均，偏远地区难以得到足够的资源支持。因此，尽管胸部疾病十分常见，但要准确、高效地进行胸部疾病的诊断仍然存在一定难度。
3.高质量的胸部放射影像报告自动生成系统需求迫切。目前基于深度学习的报告生成方法的实现方法主要分为以下三种方式:(1)检索式:christy等人提出了一种基于知识驱动的生成方法，通过结合先验知识进行报告模板的检索，同时将视觉特征转化为结构化的异常图，之后对于模板进行重写微调，以生成准确的报告。tanveer等人提出了一种基于域感知的针对胸部dr影像自动生成报告的算法，该算法从图像中学习对异常的细粒度描述，进而从大型文本数据库中检索类似报告。yang等人提出了一种混合检索的生成方法，协调了基于人类先验知识的传统检索方法与基于现代学习的方法来生成结构化、多样化的报告。(2)模板式:xingyi yang等人提出了一种分层模板机制，通过将完整文本与单个句子分层为不同的模板，来生成临床准确的报告文本。tanveer等人提出了一种encoder-decoder模型，首先提取出影像的视觉特征，之后将得到的影像特征传入图像编码器，通过解码器对编码器编码之后的特征进行编码得到若干个话题向量，将每个话题向量对应到模板库以生成完整的报告。ziqiang cao等人提出了一种依赖软模版进行报告生成的方法，通过检索适当的候选模板进而指导生成更为稳定且多样化的报告。虽然相较于传统机器学习算法，检索式生成方法与模板式生成方法获取到了更为优异的量化结果，但是，由于往往获得到的医学数据集中正样例居多，而对于正常影像的描述通常使用相同的模板，这也就导致了基于检索与基于模板的方式会出现较高的准确率，但面对相对罕见且多样化的异常描述时会存在异常描述不充分的情况。因此，目前学术界主流的方法为基于生成式的报告生成方法。(3)生成式:yuhao zhang等人提出了一种定制的神经模型，通过对背景信息的编码，进而指导报告的生成。baoyu jing等人提出了一种协同注意力机制，首先通过对影像特征进行提取从而预测当前影像中可能存在疾病标签，之后将影像特征与之前生成的标签特征利用协同注意力融合从而生成完整的报告。guanxiong liu等人提出了一种领域感知的报告生成算法，首先预测报告文本中可能出现的主题词，之后有条件地生成这些主题词对应的句子，进而生成完整的报告。mingjie li等人提出了一种辅助信号引导知识编码解码器来模拟医生的工作模式，通过整合dr影像视觉特征和医学语言信息来指导医学知识的迁移和学习。wang song等人提出了一种基于信息知识图的算法，将先验知识与报告生成相结合，从而提
高生成报告的质量。


技术实现要素：

4.为了解决上述提到的问题，本发明提出一种基于病史与标签辅助的胸部放射影像报告生成方法(history and label guided diagnostic report generation method,hlgm)，本发明针对单纯考虑影像信息却忽略了患者既往病史对于诊断的指导作用，以及目前流行的大多数生成模型都过度关注文本的流畅度，而忽略了报告的准确性才是报告生成的重点问题，通过考虑患者的既往病史信息对疾病诊断的指导作用，使生成的胸部放射影像报告更为准确。
5.本发明的技术方案是：一种基于病史与标签辅助的胸部放射影像报告生成方法，所述的方法具体包括如下：
6.step1、采用多视图多模型影像特征融合模型dffm进行影像特征提取：通过将不同视图影像深度融合，以提取不同视图影像相应的潜在特征，之后对于提取出来的特征进行最大池化以得到多视图影像特征编码；
7.step2、使用transformer对患者既往病史进行特征表示：通过多头自注意力机制和前馈神经网络提取患者既往病史文本特征；
8.step3、通过lstm实现跨模态融合：将step1与step2提取到的患者影像特征和既往病史文本特征作为lstm的输入，最后将所有不同时刻的注意力影像特征图累加后进行全局平均池化，得到既往病症信息指导的融合特征；
9.step4、使用transformer进行初级报告生成：在step3得到的融合特征传入transformer，通过计算隐藏状态以预测下一个要生成的单词，从而生成初级报告；
10.step5、将step4生成的初级报告的疾病预测结果，与用dffm模型产生的疾病预测结果，共同传入校验网络，通过将生成的初级报告与预测结果进行对比，微调加权词嵌入以生成更有效的报告。
11.作为本发明的进一步方案，所述step1中的影像特征提取具体包括如下：
12.使用多视图多模型影像特征融合模型对胸部dr影像进行特征提取：每位患者具有m个胸部射线图像组成，其中1《m《5，该方法读取具有两张视图的患者影像作为影像部分的输入，通过将不同视图影像深度融合，以提取其相应的潜在特征，之后对于提取出来的特征进行最大池化以得到多视图影像特征编码。
13.作为本发明的进一步方案，所述step2中的既往病史文本特征提取具体包括如下：
14.使用transformer患者既往病史特征提取；首先，对于输入单词向量w生成三个对应的向量query，key和value，在引入了多组qkv映射向量之后，分别在组内进行自注意力计算，其计算公式如下所示：
15.headi＝attention(qwi
iq
,kw
ik
,vw
iv
)
16.multihead(q,k,v)＝concat(head1,
…
,headh)
17.用queries和keys的点积计算所有单词对于当前词的得分score，将score进行softmax归一化，以获得所有单词对该单词编码分数，将该softmax分数乘以对应的value向量，再将所有加权向量求和，传入前馈神经网络，即得到当前文本输出，其计算公式如下所示：
[0018][0019]
其中，q，v，k分别表示输入句子的queries，keys，values矩阵，矩阵的每一行为每一个单词对应的向量query，key，value向量，dk表示向量长度。
[0020]
作为本发明的进一步方案，所述step3中的跨模态融合具体包括如下：
[0021]
将影像特征x与患者既往病史文本特征w联合输入lstm网络进行模态融合，初始化lstm的隐藏状态h
t
，在使用lstm进行解码的过程中，将每个时刻的既往病症嵌入w
t
、前一个状态的预测词w
t-1
以及影像特征x作为输入，其计算公式如下所示:
[0022]ht
＝lstm([w
t
,a
t
,x],h
t-1
)
[0023]
将当前时刻的隐藏状态与影像特征x相乘得到针对于每个时刻的生成预测单词时在影像中的关注点；当所有时刻的单词预测结束之后，也就得到了所有时刻的注意力图i
t
，t＝{1,2,3,...,t}，最后将所有不同时刻的注意力图累加后进行全局平均池化，得到既往病症信息指导的融合特征。
[0024]
作为本发明的进一步方案，所述step4中的初级报告生成具体包括如下：
[0025]
使用transformer模块作为初级报告的生成器；transformer网络通过将多头自注意力组将和前馈层多次叠加而形成；通过计算隐藏状态以预测下一个要生成的单词，其计算公式如下所示：
[0026]
p
word
＝softmax(hw
t
)
[0027]
式中w∈r
v*e
表示的是整个词表的嵌入，v是此表的大小，e为每个词嵌入的维度，将病史报告中第i个位置选择词汇表w中的第j个单词的置信度表示p
word,ij
；初级报告生成器的损失定义为真实单词y
word
与预测单词p
word
之间的交叉熵，损失公式如下所示：
[0028][0029]
作为本发明的进一步方案，所述step5中，具体包括如下：
[0030]
在构建的多视图多模型影像特征提取模型中构建一个疾病预测分类网络，对输入影像的疾病相关主题进行分类；然后对通过初级报告生成模块生成的报告进行编码，记为并从中提取相应的疾病标签p
int
：与疾病预测分类网络的输出结果相对应，然后通过对一致性校验模块进行训练，减小疾病预测分类结果与初级报告之间的差别，生成准确高效的报告，损失函数计算公式如下所示：
[0031][0032]
式中y
ij
∈{0,1}是疾病的真实标签，p
int,ij
∈{0,1}从生成的初级报告中产生的预测标签，n表示迭代次数，k表示每次迭代中的样本个数，在生成了初级报告之后，将之前分类器的分类结果与初级报告的预测结果输入一个完全可微的网络模块，对初级报告生成器输出的疾病列表与原始分类模块预测的疾病列表进行比较，微调生成的初级报告文本内容。
[0033]
本发明的有益效果是：经过分析，现有的胸部影像报告生成方法存在以下问题：(1)单纯考虑影像信息却忽略了患者既往病史对于诊断的指导作用；(2)过度关注文本的流
畅度而忽略了报告准确性。本发明提出了一种端到端的胸部放射影像报告生成方法，考虑了患者的既往病史信息对疾病诊断的指导作用，以生成更准确的报告。
[0034]
本发明在nlmcxr，mimic-cxr-ii两个公开的医学影像数据集上进行了消融实验，并与当前方法进行了对比实验。实验结果表明，本发明生成的胸部影像报告的描述，在有效性和准确性方面均优于当前主流方法。
附图说明
[0035]
图1基于病史与标签辅助的胸部放射影像报告生成方法(history and label guided diagnostic report generation method,hlgm)总体框架。
[0036]
图2多视图多模型影像特征融合的疾病预测模型(deep feature fusion method，dffm)影像特征提取总体框架。
[0037]
图3lstm跨模态融合结构图。
具体实施方式
[0038]
实施例1：如图1-图3所示，一种基于病史与标签辅助的胸部放射影像报告生成方法，所述方法的具体步骤如下：
[0039]
step1、采用多视图多模型影像特征融合模型dffm进行影像特征提取：通过将不同视图影像深度融合，以提取不同视图影像相应的潜在特征，之后对于提取出来的特征进行最大池化以得到多视图影像特征编码；
[0040]
step2、使用transformer对患者既往病史进行特征表示：通过多头自注意力机制和前馈神经网络提取患者既往病史文本特征；
[0041]
step3、通过lstm实现跨模态融合：将step1与step2提取到的患者影像特征和既往病史文本特征作为lstm的输入，最后将所有不同时刻的注意力影像特征图累加后进行全局平均池化，得到既往病症信息指导的融合特征；
[0042]
step4、使用transformer进行初级报告生成：在step3得到的融合特征传入transformer，通过计算隐藏状态以预测下一个要生成的单词，从而生成初级报告；
[0043]
step5、将step4生成的初级报告的疾病预测结果，与用dffm模型产生的疾病预测结果，共同传入校验网络，通过将生成的初级报告与预测结果进行对比，微调加权词嵌入以生成更有效的报告。
[0044]
作为本发明的进一步方案，所述step1中的影像特征提取具体包括如下：
[0045]
使用多视图多模型影像特征融合模型对胸部dr影像进行特征提取：每位患者具有m个胸部射线图像组成，其中1《m《5，该方法读取具有两张视图的患者影像作为影像部分的输入，通过将不同视图影像深度融合，以提取其相应的潜在特征，之后对于提取出来的特征进行最大池化以得到多视图影像特征编码。
[0046]
作为本发明的进一步方案，所述step2中的既往病史文本特征提取具体包括如下：
[0047]
使用transformer患者既往病史特征提取；首先，对于输入单词向量w生成三个对应的向量query，key和value，在引入了多组qkv映射向量之后，分别在组内进行自注意力计算，其计算公式如下所示：
[0048]
headi＝attention(qw
iq
,kw
ik
,vw
iv
)
[0049]
multihead(q,k,v)＝concat(head1,
…
,headh)
[0050]
用queries和keys的点积计算所有单词对于当前词的得分score，将score进行softmax归一化，以获得所有单词对该单词编码分数，将该softmax分数乘以对应的value向量，再将所有加权向量求和，传入前馈神经网络，即得到当前文本输出，其计算公式如下所示：
[0051][0052]
其中，q，v，k分别表示输入句子的queries，keys，values矩阵，矩阵的每一行为每一个单词对应的向量query，key，value向量，dk表示向量长度。
[0053]
作为本发明的进一步方案，所述step3中的跨模态融合具体包括如下：
[0054]
将影像特征x与患者既往病史文本特征w联合输入lstm网络进行模态融合，初始化lstm的隐藏状态h
t
，在使用lstm进行解码的过程中，将每个时刻的既往病症嵌入w
t
、前一个状态的预测词w
t-1
以及影像特征x作为输入，其计算公式如下所示:
[0055]ht
＝lstm([w
t
,a
t
,x],h
t-1
)
[0056]
将当前时刻的隐藏状态与影像特征x相乘得到针对于每个时刻的生成预测单词时在影像中的关注点；当所有时刻的单词预测结束之后，也就得到了所有时刻的注意力图i
t
，t＝{1,2,3,...,t}，最后将所有不同时刻的注意力图累加后进行全局平均池化，得到既往病症信息指导的融合特征。
[0057]
作为本发明的进一步方案，所述step4中的初级报告生成具体包括如下：
[0058]
使用transformer模块作为初级报告的生成器；transformer网络通过将多头自注意力组将和前馈层多次叠加而形成；通过计算隐藏状态以预测下一个要生成的单词，其计算公式如下所示：
[0059]
p
word
＝softmax(hw
t
)
[0060]
式中w∈r
v*e
表示的是整个词表的嵌入，v是此表的大小，e为每个词嵌入的维度，将病史报告中第i个位置选择词汇表w中的第j个单词的置信度表示p
word,ij
；初级报告生成器的损失定义为真实单词y
word
与预测单词p
word
之间的交叉熵，损失公式如下所示：
[0061][0062]
作为本发明的进一步方案，所述step5中，具体包括如下：
[0063]
在构建的多视图多模型影像特征提取模型中构建一个疾病预测分类网络，对输入影像的疾病相关主题进行分类；然后对通过初级报告生成模块生成的报告进行编码，记为并从中提取相应的疾病标签p
int
：与疾病预测分类网络的输出结果相对应，然后通过对一致性校验模块进行训练，减小疾病预测分类结果与初级报告之间的差别，生成准确高效的报告，损失函数计算公式如下所示：
[0064][0065]
式中y
ij
∈{0,1}是疾病的真实标签，p
int,ij
∈{0,1}从生成的初级报告中产生的预测标签，n表示迭代次数，k表示每次迭代中的样本个数，在生成了初级报告之后，将之前分
类器的分类结果与初级报告的预测结果输入一个完全可微的网络模块，对初级报告生成器输出的疾病列表与原始分类模块预测的疾病列表进行比较，微调生成的初级报告文本内容。
[0066]
进一步地，为了验证本发明的效果，由上述步骤训练好的模型输入nlmcxr、mimic数据集进行的消融实验，其中nlmcxr数据集包含了4000名患者的医学报告，每份报告对应多张医学影像，共计8000余张医学影像，mimic-cxr数据集是目前已公开的最大的医学影像数据集，此数据集不仅提供不同视图的医学影像和报告，并且给出了每位患者影像所对应的疾病标签。该试验的环境配置为基于linux ubuntu 16.04系统，128g内存，两个nvidia geforce gtx2080ti，并采用pytorch深度学习框架。
[0067]
本发明中，基于病史与标签辅助的胸部放射影像对应的报告生成方法，整体结构，如图1所示。首先，采用多视图多模型影像特征融合模型，进行特征提取，如图2所示；对于患者既往病史的词嵌入使用当前流行的transformer进行特征表示；将提取出来影像特征，通过lstm加入患者既往病史信息文本特征进行跨模态融合，如图3所示；随后将融合特征传入transformer进行初级报告生成；最后利用生成的初级报告结果，与之前dffm模型产生的疾病预测结果共同传入校验网络，通过将初级报告结果与预测结果进行对比，微调加权词嵌入以生成更有效的报告。
[0068]
表1.对比实验
[0069][0070]
表1中的几组实验为针对nlmcxr数据进行，base表示使用传统方法，dffm表示只采用本文方法进行多视图影像特征融合之后的生成结果，hlgm则是由患者既往病史及疾病标签指导的生成结果。多视图影像特征融合的方法，在一定程度上增加了从影像中提取到的有用信息，但忽略了既往病史在临床中对于医生的指导作用。在考虑了患者既往病史信息之后，生成模型的效果得到了进一步的提升。
[0071]
表2.消融实验
[0072][0073]
表2中的几组实验结果为分别针对nlmcxr、mimic数据集进行的消融实验，base表
示使用传统的cnn网络架构进行影像特征提取，之后进行报告生成。dffm表示使用多视图多模型影像特征融合的疾病预测模型影像特征提取方法，之后使用传统方法直接生成报告。hlgm表示使用基于多视图多模型影像特征融合的方法进行影像特征提取，在生成了初级报告之后，再利用标签一致性校验网络对生成的初级报告进行微调，使得报告生成的关注重点集中在对影像异常的描述。从以上实验结果可以观察到本文提出的方法，对于生成高质量的报告具有积极的影响。
[0074]
以上实验通过量化的指标验证了本发明提出方法的性能，证明了该报告生成模型的优越性。同时，本发明通过生成的报告结果，与原始医学诊断结果进行直观对比，定性分析本文模型的效果：
[0075]
从数据集中选择一个负样本和一个正样本进行测试，使用训练好的模型对这三个不同的样本进行预测，得到生成报告结果。其中表3为负样本，表4为正样本，报告中出现的对异常的描述用浅色标出。
[0076]
表3负样本(有疾病症状)
[0077][0078]
对于表3，hlgm预测出了“肺不张(atelectasis)”但忽略了右侧膈肌存在的问题。生成的报告与原始报告相比在句子顺序上也存在差异，hlgm先进行正常描述，之后再进行异常描述。原始报告会先对检查技术的构成进行描述，而hlgm直接对影像中观察到的内容进行描述。虽然生成的报告相较而言缺失了一些正常的描述，但对于影像中出现的异常能够进行准确的描述。
[0079]
原始报告结果为：右侧横膈膜有稳定的轻度隆起，右侧基底板状无气肿。没有肺炎、积水或气胸的迹象。心胸廓形稳定。骨骼结构完整。右侧基底板轻度肺不张。基于传统模型所生成的报告结果为：没有发现肺炎，气胸等异常且胸廓结构稳定。但右侧基底板轻度脱落。而本发明方法生成的报告的结果为：右侧膈肌有轻微隆起。没有肺炎、积水或气胸的迹象，心脏纵隔轮廓稳定，右侧基底板存在肺不张。生成的报告相较于原始报告而言，对于影
像中存在的异常进行了准确的描述，具备完整性，没有出现对于异常区域的重复性描述，也没有出现矛盾性的内容，但原始报告中存在的一些正常描述，生成的报告中并不存在。例如缺失了对心脏轮廓、骨骼结构等部分的描述。相较于传统模型而言准确的描述了右侧隔膜存在的问题，且对相关的正常部位进行了描述。
[0080]
表4正样本(无疾病症状)
[0081][0082]
表4中原始报告的结果为:与之前的射线照片相比，没出现其它病变。没有出现心脏肥大的症状，不存在气胸。肺部表现正常无肺水肿也没有肺炎。基于传统模型所生成的报告结果为:与之前相比，未见相关变化。肺部表现正常，无肺水肿也无肺炎。其中忽略了对于心脏部位以及有无气胸的描述。本发明方法生成的报告的结果为:右中心静脉通路的位置是恒定的。无胸腔积液。没有心脏肥大。没有气胸。无肺水肿。没有肺炎。相较于原始报告而言，生成的报告对于影像中可能出现的症状进行了说明，且对于原始报告中并未说明的胸腔积液也进行了补充。总的来说对原始影像进行了较为完整的描述，与原始报告的描述一致性较高，且不存在矛盾性的描述。
[0083]
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。