一种基于深度学习的医疗影像报告自动生成方法

1.本发明属于计算机视觉和自然语言处理交叉领域，特别涉及一种医疗影像报告自动生成的方法。


背景技术：

2.随着医疗技术的迅猛发展，医疗影像技术不断进步和完善，形成了包含x射线、ct、pet-ct、核磁共振等的医疗影像体系。医疗影像技术为医生诊断疾病提供极大的帮助，成为医生诊断疾病的重要依据。医疗影像报告的生成能够为医生的诊断提供帮助，减少医生的工作量和漏诊误诊的概率。目前关于医疗影像报告的数据集有roco、iu-xray、mimic_cxr、cx-chr等。
3.2016年shin h.c.等人[7]把encoder-decoder模型运用到医疗影像报告的生成中。编码器encoder部分采用了googlenet卷积网络模型进行图像分析，解码器decoder部分使用了lstm和gru进行报告的生成。但是生成的效果不是很理想，并不能生成一份完整的报告，只能生成几个医疗术语单词。
[0004]
2018年baoyu jing等人[9]提出了co-attention机制，引入了hierarchial lstm结构。文章构建了一个多任务的学习框架，它们共同进行标签的预测和诊断报告的生成。他们提出了共同注意力机制来关注异常信息，同时考虑了图像特征和语义特征，然后使用多层lstm模型进行段落的生成，提高预测的准确性。
[0005]
2020年zhihong chen等人[10]利用医疗影像报告的特点，在transformer的decoder部分加入了记忆模块，这样可以让模型更好地理解影像报告中的局部结构。这个模型的encoder和decoder均采用了transformer模型，在decoder的transformer中引入了relation memory模块，用memory来控制transformer输出特征的均值和方差，提升生成的医疗影像报告的质量。
[0006]
2021年fenglin liu等人[11]提出了后验-先验知识探索及蒸馏(ppked)框架，结合先验和后验知识来生成报告。这个模型主要包含了三个模块：后验知识探索poke模块、先验知识探索prke模块和多领域知识蒸馏器mkd模块。先验知识探索模块可以通过编码先验知识，从语料库中检索到的先验医疗影像报告和先验医学知识来减少文本生成的偏差。后验知识探索模块可以实现对当前影像的标签进行分类，确定大致的异常区域，然后再针对这个区域进行识别分析。先验和后验知识在经过多领域知识蒸馏模块的综合过滤后，得到最终的报告。
[0007]
随着基于深度学习的医疗影像报告生成研究的深入，报告的生成越来越通顺规范，但是在几个评价指标上还是远远差于传统的image caption。这说明生成的报告虽然通顺规范，但还存在许多不足，也会造成很多漏诊、误诊的情况发生。医疗影像的特征提取相对于传统的rgb图像是较为困难的，传统的rgb图像是有显著的特征和事物，而医疗影像的特征差异很小，对模型来说是个考验。传统的image caption生成的句子较为简单，只需要描述图片，而医疗影像报告是需要专业术语进行分析报告，要有很强的逻辑性，在报告生成
的过程中不仅仅要描述图像信息，还要分析具体的诊断，这也是医疗影像报告生成研究的一个难点。
[0008]
参考文献：
[0009]
[1]vinyals o,toshev a,bengio s,et al.show and tell:a neural image caption generator[c]//proceedings of the ieee conference on computer vision and pattern recognition.2015:3156-3164.
[0010]
[2]vaswani a,shazeer n,parmar n,et al.attention is all you need[c]//advances in neural information processing systems.2017:5998-6008.
[0011]
[3]feng y,ma l,liu w,et al.unsupervised image captioning[c]//proceedings of the ieee/cvf conference on computer vision and pattern recognition.2019:4125-4134.
[0012]
[4]cornia m,stefanini m,baraldi l,et al.meshed-memory transformer for image captioning[c]//proceedings of the ieee/cvf conference on computer vision and pattern recognition.2020:10578-10587.
[0013]
[5]kisilev p,walach e,barkan e,et al.from medical image to automatic medical report generation[j].ibm journal of research and development,2015,59(2/3):2:1-2:7.
[0014]
[6]kisilev p,sason e,barkan e,et al.medical image captioning:learning to describe medical image findings using multi-task-loss cnn[j].deep learning for precision medicine,riva del garda,italy,2016.
[0015]
[7]shin h c,roberts k,lu l,et al.learning to read chest x-rays:recurrent neural cascade model for automated image annotation[c]//proceedings of the ieee conference on computer vision and pattern recognition.2016:2497-2506.
[0016]
[8]xue y,xu t,long l r,et al.multimodal recurrent model with attention for automated radiology report generation[c]//international conference on medical image computing and computer-assisted intervention.springer,cham,2018:457-466.
[0017]
[9]jing b,xie p,xing e.on the automatic generation of medical imaging reports[j].arxiv:1711.08195.
[0018]
[10]chen z,song y,chang t h,et al.generating radiology reports via memory-driven transformer[c]//proceedings of the 2020conference on empirical methods in natural language processing(emnlp).2020.
[0019]
[11]liu f,wu x,ge s,et al.exploring and distilling posterior and prior knowledge for radiology report generation[c]//proceedings of the ieee/cvf conference on computer vision and pattern recognition.2021:13753-13762.
[0020]
[12]pavlopoulos j,kougia v,androutsopoulos i.a survey on biomedical image captioning[c]//proceedings of the second workshop on shortcomings in vision and language.2019:26-36.
[0021]
[13]li cy,liang x,hu z,xing ep.hybrid retrieval-generation reinforced agent for medical image report generation[j].arxiv:1805.08298.
[0022]
[14]irvin j,rajpurkar p,ko m,et al.chexpert:a large chest radiograph dataset with uncertainty labels and expert comparison[c]//aaai conference on artificial intelligence,2019.
[0023]
[15]li m,wang f,x chang,et al.auxiliary signal-guided knowledge encoder-decoder for medical report generation[j].arxiv:2006.03744.
[0024]
[16]subramanian s,wang l l,bogin b,et al.medicat:a dataset of medical images,captions,and textual references[j].arxiv:2010.06000.
[0025]
[17]wang f,x liang,xu l,et al.unifying relational sentence generation and retrieval for medical image report composition[j].ieee transactions on cybernetics,2020.
[0026]
[18]huang j h,wu t w,worring m.contextualized keyword representations for multi-modal retinal image captioning[c]//international conference on multimedia retrieval,2021:242-250.
[0027]
[19]li s,sui x,luo x,et al.medical image segmentation using squeeze-and-expansion transformers[c]//international joint conference on artificial intelligence,2021.
[0028]
[20]moon j h,lee h,shin w,et al.multi-modal understanding and generation for medical images and text via vision-language pre-training.arxiv:2105.11333.


技术实现要素：

[0029]
本发明的目的是提供一种基于深度学习的医疗影像报告自动生成方法，以实现生成的诊断报告更加专业、准确的目的。
[0030]
为实现上述目的，本发明采用的技术方案为：
[0031]
一种基于深度学习的医疗影像报告自动生成方法，包括如下步骤：
[0032]
步骤1，准备数据集并对数据集进行预处理；
[0033]
步骤2，通过attention模型进行医疗影像细粒度特征提取；
[0034]
步骤3，通过图像处理(encoder)模块，使用图文对应的方式进行训练，采用关键词和图像特征进行对应，改进transformer模块，来提高机器对图像特征识别的准确性；
[0035]
步骤4，通过decoder模块生成报告段落。
[0036]
所述步骤1中，数据集为医疗影像数据集，数据集中包括医疗影像和对应的诊断报告，通过数据预处理，将诊断报告进行分词，并与医疗影像相对应存入json文件中，并使用resnet101提取图片特征。
[0037]
所述步骤1中，医疗影像数据集包括iu-xray数据集、roco数据集、mimic-cxr数据集。iu-xray数据集包含3955份报告和7470张影像；roco数据集包含超过81000张影像和报告；mimic-cxr这个数据集包含65739名患者的377110张胸部x光影像，共227835项影像检查。
[0038]
所述步骤2中，首先使用resnet抽取特征，再把这些特征输入到attention模型中进行预训练，经过处理得到更加细粒度的特征输入模型进行训练。
[0039]
所述步骤2中，attention模型的整体结构如下：
[0040]
input
→
resnet
→
sat模型
→
attention矩阵
→
细粒度特征
[0041]
其中，input为医疗影像图片；resnet是深度残差网络，使用resnet101提取医疗影像图片的基本特征；
[0042]
attention模型采用sat(show，attend and tell)模型，在传统的encoder-decoder框架中结合了注意力机制，注意力机制的作用是关注不同的图像区域，对不同的区域给出不同的权重，通过训练得到attention矩阵，然后与特征相乘得到细粒度特征。
[0043]
所述步骤3中，图像处理(encoder)模块的整体结构如下：
[0044]
input
→
图像处理模块
→
encoder output
[0045]
其中，input为细粒度特征和文本关键词信息；标准的transformer编码器模块(encoder layer)处理的是单一的图像特征输入，本发明的图像处理模块是在transformer encoder layer进行改进，让注意力同时关注到图片特征和文本关键词特征，使得细粒度特征和文本关键词相对应；encoder output是得到的视觉和语义相结合的上下文向量context。
[0046]
所述步骤4中，decoder模块中采用两个lstm模块和一个attention模块，第一个lstm模块判断是否继续生成句子，第二个lstm模块进行句子的生成，attention模块进行辅助生成。
[0047]
所述步骤4中，decoder模块的整体结构如下：
[0048]
input
→
lstm1
→
attention
→
lstm2
→
decoder output
[0049]
其中，input是图像处理(encoder)模块的输出，它是一个上下文向量；lstm1有两个作用：第一个作用是处理上下文向量输入到attention模块，第二个作用是控制段落生成的结束，如果它发送的是finish信号，lstm2就停止生成句子；attention模块的作用是接收lstm1处理后的上下文向量，生成注意力矩阵，使得每句话每个词直接的联系更加紧密；lstm2通过一个词一个词的方式生成一句话，通过循环得到完整的诊断报告。
[0050]
本发明采用以上技术方案与现有技术相比，具有以下有益效果：
[0051]
(1)本发明提取了细粒度的医疗影像特征。通过实验发现使用resnet提取特征，特征十分相似，模型学习不到东西。所以本发明使用attention模型进行预训练，提取细粒度的特征，使得模型能够学习到更多更有用的特征；
[0052]
(2)本发明采用了医疗影像特征和文本关键词相对应的方法进行训练。传统的训练方法只是采用图像特征进行训练，模型只能学习到浅显的信息，并不能生成专业的医疗诊断。本发明使用影像特征和关键词共同训练，让模型能够学到专业知识，为后面报告生成做好准备；
[0053]
(3)本发明采用了两个lstm和一个attention模块进行报告段落的生成。两个lstm模块解决了段落生成的问题，attention模块解决了段落生成超长距离依赖的问题，使得生成的报告更加完整、专业和准确。
具体实施方式：
[0054]
下面对本发明做更进一步的解释。
[0055]
本发明的一种基于深度学习的医疗影像报告自动生成方法，包括如下步骤：
[0056]
步骤1，准备数据集并对数据集进行预处理：通过论文阅读和文献查找获取了3个可用数据集：iu-xray、roco、mimic-cxr。iu-xray数据集包含3955份报告和7470张影像，其中每名患者一般有两张胸部x光影像，分为正面和侧面；roco数据集包含超过81000张影像和报告，roco数据集不是单一部位的医疗影像，它包含了脑部、胸部、手部等不同部位的ct、x光影像；mimic-cxr这个数据集包含65739名患者的377110张胸部x光影像，共227835项影像检查。其中roco数据集给出了官方的划分，iu-xray和mimic-cxr数据集的划分按照其他论文中的划分进行处理。
[0057]
首先将数据集按照条件划分成训练集、验证集和测试集；其次将医疗影像赋予图像id后和报告一一对应；然后使用分词器punkt将报告进行分词，并与报告、影像一同存入json文件中，并使用resnet101提取图片特征。
[0058]
步骤2，基于sat的医疗影像细粒度特征提取。细粒度特征提取模型的整体结构如下：
[0059]
input
→
resnet
→
sat模型
→
attention矩阵
→
细粒度特征
[0060]
其中，input为医疗影像图片；resnet是训练好的深度残差网络。
[0061]
首先使用resnet101提取基本的医疗影像特征，得到一系列的特征向量ai：
[0062]ai
＝{a1,...,a
l
},ai∈rd[0063]
其中l是向量的个数，l＝h*w，h表示特征图的高度，w表示特征图的宽度，d是提取的特征图的维度，每个向量都对应医疗影像的一个区域。
[0064]
然后将这些特征向量输入sat模型中进行预训练。本发明主要使用sat模型的encoder部分，通过encoder部分的attention模块得到需要的attention矩阵。attention模块的作用就是生成一组权重矩阵，用α
t
＝{α
t0
,...,α
ti
,...,α
tl
}进行表示，其中α
t
就是权重矩阵，ti表示在t时刻ai对应的权重，计算过程如下：
[0065]eti
＝f
att
(ai,h
t-1
)
[0066][0067]
其中h
t-1
为t-1时刻decoder模块的隐含向量，f
att
是一层神经网络。
[0068]
本发明采用的是soft attention机制，即将各区域ai和它在t时刻对应的权重α
ti
作加权求和，得到上下文向量context vector：
[0069][0070]
最后再将得到的这组上下文向量context vector和后面提取到的特征相乘，就可以得到所需要的细粒度的特征。
[0071]
步骤3，在图像处理(encoder)模块，使用一种图文对应的方式进行训练，采用关键词和图像特征进行对应，改进transformer的注意力模块，使它能够同时注意图像特征和关键词特征，并将两个注意力矩阵进行融合，来提高机器对图像特征识别的准确性。encoder
模块的整体结构如下：
[0072]
input
→
图像处理模块
→
encoder output
[0073]
其中，input为细粒度特征和文本关键词信息；标准的transformer编码器模块(encoder layer)处理的是单一的图像特征输入，本发明的图像处理模块是在transformer encoder layer进行改进，让注意力同时关注到图片特征和文本关键词特征，使得细粒度特征和文本关键词相对应；encoder output为视觉和语义相结合的上下文向量context。
[0074]
将处理得到的细粒度特征和相应的关键词特征输入transformer的注意力模块，使用单层的前馈网络来分别计算视觉注意力权重矩阵α
v,n
和语义注意力权重矩阵α
a,m
，计算过程如下：
[0075][0076][0077]
其中，wv，wv
,h
，是视觉注意网络的参数矩阵；wa，wa
,h
，是语义注意网络的参数矩阵；h是隐藏状态。
[0078]
该步骤采用的也是soft attention机制，即将各区域特征向量和它在某一时刻对应的权重作加权求和，得到上下文向量context vector，所以视觉上下文向量和语义上下文向量的计算过程如下：
[0079][0080][0081]
最后把视觉上下文向量和语义上下文向量链接为[v
att
；a
att
]，再用一个全连接层fc将这两个注意力矩阵进行整合，得到最终的上下文向量context vector:
[0082]
c＝fc[v
att
；a
att
]
[0083]
通过处理以后，图像处理(encoder)模块最终得到上下文向量c，这个上下文向量包含了视觉特征和语义特征，最后将上下文向量c输入decoder模块进行报告生成。
[0084]
步骤4，通过decoder模块进行报告段落的生成。decoder模块采用两个lstm模块，第一个lstm模块判断是否继续生成句子，第二个lstm模块进行句子的生成。由于段落的生成是超长距离依赖问题，只使用lstm效果不佳，所以再引入了一个attention模块进行辅助生成。
[0085]
decoder模块的整体结构如下：
[0086]
input
→
lstm1
→
attention
→
lstm2
→
decoder output
[0087]
其中，input是encoder模块的输出，它是一个上下文向量。lstm1有两个作用：第一个作用是处理上下文向量输入到attention模块；第二个作用是控制段落生成的结束，如果它发送的是finish信号，lstm2就停止生成句子。attention模块的作用是接收lstm1处理后的上下文向量，生成注意力矩阵，使得每句话每个词直接的联系更加紧密。lstm2通过一个词一个词的方式生成一句话，通过循环得到完整的诊断报告。
[0088]
首先input经过lstm1，lstm1的主要作用是判断是否继续生成句子，应用了一个深度输出层来控制句子的生成。将s-1时刻的隐藏状态h
s-1
和s时刻的隐藏状态hs作为输入，计算过程如下：
[0089]
p(finish|h
s-1
,hs)
∝
exp{w
finish
tanh(w
finish,s-1hs-1
w
finish,shs
)}
[0090]
其中w
finish
，w
finish,s-1
，w
finish,s
是参数矩阵，h
s-1
是s-1时刻的隐藏状态，hs是s时刻的隐藏状态。
[0091]
如果p(finish|h
s-1
,hs)大于设定的阈值，则表示停止生成句子，lstm2接收到信号后，停止产生单词，报告生成结束。
[0092]
将lstm1产生的p(finish|h
s-1
,hs)还有相应的输入送入attention模块，attention模块对p(finish|h
s-1
,hs)不做处理，attention模块对相应的上下文向量进行处理，使其能够关注到更远的信息，然后输入到lstm2模块进行句子生成。
[0093]
首先使用encoder模块得到的觉和语义相结合的上下文向量和该时刻的隐藏状态来得到一个向量t：
[0094]
t＝tanh(w
t,h
h w
t,c
c)
[0095]
其中w
t,h
，w
t,c
是权重矩阵，h是隐藏状态，c是encoder模块得到的视觉和语义相结合的上下文向量。
[0096]
lstm2使用特殊的开始标志start和向量t作为输入，用单词的隐藏状态h
word
来预测单词的分布：
[0097]
p(word|h
word
)
∝
exp(w
outhword
)
[0098]
其中w
out
是参数矩阵，h
word
是单词的隐藏状态。
[0099]
lstm2每次生成一个单词，然后将这些单词进行拼接就形成了一句话，再把每句话进行拼接，得到最终的诊断报告。
[0100]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。