一种胸片报告生成方法

本发明属于医疗信息处理，具体涉及一种胸片报告生成方法。

背景技术：

1、胸部x射线报告是医生进行疾病诊断、治疗决策以及病情随访的重要依据。对于存在既往检查的患者，医生通常需要比较当前x图像与既往x图像，以确定病变的新发、加重、改善或者稳定情况。目前，现有方法大都忽略了当前x射线图像和既往x射线图像之间可能存在的体位差异，进而导致现有方法容易将由体位差异产生的非病理差异误认为病灶变化，最终导致生成的预测胸片报告在语义表达的准确性方面表现不佳。为此，本技术设计一种胸片报告生成方法。

技术实现思路

1、针对上述现有技术中的缺陷与不足，本技术提出一种胸片报告生成方法。

2、本发明为达到上述发明目的，采用如下技术方案：

3、一种胸片报告生成方法，包括以下步骤：

4、若待处理的当前x图像不存在相对应的既往x图像，将待处理的当前x图像及其相对应的临床上下文知识输入胸片报告生成网络模型中，前向传播一次，得到预测胸片报告；若待处理的当前x图像存在相对应的既往x图像，将待处理的当前x图像及其相对应的临床上下文知识和既往x图像输入胸片报告生成网络模型中，前向传播一次，得到预测胸片报告；其中，所述临床上下文知识包括检查指征、患者病史、对比检查信息和检查技术信息；其中，所述胸片报告生成网络模型是通过对胸片报告生成网络进行训练得到的；

5、所述胸片报告生成网络包括视觉特征提取模块、临床上下文编码模块、时空融合单元、变化感知模块和报告生成模块；视觉特征提取模块分别连接时空融合单元和变化感知模块，临床上下文编码模块连接时空融合单元和报告生成模块，变化感知模块和时空融合单元均与报告生成模块连接，报告生成模块输出预测胸片报告。

6、优选地，视觉特征提取模块包括第一视觉编码器、第二视觉编码器、第一add层、第二add层、第一视觉投影层和第二视觉投影层；本技术中还构建了共享体位嵌入参数矩阵，基于共享体位嵌入参数矩阵获取当前体位嵌入向量和既往体位嵌入向量，第一视觉编码器连接第一add层，当前体位嵌入向量输入第一add层，第二视觉编码器连接第二add层，既往体位嵌入向量输入第二add层，第一add层连接第一视觉投影层，第二add层连接第二视觉投影层；第一视觉投影层输出当前视觉特征vc，第二视觉投影层输出既往视觉特征vp。

7、优选地，所述共享体位嵌入参数矩阵的构建方式为：

8、首先，建立当前x图像和既往x图像中包含的所有体位类别标签与数字标识之间的映射关系；具体而言，当前x图像和既往x图像中包含的所有体位类别标签具体包括前后位ap类别标签、后前位pa类别标签和侧位lateral类别标签，而后，将前后位ap类别标签对应的数字标识设置为0、将后前位pa类别标签对应的数字标识设置为1、将侧位lateral类别标签对应的数字标识设置为2；

9、而后，根据所述映射关系中包含的体位类别的种类确定体位向量的数量；而后，针对每一种体位类别分别设置一个体位向量，所有体位向量共同构成共享体位嵌入参数矩阵；所述共享体位嵌入参数矩阵中包含的体位向量的数量与所述映射关系中包含的体位类别的数量相同。本实施例中，体位类别的种类是3个，体位类别的种类包括前后位ap、后前位pa和侧位lateral，每个体位向量的特征维度为768维，共享体位嵌入参数矩阵是一个大小为3×768的矩阵。

10、优选地，时空融合单元的工作流程，包括以下步骤：

11、首先，判断既往视觉特征vp是否是零张量；

12、若是，则时空融合单元中的第三add层对当前时间嵌入向量和当前视觉特征vc进行逐元素相加，得到当前时序增强视觉特征序列；时空融合单元中的层归一化层对当前时序增强视觉特征序列进行层归一化操作，得到时空视觉特征z；时空融合单元中的第一潜变量融合模块对时空视觉特征z和临床上下文表征zctx进行特征融合，得到时空视觉表征zst，此时，时空视觉表征zst输出至报告生成模块；

13、若否，则时空融合单元中的第四add层对既往时间嵌入向量和既往视觉特征vp进行逐元素相加，得到既往时序增强视觉特征序列；时空融合单元中的第五add层对当前时间嵌入向量和当前视觉特征vc进行逐元素相加，得到当前时序增强视觉特征序列；时空融合单元中的跨时相特征融合模块对当前时序增强视觉特征序列和既往时序增强视觉特征序列进行特征融合，得到时空视觉特征z’，时空融合单元中的第二潜变量融合模块对时空视觉特征z’和临床上下文表征zctx进行特征融合，得到时空视觉表征，此时，时空视觉表征输出至报告生成模块；其中，临床上下文表征zctx的获取方式为：将临床上下文知识输入临床上下文编码模块获取临床上下文表征zctx。

14、优选地，跨时相特征融合模块包括依次连接的3个跨时相融合块和层归一化层，3个跨时相融合块的结构相同，3个跨时相融合块分别称为第一跨时相融合块、第二跨时相融合块和第三跨时相融合块，每个跨时相融合块均包括多头交叉注意力层、第一残差连接网络、第二残差连接网络和前馈神经网络；多头交叉注意力层连接第一残差连接网络，第一残差连接网络连接前馈神经网络，第一残差连接网络和前馈神经网络连接第二残差连接网络。

15、优选地，当前时间嵌入向量和既往时间嵌入向量的获取方式分别为：

16、首先，预先设置两个时间嵌入向量，两个时间嵌入向量的维度均与当前视觉特征vc的特征维度相同；两个时间嵌入向量分别称为当前时间嵌入向量和既往时间嵌入向量，其中，当前时间嵌入向量用于表征当前x图像对应的时间信息，既往时间嵌入向量用于表征既往x图像对应的时间信息；

17、而后，将当前时间嵌入向量分别与当前视觉特征vc中各视觉令牌对应位置的特征进行逐元素相加，使当前视觉特征 vc中包含与当前x图像对应的时间信息；将既往时间嵌入向量分别与既往视觉特征vp中各视觉令牌对应位置的特征进行逐元素相加，使既往视觉特征vp中包含与既往x图像对应的时间信息。

18、优选地，变化感知模块包括依次连接的体位差异处理模块、显式变化编码模块、比较推理模块、变化分类器和最大池化层，最大池化层输出样本级变化类别得分；第一视觉投影层分别连接体位差异处理模块、显式变化编码模块和比较推理模块，第二视觉投影层连接体位差异处理模块，体位差异处理模块连接比较推理模块，可学习比较查询还输入至比较推理模块。

19、优选地，体位差异处理模块包括查询归一化层、键值归一化层和多头交叉注意力层，查询归一化层和键值归一化层实质均为层归一化层，第一视觉投影层与查询层归一化层连接，第二视觉投影层与键值归一化层连接；查询归一化层和键值归一化层均与多头交叉注意力层连接，多头交叉注意力层连接减法单元；体位差异处理模块还包括sigmoid层，本技术向sigmoid层中输入可学习标量参数，sigmoid层和减法单元均与逐元素相乘单元连接，逐元素相乘单元、第二视觉投影层均与add层连接，add层输出对齐既往视觉特征vpa。

20、优选地，所述显式变化编码模块包括方向差异信息获取单元、逐元素交互特征构造单元；第一视觉投影层和体位差异处理模块均与方向差异信息获取单元连接，第一视觉投影层和体位差异处理模块还均与逐元素交互特征构造单元连接；方向差异信息获取单元分别连接绝对差特征构造单元和concat层，逐元素交互特征构造单元连接concat层，concat层依次连接归一化层、第一线性层、gelu激活层、第二线性层；显式变化编码模块的第二线性层连接比较推理模块。

21、优选地，所述比较推理模块包括三个归一化层（即当前特征归一化层、变化特征归一化层和既往特征归一化层），其中，视觉特征提取模块中的第一视觉投影层连接当前特征归一化层，变化感知模块中的显式变化编码模块和体位差异处理模块分别连接变化特征归一化层和既往特征归一化层，变化特征归一化层和既往特征归一化层分别连接变化掩码单元和既往掩码单元，当前特征归一化层、变化掩码单元和既往掩码单元均与concat层连接；类型嵌入向量输入add层，concat层与add层连接，add层分别连接第一交叉注意力块和第二交叉注意力块；本技术中，可学习比较查询还输入第一交叉注意力块，第一交叉注意力块连接第二交叉注意力块，第二交叉注意力块输出变化感知表征c；其中，第一交叉注意力块和第二交叉注意力块的网络结构相同；第一交叉注意力块的两个输入分别为add层的输出以及可学习比较查询，第二交叉注意力块的两个输入分别为add层的输出以及第一交叉注意力块的输出。

22、优选地，类型嵌入向量的获取方式，包括以下步骤：

23、首先，分别为当前视觉特征vc、对齐既往视觉特征vpa和显式变化特征vδ预先设置互不相同的类型标识；其中，将当前视觉特征vc对应的类型标识设置为第一预设整数标识，将既往视觉特征vpa对应的类型标识设置为第二预设整数标识，将显式变化特征vδ对应的类型标识设置为第三预设整数标识；本实施例中，第一预设整数标识、第二预设整数标识和第三预设整数标识分别设置为0、1和2；

24、而后，基于当前视觉特征vc、对齐既往视觉特征vpa和显式变化特征vδ分别对应的第一预设整数标识、第二预设整数标识和第三预设整数标识，构建序列长度均为s的当前视觉特征类型标识子序列、对齐既往视觉特征类型标识子序列和显式变化特征类型标识子序列；

25、其中，本技术中构建当前视觉特征类型标识子序列、对齐既往视觉特征类型标识子序列和显式变化特征类型标识子序列的序列长度为s的原因是：本技术中的当前视觉特征vc、对齐既往视觉特征vpa和显式变化特征vδ的尺寸均为 b×s×d，b表示对预训练胸片报告生成网络进行训练的过程中设置的批次大小，本实施例中，b的取值为16，s表示当前视觉特征vc、对齐既往视觉特征vpa和显式变化特征vδ对应的视觉特征序列长度，其中，当前视觉特征vc、对齐既往视觉特征vpa和显式变化特征vδ对应的视觉特征序列长度都是相同的，本实施例中，s的取值为1370，d表示当前视觉特征vc、对齐既往视觉特征vpa和显式变化特征vδ对应的视觉特征维度；本实施例中，d的取值为768；

26、本实施例中，当前视觉特征类型标识子序列的序列长度为s，且当前视觉特征类型标识子序列中的各元素均为0；对齐既往视觉特征类型标识子序列的序列长度为s，且对齐既往视觉特征类型标识子序列中的各元素均为1；显式变化特征类型标识子序列的序列长度为s，且显式变化特征类型标识子序列中的各元素均为2；

27、而后，将当前视觉特征类型标识子序列、对齐既往视觉特征类型标识子序列和显式变化特征类型标识子序列按顺序依次进行拼接，得到序列长度为3s的类型标识序列；

28、而后，将序列长度为3s的类型标识序列中的第一预设整数标识、第二预设整数标识和第三预设整数标识分别进行映射，得到一个序列长度为3s且维度为d维的类型嵌入向量。

29、优选地，报告生成模块包括第一归一化层、第二归一化层、第三归一化层、concat层和报告解码器；比较推理模块的第二个交叉注意力块连接报告生成模块的第一归一化层，第二归一化层接收时空融合单元输出的时空视觉表征zst或者时空视觉表征，临床上下文编码模块连接第三归一化层；第一归一化层、第二归一化层和第三归一化层均与concat层连接，concat层连接报告解码器，报告解码器输出预测胸片报告。

30、优选地，对胸片报告生成网络进行训练，包括以下步骤：

31、步骤1）、采用图像-文本全局对齐预训练方式对胸片报告生成网络进行预训练，得到预训练胸片报告生成网络；

32、步骤2）、基于mimic-cxr训练集对预训练胸片报告生成网络进行训练，得到胸片报告生成网络模型。

33、优选地，步骤2），具体包括以下步骤：

34、当待输入预训练胸片报告生成网络中的mimic-cxr训练集中的当前x图像不存在相对应的既往x图像时，直接将当前x图像以及相对应的临床上下文知识输入预训练胸片报告生成网络中，进行前向传播，基于样本级变化类别得分、参考报告和预测胸片报告计算预训练胸片报告生成网络的总损失；并在总损失的引导下进行反向传播，以更新预训练胸片报告生成网络中的网络参数，如此即完成一个epoch的训练过程；其中，对预训练胸片报告生成网络进行训练的过程中，批次大小设置为16；

35、当待输入预训练胸片报告生成网络中的mimic-cxr训练集中的当前x图像存在相对应的既往x图像时，将当前x图像、既往x图像、临床上下文知识以及对应的参考报告样本、变化类别标签输入预训练胸片报告生成网络进前向传播，计算预训练胸片报告生成网络的总损失；并在总损失的引导下进行反向传播，以更新预训练胸片报告生成网络中的网络参数，如此即完成对预训练胸片报告生成网络进行一个epoch的训练过程；其中，对预训练胸片报告生成网络进行训练的过程中，批次大小设置为16；

36、对预训练胸片报告生成网络进行迭代30个epoch的训练过程后，即完成对预训练胸片报告生成网络的训练，得到胸片报告生成网络模型。

37、相对于现有技术，本发明的有益效果为：

38、本技术中，通过体位差异处理模块的设置能够有效缩小当前x射线图像和既往x射线图像之间可能存在的体位差异，得到对齐既往视觉特征vpa；显式变化编码模块基于当前视觉特征vc和对齐既往视觉特征vpa获取具有差异方向信息、差异幅度信息及交互信息的显式变化特征vδ，比较推理模块基于当前视觉特征vc、对齐既往视觉特征vpa、显式变化特征vδ和可学习比较查询获取用于区分新发、加重、改善和稳定四种变化类别的变化感知表征c，变化分类器对第二交叉注意力块输出的特征进行线性分类映射；最大池化层对变化分类器输出的特征进行最大池化操作，得到样本级变化类别得分；

39、此外，本技术胸片报告生成网络的设置，使得本技术在当前x图像不存在相对应的既往x图像，也就是，在没有既往x图像输入第二视觉编码器的情况下，能够依据临床上下文表征zctx和当前x图像对应的时空视觉表征zst生成预测胸片报告。

40、通过测试可知：本技术所述方法生成的预测胸片报告在语法和语义上更加连贯，在更高层次的短语搭配方面、在语义一致性方面以及在语义表达的准确性与灵活性方面均更佳。