影像报告生成模型的训练方法及影像报告生成方法与流程

摘要: 本技术涉及计算机,具体涉及一种影像报告生成模型的训练方法及影像报告生成方法。背景技术:1、医学影像(如x光和计算机断层扫描(ct))的影像报告是医疗领域的重要文...
影像报告生成模型的训练方法及影像报告生成方法与流程

本技术涉及计算机,具体涉及一种影像报告生成模型的训练方法及影像报告生成方法。

背景技术:

1、医学影像(如x光和计算机断层扫描(ct))的影像报告是医疗领域的重要文档,为精准诊断与及时治疗提供关键支持,利用放射学报告生成(radiology reportgeneration,rrg)技术来自动生成影像报告,从而有效降低报告撰写的工作量;但是相关技术中的影像报告生成模型生成的影像报告的质量还有待提升。

技术实现思路

1、有鉴于此,本技术实施例提出了一种影像报告生成模型的训练方法及影像报告生成方法,其可以有效提高影像报告生成模型所生成的影像报告的质量。

2、本技术实施例是采用以下技术方案来实现的:

3、第一方面,本技术实施例提供了一种影像报告生成模型的训练方法,包括:在参考基座模型为目标医学影像输出的n份候选影像报告中,确定与所述目标医学影像对应的主偏好影像报告之间的语义相似度最高的k份候选影像报告,n为正整数,k为小于n、且大于1的正整数;在所述k份候选影像报告中,确定与所述主偏好影像报告之间异常描述差异最大的参考影像报告;将所述参考影像报告中,与所述主偏好影像报告之间存在内容冲突的报告语句进行删除,得到次偏好影像报告;根据所述目标医学影像、所述主偏好影像报告、所述参考影像报告和所述次偏好影像报告,对所述参考基座模型进行偏好对齐训练,得到影像报告生成模型。

4、第二方面,本技术实施例提供了一种影像报告生成方法,包括:获取待处理的医学影像;由影像报告生成模型对所述医学影像进行报告生成,得到所述医学影像的影像报告;其中,所述影像报告生成模型是按照上述方法训练得到的。

5、第三方面,本技术实施例提供了一种影像报告生成模型的训练装置,包括:第一筛选模块,用于在参考基座模型为目标医学影像输出的n份候选影像报告中,确定与所述目标医学影像对应的主偏好影像报告之间的语义相似度最高的k份候选影像报告,n为正整数,k为小于n、且大于1的正整数;第二筛选模块,用于在所述k份候选影像报告中,确定与所述主偏好影像报告之间异常描述差异最大的参考影像报告;报告处理模块,用于将所述参考影像报告中,与所述主偏好影像报告之间存在内容冲突的报告语句进行删除,得到次偏好影像报告;训练模块,用于根据所述目标医学影像、所述主偏好影像报告、所述参考影像报告和所述次偏好影像报告,对所述参考基座模型进行偏好对齐训练,得到影像报告生成模型。

6、在一些实施方式中,训练模块包括报告生成单元,用于由在偏好对齐训练过程中的第i个中间基座模型,对所述目标医学影像进行报告生成,得到生成所述主偏好影像报告的第一预测概率、生成所述参考影像报告的第二预测概率和生成所述次偏好影像报告的第三预测概率;i为正整数,当i=1时,所述第i个中间基座模型是所述参考基座模型;偏好对齐奖励单元,用于根据所述第一预测概率、所述第二预测概率、第一参考概率和第二参考概率,计算偏好对齐奖励;所述第一参考概率是所述参考基座模型根据所述目标医学影像,生成所述主偏好影像报告的概率;所述第二参考概率是所述参考基座模型根据所述目标医学影像,生成所述参考影像报告的概率;偏好约束惩罚单元,用于根据所述第三预测概率和第三参考概率,计算次偏好约束惩罚;所述第三参考概率是所述参考基座模型根据所述目标医学影像,生成所述次偏好影像报告的概率;损失确定单元,用于根据所述偏好对齐奖励和所述次偏好约束惩罚,确定目标损失;参数调整单元,用于根据所述目标损失,对所述第i个中间基座模型的参数进行迭代,得到第i+1个中间基座模型;若未达到偏好对齐训练结束条件,将i累计加1,并返回所述由在偏好对齐训练过程中的第i个中间基座模型,对所述目标医学影像进行报告生成,得到生成所述主偏好影像报告的第一预测概率、生成所述参考影像报告的第二预测概率和生成所述次偏好影像报告的第三预测概率的步骤;若达到偏好对齐训练结束条件,将所述第i+1个中间基座模型,作为所述影像报告生成模型。

7、在一些实施方式中,偏好约束惩罚单元具体用于若所述第三参考概率不超过所述第三预测概率,确定所述次偏好约束惩罚为零;若所述第三参考概率超过所述第三预测概率,根据所述第三参考概率相对于所述第三预测概率的第一概率偏差,确定所述次偏好约束惩罚,所述次偏好约束惩罚与所述第一概率偏差正相关。

8、在一些实施方式中,偏好约束惩罚单元具体用于根据所述第一预测概率相对于所述第一参考概率的概率偏差,确定正向偏好奖励;根据所述第二预测概率相对于所述第二参考概率的概率偏差,确定负向偏好奖励;根据所述正向偏好奖励和所述负向偏好奖励,确定所述偏好对齐奖励,所述偏好对齐奖励与所述正向偏好奖励正相关,且与所述负向偏好奖励负相关。

9、在一些实施方式中,训练模块还包括参数迭代惩罚单元,用于根据所述第一预测概率和所述第一参考概率,确定参数迭代惩罚;损失确定单元还用于根据所述偏好对齐奖励、所述次偏好约束惩罚和所述参数迭代惩罚,确定目标奖励;根据所述目标奖励,确定目标损失。

10、在一些实施方式中,参数迭代惩罚单元具体用于若所述第一参考概率不超过所述第一预测概率,确定所述参数迭代惩罚为零;若所述第一参考概率超过所述第一预测概率,根据所述第一参考概率相对于所述第一预测概率的第二概率偏差,确定所述参数迭代惩罚,所述参数迭代惩罚与所述第二概率偏差正相关。

11、在一些实施方式中,损失确定单元具体用于将所述偏好对齐奖励、所述次偏好约束惩罚和所述参数迭代惩罚进行加权处理,得到所述目标奖励,其中,在所述加权处理中,所述偏好对齐奖励的权重系数为正数,所述次偏好约束惩罚的权重系数和所述参数迭代惩罚的权重系数为负数。

12、在一些实施方式中,影像报告生成模型的训练装置还包括基座模型训练模块,用于获取样本医学影像和所述样本医学影像的主偏好样本影像报告;由基座模型对所述样本医学影像进行报告生成,得到所述样本医学影像的预测样本影像报告;基于所述样本医学影像的预测样本影像报告和所述样本医学影像的主偏好样本影像报告,确定报告生成损失;基于所述报告生成损失,对所述基座模型进行参数调整,直至达到参考训练结束条件,在达到所述参考训练结束条件时,将参数调整后的所述基座模型,作为所述参考基座模型。

13、在一些实施方式中,第一筛选模块包括分类预测单元,用于分别对所述主偏好影像报告和各所述候选影像报告进行医学异常类别预测,得到所述主偏好影像报告的第一分类结果和各所述候选影像报告的第二分类结果;分类计算单元,用于根据各所述候选影像报告的第二分类结果,分别与所述第一分类结果之间的差异,在所述k份所述候选影像报告中,确定第二分类结果与所述第一分类结果之间的差异最大的候选影像报告,作为所述参考影像报告。

14、在一些实施方式中,所述第一分类结果包括所述主偏好影像报告中各报告语句的医学异常类别;所述第二分类结果包括所对应候选影像报告中各报告语句的医学异常类别;影像报告生成模型的训练装置还包括语句筛选模块,用于将所述参考影像报告中的报告语句与所述主偏好影像报告中的报告语句进行语句对齐,得到多个对齐语句组;一个对齐语句组包括位于所述参考影像报告中的一个报告语句和位于所述主偏好影像报告中的一个报告语句;在所述多个对齐语句组中,确定其中的两个报告语句的医学异常类别不同的候选对齐语句组;将所述候选对齐语句组中来源于所述参考影像报告的报告语句,作为与所述主偏好影像报告之间存在内容冲突的语句。

15、在一些实施方式中,分类预测单元具体用于对所述主偏好影像报告进行语句划分,确定所述主偏好影像报告中的报告语句;对各所述候选影像报告进行语句划分,确定各所述候选影像报告中的报告语句;通过医学分类模型,对所述主偏好影像报告中的报告语句进行医学异常类别预测,得到所述主偏好影像报告的第一分类结果;通过所述医学分类模型,对各所述候选影像报告中的报告语句进行医学异常类别预测,得到各所述候选影像报告的第二分类结果。

16、第四方面,本技术实施例提供了一种影像报告生成装置,包括:获取模块,用于获取待处理的医学影像;报告生成模块,用于由影像报告生成模型对所述医学影像进行报告生成,得到所述医学影像的影像报告;其中,所述影像报告生成模型是按照上述的方法训练得到的。

17、第五方面,本技术实施例提供了一种电子设备,包括:处理器;存储器,所述存储器上存储有计算机指令,所述计算机指令被所述处理器执行时,实现上述方法。

18、第六方面,本技术实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令被处理器执行时,实现上述方法。

19、第七方面,本技术实施例提供了一种计算机程序产品,包括计算机指令,该计算机指令被处理器执行时,实现上述方法。

20、本技术实施例提供的一种影像报告生成模型的训练方法及影像报告生成方法,方法包括:在参考基座模型为目标医学影像输出的n份候选影像报告中,确定与目标医学影像对应的主偏好影像报告之间的语义相似度最高的k份候选影像报告;在k份候选影像报告中,确定与主偏好影像报告之间异常描述差异最大的参考影像报告;将参考影像报告中,与主偏好影像报告之间存在内容冲突的报告语句进行删除,得到次偏好影像报告,相当于将参考影响报告中的错误内容进行删除,所得到的次偏好影像报告中的内容是准确的;根据目标医学影像、主偏好影像报告、参考影像报告和次偏好影像报告,对参考基座模型进行偏好对齐训练,可以使得影像报告生成模型能够提升输出对主偏好影像报告的概率,减少输出参考影像报告的概率、保持对次偏好影像报告的输出概率,这样,整体上减少输出参考影像报告中的错误报告内容的概率,本技术通过引入次偏好影像报告对参考基座模型进行偏好对齐训练,从而避免参考基座模型在训练过程中抑制输出参考影像报告中的正确内容,提高了训练效果,以使影像报告生成模型可以输出高质量的影像报告。

21、本技术的这些方面或其他方面在以下实施例的描述中会更加简明易懂。