减影图生成方法、装置、存储介质及计算机设备与流程

1.本技术涉及图像处理技术领域，尤其是涉及到一种减影图生成方法、装置、存储介质及计算机设备。


背景技术：

2.数字减影血管造影设备是一种新的x线成像系统，是针对临床精准治疗，引导介入手术的最常用设备之一。在血管造影过程中，通过将未注入造影剂的透视图像与注入造影剂的透视图像的减影，观察造影剂的流动状态，以获取该区域的血流信息。
3.针对造影过程中患者有生理运动导致的血管和结构组织的相对位置改变情况，目前常采用配准等方式，对图像位移进行调整，减少由于运动造成的伪影，再对造影片和配准后的图像进行减影。目前的配准方法为：利用图像的边缘点进行特征点确认，然后利用特征点在时间上的运动规律确认最终用于放射变换的控制节点。最终，该方法利用获取的节点进行配准与减影获得减影图。但是，该采用时空信息进行特征点确认和配准的方法对位移较大的部分较难实现完全配准。


技术实现要素：

4.有鉴于此，本技术提供了一种减影图生成方法、装置、存储介质及计算机设备，有助于提升减影图生成准确性。
5.根据本技术的一个方面，提供了一种减影图生成方法，包括：
6.获取目标对象对应的目标非造影帧图像和目标造影帧图像，并计算图像差异值；
7.若所述图像差异值小于预设差异阈值，对所述目标非造影帧进行配准，获得目标配准图像，并对所述目标造影帧图像和所述目标配准图像进行减影，得到所述目标对象的第一目标减影图；
8.若所述图像差异值大于或等于预设差异阈值，则将所述目标造影帧图像输入至训练好的减影模型中，获取所述目标对象的第二目标减影图。
9.可选地，所述图像差异值包括目标非造影帧图像对应的第一图像特征和目标造影帧图像对应的第二图像特征之间的特征差异值，所述计算图像差异值，包括：
10.确定所述目标非造影帧图像对应的第一图像特征以及所述目标造影帧图像对应的第二图像特征，其中，所述第一图像特征包括所述目标非造影帧图像的第一灰度特征，所述第二图像特征包括所述目标造影帧图像的第二灰度特征；
11.依据所述第一灰度特征和所述第二灰度特征，计算所述目标非造影帧图像与所述目标造影帧图像之间的灰度特征差异值；
12.其中，所述特征差异值包括所述灰度特征差异值，所述预设差异阈值包括预设灰度差异阈值，所述预设灰度差异阈值的取值范围为[0.01,0.2]，单位为百分比；或者，
[0013]
确定所述目标非造影帧图像对应的第一图像特征以及所述目标造影帧图像对应的第二图像特征，其中，所述第一图像特征包括所述目标非造影帧图像的第一结构边缘特
征，所述第二图像特征包括所述目标造影帧图像的第二结构边缘特征；
[0014]
依据所述第一结构边缘特征和所述第二结构边缘特征，计算所述目标非造影帧图像与所述目标造影帧图像之间的结构特征差异值；
[0015]
其中，所述特征差异值包括所述结构特征差异值，所述预设差异阈值包括预设结构差异阈值，所述预设结构差异阈值为灰度阈值，且取值范围为[0.01,0.4]，或所述预设结构差异阈值为位置阈值，且取值范围为[20，200]个像素点。
[0016]
可选地，所述图像差异值包括多个目标造影帧图像之间的形变量；所述计算图像差异值，包括：
[0017]
采用光流法对相邻所述目标造影帧图像的速度和位移的进行计算，获取多个目标造影帧图像中相邻目标造影帧图像之间的形变量；
[0018]
其中，所述预设差异阈值为预设形变量阈值，所述预设形变量阈值的取值范围为[5，100]个像素点。
[0019]
可选地，所述对所述目标非造影帧进行配准，获得目标配准图像，具体包括：
[0020]
将所述目标非造影帧图像和所述目标造影帧图像输入至训练好的配准模型中获取目标配准数据，其中，所述目标配准数据包括所述目标非造影帧图像向所述目标造影帧图像进行形变的、含有每个像素点位移信息的矩阵；
[0021]
按所述目标配准数据对所述目标非造影帧图像进行配准，得到所述目标配准图像。
[0022]
可选地，所述配准模型依据第一样本对象对应的第一样本非造影帧图像和第一样本造影帧图像训练得到。
[0023]
可选地，所述配准模型的训练过程包括：
[0024]
获取所述第一样本对象对应的至少一张第一样本非造影帧图像和至少一张第一样本造影帧图像；
[0025]
将任一第一样本非造影帧图像与任一第一样本造影帧图像进行配对，得到多个第一样本图像对；
[0026]
将任一第一样本图像对输入至待训练的配准模型中得到形变数据，按所述形变数据对所述任一第一样本图像对中的第一样本非造影帧图像进行配准，得到所述任一第一样本图像对对应的第一样本配准图像；
[0027]
依据所述任一第一样本图像对对应的所述第一样本配准图像和所述第一样本造影帧图像之间的特征差异值，利用配准损失函数对所述配准模型进行迭代，直至满足预设配准条件时完成对所述配准模型的训练。
[0028]
可选地，所述减影模型依据第二样本对象对应的第二样本造影帧图像和第二样本减影图训练得到。
[0029]
依据本技术又一个方面，提供了一种减影图生成装置，包括：
[0030]
目标图像获取模块，用于获取目标对象对应的目标非造影帧图像和目标造影帧图像，并计算图像差异值；
[0031]
第一减影模块，用于若所述图像差异值小于预设差异阈值，对所述目标非造影帧进行配准，获得目标配准图像，并对所述目标造影帧图像和所述目标配准图像进行减影，得到所述目标对象的第一目标减影图；
[0032]
第二减影模块，用于若所述图像差异值大于或等于预设差异阈值，则将所述目标造影帧图像输入至训练好的减影模型中，获取所述目标对象的第二目标减影图。
[0033]
可选地，所述目标图像获取模块，具体用于：确定所述目标非造影帧图像对应的第一图像特征以及所述目标造影帧图像对应的第二图像特征，其中，所述第一图像特征包括所述目标非造影帧图像的第一灰度特征，所述第二图像特征包括所述目标造影帧图像的第二灰度特征；依据所述第一灰度特征和所述第二灰度特征，计算所述目标非造影帧图像与所述目标造影帧图像之间的灰度特征差异值；其中，所述特征差异值包括所述灰度特征差异值，所述预设差异阈值包括预设灰度差异阈值，所述预设灰度差异阈值的取值范围为[0.01,0.2]，单位为百分比；或者，
[0034]
用于确定所述目标非造影帧图像对应的第一图像特征以及所述目标造影帧图像对应的第二图像特征，其中，所述第一图像特征包括所述目标非造影帧图像的第一结构边缘特征，所述第二图像特征包括所述目标造影帧图像的第二结构边缘特征；依据所述第一结构边缘特征和所述第二结构边缘特征，计算所述目标非造影帧图像与所述目标造影帧图像之间的结构特征差异值；其中，所述特征差异值包括所述结构特征差异值，所述预设差异阈值包括预设结构差异阈值，所述预设结构差异阈值为灰度阈值，且取值范围为[0.01,0.4]，或所述预设结构差异阈值为位置阈值，且取值范围为[20，200]个像素点。
[0035]
可选地，所述第一减影模块还于：将所述目标非造影帧图像和所述目标造影帧图像输入至训练好的配准模型中获取目标配准数据，其中，所述目标配准数据包括所述目标非造影帧图像向所述目标造影帧图像进行形变的、含有每个像素点位移信息的矩阵；按所述目标配准数据对所述目标非造影帧图像进行配准，得到所述目标配准图像。
[0036]
可选地，所述配准模型依据第一样本对象对应的第一样本非造影帧图像和第一样本造影帧图像训练得到。
[0037]
可选地，所述装置还包括：
[0038]
训练模块，用于获取所述第一样本对象对应的至少一张第一样本非造影帧图像和至少一张第一样本造影帧图像；将任一第一样本非造影帧图像与任一第一样本造影帧图像进行配对，得到多个第一样本图像对；将任一第一样本图像对输入至待训练的配准模型中得到形变数据，按所述形变数据对所述任一第一样本图像对中的第一样本非造影帧图像进行配准，得到所述任一第一样本图像对对应的第一样本配准图像；依据所述任一第一样本图像对对应的所述第一样本配准图像和所述第一样本造影帧图像之间的特征差异值，利用配准损失函数对所述配准模型进行迭代，直至满足预设配准条件时完成对所述配准模型的训练。
[0039]
可选地，所述减影模型依据第二样本对象对应的第二样本造影帧图像和第二样本减影图训练得到。
[0040]
依据本技术又一个方面，提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述方法。
[0041]
依据本技术再一个方面，提供了一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
[0042]
借由上述技术方案，本技术提供的一种减影图生成方法、装置、存储介质及计算机
设备，减影图生成方法包括：得到目标对象的目标非造影帧图像和目标造影帧图像之后，计算图像差异值，从而依据图像差异值识别出图像的运动伪影程度。当运动伪影程度较小时，通过预训练的配准模型获取目标配准数据，对目标非造影帧图像进行配准，进而对目标造影帧图像和配准得到的目标配准图像进行减影生成减影图；当运动伪影程度较大时，利用预训练的减影模型直接获取减影图。本技术实施例相比于目前基于时空信息的配准方法，只要得到目标非造影帧图像和目标造影帧图像就可以快速、实时的生成减影图，并且对于运动伪影较大情况，利用预训练的减影模型直接生成减影图，解决了该种情况下配准效果差的问题。
[0043]
上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。
附图说明
[0044]
此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
[0045]
图1示出了本技术实施例提供的一种减影图生成方法的流程示意图；
[0046]
图2示出了本技术实施例提供的一种配准模型生成方法的流程示意图；
[0047]
图3示出了本技术实施例提供的一种配准模型的工作流程示意图；
[0048]
图4示出了本技术实施例提供的一种减影模型生成方法的流程示意图；
[0049]
图5示出了本技术实施例提供的一种减影模型的工作流程示意图；
[0050]
图6示出了本技术实施例提供的另一种减影模型的工作流程示意图；
[0051]
图7示出了本技术实施例提供的又一种减影模型的工作流程示意图；
[0052]
图8示出了本技术实施例提供的一种减影图生成装置的结构示意图。
具体实施方式
[0053]
下文中将参考附图并结合实施例来详细说明本技术。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
[0054]
在本实施例中提供了一种减影图生成方法，如图1所示，该方法包括：
[0055]
步骤101，获取目标对象对应的目标非造影帧图像和目标造影帧图像，并计算图像差异值，其中，所述图像差异值包括所述目标非造影帧图像与所述目标造影帧图像之间的特征差异值；
[0056]
本技术实施例可以应用于数字减影血管造影(digital subtraction angiography,dsa)设备上，直接利用设备采集的图像生成减影图，也可以应用于独立于dsa设备的计算机设备中，通过计算机设备对造影设备采集的图像进行处理，生成减影图。
[0057]
首先，通常造影时，造影剂会延迟几帧进行注入，将无造影剂的图像作为蒙片(mask)，即目标非造影帧图像，将含造影剂帧图像作为造影片，即目标造影帧图像。获取目标对象的目标非造影帧图像和目标造影帧图像后，可以通过如下的方式获得图像差异值，以此进行运动伪影程度的判断，从而根据伪影程度选择对应的减影方式。
[0058]
可选地，所述图像差异值包括目标非造影帧图像对应的第一图像特征和目标造影
帧图像对应的第二图像特征之间的特征差异值。
[0059]
在一示例中，步骤101中“计算图像差异值”具体可以包括：
[0060]
步骤101-1，确定所述目标非造影帧图像对应的第一图像特征以及所述目标造影帧图像对应的第二图像特征，其中，所述第一图像特征包括所述目标非造影帧图像的第一灰度特征，所述第二图像特征包括所述目标造影帧图像的第二灰度特征；
[0061]
步骤101-2，依据所述第一灰度特征和所述第二灰度特征，计算所述目标非造影帧图像与所述目标造影帧图像之间的灰度特征差异值；
[0062]
其中，所述特征差异值包括所述灰度特征差异值，所述预设差异阈值包括预设灰度差异阈值，所述预设灰度差异阈值的取值范围为[0.01,0.2]，单位为百分比，即灰度差异阈值为目标非造影帧图像的灰度均值和目标造影帧图像的灰度均值之间的差值与目标非造影帧图像的灰度均值的比值。
[0063]
在另一示例中，步骤101中“计算图像差异值”具体可以包括：
[0064]
步骤101-3，确定所述目标非造影帧图像对应的第一图像特征以及所述目标造影帧图像对应的第二图像特征，其中，所述第一图像特征包括所述目标非造影帧图像的第一结构边缘特征，所述第二图像特征包括所述目标造影帧图像的第二结构边缘特征；
[0065]
步骤101-4，依据所述第一结构边缘特征和所述第二结构边缘特征，计算所述目标非造影帧图像与所述目标造影帧图像之间的结构特征差异值；
[0066]
其中，所述特征差异值包括所述结构特征差异值，所述预设差异阈值包括预设结构差异阈值，所述预设结构差异阈值为灰度阈值，且取值范围为[0.01,0.4]，单位为百分比，即结构差异阈值为目标非造影帧图像的边缘特征的灰度均值和目标造影帧图像的边缘特征的灰度均值之间的差值与目标非造影帧图像的的边缘特征灰度均值的比值，或所述预设结构差异阈值为位置阈值，且取值范围为[20，200]个像素点，即结构差异阈值为目标非造影帧图像的边缘特征的像素位置和目标造影帧图像的边缘特征的像素位置之间的距离，可以采用光流法等方式计算造影图像和非造影图像的形变场，利用形变场的位移量计算图像的形变程度。
[0067]
在该实施例中，分别计算非造影片和造影片的图像特征，包括但不限于图像的灰度特征，结构边缘特征等。通过计算蒙片和造影片之间的特征差异，以便进行运动伪影程度的判断，其中，特征差异通过灰度特征差异值、结构特征差异值来反应，灰度特征差异值也可以为蒙片和造影片各像素点之间的灰度均方误差，结构特征差异值可以为结构边缘特征的位置差值等。
[0068]
可选地，所述图像差异值包括多个目标造影帧图像之间的形变量，步骤101中“计算图像差异值”具体可以包括：
[0069]
采用光流法对相邻所述目标造影帧图像的速度和位移的进行计算，获取多个目标造影帧图像中相邻目标造影帧图像之间的形变量；
[0070]
其中，所述预设差异阈值为预设形变量阈值，所述预设形变量阈值的取值范围为[5，100]个像素点。
[0071]
步骤102，若所述图像差异值小于预设差异阈值，对所述目标非造影帧进行配准，获得目标配准图像，并对所述目标造影帧图像和所述目标配准图像进行减影，得到所述目标对象的第一目标减影图；
[0072]
在上述实施例中，若图像差异值小于预设差异阈值，说明运动伪影程度较小，这种情况下，可以先对蒙片进行配准以使蒙片对应的组织结构边缘与造影片接近，然后再进行减影。
[0073]
可选地，步骤102中“对所述目标非造影帧进行配准，获得目标配准图像”，具体可以包括：将所述目标非造影帧图像和所述目标造影帧图像输入至训练好的配准模型中获取目标配准数据，其中，所述目标配准数据包括所述目标非造影帧图像向所述目标造影帧图像进行形变的、含有每个像素点位移信息的矩阵；按所述目标配准数据对所述目标非造影帧图像进行配准，得到所述目标配准图像。
[0074]
在上述实施例中，可以将目标非造影帧图像和目标造影帧图像输入到预先训练好的配准模型中，将模型输出作为目标配准数据，该目标配准数据为使目标非造影帧图像向目标造影帧图像进行形变的、含有每个像素点位移信息的矩阵。从而按照目标配准数据对目标非造影帧图像进行配准，以得到目标配准图像，改善人体运动伪影。进一步，对目标造影帧图像和配准后的非造影帧图像(即目标配准图像)进行减影，得到最终的减影图，即上述第一目标减影图。
[0075]
其中，关于配准模型，可以利用第一样本对象对应的第一样本非造影帧图像和第一样本造影帧图像进行训练，以保证训练后的配准模型能够根据输入的蒙片和造影片输出蒙片的配准数据，且按配准数据对蒙片进行配准后，得到的配准片与造影片之间的特征差异值能够保证在一定范围内。
[0076]
步骤103，若所述图像差异值大于或等于预设差异阈值，则将所述目标造影帧图像输入至训练好的减影模型中，获取所述目标对象的第二目标减影图。
[0077]
在上述实施例中，若特征差异值大于或等于预设差异阈值，说明运动伪影程度较大，在这种情况下，由于组织结构位移程度大，对蒙片进行配准的方式可能已经难以保证准确性，例如配准可能导致组织结构图像不自然。在该场景下，可以通过预先训练减影图生成模型(简称减影模型)的方式，将目标造影帧图像输入到训练好的减影模型中直接生成减影图，避免因运动伪影过大难以保证配准效果而导致减影图效果差的问题，提升减影图准确性。
[0078]
其中，关于减影模型，可以利用第二样本对象对应的第二样本造影帧图像以及第二样本减影图进行训练，以使训练后的减影模型可以根据输入的造影片直接输出减影片。具体可以选择特征差异值很小的第二样本造影帧图像和第二样本非造影帧图像，通过对二者减影的方式得到第二样本减影图，以保证减影图准确、可靠，当然也可以不限制第二样本非造影帧图像和第二样本造影帧图像之间的特征差异值，只要能保证第二样本减影图可靠即可。
[0079]
通过应用本实施例的技术方案，得到目标对象的目标非造影帧图像和目标造影帧图像之后，计算二者之间的特征差异值，或者计算目标造影帧图像的形变量，即计算得出图像差异值，从而依据图像差异值识别出图像的运动伪影程度。当运动伪影程度较小时，通过预训练的配准模型获取目标配准数据，对目标非造影帧图像进行配准，进而对目标造影帧图像和配准得到的目标配准图像进行减影生成减影图；当运动伪影程度较大时，利用预训练的减影模型直接获取减影图。本技术实施例相比于目前基于时空信息的配准方法，只要得到目标非造影帧图像和目标造影帧图像就可以快速、实时的生成减影图，并且对于运动
伪影较大情况，利用预训练的减影模型直接生成减影图，解决了该种情况下配准效果差的问题。
[0080]
在本实施例中提供了一种配准模型生成方法，如图2所示，该方法包括：
[0081]
步骤201，获取第一样本对象对应的至少一张第一样本非造影帧图像和至少一张第一样本造影帧图像；
[0082]
步骤202，将任一第一样本非造影帧图像与任一第一样本造影帧图像进行配对，得到多个候选图像对，并筛选出其中特征差异值大于预设第一样本阈值的候选图像对作为第一样本图像对；
[0083]
步骤203，将任一第一样本图像对输入至待训练的配准模型中得到形变数据，按所述形变数据对所述任一第一样本图像对中的第一样本非造影帧图像进行配准，得到所述任一第一样本图像对对应的第一样本配准图像；
[0084]
步骤204，依据所述任一第一样本图像对对应的所述第一样本配准图像和所述第一样本造影帧图像之间的特征差异值，利用配准损失函数对所述配准模型进行迭代，直至满足预设配准条件时完成对所述配准模型的训练。
[0085]
在本技术实施例中，获取dsa设备采集的第一样本对象的第一样本非造影帧图像以及第一样本造影帧图像，并对采集图像进行配对，组成图像对，为保证模型训练效果，使训练后的配准模型能够有效的对图像运动伪影进行配准，可以对配对组成的图像对进行筛选，对于任意一个图像对来说，图像对中包含的两张图像之间的特征差异值应大于预设第一样本阈值，从而保证对模型的有效训练。其中，第一样本图像对可以由一张第一样本非造影帧图像和一张第一样本造影帧图像组成，也可以由两张第一样本造影帧图像组成，只要保证最终用于训练的第一样本图像对中的两张图像之间的特征差异值大于上述阈值即可。为了提高配对效率，可以直接在多个第一样本非造影帧图像中选择一张，在多个第一样本造影帧图像中选择一张，组成一个图像对。
[0086]
如图3所示，构建待训练的配准神经网络模型，例如可以选择密集连接卷积网络等神经网络作为配准模型，将第一样本图像对输入到配准模型中，利用该网络，可以将图像对经过网络运算后生成形变数据，该形变数据为使第一样本非造影帧图像形变至第一样本造影帧图像的含有每个像素点位移信息的矩阵。通过获得的形变数据对第一样本非造影帧图像进行配准，使第一样本非造影帧图像形变为第一样本配准图。进一步计算第一样本配准图与第一样本造影帧图像之间的特征差异值，并依据该特征差异值确定配准模型的配准损失函数，利用配准损失函数进行该配准模型的迭代，直到配准模型的配准损失函数稳定在一定范围内时，完成训练。
[0087]
在本技术实施例中，可选地，步骤204具体可以包括：
[0088]
步骤204-1，将所述任一第一样本图像对对应的所述第一样本配准图像和所述第一样本造影帧图像之间的特征差异值，作为所述配准模型的配准损失函数。
[0089]
在上述实施例中，一种可选的损失函数确定方式为，直接将第一样本配准图像和第一样本造影帧图像之间的特征差异值作为配准损失函数
[0090]
在本技术实施例中，可选地，步骤204具体可以包括：
[0091]
步骤204-2，利用血管提取模型，确定任一第一样本图像对中第一样本造影帧图像的第一样本血管分割图像，并基于所述第一样本血管分割图像对所述第一样本配准图像的
对应像素进行降权；
[0092]
步骤204-3，将所述任一第一样本图像对对应的降权后的第一样本配准图像和所述第一样本造影帧图像之间的特征差异值，作为所述配准模型的降权感知损失函数；
[0093]
步骤204-4，依据所述降权感知损失函数和所述配准模型对应的正则项，确定所述配准模型的配准损失函数。
[0094]
在上述实施例中，为了解决配准导致的图形不自然的问题，以及由于蒙片中无血管等组织结构但造影片中有血管等组织结构导致图像信息不同，而造成的血管等区域难以配准的问题(该问题也可以理解为，由于造影片中组织结构被造影后的结构遮挡，图像信息丢失，该部分无法通过图像信息匹配)。可以通过正则项 组织降权感知损失的方式确定模型的配准损失函数。本技术实施例以血管降权为例，其中，对血管的降权损失函数可以通过预训练的血管提取网络获得，具体步骤为：用预训练的血管提取模型例如血管分割网络，对输入的第一样本造影帧图像进行血管分割，生成分割结果即第一样本血管分割图像；接着，利用该第一样本血管分割图像对第一样本配准图像进行降权，具体可以记录下第一样本血管分割图像中存在血管的像素，利用这些像素信息将第一样本配准图像对应的像素进行降权(即乘以＜1的系数)，即可减少由于血管原因造成的影响；最后，计算降权后的第一样本配准图像和第一样本造影帧图像之间的特征差异值，将该值作为模型的降权感知损失函数。进一步，为了避免模型过拟合现象发生，将降权感知损失函数与模型对应的正则项相加，将二者之和作为模型的配准损失函数。其中，正则项的表达式可以为：其中，l
all
为整体损失函数，l(x)表示计算与目标差异值的损失函数，如感知损失、l2损失等，λ为l2正则化项的权重，表示正则化项在损失函数中的占比；x-x’为图像在像素点i时与周围像素的梯度值。为l2正则化惩罚项，计算图像所有像素点的梯度的平方和。
[0095]
本技术实施例中，经过上述方式训练后的配准模型，可以在采集到蒙片和造影片后，实现对蒙片的快速配准。在实际应用中，读取训练后的配准模型，将待配准的蒙片和造影片输入到模型中，将模型输出的配准数据运用到蒙片上进行配准，生成配准图片，对造影片和配准图像进行减影，生成减影图。
[0096]
在本实施例中提供了一种减影模型生成方法，如图4所示，该方法包括：
[0097]
步骤301，获取第二样本对象对应的至少一张第二样本非造影帧图像和至少一张第二样本造影帧图像，其中，所述第二样本非造影帧图像和所述第二样本造影帧图像之间的特征差异值小于预设第二样本阈值；
[0098]
步骤302，对任一第二样本造影帧图像与任一第二样本非造影帧图像进行减影得到第二样本减影图，并将所述任一第二样本造影帧图像和所述第二样本减影图配对组成所述第二样本图像对；
[0099]
步骤303，利用所述第二样本图像对，对待训练的减影模型进行训练，得到训练后的减影模型。
[0100]
在上述实施例中，在dsa设备采集的图像中，选择基本无运动伪影的序列作为训练数据集，具体可以获取第二样本对象对应的第二样本非造影帧图像和第二样本造影帧图像，依据特征差异值对样本数据进行筛选，以保证任一第二样本非造影帧图像和任一第二
样本造影帧图像之间的特征差异值小于预设第二样本阈值，预设第二样本阈值参照预设灰度差异阈值、预设形变量阈值确定。在具体应用场景中，由于基本无运动伪影，步骤301可以只选择一张第二样本非造影帧图像，减少后续计算量。然后，对第二样本造影帧图像和第二样本非造影帧图像进行减影得到第二样本减影图，并将第二样本减影图和对应的第二样本造影帧图像进行配对，组成第二样本图像对作为模型训练样本。最后，构建减影模型，并利用第二样本图像对进行训练，具体可以将第二样本造影帧图像作为模型输入，将第二样本减影图作为模型输出，实现对模型的训练。其中，减影模型可以选择含密集连接卷积的空间金字塔网络。
[0101]
本技术实施例中，可选地，步骤303具体可以包括：
[0102]
步骤303-1，将所述第二样本图像对中的第二样本造影帧图像输入至待训练的减影模型中得到第二样本减影预测图，并依据所述第二样本减影图和所述第二样本减影预测图之间的特征差异值，确定所述减影模型的减影损失函数；利用所述减影损失函数对所述减影模型进行迭代，直至满足预设减影条件时完成对所述减影模型的训练。
[0103]
在上述实施例中，如图5所示，训练过程中，对任一第二样本图像对来说，将第二样本造影帧图像输入到待训练的减影模型中得到第二样本减影预测图，之后计算第二样本减影预测图与第二样本图像对中第二样本减影图之间的特征差异值，将该值作为减影模型的减影损失函数，利用获得的减影损失函数进行模型网络参数的迭代，直到减影损失函数稳定在一定范围内时，完成对减影模型的训练。需要说明的是，该减影损失函数也可以选择血管降权感知损失，具体的计算方式与步骤204-2和步骤204-3的方式相似，在此不再赘述。
[0104]
本技术实施例中，可选地，步骤303具体可以包括：
[0105]
步骤303-2，若所述第二样本图像对的数量少于预设样本数量，则获取第三样本对象对应的多个第三样本图像对，其中，任一第三样本图像对包括所述第三样本对象的第三样本造影帧图像和第三样本减影图，所述第三样本对象对应于第二部位；
[0106]
步骤303-3，依据所述第三样本图像对训练预设神经网络模型，得到辅助模型；
[0107]
步骤303-4，依据所述辅助模型以及所述预设神经网络模型，建立所述待训练的减影模型。
[0108]
在上述实施例中，针对dsa图像序列中某些部位(如心脏)的无运动伪影图像较少，训练样本不充足的问题，本技术实施例还提供了一种基于迁移学习的解决方案可用于减影模型的设计中。在具体应用场景中，可以先采用一些不同部位的无运动伪影的样本，例如头部、腹部的样本，按照如上述步骤301至步骤303的方式完成预设神经网络模型训练，得到辅助模型，从而依据辅助模型和初始的预设神经网络模型，构建待训练的减影模型。
[0109]
可选地，步骤303-4具体可以包括：获取所述辅助模型中的预设迁移层作为迁移模型；将所述第二样本图像对中的第二样本造影帧图像输入至所述迁移模型中，得到所述第二样本造影帧图像对应的迁移数据，并构建包含所述迁移数据和对应的第二样本减影图的第二样本迁移数据对；获取初始的预设神经网络模型模型中的预设被迁移层作为被迁移模型，并利用所述第二样本迁移数据对训练所述被迁移模型；将所述迁移模型和所述被迁移模型进行拼接，得到所述减影模型。
[0110]
其中，在训练好的神经网络模型即辅助模型中对靠前的一部分网络层进行提取，将提取的网络结构作为迁移模型，如图6所示，具体可以对要提取的网络层进行约定，即设
定出预设迁移层，进而将第二样本图像对中的第二样本造影帧图像输入到迁移模型中，得到对应的迁移数据，即利用预训练的神经网络模型的中间层(即预设迁移层)生成了关于第二样本造影帧图像的特征矩阵。从而利用迁移数据作为训练样本对减影模型对应的被迁移部分进行训练，具体可以获取预设神经网络模型中的预设被迁移层作为被迁移模型，从而利用迁移数据以及与该迁移数据对应的第二样本减影图对被迁移模型进行训练，减少模型训练的层数，减少需要确定的网络参数数据量，在该方式中迁移模型的网络参数不需要改变，只需要对剩余网络层(即预设被迁移层)的参数进行训练即可。最后基于相同的网络结构，可以将迁移模型和被迁移模型拼接在一起得到最终的减影模型。
[0111]
本技术实施例中，可选地，步骤303-4具体可以包括：将所述辅助模型级联至所述预设神经网络模型中，得到所述待训练的减影模型，利用所述第二样本图像对训练所述待训练的减影模型。
[0112]
在上述实施例中，如图7所示，确定第四样本图像对后，利用第四样本图像对训练预设神经网络模型，进而将该训练后的预设神经网络模型级联至初始的预设神经网络模型中，确定待训练的减影模型，具体可以将预设神经网络模型按网络层划分为两部分，分别为减影网络1和减影网络2，级联至二者中间位置，进而继续利用第二样本图像对进行模型训练。
[0113]
进一步的，作为图1方法的具体实现，本技术实施例提供了一种减影图生成装置，如图8所示，该装置包括：
[0114]
目标图像获取模块，用于获取目标对象对应的目标非造影帧图像和目标造影帧图像，并计算图像差异值；
[0115]
第一减影模块，用于若所述图像差异值小于预设差异阈值，对所述目标非造影帧进行配准，获得目标配准图像，并对所述目标造影帧图像和所述目标配准图像进行减影，得到所述目标对象的第一目标减影图；
[0116]
第二减影模块，用于若所述图像差异值大于或等于预设差异阈值，则将所述目标造影帧图像输入至训练好的减影模型中，获取所述目标对象的第二目标减影图。
[0117]
可选地，所述目标图像获取模块，可以具体用于：确定所述目标非造影帧图像对应的第一图像特征以及所述目标造影帧图像对应的第二图像特征，其中，所述第一图像特征包括所述目标非造影帧图像的第一灰度特征，所述第二图像特征包括所述目标造影帧图像的第二灰度特征；依据所述第一灰度特征和所述第二灰度特征，计算所述目标非造影帧图像与所述目标造影帧图像之间的灰度特征差异值；其中，所述特征差异值包括所述灰度特征差异值，所述预设差异阈值包括预设灰度差异阈值，所述预设灰度差异阈值的取值范围为[0.01,0.2]，单位为百分比。
[0118]
可选地，所述目标图像获取模块，可以具体用于：确定所述目标非造影帧图像对应的第一图像特征以及所述目标造影帧图像对应的第二图像特征，其中，所述第一图像特征包括所述目标非造影帧图像的第一结构边缘特征，所述第二图像特征包括所述目标造影帧图像的第二结构边缘特征；依据所述第一结构边缘特征和所述第二结构边缘特征，计算所述目标非造影帧图像与所述目标造影帧图像之间的结构特征差异值；其中，所述特征差异值包括所述结构特征差异值，所述预设差异阈值包括预设结构差异阈值，所述预设结构差异阈值为灰度阈值，且取值范围为[0.01,0.4]，或所述预设结构差异阈值为位置阈值，且取
值范围为[20，200]个像素点。
[0119]
可选地，所述目标图像获取模块，可以具体用于：采用光流法对相邻所述目标造影帧图像的速度和位移的进行计算，获取多个目标造影帧图像中相邻目标造影帧图像之间的形变量；其中，所述预设差异阈值为预设形变量阈值，所述预设形变量阈值的取值范围为[5，100]个像素点。
[0120]
可选地，所述第一减影模块可以用于：将所述目标非造影帧图像和所述目标造影帧图像输入至训练好的配准模型中获取目标配准数据，其中，所述目标配准数据包括所述目标非造影帧图像向所述目标造影帧图像进行形变的、含有每个像素点位移信息的矩阵；按所述目标配准数据对所述目标非造影帧图像进行配准，得到所述目标配准图像。
[0121]
可选地，所述配准模型依据第一样本对象对应的第一样本非造影帧图像和第一样本造影帧图像训练得到。
[0122]
可选地，所述装置还包括：
[0123]
训练模块，用于获取所述第一样本对象对应的至少一张第一样本非造影帧图像和至少一张第一样本造影帧图像；将任一第一样本非造影帧图像与任一第一样本造影帧图像进行配对，得到多个第一样本图像对；将任一第一样本图像对输入至待训练的配准模型中得到形变数据，按所述形变数据对所述任一第一样本图像对中的第一样本非造影帧图像进行配准，得到所述任一第一样本图像对对应的第一样本配准图像；依据所述任一第一样本图像对对应的所述第一样本配准图像和所述第一样本造影帧图像之间的特征差异值，利用配准损失函数对所述配准模型进行迭代，直至满足预设配准条件时完成对所述配准模型的训练。
[0124]
可选地，所述减影模型依据第二样本对象对应的第二样本造影帧图像和第二样本减影图训练得到。
[0125]
需要说明的是，本技术实施例提供的一种减影图生成装置所涉及各功能单元的其他相应描述，可以参考图1至图7方法中的对应描述，在此不再赘述。
[0126]
基于上述如图1至图7所示方法，相应的，本技术实施例还提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述如图1至图7所示的减影图生成方法。
[0127]
基于这样的理解，本技术的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施场景所述的方法。
[0128]
基于上述如图1至图7所示的方法，以及虚拟装置实施例，为了实现上述目的，本技术实施例还提供了一种计算机设备，具体可以为个人计算机、服务器、网络设备等，该计算机设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图1至图7所示的减影图生成方法。
[0129]
可选地，该计算机设备还可以包括用户接口、网络接口、摄像头、射频(radio frequency，rf)电路，传感器、音频电路、wi-fi模块等等。用户接口可以包括显示屏(display)、输入单元比如键盘(keyboard)等，可选用户接口还可以包括usb接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、wi-fi接口)等。
[0130]
本领域技术人员可以理解，本实施例提供的一种计算机设备结构并不构成对该计算机设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0131]
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理和保存计算机设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与该实体设备中其它硬件和软件之间通信。
[0132]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本技术可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现得到目标对象的目标非造影帧图像和目标造影帧图像之后，计算图像差异值，从而依据图像差异值识别出图像的运动伪影程度。当运动伪影程度较小时，通过预训练的配准模型获取目标配准数据，对目标非造影帧图像进行配准，进而对目标造影帧图像和配准得到的目标配准图像进行减影生成减影图；当运动伪影程度较大时，利用预训练的减影模型直接获取减影图。本技术实施例相比于目前基于时空信息的配准方法，只要得到目标非造影帧图像和目标造影帧图像就可以快速、实时的生成减影图，并且对于运动伪影较大情况，利用预训练的减影模型直接生成减影图，解决了该种情况下配准效果差的问题。
[0133]
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本技术所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
[0134]
上述本技术序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本技术的几个具体实施场景，但是，本技术并非局限于此，任何本领域的技术人员能思之的变化都应落入本技术的保护范围。