图像对齐方法、装置、电子设备及存储介质与流程

1.本技术涉及图像处理技术领域，尤其涉及一种图像对齐方法、装置、电子设备及存储介质。


背景技术：

2.随着医学中影像学的发展，临床医生借助影像学检查，可以大大提高医生的临床诊断水平，对于疾病的治疗也有很大帮助。影像检查中的ct(computed tomography，电子计算机断层扫描)、mri(magnetic resonance imaging，磁共振成像)、pet-ct(positron emission tomography-computed tomography，正电子发射计算机断层显像)等检查得到的是dicom影像，其中dicom(digital imaging and communications in medicine)是一种国内外医疗机构用来管理、传输医疗影像资料和相关数据的通用协议，也是国际上通用的ct、mri、pet-ct等的标准电子影像信息格式。dicom格式中储存有大量的影像图片，比如一次ct检查，就可产生900多张dicom格式影像资料，以使医生可以从不同角度或位置查看病灶的大小、位置、形态，与周围重要器官、血管、神经的关系等重要信息，这些信息会影响到对疾病和治疗方式的判断。
3.临床医生在进行疾病诊断时，往往需要将当前检查出的影像与以往检查的影像进行对比查看，从而诊断疾病的变化等。在对两期影像数据对比查看阅片时，需要来回翻阅两期影像数据，将两期影响数据中的各个图像帧对齐，从而可以对比同一部位或病灶位置在不同时期的影像，但是每一期影像数据均包含很多图像，庞大的图像翻阅量，影响了图像查阅效率和便捷性。


技术实现要素：

4.基于上述现有技术的缺陷和不足，本技术提出一种图像对齐方法、装置、电子设备及存储介质，能够提高图像查阅效率和便捷性。
5.本技术第一方面提供了一种图像对齐方法，包括：
6.分别提取第一图像序列和第二图像序列中的图像帧的图像特征；
7.计算所述第一图像序列中的图像帧与所述第二图像序列中的图像帧之间的图像特征相似度；
8.根据所述第一图像序列中的图像帧与所述第二图像序列中的图像帧之间的图像特征相似度，将所述第一图像序列中的第一图像帧，与所述第二图像序列中的、与所述第一图像帧的图像特征相似度最大的第二图像帧对齐。
9.可选的，所述分别提取第一图像序列和第二图像序列中的图像帧的图像特征，包括：
10.从所述第一图像序列中提取各图像帧对应的图像子序列，以及从所述第二图像序列中提取各图像帧对应的图像子序列；其中，所述图像帧对应的图像子序列包括所述图像帧和至少一个与所述图像帧相邻的图像帧；
11.提取各图像帧对应的图像子序列的图像序列特征作为各图像帧的图像特征。
12.可选的，提取图像帧对应的图像子序列的方式为：
13.以所述图像帧为中心帧，从所述图像帧所在图像序列中提取与所述图像帧相邻的前一帧图像帧和后一帧图像帧，将所述图像帧、所述图像帧的前一帧图像帧和所述图像帧的后一帧图像帧作为所述图像帧对应的图像子序列。
14.可选的，所述图像对齐方法，还包括：
15.将所述第一图像序列中不存在对应的图像子序列的图像帧作为剩余图像帧；
16.根据所述第一图像序列的图像采集参数、所述第二图像序列的图像采集参数，以及所述第一图像序列与所述第二图像序列之间的图像帧对齐结果，从所述第二图像序列中，确定出与所述剩余图像帧对齐的图像帧。
17.可选的，提取各图像帧对应的图像子序列的图像序列特征作为各图像帧的图像特征，包括：
18.将各图像帧对应的图像子序列输入预先训练的特征提取网络，得到各图像帧对应的图像子序列的图像序列特征，并将各图像帧对应的图像子序列的图像序列特征作为各图像帧的图像特征；
19.所述特征提取网络通过对图像序列样本进行特征提取并基于提取的特征进行无监督的图像帧排序训练得到。
20.可选的，所述特征提取网络的训练过程包括：
21.从所述图像序列样本中选取至少两组样本图像子序列，所述样本图像子序列包括至少一个样本图像帧；
22.按照随机调整后的调整顺序，将各组样本图像子序列依次输入所述特征提取网络，得到各组样本图像子序列对应的样本序列特征；
23.按照将各组样本图像子序列依次输入所述特征提取网络的顺序，对得到的各组样本序列特征进行拼接，得到拼接特征；
24.基于所述拼接特征，识别拼接特征中的各组样本序列特征对应的样本图像子序列之间的顺序关系，得到顺序识别结果；
25.将所述顺序识别结果与所述调整顺序进行对比，以所述顺序识别结果与所述调整顺序相同为目标，对所述特征提取网络的参数进行调整。
26.可选的，在按照将各组样本图像子序列依次输入所述序列特征提取网络的顺序，对得到的各组样本序列特征进行拼接，得到拼接特征之前，所述方法还包括：
27.获取所述图像序列样本对应的样本整体特征；
28.将各组样本图像子序列对应的样本序列特征，分别与所述样本整体特征进行基于注意力机制的特征增强处理。
29.可选的，将各组样本图像子序列对应的样本序列特征，分别与所述样本整体特征进行基于注意力机制的特征增强处理，包括：
30.对每组样本图像子序列对应的样本序列特征，分别计算其与所述样本整体特征的相似度系数；
31.根据每组样本图像子序列对应的样本序列特征与所述样本整体特征的相似度系数，从所述样本整体特征中获取与每组样本图像子序列对应的样本序列特征相似度最高的
特征成分；
32.将与每组样本图像子序列对应的样本序列特征相似度最高的特征成分，与每组样本图像子序列对应的样本序列特征对应叠加，得到每组样本图像子序列对应的增强后的样本序列特征。
33.可选的，计算所述第一图像序列中的图像帧与所述第二图像序列中的图像帧之间的图像特征相似度，包括：
34.基于所述第一图像序列中各图像帧的图像特征生成所述第一图像序列对应的第一特征矩阵，以及，基于所述第二图像序列中各图像帧的图像特征生成所述第二图像序列对应的第二特征矩阵；
35.计算所述第一特征矩阵与所述第二特征矩阵的特征相似度矩阵；所述特征相似度矩阵中包含第一图像序列中各图像帧的图像特征与第二图像序列中各图像帧的图像特征之间的图像特征相似度。
36.本技术第二方面提供了一种图像对齐装置，包括：
37.图像特征提取模块，用于分别提取第一图像序列和第二图像序列中的图像帧的图像特征；
38.相似度计算模块，用于计算所述第一图像序列中的图像帧与所述第二图像序列中的图像帧之间的图像特征相似度；
39.图像对齐模块，用于根据所述第一图像序列中的图像帧与所述第二图像序列中的图像帧之间的图像特征相似度，将所述第一图像序列中的第一图像帧，与所述第二图像序列中的、与所述第一图像帧的图像特征相似度最大的第二图像帧对齐。
40.本技术第三方面提供了一种电子设备，包括：存储器和处理器；
41.其中，所述存储器与所述处理器连接，用于存储程序；
42.所述处理器，用于通过运行所述存储器中的程序，实现上述图像对齐方法。
43.本技术第四方面提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现上述图像对齐方法。
44.本技术提出的图像对齐方法，分别提取第一图像序列和第二图像序列中的图像帧的图像特征；计算第一图像序列中的图像帧与第二图像序列中的图像帧之间的图像特征相似度；根据第一图像序列中的图像帧与第二图像序列中的图像帧之间的图像特征相似度，将第一图像序列中的第一图像帧，与第二图像序列中的、与第一图像帧的图像特征相似度最大的第二图像帧对齐。采用本技术的技术方案，可以实现第一图像序列与第二图像序列之间的帧级对齐，用户选择其中一个图像序列中的任一图像帧，便可自动输出另一图像序列中与该图像帧对齐的图像帧，无需用户在所有的图像帧中翻阅，减少了图像翻阅量，提高了图像查阅效率和便捷性。
附图说明
45.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
46.图1是本技术实施例提供的一种图像对齐方法的流程示意图；
47.图2是本技术实施例提供的提取图像帧的图像特征的处理流程示意图；
48.图3是本技术实施例提供的另一种图像对齐方法的流程示意图；
49.图4是本技术实施例提供的一种训练特征提取网络的处理流程示意图；
50.图5是本技术实施例提供的特征提取网络的训练结构示意图；
51.图6是本技术实施例提供的另一种训练特征提取网络的处理流程示意图；
52.图7是本技术实施例提供的一种图像对齐装置的结构示意图；
53.图8是本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
54.本技术实施例技术方案适用于图像处理的应用场景，尤其适用于医疗影像的图像处理。采用本技术实施例技术方案，能够实现两个图像序列之间的帧级对齐，减少了图像翻阅量，提高了图像查阅效率和便捷性。
55.医疗影像包括ct影像、mri影像、pet-ct影像等，通常为dicom(digital imaging and communications in medicine)格式的影像，dicom格式中储存有大量的影像图片，比如一次ct检查，就可产生900多张dicom格式影像资料，以使医生可以从不同角度或位置查看病灶的大小、位置、形态，与周围重要器官、血管、神经的关系等重要信息，这些信息会影响到对疾病和治疗方式的判断。临床医生在进行疾病诊断时通常需要将本次检查出的影像与之前检查出的影像进行对比查看，检查病灶的变化，从而对疾病的改善情况或者恶化情况进行诊断。
56.临床医生在对两期影像进行对比查看时，需要来回翻阅两期影像数据，对两期影像中各个图像帧对齐，从而找出同一部位或者同一病灶位置在两期影像中对应的两帧图像，对两帧图像进行对比查看。但是每期影像均包含大量的图像帧，临床医生需要翻阅大量图像帧才能实现两期影像中图像帧的对齐，从而找出同一部位或者同一病灶位置的两帧不同时期的图像，操作繁琐，且耗时，影响了临床医生图像查阅的效率以及图像查阅的便捷性。
57.鉴于上述现有技术的不足以及现实存在的图像翻阅量大，导致图像查阅效率以及图像查阅便捷性较低的问题，本技术发明人经过研究和试验，提出一种图像对齐方法，该方法能够实现两个图像序列之间的帧级对齐，减少了图像翻阅量，提高了图像查阅效率和便捷性。
58.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
59.本技术实施例提出一种图像对齐方法，参见图1所示，该方法包括：
60.s101、分别提取第一图像序列和第二图像序列中的图像帧的图像特征。
61.具体的，每组影像数据中均包含若干图像，影像数据中所有的图像可以组成一组图像序列，作为该影像数据的图像序列。为了适应本实施例所使用的gpu显存大小，本实施例可以合理选取图像大小阈值，将影像数据中的所有图像帧均按照预先选取的图像大小阈
值沿着x，y方向进行下采样操作，将下采样后的图像帧组合成图像序列。
62.为了对两期影像进行图像帧对齐操作，首先需要获取两期影像中第一影像对应的第一图像序列和第二影像对应的第二图像序列。对于医疗影像需要通过医疗影像设备拍摄获取第一影像和第二影像。例如，ct影像需要利用ct扫描仪拍摄，通常多用于对胸腹盆、颅脑、颈椎等部位进行ct检查，得到的影像数据也多指胸腹盆、颅脑、颈椎ct检查的dicom影像。
63.本实施例获取到需要进行对齐操作的两期影像数据对应的第一图像序列和第二图像序列后，分别提取第一图像序列和第二图像序列中的图像帧的图像特征。本实施例可以直接针对每帧图像帧进行图像特征提取，还可以从该图像帧所处的图像序列中选取该图像帧对应的图像子序列，针对各图像帧对应的图像子序列确定图像特征。其中，各图像帧的图像特征的提取可以采用现有的图像特征提取算法，例如，sift(尺度不变特征变换)特征提取、hog(方向梯度直方图)特征提取、神经网络特征提取等方法。
64.s102、计算第一图像序列中的图像帧与第二图像序列中的图像帧之间的图像特征相似度。
65.具体的，根据第一图像序列中的图像帧的图像特征以及第二图像序列中的图像帧的图像特征，计算第一图像序列中提取出图像特征的各图像帧与第二图像序列中提取出图像特征的各图像帧之间的图像特征相似度，从而根据两帧图像帧的图像特征相似度来判断这两帧图像是否为同一部位或同一病灶位置的图像。本实施例中，两帧图像的图像特征相似度可以通过计算两帧图像的图像特征向量之间的欧氏距离或巴氏距离等方式确定，还可以利用矩阵相乘方式确定。
66.进一步地，本步骤具体包括：
67.第一，基于第一图像序列中各图像帧的图像特征生成第一图像序列对应的第一特征矩阵，以及，基于第二图像序列中各图像帧的图像特征生成第二图像序列对应的第二特征矩阵。
68.本实施例将第一图像序列中各图像帧的图像特征堆叠生成第一图像序列对应的第一特征矩阵，将第二图像序列中各图像帧的图像特征堆叠生成第二图像序列对应的第二特征矩阵。其中，第一特征矩阵中包含的元素为第一图像序列中各图像帧的图像特征，第二特征矩阵中包含的元素为第二图像序列中各图像帧的图像特征。
69.第二，计算第一特征矩阵与第二特征矩阵的特征相似度矩阵。
70.本实施例可以利用矩阵相乘的方式，计算出第一特征矩阵与第二特征矩阵的特征相似度矩阵，例如，可以将第一特征矩阵与第二特征矩阵的转置矩阵相乘，也可以将第一特征矩阵的转置矩阵与第二特征矩阵相乘。其中，本实施例中的矩阵相乘采用的是点乘方式。
71.计算出的特征相似矩阵中包含的元素均为第一图像序列中各图像帧的图像特征与第二图像序列中各图像帧的图像特征之间的图像特征相似度。例如，如果特征相似矩阵中的图像特征相似度元素c1是根据第一特征矩阵中的图像特征元素a1与第二特征矩阵中的图像特征元素b1计算出的，那么图像特征相似度元素c1便是第一图像序列中图像特征元素a1对应的图像帧与第二图像特征序列中图像特征元素b1对应的图像帧之间的图像特征相似度。根据该方式便可确定特征相似度矩阵中包含的各个图像特征相似度均为哪两帧图像帧对应的图像特征相似度。
72.s103、根据第一图像序列中的图像帧与第二图像序列中的图像帧之间的图像特征相似度，将第一图像序列中的第一图像帧，与第二图像序列中的、与第一图像帧的图像特征相似度最大的第二图像帧对齐。
73.具体的，从第一图像序列中的图像帧中，确定一帧图像帧作为第一图像帧，然后比较第二图像序列中各图像帧与该第一图像帧之间的图像特征相似度，确定最大的图像特征相似度，并将该最大的图像特征相似度所对应的第二图像序列中的图像帧作为该第一图像帧对应的第二图像帧，并将该第一图像帧与其对应的第二图像帧对齐。通过此方式，针对第一图像序列中的各图像帧，均从第二图像序列中找出对应的图像帧，并将具有对应关系的图像帧进行对齐操作。
74.用户在翻阅图像时，当查看第二图像序列中的某图像帧时，便会对应展示出第一图像序列中与用户查看的图像帧对齐的图像帧(即最为相似的图像帧)，从而无需用户再两组图像序列的所有图像中进行翻阅，寻找相似的图像帧，提高了图像翻阅效率以及便捷性。
75.在进行医疗影像检查时，每次检查可能设置的层间距不同，那么每次检查得到的影像中包含的图像数量也不同。例如，如果第一图像序列对应的层间距与第二图像序列对应的层间距之比为1∶2，那么对同一部位进行医疗影像检查时，第一图像序列中包含的图像数量与第二图像序列中包含的图像数量之比则为2∶1，那么此时第一图像序列中的两帧相邻图像可能会与第二图像序列中的同一帧图像对齐。
76.通过上述介绍可见，本技术实施例提出的图像对齐方法，分别提取第一图像序列和第二图像序列中的图像帧的图像特征；计算第一图像序列中的图像帧与第二图像序列中的图像帧之间的图像特征相似度；根据第一图像序列中的图像帧与第二图像序列中的图像帧之间的图像特征相似度，将第一图像序列中的第一图像帧，与第二图像序列中的、与第一图像帧的图像特征相似度最大的第二图像帧对齐。采用本实施例的技术方案，可以实现第一图像序列与第二图像序列之间的帧级对齐，用户选择其中一个图像序列中的任一图像帧，便可自动输出另一图像序列中与该图像帧对齐的图像帧，无需用户在所有的图像帧中翻阅，减少了图像翻阅量，提高了图像查阅效率和便捷性。
77.当本实施例需要对多期影像进行对齐操作时，可以两两一组进行对齐操作，例如，第一组影像对应的图像序列与第二组影像对应的图像序列进行对齐操作，第二组影像对应的图像序列与第三组影像对应的图像序列进行对齐操作，从而便能实现三期影像的对齐，当用户选择第一组图像序列中的某一帧图像帧时，便会展示第二组图像序列中与该图像帧对齐的第二图像帧，还会展示出第三组图像序列中与该第二图像帧对齐的第三图像帧，实现了三组图像序列的帧级对齐。在实际应用中，例如拍摄医疗影像时，可以将同一部位，每一期拍摄的医疗影像对应的图像序列与上一期拍摄的医疗影像对应的图像序列进行帧级对齐，从而可以将所有拍摄的医疗影像均实现帧级对齐。
78.作为一种可选的实施方式，参见图2所示，本技术另一实施例公开了，上述步骤s101，分别提取第一图像序列和第二图像序列中的图像帧的图像特征，包括如下步骤：
79.s201、从第一图像序列中提取各图像帧对应的图像子序列，以及从第二图像序列中提取各图像帧对应的图像子序列。
80.具体的，本实施例可以按照预先设置的序列提取方式，从第一图像序列中提取第一图像序列中的各图像帧对应的图像子序列，以及，从第二图像序列中提取第二图像序列
中的各图像帧对应的图像子序列。序列提取方式可以为提取本图像帧以及与本图像帧所处的图像序列中与本图像帧相邻的图像帧。因此，图像帧对应的图像子序列中包括该图像帧和至少一个与该图像帧相邻的图像帧，即，每个图像子序列中包括至少两帧图像帧。例如，可以将第一帧图像帧与第二帧图像帧作为第一帧图像帧对应的图像子序列，将第二帧图像帧和第三帧图像帧作为第二帧图像帧对应的图像子序列，将第n-1帧图像帧和第n帧图像帧作为第n-1帧图像帧对应的图像子序列，当图像序列中只包含n帧图像帧时，第n帧图像帧不存在对应的图像子序列。
81.为了提高图像帧与其对应的图像子序列之间的对应关系，提取图像帧对应的图像子序列可以提取以该图像帧为中心的连续三帧图像作为该图像帧对应的图像子序列，即以图像帧为中心帧，从该图像帧所在的图像序列中提取与该图像帧相邻的前一帧图像帧和后一帧图像帧，将该图像帧、该图像帧的前一帧图像帧和该图像帧的后一帧图像帧作为该图像帧对应的图像子序列。此时，第二帧图像帧对应的图像子序列包括第一帧图像帧、第二帧图像帧和第三帧图像帧，第三帧图像帧对应的图像子序列包括第二帧图像帧、第三帧图像帧和第四帧图像帧，第n-1帧图像帧对应的图像子序列包括第n-2帧图像帧、第n-1帧图像帧和第n帧图像帧，当图像序列中只包含n帧图像帧时，第一帧图像帧和第n帧图像帧均不存在对应的图像子序列。此时，则只提取第一图像序列中第二帧到第m-1帧图像帧对应的图像子序列以及第二图像序列中第二帧到第f-1帧图像帧对应的图像子序列，其中，m表示第一图像序列中包含的图像帧数量，f表示第二图像序列中包含的图像帧数量。
82.s202、提取各图像帧对应的图像子序列的图像序列特征作为各图像帧的图像特征。
83.具体的，第一图像序列中的图像帧以及第二图像序列中的图像帧均可通过提取各图像帧对应的图像子序列的图像序列特征，从而确定各图像帧的图像特征，即，将各图像帧对应的图像子序列的图像序列特征作为各图像帧的图像特征。本实施例可以预先训练特征提取网络，该特征提取网络可以通过对图像序列样本进行特征提取，并基于提取的特征进行无监督的图像帧排序进行训练得到。本实施例将各图像帧对应的图像子序列输入到预先训练的特征提取网络中，特征提取网络便会输出各图像帧对应的图像子序列的图像序列特征。其中，该特征提取网络可以采用成熟的3d卷积网络结构，能够将图像子序列中所有图像帧的图像特征提取出来组成图像序列特征。本实施例通过图像序列特征作为图像特征进行图像特征相似度比对，能够结合与图像帧相邻的图像帧的图像特征，在两帧不同图像序列中的图像帧进行相似程度对比时，能够提高两者为同一部位或同一病灶位置的相似度判断的准确性。
84.作为一种可选的实施方式，参见图3所示，本技术另一实施例公开了，本实施例的图像对齐方法，还包括如下步骤：
85.s304、将第一图像序列中不存在对应的图像子序列的图像帧作为剩余图像帧。
86.具体的，当提取的图像帧的图像子序列中包括至少两帧图像帧时，那么便无法对第一图像序列中的所有图像帧均提取到对应的图像子序列。例如，当将图像帧和与该图像帧相邻的后一帧图像帧作为该图像帧的图像子序列时，由于第一图像序列中的最后一帧图像帧没有与其相邻的后一帧图像帧，那么第一图像序列中的最后一帧图像帧则不存在对应的图像子序列。再例如，当以该图像帧为中心的连续三帧图像作为该图像帧对应的图像子
序列(即，将该图像帧、该图像帧的前一帧图像帧和该图像帧的后一帧图像帧作为该图像帧对应的图像子序列)时，由于第一图像序列中第一帧图像帧没有前一帧图像帧，第一图像序列中最后一帧图像帧没有后一帧图像帧，那么第一图像序列中的第一帧图像帧和最后一帧图像帧均不存在对应的图像子序列。由于不存在对应的图像子序列，则无法计算图像帧的图像特征，从而无法确定第二图像序列中与其对齐的图像帧。因此，本实施例需要先将第一图像序列中不存在对应的图像子序列的图像帧提取出来，作为第一图像序列中的剩余图像帧。
87.s305、根据第一图像序列的图像采集参数、第二图像序列的图像采集参数，以及第一图像序列与第二图像序列之间的图像帧对齐结果，从第二图像序列中，确定出与剩余图像帧对齐的图像帧。
88.具体的，当第一图像序列中存在图像子序列的图像帧利用图像特征与第二图像序列中图像特征相似度最大的图像帧对齐后，对第一图像序列与第二图像序列之间的图像帧对齐结果，进行直线拟合，然后将第一图像序列中的剩余图像帧在对齐结果拟合后的直线中进行插值，从而便能够在第二图像序列中确定出需要与各剩余图像帧对齐的图像帧。通过直线拟合插值的方式确定剩余图像帧的对齐图像，是根据第一图像序列与第二图像序列之间的图像帧对齐结果之间的对齐规律来确定的。
89.对于两组图像序列对应的影像在进行影像拍摄时，可能采用了不同的图像采集参数，例如医疗影像拍摄时，采用了不同的层间距，因此，本实施例还需要根据第一图像序列的图像采集参数以及第二图像序列的图像采集参数，从第二图像序列中，确定出与剩余图像帧对齐的图像帧。例如，第一图像序列对应的层间距与第二图像序列对应的层间距之比为1∶2，第一图像序列中的第2帧图像帧均对应第二图像序列中的第4帧图像帧，第一图像序列中的第3、4帧图像帧均对应第二图像序列中的第5帧图像帧，第一图像序列中的第5、6帧图像帧均对应第二图像序列中的第6帧图像帧，第一图像序列中的第7、8帧图像帧均对应第二图像序列中的第7帧图像帧，那么根据层间距以及上述对齐结果，可以确定第一图像序列中的第1帧图像帧对应第二图像序列中的第4帧图像帧。
90.图3中的步骤s301-s303与图1中的步骤s101-s103相同，本实施例不再具体阐述步骤s301-s303。
91.作为一种可选的实施方式，参见图4所示，本技术另一实施例公开了，上述步骤s201中所述的将各图像帧对应的图像子序列输入预先训练的特征提取网络，得到各图像帧对应的图像子序列的图像序列特征，并将各图像帧对应的图像子序列的图像序列特征作为各图像帧的图像特征中，特征提取网络的训练过程，包括如下步骤：
92.s401、从图像序列样本中选取至少两组样本图像子序列。
93.具体的，本实施例选取一组影像数据作为样本影像，根据预先设置的图像大小阈值，对样本影像中的所有图像帧均按照图像大小阈值进行下采样操作，得到符合图像大小阈值的图像帧，并将所有图像帧组合成为该样本影像对应的图像序列样本。然后从该图像序列样本中随机选取至少两组样本图像子序列，每个样本图像子序列中包括至少一个样本图像帧。
94.本实施例中样本图像子序列中样本图像帧的数量优选与实际应用时图像帧对应的图像子序列中图像帧的数量相同，且样本图像子序列中包含的样本图像帧为连续图像
帧。另外，为了提高特征提取网络的特征提取准确度，在进行特征提取网络训练时，选取的样本图像子序列的数量优选大于等于三组。
95.s402、按照随机调整后的调整顺序，将各组样本图像子序列依次输入特征提取网络，得到各组样本图像子序列对应的样本序列特征。
96.具体的，当随机选取了样本图像子序列后，需要打乱样本图像子序列的顺序，即随机调整样本图像子序列的顺序，并按照该调整顺序将各组样本图像子序列依次输入特征提取网络中，特征提取网络输出各组样本图像子序列对应的样本序列特征。
97.图5是本技术实施例提供的特征提取网络的训练结构示意图，如图5所示，将原始的三组样本图像子序列打乱顺序后，得到的调整顺序为2、3、1，即，先将第2组样本图像子序列输入特征提取网络a1，再将第3组样本图像子序列输入特征提取网络a1，最后将第1组样本图像子序列输入特征提取网络a1，从而得到第2组样本图像子序列对应的样本序列特征f2、第3组样本图像子序列对应的样本序列特征f3和第1组样本图像子序列对应的样本序列特征f1。其中，本实施例中特征提取网络a1优选采用成熟的3d convnets结构。
98.s403、按照将各组样本图像子序列依次输入特征提取网络的顺序，对得到的各组样本序列特征进行拼接，得到拼接特征。
99.当特征提取网络将各组样本图像子序列对应的样本序列特征输出后，需要按照各组样本图像子序列输入的顺序对各组样本图像子序列对应的样本序列特征进行拼接，得到拼接特征。例如，各组样本图像子序列输入的顺序为：第2组样本图像子序列、第3组样本图像子序列、第1组样本图像子序列，那么则按照第2组样本图像子序列对应的样本序列特征f2、第3组样本图像子序列对应的样本序列特征f3、第1组样本图像子序列对应的样本序列特征f1的顺序进行拼接。
100.s404、基于拼接特征，识别拼接特征中的各组样本序列特征对应的样本图像子序列之间的顺序关系，得到顺序识别结果。
101.本实施例可以利用顺序分类网络对拼接特征进行顺序分类，即识别拼接特征中的各组样本序列特征对应的样本图像子序列之间的顺序关系，得到顺序识别结果。例如，如果拼接图像是按照第2组样本图像子序列对应的样本序列特征f2、第3组样本图像子序列对应的样本序列特征f3、第1组样本图像子序列对应的样本序列特征f1的顺序进行拼接，那么得到的顺序识别结果为：第2组样本图像子序列、第3组样本图像子序列、第1组样本图像子序列。其中，顺序分类网络可以利用两个全连接层堆叠构成。
102.s405、将顺序识别结果与调整顺序进行对比，以顺序识别结果与调整顺序相同为目标，对特征提取网络的参数进行调整。
103.本实施例利用顺序分类网络识别出拼接特征的顺序识别结果后，将该顺序识别结果与各组样本图像子序列输入到特征提取网络之前随机调整的调整顺序进行对比，如果该顺序识别结果与调整顺序不同，则以顺序识别结果与调整顺序相同为目标，利用交叉熵损失函数对特征提取网络进行优化训练，即根据交叉熵损失函数对特征提取网络的参数进行调整。
104.例如，顺序识别结果为：第2组样本图像子序列、第3组样本图像子序列、第1组样本图像子序列，将原始的三组样本图像子序列打乱顺序后，得到的调整顺序为2、3、1，即，先将第2组样本图像子序列输入特征提取网络a1，再将第3组样本图像子序列输入特征提取网络
a1，最后将第1组样本图像子序列输入特征提取网络a1，此时，顺序识别结果与调整顺序相同。
105.本实施例中，在进行特征提取网络训练时，是利用人体器官在影像上的连续性，通过预测在同一例影像上进行随机采样得到的样本图像子序列的排序来对特征提取网络进行自监督训练，不需要对样本数据进行标注，节约了标注成本，提高了特征提取网络的训练效率。
106.作为一种可选的实施方式，参见图6所示，本技术另一实施例公开了，上述步骤s403，按照将各组样本图像子序列依次输入特征提取网络的顺序，对得到的各组样本序列特征进行拼接，得到拼接特征之前，还包括如下步骤：
107.s603、获取图像序列样本对应的样本整体特征。
108.具体的，本实施例还需要针对图像序列样本中的所有样本图像帧，获取该图像序列样本对应的样本整体特征。如图5所示，本实施例可以设置与特征提取网络a1结构相同的整体特征提取网络a2，将图像序列样本中的所有样本图像帧均输入到该整体特征提取网络a2中，得到该图像序列样本对应的样本整体特征f；本实施例还可以直接利用特征提取网络a1中的任意一个3d卷积网络，将图像序列样本中的所有样本图像帧均输入特征提取网络a1中的任意一个3d卷积网络中，得到该图像序列样本对应的样本整体特征f。
109.s604、将各组样本图像子序列对应的样本序列特征，分别与样本整体特征进行基于注意力机制的特征增强处理。
110.具体的，本实施例获取到各组样本图形子序列对应的样本序列特征，以及图像序列样本对应的样本整体特征后，需要将各组样本图形子序列对应的样本序列特征分别与样本整体特征进行基于注意力机制的特征增强处理，通过样本整体特征中与样本序列特征相似的特征成分，与该样本序列特征之间的结合，实现样本序列特征的特征增强。
111.如图5所示，为了获取样本整体特征中与样本序列特征相似的特征成分，需要基于注意力机制实现，因此，本实施例在特征提取网络a1和整体特征提取网络a2之后、顺序分类网络c之前，设置了基于注意力机制的注意力网络b。
112.进一步地，本步骤具体包括：
113.第一，对每组样本图像子序列对应的样本序列特征，分别计算其与样本整体特征的相似度系数。
114.本实施例可以通过每组样本图像子序列对应的样本序列特征与样本整体特征进行矩阵相乘后，利用softmax函数计算每组样本序列特征与样本整体特征之间的相似度系数。其中，样本序列特征与样本整体特征之间的矩阵相乘可以采用样本序列特征的矩阵与样本整体特征的转置矩阵进行点乘的方式。
115.第二，根据每组样本图像子序列对应的样本序列特征与样本整体特征的相似度系数，从样本整体特征中获取与每组样本图像子序列对应的样本序列特征相似度最高的特征成分。
116.本实施例将每组样本图像子序列对应的样本序列特征与样本整体特征的相似度系数作为每组样本序列特征对应的相似度系数，通过每组样本序列特征对应的相似度系数与样本整体特征相乘，能够得到样本整体特征中，与每组样本序列特征相似度最高的特征成分。
117.第三，将与每组样本图像子序列对应的样本序列特征相似度最高的特征成分，与每组样本图像子序列对应的样本序列特征对应叠加，得到每组样本图像子序列对应的增强后的样本序列特征。
118.如图5所示，注意力网络b对每组样本序列特征进行特征增强处理，输出了第2组样本图像子序列对应的增强后的样本序列特征ff2、第3组样本图像子序列对应的增强后的样本序列特征ff3和第1组样本图像子序列对应的增强后的样本序列特征ff1。具体的计算公式如下：
[0119][0120]
其中，f
t
表示样本整体特征的转置矩阵，softmax(f2
·ft
)表示第2组样本序列特征与样本整体特征之间的相似度系数，softmax(f3
·ft
)表示第3组样本序列特征与样本整体特征之间的相似度系数，softmax(f1
·ft
)表示第1组样本序列特征与样本整体特征之间的相似度系数。
[0121]
本实施例基于整体图像注意力的顺序分类，能够提高顺序分类的准确性，从而提高对特征提取网络训练的准确性。
[0122]
图6中的步骤s601-s602与图4中的步骤s401-s402相同，图6中的步骤s605-s607与图4中的步骤s403-s405相同，本实施例不再具体阐述步骤s601-s602、s605-s607。
[0123]
与上述的图像对齐方法相对应的，本技术实施例还提出一种图像对齐装置，参见图7所示，该装置包括：
[0124]
图像特征提取模块100，用于分别提取第一图像序列和第二图像序列中的图像帧的图像特征；
[0125]
相似度计算模块110，用于计算第一图像序列中的图像帧与第二图像序列中的图像帧之间的图像特征相似度；
[0126]
图像对齐模块120，用于根据第一图像序列中的图像帧与第二图像序列中的图像帧之间的图像特征相似度，将第一图像序列中的第一图像帧，与第二图像序列中的、与第一图像帧的图像特征相似度最大的第二图像帧对齐。
[0127]
本技术实施例提出的图像对齐装置，利用图像特征提取模块100分别提取第一图像序列和第二图像序列中的图像帧的图像特征；利用相似度计算模块110计算第一图像序列中的图像帧与第二图像序列中的图像帧之间的图像特征相似度；利用图像对齐模块120根据第一图像序列中的图像帧与第二图像序列中的图像帧之间的图像特征相似度，将第一图像序列中的第一图像帧，与第二图像序列中的、与第一图像帧的图像特征相似度最大的第二图像帧对齐。采用本实施例的技术方案，可以实现第一图像序列与第二图像序列之间的帧级对齐，用户选择其中一个图像序列中的任一图像帧，便可自动输出另一图像序列中与该图像帧对齐的图像帧，无需用户在所有的图像帧中翻阅，减少了图像翻阅量，提高了图像查阅效率和便捷性。
[0128]
作为一种可选的实现方式，本技术另一实施例还公开了，图像特征提取模块100包括：图像子序列提取单元和序列特征提取单元。
[0129]
图像子序列提取单元，用于从第一图像序列中提取各图像帧对应的图像子序列，以及从第二图像序列中提取各图像帧对应的图像子序列；其中，图像帧对应的图像子序列包括图像帧和至少一个与图像帧相邻的图像帧；
[0130]
序列特征提取单元，用于提取各图像帧对应的图像子序列的图像序列特征作为各图像帧的图像特征。
[0131]
作为一种可选的实现方式，本技术另一实施例还公开了，图像子序列提取单元，提取图像帧对应的图像子序列的方式为：
[0132]
以图像帧为中心帧，从图像帧所在图像序列中提取与图像帧相邻的前一帧图像帧和后一帧图像帧，将图像帧、图像帧的前一帧图像帧和图像帧的后一帧图像帧作为图像帧对应的图像子序列。
[0133]
作为一种可选的实现方式，本技术另一实施例还公开了，图像对齐装置还包括：剩余图像确定模块和剩余图像对齐模块。
[0134]
剩余图像确定模块，用于将第一图像序列中不存在对应的图像子序列的图像帧作为剩余图像帧；
[0135]
剩余图像对齐模块，用于根据第一图像序列的图像采集参数、第二图像序列的图像采集参数，以及第一图像序列与第二图像序列之间的图像帧对齐结果，从第二图像序列中，确定出与剩余图像帧对齐的图像帧。
[0136]
作为一种可选的实现方式，本技术另一实施例还公开了，序列特征提取单元，具体用于将各图像帧对应的图像子序列输入预先训练的特征提取网络，得到各图像帧对应的图像子序列的图像序列特征，并将各图像帧对应的图像子序列的图像序列特征作为各图像帧的图像特征；
[0137]
特征提取网络通过对图像序列样本进行特征提取并基于提取的特征进行无监督的图像帧排序训练得到。
[0138]
作为一种可选的实现方式，本技术另一实施例还公开了，图像对齐装置还包括：样本选取模块、样本输入模块、拼接模块、顺序识别模块和网络参数调整模块。
[0139]
样本选取模块，用于从图像序列样本中选取至少两组样本图像子序列，样本图像子序列包括至少一个样本图像帧；
[0140]
样本输入模块，用于按照随机调整后的调整顺序，将各组样本图像子序列依次输入特征提取网络，得到各组样本图像子序列对应的样本序列特征；
[0141]
拼接模块，用于按照将各组样本图像子序列依次输入特征提取网络的顺序，对得到的各组样本序列特征进行拼接，得到拼接特征；
[0142]
顺序识别模块，用于基于拼接特征，识别拼接特征中的各组样本序列特征对应的样本图像子序列之间的顺序关系，得到顺序识别结果；
[0143]
网络参数调整模块，用于将顺序识别结果与调整顺序进行对比，以顺序识别结果与调整顺序相同为目标，对特征提取网络的参数进行调整。
[0144]
作为一种可选的实现方式，本技术另一实施例还公开了，图像对齐装置还包括：整体特征获取模块和特征增强模块。
[0145]
拼接模块按照将各组样本图像子序列依次输入序列特征提取网络的顺序，对得到的各组样本序列特征进行拼接，得到拼接特征之前：
[0146]
整体特征获取模块，用于获取图像序列样本对应的样本整体特征；
[0147]
特征增强模块，用于将各组样本图像子序列对应的样本序列特征，分别与样本整体特征进行基于注意力机制的特征增强处理。
[0148]
作为一种可选的实现方式，本技术另一实施例还公开了，特征增强模块，具体用于：
[0149]
对每组样本图像子序列对应的样本序列特征，分别计算其与样本整体特征的相似度系数；
[0150]
根据每组样本图像子序列对应的样本序列特征与样本整体特征的相似度系数，从样本整体特征中获取与每组样本图像子序列对应的样本序列特征相似度最高的特征成分；
[0151]
将与每组样本图像子序列对应的样本序列特征相似度最高的特征成分，与每组样本图像子序列对应的样本序列特征对应叠加，得到每组样本图像子序列对应的增强后的样本序列特征。
[0152]
作为一种可选的实现方式，本技术另一实施例还公开了，相似度计算模块110，具体用于：
[0153]
基于第一图像序列中各图像帧的图像特征生成第一图像序列对应的第一特征矩阵，以及，基于第二图像序列中各图像帧的图像特征生成第二图像序列对应的第二特征矩阵；
[0154]
计算第一特征矩阵与第二特征矩阵的特征相似度矩阵；特征相似度矩阵中包含第一图像序列中各图像帧的图像特征与第二图像序列中各图像帧的图像特征之间的图像特征相似度。
[0155]
本实施例提供的图像对齐装置，与本技术上述实施例所提供的图像对齐方法属于同一申请构思，可执行本技术上述任意实施例所提供的图像对齐方法，具备执行该图像对齐方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本技术上述实施例提供的图像对齐方法的具体处理内容，此处不再加以赘述。
[0156]
本技术另一实施例还公开了一种电子设备，参见图b所示，该设备包括：
[0157]
存储器200和处理器210；
[0158]
其中，所述存储器200与所述处理器210连接，用于存储程序；
[0159]
所述处理器210，用于通过运行所述存储器200中存储的程序，实现上述任一实施例公开的图像对齐方法。
[0160]
具体的，上述电子设备还可以包括：总线、通信接口220、输入设备230和输出设备240。
[0161]
处理器210、存储器200、通信接口220、输入设备230和输出设备240通过总线相互连接。其中：
[0162]
总线可包括一通路，在计算机系统各个部件之间传送信息。
[0163]
处理器210可以是通用处理器，例如通用中央处理器(cpu)、微处理器等，也可以是特定应用集成电路(application-specific integrated circuit，asic)，或一个或多个用于控制本发明方案程序执行的集成电路。还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0164]
处理器210可包括主处理器，还可包括基带芯片、调制解调器等。
[0165]
存储器200中保存有执行本发明技术方案的程序，还可以保存有操作系统和其他关键业务。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。更具体的，存储器200可以包括只读存储器(read-only memory，rom)、可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器(random access memory，ram)、可存储信息和指令的其他类型的动态存储设备、磁盘存储器、flash等等。
[0166]
输入设备230可包括接收用户输入的数据和信息的装置，例如键盘、鼠标、摄像头、扫描仪、光笔、语音输入装置、触摸屏、计步器或重力感应器等。
[0167]
输出设备240可包括允许输出信息给用户的装置，例如显示屏、打印机、扬声器等。
[0168]
通信接口220可包括使用任何收发器一类的装置，以便与其他设备或通信网络通信，如以太网，无线接入网(ran)，无线局域网(wlan)等。
[0169]
处理器2102执行存储器200中所存放的程序，以及调用其他设备，可用于实现本技术实施例所提供的图像对齐方法的各个步骤。
[0170]
本技术另一实施例还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器执行时，实现上述任一实施例提供的图像对齐方法的各个步骤。
[0171]
对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必须的。
[0172]
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0173]
本技术各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
[0174]
本技术各实施例种装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。
[0175]
本技术所提供的几个实施例中，应该理解到，所揭露的终端，装置和方法，可以通过其它的方式实现。例如，以上所描述的终端实施例仅仅是示意性的，例如，模块或子模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个子模块或模块可以结合或者可以集成到另一个模块，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0176]
作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的，作为模块或子模块的部件可以是或者也可以不是物理模块或子模块，即可以位于一个地方，或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。
[0177]
另外，在本技术各个实施例中的各功能模块或子模块可以集成在一个处理模块中，也可以是各个模块或子模块单独物理存在，也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现，也可以采用软件功
能模块或子模块的形式实现。
[0178]
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0179]
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件单元，或者二者的结合来实施。软件单元可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
[0180]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0181]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。