图像对齐方法、装置、电子设备及存储介质与流程

技术特征：
1.一种图像对齐方法，其特征在于，包括：分别提取第一图像序列和第二图像序列中的图像帧的图像特征；计算所述第一图像序列中的图像帧与所述第二图像序列中的图像帧之间的图像特征相似度；根据所述第一图像序列中的图像帧与所述第二图像序列中的图像帧之间的图像特征相似度，将所述第一图像序列中的第一图像帧，与所述第二图像序列中的、与所述第一图像帧的图像特征相似度最大的第二图像帧对齐。2.根据权利要求1所述的方法，其特征在于，所述分别提取第一图像序列和第二图像序列中的图像帧的图像特征，包括：从所述第一图像序列中提取各图像帧对应的图像子序列，以及从所述第二图像序列中提取各图像帧对应的图像子序列；其中，所述图像帧对应的图像子序列包括所述图像帧和至少一个与所述图像帧相邻的图像帧；提取各图像帧对应的图像子序列的图像序列特征作为各图像帧的图像特征。3.根据权利要2所述的方法，其特征在于，提取图像帧对应的图像子序列的方式为：以所述图像帧为中心帧，从所述图像帧所在图像序列中提取与所述图像帧相邻的前一帧图像帧和后一帧图像帧，将所述图像帧、所述图像帧的前一帧图像帧和所述图像帧的后一帧图像帧作为所述图像帧对应的图像子序列。4.根据权利要求3所述的方法，其特征在于，还包括：将所述第一图像序列中不存在对应的图像子序列的图像帧作为剩余图像帧；根据所述第一图像序列的图像采集参数、所述第二图像序列的图像采集参数，以及所述第一图像序列与所述第二图像序列之间的图像帧对齐结果，从所述第二图像序列中，确定出与所述剩余图像帧对齐的图像帧。5.根据权利要求2所述的方法，其特征在于，提取各图像帧对应的图像子序列的图像序列特征作为各图像帧的图像特征，包括：将各图像帧对应的图像子序列输入预先训练的特征提取网络，得到各图像帧对应的图像子序列的图像序列特征，并将各图像帧对应的图像子序列的图像序列特征作为各图像帧的图像特征；所述特征提取网络通过对图像序列样本进行特征提取并基于提取的特征进行无监督的图像帧排序训练得到。6.根据权利要求5所述的方法，其特征在于，所述特征提取网络的训练过程包括：从所述图像序列样本中选取至少两组样本图像子序列，所述样本图像子序列包括至少一个样本图像帧；按照随机调整后的调整顺序，将各组样本图像子序列依次输入所述特征提取网络，得到各组样本图像子序列对应的样本序列特征；按照将各组样本图像子序列依次输入所述特征提取网络的顺序，对得到的各组样本序列特征进行拼接，得到拼接特征；基于所述拼接特征，识别拼接特征中的各组样本序列特征对应的样本图像子序列之间的顺序关系，得到顺序识别结果；将所述顺序识别结果与所述调整顺序进行对比，以所述顺序识别结果与所述调整顺序
相同为目标，对所述特征提取网络的参数进行调整。7.根据权利要求6所述的方法，其特征在于，在按照将各组样本图像子序列依次输入所述序列特征提取网络的顺序，对得到的各组样本序列特征进行拼接，得到拼接特征之前，所述方法还包括：获取所述图像序列样本对应的样本整体特征；将各组样本图像子序列对应的样本序列特征，分别与所述样本整体特征进行基于注意力机制的特征增强处理。8.根据权利要求7所述的方法，其特征在于，将各组样本图像子序列对应的样本序列特征，分别与所述样本整体特征进行基于注意力机制的特征增强处理，包括：对每组样本图像子序列对应的样本序列特征，分别计算其与所述样本整体特征的相似度系数；根据每组样本图像子序列对应的样本序列特征与所述样本整体特征的相似度系数，从所述样本整体特征中获取与每组样本图像子序列对应的样本序列特征相似度最高的特征成分；将与每组样本图像子序列对应的样本序列特征相似度最高的特征成分，与每组样本图像子序列对应的样本序列特征对应叠加，得到每组样本图像子序列对应的增强后的样本序列特征。9.根据权利要求1所述的方法，其特征在于，计算所述第一图像序列中的图像帧与所述第二图像序列中的图像帧之间的图像特征相似度，包括：基于所述第一图像序列中各图像帧的图像特征生成所述第一图像序列对应的第一特征矩阵，以及，基于所述第二图像序列中各图像帧的图像特征生成所述第二图像序列对应的第二特征矩阵；计算所述第一特征矩阵与所述第二特征矩阵的特征相似度矩阵；所述特征相似度矩阵中包含第一图像序列中各图像帧的图像特征与第二图像序列中各图像帧的图像特征之间的图像特征相似度。10.一种图像对齐装置，其特征在于，包括：图像特征提取模块，用于分别提取第一图像序列和第二图像序列中的图像帧的图像特征；相似度计算模块，用于计算所述第一图像序列中的图像帧与所述第二图像序列中的图像帧之间的图像特征相似度；图像对齐模块，用于根据所述第一图像序列中的图像帧与所述第二图像序列中的图像帧之间的图像特征相似度，将所述第一图像序列中的第一图像帧，与所述第二图像序列中的、与所述第一图像帧的图像特征相似度最大的第二图像帧对齐。11.一种电子设备，其特征在于，包括：存储器和处理器；其中，所述存储器与所述处理器连接，用于存储程序；所述处理器，用于通过运行所述存储器中的程序，实现如权利要求1至9中任一项所述的图像对齐方法。12.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至9中任一项所述的图像对齐方法。

技术总结
本申请提出一种图像对齐方法、装置、设备及存储介质，方法包括：分别提取第一图像序列和第二图像序列中的图像帧的图像特征；计算第一图像序列中的图像帧与第二图像序列中的图像帧之间的图像特征相似度；根据第一图像序列中的图像帧与第二图像序列中的图像帧之间的图像特征相似度，将第一图像序列中的第一图像帧，与第二图像序列中的、与第一图像帧的图像特征相似度最大的第二图像帧对齐。采用本申请的技术方案，可以实现第一图像序列与第二图像序列之间的帧级对齐，用户选择其中一个图像序列中的任一图像帧，便可自动输出另一图像序列中与该图像帧对齐的图像帧，无需用户在所有的图像帧中翻阅，减少了图像翻阅量，提高了图像查阅效率和便捷性。查阅效率和便捷性。查阅效率和便捷性。


技术研发人员：孙梅 殷保才
受保护的技术使用者：安徽讯飞医疗股份有限公司
技术研发日：2022.08.09
技术公布日：2022/11/18