用于图像特征匹配的图像存储方法、系统和计算设备与流程

1.本发明的实施方式涉及图像处理技术领域，更具体地，本发明的实施方式涉及一种用于图像特征匹配的图像存储方法、系统和计算设备。


背景技术：

2.本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
3.近年来，随着神经网络技术的快速发展，医学检查和诊断方式也随之改变，目前，主要利用神经网络对内窥镜等医疗设备采集到的图像进行特征匹配，确定出图像中病灶所在区域并对病灶进行跟踪，从而辅助医生进行疾病诊断。然而，在实践中发现，对一个病灶进行连续的特征匹配，需要保存医疗设备采集到的大量图像，由于医疗设备采集到的图像中通常存在大量未包含病灶的无用的图像，因此，大量的无用图像占用了大量的存储空间，浪费了计算资源，导致降低了对图像进行特征识别的效率。


技术实现要素：

4.在本上下文中，本发明的实施方式期望提供一种用于图像特征匹配的图像存储方法、系统和计算设备。
5.在本发明实施方式的第一方面中，提供了一种用于图像特征匹配的图像存储方法，包括：从采集到的当前图像中确定所述当前图像中的对比区域；利用神经网络对所述当前图像中的对比区域与已存储的图像进行匹配，得到匹配结果；当所述匹配结果指示所述当前图像中的对比区域与所述已存储的图像未匹配成功时，将所述当前图像进行存储。
6.在本实施方式的一个实施例中，从采集到的当前图像中确定所述当前图像中的对比区域之后，所述方法还包括：确定所述对比区域中存在部位的部位信息以及所述部位的病变类别；将所述部位信息与已存储的图像的部位信息进行匹配，得到第一匹配结果；当所述第一匹配结果指示所述已存储的图像的部位信息与所述对比区域的部位信息未匹配成功时，将所述当前图像进行存储；当所述第一匹配结果指示所述已存储的图像的部位信息与所述对比区域的部位信息匹配成功时，将所述对比区域的病变类别与已存储的图像的病变类别进行匹配，得到第二匹配结果；当所述第二匹配结果指示所述已存储的图像的病变类别与所述对比区域的病变类别未匹配成功时，将所述当前图像进行存储；当所述第二匹配结果指示所述已存储的图像的病变类别与所述对比区域的病变
类别匹配成功时，执行所述的利用神经网络对所述当前图像中的对比区域与已存储的图像进行匹配，得到匹配结果。
7.在本实施方式的一个实施例中，利用神经网络对所述当前图像中的对比区域与已存储的图像进行匹配，得到匹配结果，包括：利用神经网络对所述当前图像中的对比区域进行特征提取，得到所述当前图像中的对比区域的第一图像信息；对所述第一图像信息与已存储的图像中病变类别匹配成功的图像进行匹配，得到匹配结果。
8.在本实施方式的一个实施例中，利用神经网络对所述当前图像中的对比区域进行特征提取，得到所述当前图像中的对比区域的第一图像信息，包括：基于所述当前图像中的对比区域对所述当前图像进行尺寸调整，得到调整后的图像；对所述调整后的图像中的对比区域进行卷积计算和池化计算，得到所述对比区域的第一特征图；利用跨阶段局部网络的瓶颈层对所述第一特征图进行计算，得到所述第一特征图对应的第二特征图；基于所述第二特征图确定所述当前图像中的对比区域的第一图像信息。
9.在本实施方式的一个实施例中，对所述调整后的图像中的对比区域进行卷积计算和池化计算，得到所述对比区域的第一特征图，包括：对所述调整后的图像中的对比区域进行空洞卷积计算，得到所述对比区域的第一子特征图；对所述第一子特征图进行第一池化计算，得到所述第一子特征图对应的第二子特征图；对所述第二子特征图进行第一卷积计算，得到所述第二子特征图对应的第三子特征图；对所述第三子特征图进行第二池化计算，得到所述第三子特征图对应的第四子特征图；对所述第四子特征图进行第二卷积计算，得到所述第四子特征图对应的第五子特征图；对所述第五子特征图进行第三池化计算，得到所述第五子特征图对应的第一特征图。
10.在本实施方式的一个实施例中，对所述第四子特征图进行第二卷积计算，得到所述第四子特征图对应的第五子特征图，包括：基于两个卷积层对所述第四子特征图进行计算，得到所述第四子特征图对应的卷积特征图；对于所述卷积特征图进行可变形卷积计算，得到所述卷积特征图对应的第五子特征图。
11.在本实施方式的一个实施例中，对所述第一图像信息与已存储的图像中病变类别匹配成功的图像进行匹配，得到匹配结果，包括：
利用所述神经网络对已存储的图像中病变类别匹配成功的图像进行特征提取，得到第二图像信息；计算所述第一图像信息与所述第二图像信息的相似度，并基于所述相似度确定匹配结果。
12.在本发明实施方式的第二方面中，提供了一种用于图像特征匹配的图像存储系统，所述系统包括区域识别模块、图像匹配模块以及存储模块，其中：所述区域识别模块，被配置为从采集到的当前图像中确定所述当前图像中的对比区域；所述图像匹配模块，被配置为利用神经网络对所述当前图像中的对比区域与已存储的图像进行匹配，得到匹配结果；所述存储模块，被配置为当所述匹配结果指示所述当前图像中的对比区域与所述已存储的图像未匹配成功时，将所述当前图像进行存储。
13.在本实施方式的一个实施例中，所述系统还包括确定模块、匹配模块以及存储模块，其中：所述确定模块，被配置为从所述区域识别模块采集到的当前图像中确定所述当前图像中的对比区域之后，确定所述对比区域中存在部位的部位信息以及所述部位的病变类别；所述匹配模块，被配置为将所述部位信息与已存储的图像的部位信息进行匹配，得到第一匹配结果；所述存储模块，被配置为当所述第一匹配结果指示所述已存储的图像的部位信息与所述对比区域的部位信息未匹配成功时，将所述当前图像进行存储；所述匹配模块，还被配置为当所述第一匹配结果指示所述已存储的图像的部位信息与所述对比区域的部位信息匹配成功时，将所述对比区域的病变类别与已存储的图像的病变类别进行匹配，得到第二匹配结果；所述存储模块，还被配置为当所述第二匹配结果指示所述已存储的图像的病变类别与所述对比区域的病变类别未匹配成功时，将所述当前图像进行存储；所述图像匹配模块，具体被配置为当所述第二匹配结果指示所述已存储的图像的病变类别与所述对比区域的病变类别匹配成功时，利用神经网络对所述当前图像中的对比区域与已存储的图像进行匹配，得到匹配结果。
14.在本实施方式的一个实施例中，所述图像匹配模块包括特征提取网络和测度网络，其中：所述特征提取网络，被配置为利用神经网络对所述当前图像中的对比区域进行特征提取，得到所述当前图像中的对比区域的第一图像信息；所述测度网络，被配置为对所述第一图像信息与已存储的图像中病变类别匹配成功的图像进行匹配，得到匹配结果。
15.在本实施方式的一个实施例中，所述特征提取网络包括调整子模块、计算子模块、跨阶段局部网络以及确定子模块，其中：所述调整子模块，被配置为基于所述当前图像中的对比区域对所述当前图像进行尺寸调整，得到调整后的图像；
所述计算子模块，被配置为对所述调整后的图像中的对比区域进行卷积计算和池化计算，得到所述对比区域的第一特征图；所述跨阶段局部网络，被配置为利用瓶颈层对所述第一特征图进行计算，得到所述第一特征图对应的第二特征图；所述确定子模块，被配置为基于所述第二特征图确定所述当前图像中的对比区域的第一图像信息。
16.在本实施方式的一个实施例中，所述计算子模块包括空洞卷积层、第一池化层、第一卷积层、第二池化层、第二卷积层以及第三池化层，其中：所述空洞卷积层，被配置为对所述调整后的图像中的对比区域进行空洞卷积计算，得到所述对比区域的第一子特征图；所述第一池化层，被配置为对所述第一子特征图进行第一池化计算，得到所述第一子特征图对应的第二子特征图；所述第一卷积层，被配置为对所述第二子特征图进行第一卷积计算，得到所述第二子特征图对应的第三子特征图；所述第二池化层，被配置为对所述第三子特征图进行第二池化计算，得到所述第三子特征图对应的第四子特征图；所述第二卷积层，被配置为对所述第四子特征图进行第二卷积计算，得到所述第四子特征图对应的第五子特征图；所述第三池化层，被配置为对所述第五子特征图进行第三池化计算，得到所述第五子特征图对应的第一特征图。
17.在本实施方式的一个实施例中，所述对所述第四子特征图进行第二卷积计算，得到所述第四子特征图对应的第五子特征图的第二卷积层被配置为，基于两个卷积层对所述第四子特征图进行计算，得到所述第四子特征图对应的卷积特征图；对于所述卷积特征图进行可变形卷积计算，得到所述卷积特征图对应的第五子特征图。
18.在本实施方式的一个实施例中，所述对所述第一图像信息与已存储的图像中病变类别匹配成功的图像进行匹配，得到匹配结果的测度网络被配置为，利用所述神经网络对已存储的图像中病变类别匹配成功的图像进行特征提取，得到第二图像信息；计算所述第一图像信息与所述第二图像信息的相似度，并基于所述相似度确定匹配结果。
19.在本发明实施方式的第三方面中，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序在被处理器执行时能够实现第一方面中任一项所述的方法。
20.在本发明实施方式的第四方面中，提供了一种计算设备，包括第三方面所述的存储介质。
21.根据本发明实施方式的用于图像特征匹配的图像存储方法、系统和计算设备，能够从采集到的当前图像中确定出对比区域，并利用神经网络对已经存储的图像和对比区域进行匹配，如果匹配结果表示已存储的图像中存在与对比区域相似的图像时，则无需将采集到的当前图像进行存储，如果匹配结果表示已存储的图像中不存在与对比区域相似的图像时，则可以将采集到的当前图像进行存储，避免了将相似的图像重复存储的问题，以使对存储的图像进行特征识别的过程中不存在重复识别的情况，节约了计算资源，从而提升了
对存储的图像进行特征识别的效率。
附图说明
22.通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：图1为本发明一实施例提供的用于图像特征匹配的图像存储方法的流程示意图；图2为本发明另一实施例提供的用于图像特征匹配的图像存储方法的流程示意图；图3为本发明一实施例提供的用于图像特征匹配的图像存储系统的结构示意图；图4为本发明一实施例提供的用于图像特征匹配的图像存储系统中图像匹配模块的结构示意图；图5为本发明一实施例提供的用于图像特征匹配的图像存储系统中特征提取网络的结构示意图；图6为本发明一实施例提供的用于图像特征匹配的图像存储系统中跨阶段局部网络的结构示意图；图7示意性地示出了本发明实施例的一种介质的结构示意图；图8示意性地示出了本发明实施例的一种计算设备的结构示意图。
23.在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
24.下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
25.本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件（包括固件、驻留软件、微代码等），或者硬件和软件结合的形式。
26.根据本发明的实施方式，提出了一种用于图像特征匹配的图像存储方法、系统和计算设备。
27.在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
28.下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
29.示例性方法下面参考图1，图1为本发明一实施例提供的用于图像特征匹配的图像存储方法的流程示意图。需要注意的是，本发明的实施方式可以应用于适用的任何场景。
30.图1所示的本发明一实施例提供的用于图像特征匹配的图像存储方法的流程，包括：步骤s101，从采集到的当前图像中确定所述当前图像中的对比区域；
步骤s102，利用神经网络对所述当前图像中的对比区域与已存储的图像进行匹配，得到匹配结果；步骤s103，当所述匹配结果指示所述当前图像中的对比区域与所述已存储的图像未匹配成功时，将所述当前图像进行存储。
31.本技术中提出的模型处理方法所针对的是基于神经网络分析已存储的图像中是否存在与采集到的图像高度相似的图像，如果不存在，再将采集到的图像进行存储的模型，应用场景包括但不限于手术室、检查间、建筑孔洞、机械检查场景等。
32.本发明能够从采集到的当前图像中确定出对比区域，并利用神经网络对已经存储的图像和对比区域进行匹配，如果匹配结果表示已存储的图像中存在与对比区域相似的图像时，则无需将采集到的当前图像进行存储，如果匹配结果表示已存储的图像中不存在与对比区域相似的图像时，则可以将采集到的当前图像进行存储，避免了将相似的图像重复存储的问题，以使对存储的图像进行特征识别的过程中不存在重复识别的情况，节约了计算资源，从而提升了对存储的图像进行特征识别的效率。
33.下面结合附图说明如何对存储的图像进行特征识别的过程中避免出现重复识别的情况，节约计算资源，并提升对存储的图像进行特征识别的效率：本发明实施例中，当前图像可以为从图像采集设备（如摄像机、内窥镜等）采集到的图片或者视频等影像数据中得到，可以对采集到的当前图像中存在的目标进行识别，通过对识别得到的目标进行分析可以得到多种结论，例如，本实施例应用于医疗场景时，可以使用内窥镜等图像采集设备对患者进行图像采集和存储，并且可以对采集到的图像进行图像识别，识别出图像中包含的患处图像，以使疾病检测设备或医生基于存储的多张患处图像对患者进行疾病诊断。为了避免将相同的图像重复存储或者将无用的图像进行存储，可以根据图像中需要被检测的目标与已存储的图像进行对比，确定出需要存储的图像，该图像需要与已存储的图像均不相似。因此，可以从当前图像中确定出对比区域，对比区域中可以包含需要识别的目标（例如对比区域中可以包含患者的患处）。
34.本发明实施例中，可以通过神经网络对对比区域进行图像特征提取，还可以对已存储的图像进行图像特征提取，并且可以将提取得到的对比区域的图像特征和已存储图像的图像特征进行匹配，得到匹配结果，如果匹配结果指示上述两个图像特征匹配成功，可以认为已经存储有与当前图像相似的图像，因此无需将采集到的当前图像进行存储；如果匹配结果指示上述两个图像特征匹配失败，可以认为未存储有与当前图像相似的图像，因此可以将采集到的当前图像进行存储。
35.请参阅图2，图2为本发明另一实施例提供的用于图像特征匹配的图像存储方法的流程示意图，图2所示的本发明另一实施例提供的用于图像特征匹配的图像存储方法的流程包括：步骤s201，从采集到的当前图像中确定所述当前图像中的对比区域；步骤s202，确定所述对比区域中存在部位的部位信息以及所述部位的病变类别；步骤s203，将所述部位信息与已存储的图像的部位信息进行匹配，得到第一匹配结果；步骤s204，当所述第一匹配结果指示所述已存储的图像的部位信息与所述对比区域的部位信息未匹配成功时，将所述当前图像进行存储；
步骤s205，当所述第一匹配结果指示所述已存储的图像的部位信息与所述对比区域的部位信息匹配成功时，将所述对比区域的病变类别与已存储的图像的病变类别进行匹配，得到第二匹配结果；步骤s206，当所述第二匹配结果指示所述已存储的图像的病变类别与所述对比区域的病变类别未匹配成功时，将所述当前图像进行存储；步骤s207，当所述第二匹配结果指示所述已存储的图像的病变类别与所述对比区域的病变类别匹配成功时，利用神经网络对所述当前图像中的对比区域与已存储的图像进行匹配，得到匹配结果；实施上述的步骤s202~步骤s207，可以先获取到当前图像的对比区域中存在部位的部位信息和部位的病变类别，可以从已经存储的图像中判断是否存在与部位信息或病变类别匹配的图像，只有在判断出存储的图像中并未存在与当前图像相似的图像时，才将当前图像进行存储，如果判断出存储的图像中并存在与当前图像相似的图像时，可以进一步通过神经网络来对相似的图像与当前图像进行图像特征的匹配，进而得到匹配结果，以避免出现存储重复图像的情况，提升了图像存储的准确性。
36.本发明实施例中，当本发明实施例应用于医疗场景中时，采集到的当前图像中可能包含有患者的患处图像，因此确定出的当前图像中的对比区域可以为包含患者患处的区域。
37.进一步可以对对比区域中包含的患处进行识别，得到患处所在部位的部位信息，还可以得到该部位处的患处对应的病变类别，例如，当采集到的当前图像为患者的消化道图像时，可以通过消化道ai辅助系统的肠胃病变目标检测模型对当前图像中的对比区域包含的患处进行识别，识别出采集到的每一帧图像包含的患处所在部位的部位信息，以及识别出每一帧图像包含的患处对应的病变类别；且已存储的图像中通常也包含患者的患处图像，因此，每一个已存储的图像均可以存储与该图像中包含的患处图像对应的部位信息和病变类别。
38.因此，可以将当前图像的对比区域的部位信息与已存储的图像的部位信息进行匹配，得到第一匹配结果，如果已存储的图像中不存在与当前图像的对比区域的部位信息相同的图像时，可以认为第一匹配结果指示匹配失败，此时需要将当前图像进行存储，在存储当前图像的过程中，还可以将当前图像对应的部位信息和病变类别一并存储；如果已存储的图像中存在与当前图像的对比区域的部位信息相同的图像时，可以认为第一匹配结果指示匹配成功，则可以进一步将当前图像的对比区域的病变类别与已存储的图像的病变类别进行匹配，得到第二匹配结果，如果已存储的图像中不存在与当前图像的对比区域的病变类别相同的图像时，可以认为第二匹配结果指示匹配失败，此时需要将当前图像进行存储，在存储当前图像的过程中，还可以将当前图像对应的部位信息和病变类别一并存储；如果已存储的图像中存在与当前图像的对比区域的病变类别相同的图像时，可以认为第二匹配结果指示匹配成功，则可以进一步利用神经网络对当前图像中的对比区域与已存储的图像中部位信息和病变类别均匹配成功的图像再次进行匹配，得到最终的匹配结果，如果最终的匹配结果指示匹配成功，可以认为已存储的图像中存在与当前图像相似的图像，则无需存储当前图像；如果最终的匹配结果指示匹配失败，可以认为已存储的图像中不存在与当前图像相似的图像，则可以将当前图像进行存储。
39.作为一种可选的实施方式，步骤s207，利用神经网络对所述当前图像中的对比区域与已存储的图像进行匹配，得到匹配结果的方式具体可以包含以下步骤：利用神经网络对所述当前图像中的对比区域进行特征提取，得到所述当前图像中的对比区域的第一图像信息；对所述第一图像信息与已存储的图像中病变类别匹配成功的图像进行匹配，得到匹配结果。
40.其中，实施这种实施方式，可以先利用神经网络对对比区域进行特征提取，得到对比区域对应的第一图像信息，并且可以将第一图像信息与已存储的图像中病变类别和部位信息均匹配成功的图像再次进行匹配，得到最终的匹配结果，从而提升了匹配结果的准确性。
41.本发明实施例中，神经网络中可以包含特征提取网络和测度网络，可以通过神经网络中的特征提取网络对当前图像中的对比区域进行特征提取，得到所述当前图像中的对比区域的第一图像信息，还可以通过特征提取网络对已存储的图像中病变类别匹配成功的图像进行特征提取，得到匹配成功的图像的第二图像信息，进而可以通过神经网络中的测度网络对第一图像信息和第二图像信息进行匹配，得到匹配结果。
42.可选的，利用神经网络对所述当前图像中的对比区域进行特征提取，得到所述当前图像中的对比区域的第一图像信息的方式具体可以包含以下步骤：基于所述当前图像中的对比区域对所述当前图像进行尺寸调整，得到调整后的图像；对所述调整后的图像中的对比区域进行卷积计算和池化计算，得到所述对比区域的第一特征图；利用跨阶段局部网络的瓶颈层对所述第一特征图进行计算，得到所述第一特征图对应的第二特征图；基于所述第二特征图确定所述当前图像中的对比区域的第一图像信息。
43.其中，实施这种实施方式，可以对输入神经网络的图像先进行尺寸调整，再对调整过尺寸的图像进行卷积计算和池化计算，加大了感受野，让每个卷积的输出都包含较大范围的信息，并且在利用跨阶段局部网络对计算后得到的第一特征图再次进行计算，减少参数的数量，从而更加有效、直观地进行特征提取，最后可以基于得到的第二特征图确定出对比区域的第一图像信息，从而保证了第一图像信息确定的准确性。
44.本发明实施例中，将当前图像输入神经网络中的特征提取网络时，可以先对当前图像的尺寸进行调整，例如可以将当前图像的尺寸调整为512
×
512
×
3，进而可以将调整后的图像进行卷积计算和池化计算，得到对比区域的第一特征图，卷积计算可以为空洞卷积、一般卷积或可变形卷积等，池化计算可以为最大池化等，对此，本发明实施例不做限定。更进一步，可以利用跨阶段局部网络的瓶颈层（bottleneck
‑
cross stage partial network，bottleneck
‑ꢀ
cspnet）对第一特征图进行计算，得到第二特征图，bottleneck
‑
csp的主要作用是可以减少参数的数量，且在降维之后可以更加有效、直观地进行特征提取，从而更加准确的基于第二特征图确定出第一图像信息。
45.更进一步，对所述调整后的图像中的对比区域进行卷积计算和池化计算，得到所述对比区域的第一特征图的方式具体可以包含以下步骤：
对所述调整后的图像中的对比区域进行空洞卷积计算，得到所述对比区域的第一子特征图；对所述第一子特征图进行第一池化计算，得到所述第一子特征图对应的第二子特征图；对所述第二子特征图进行第一卷积计算，得到所述第二子特征图对应的第三子特征图；对所述第三子特征图进行第二池化计算，得到所述第三子特征图对应的第四子特征图；对所述第四子特征图进行第二卷积计算，得到所述第四子特征图对应的第五子特征图；对所述第五子特征图进行第三池化计算，得到所述第五子特征图对应的第一特征图。
46.其中，实施这种实施方式，可以对调整后的对比区域进行多次的卷积计算和池化计算，加大了感受野，从而使得到的第一特征图更加准确。
47.以及，对所述第四子特征图进行第二卷积计算，得到所述第四子特征图对应的第五子特征图的方式具体可以包含以下步骤：基于两个卷积层对所述第四子特征图进行计算，得到所述第四子特征图对应的卷积特征图；对于所述卷积特征图进行可变形卷积计算，得到所述卷积特征图对应的第五子特征图。
48.其中，实施这种实施方式，可以更进一步对第四子特征图利用两个卷积层和可变形卷积进行计算，以使输出的第五子特征图在特征图尺寸不变的情况下增大了感受野，提升了第五子特征图的精度。
49.本发明实施例中，第一特征图的计算过程可以包含以下步骤：第一步，可以对调整后的尺寸为512
×
512
×
3的对比区域的图像进行空洞卷积计算，空洞卷积计算可以是将调整后的图像输入神经网络的特征提取网络的空洞卷积层中，该空洞卷积层可以为7
×
7的64个卷积核的步长为1的卷积层，并且可以通过该空洞卷积层输出对比区域对应的第一子特征图，该第一子特征图的图像尺寸可以为512
×
512
×
24；此外，空洞卷积层也可以被一般卷积层替代；第二步，可以对第一子特征图进行第一池化计算，第一池化计算可以是将第一子特征图输入特征提取网络的第一池化层中，该第一池化层可以为3
×
3的步长为2的最大池化层，并且可以通过该最大池化层输出第一子特征图对应的第二子特征图，该第二子特征图的图像尺寸可以为256
×
256
×
24；第三步，可以对第二子特征图进行第一卷积计算，第一卷积计算可以是将第二子特征图输入特征提取网络的第一卷积层中，该第一卷积层可以为3
×
3的64个卷积核的步长为1的卷积层，并且可以通过该卷积层输出第二子特征图对应的第三子特征图，该第三子特征图的图像尺寸可以为256
×
256
×
64；第四步，可以对第三子特征图进行第二池化计算，第二池化计算可以是将第三子特征图输入特征提取网络的第二池化层中，该第二池化层可以为3
×
3的步长为2的最大池
化层，并且可以通过该最大池化层输出第三子特征图对应的第四子特征图，该第四子特征图的图像尺寸可以为128
×
128
×
64；第五步，可以对第四子特征图进行第二卷积计算，第二卷积计算可以是将第四子特征图输入特征提取网络的第二卷积层中，该第二卷积层可以包含两个3
×
3的64个卷积核的步长为1的卷积层，以及一个3
×
3的64个卷积核的步长为1的可变形卷积层，并且可以通过该第二卷积层输出第四子特征图对应的第五子特征图，该第五子特征图的图像尺寸可以为128
×
128
×
64，利用两个卷积层和可变形卷积层对第四子特征图进行计算，可以使输出的第五子特征图在特征图尺寸不变的情况下增大了感受野，提升了第五子特征图的精度；此外，可变形卷积层也可以被一般卷积层替代；第六步，可以对第五子特征图进行第三池化计算，第三池化计算可以是将第五子特征图输入特征提取网络的第三池化层中，该第三池化层可以为3
×
3的步长为2的最大池化层，并且可以通过该最大池化层输出第五子特征图对应的第一特征图，该第一特征图的图像尺寸可以为64
×
64
×
64。
50.此外，对所述第一图像信息与已存储的图像中病变类别匹配成功的图像进行匹配，得到匹配结果的方式具体可以包含以下步骤：利用所述神经网络对已存储的图像中病变类别匹配成功的图像进行特征提取，得到第二图像信息；计算所述第一图像信息与所述第二图像信息的相似度，并基于所述相似度确定匹配结果。
51.其中，实施这种实施方式，可以将已存储的与病变类别匹配成功的图像也利用神经网络进行特征提取，得到该图像的第二图像信息，之后计算第二图像信息与第一图像信息的相似度，最终可以基于相似度确定出匹配结果，以使得到的匹配结果更加合理以及准确。
52.本发明实施例中，已存储的图像中可以存在一个或多个与当前图像的病变类别匹配成功的图像，可以通过神经网络的特征提取网络将每一个匹配成功的图像的特征进行提取，得到各个匹配成功的图像分别对应的第二图像信息，进而可以基于测度网络依次计算每一个第二图像信息和第一图像信息的相似度，只有当相似度大于预设阈值（例如预设阈值可以为0.7、0.8等数值）时，才可以认为当前图像与该第二图像信息对应的已存储图像匹配成功，此时无需将当前图像进行存储。其中，测度网络可以由三个全连接层组成，主要用于特征比较，输出为当前图像和已存储图像之间的相似度。
53.步骤s208，当所述匹配结果指示所述当前图像中的对比区域与所述已存储的图像未匹配成功时，将所述当前图像进行存储。
54.本发明能够避免在存储的图像进行特征识别的过程中出现重复识别的情况，节约计算资源，并提升对存储的图像进行特征识别的效率。此外，本发明还可以提升图像存储的准确性。此外，本发明还可以提升匹配结果的准确性。此外，本发明还可以保证第一图像信息确定的准确性。此外，本发明还可以使得到的第一特征图更加准确。此外，本发明还可以提升第五子特征图的精度。此外，本发明还可以使得到的匹配结果更加合理以及准确。
55.示例性系统在介绍了本发明示例性实施方式的方法之后，接下来，参考图3对本发明示例性实
施方式的一种用于图像特征匹配的图像存储系统进行说明，该系统包括区域识别模块301、图像匹配模块302以及存储模块303，其中：所述区域识别模块301，被配置为从采集到的当前图像中确定所述当前图像中的对比区域；所述图像匹配模块302，被配置为利用神经网络对所述区域识别模块301确定的所述当前图像中的对比区域与已存储的图像进行匹配，得到匹配结果；所述存储模块303，被配置为当所述图像匹配模块302得到的所述匹配结果指示所述当前图像中的对比区域与所述已存储的图像未匹配成功时，将所述当前图像进行存储。
56.作为一种可选的实施方式，所述系统还包括确定模块、匹配模块以及存储模块303，其中：所述确定模块，被配置为从所述区域识别模块301采集到的当前图像中确定所述当前图像中的对比区域之后，确定所述对比区域中存在部位的部位信息以及所述部位的病变类别；所述匹配模块，被配置为将所述部位信息与已存储的图像的部位信息进行匹配，得到第一匹配结果；所述存储模块303，被配置为当所述第一匹配结果指示所述已存储的图像的部位信息与所述对比区域的部位信息未匹配成功时，将所述当前图像进行存储；所述匹配模块，还被配置为当所述第一匹配结果指示所述已存储的图像的部位信息与所述对比区域的部位信息匹配成功时，将所述对比区域的病变类别与已存储的图像的病变类别进行匹配，得到第二匹配结果；所述存储模块303，还被配置为当所述第二匹配结果指示所述已存储的图像的病变类别与所述对比区域的病变类别未匹配成功时，将所述当前图像进行存储；所述图像匹配模块302，具体被配置为当所述第二匹配结果指示所述已存储的图像的病变类别与所述对比区域的病变类别匹配成功时，利用神经网络对所述当前图像中的对比区域与已存储的图像进行匹配，得到匹配结果。
57.其中，实施这种实施方式，可以先获取到当前图像的对比区域中存在部位的部位信息和部位的病变类别，可以从已经存储的图像中判断是否存在与部位信息或病变类别匹配的图像，只有在判断出存储的图像中并未存在与当前图像相似的图像时，才将当前图像进行存储，如果判断出存储的图像中并存在与当前图像相似的图像时，可以进一步通过神经网络来对相似的图像与当前图像进行图像特征的匹配，进而得到匹配结果，以避免出现存储重复图像的情况，提升了图像存储的准确性。
58.请一并参阅图4，图4为本发明一实施例提供的用于图像特征匹配的图像存储系统中图像匹配模块的结构示意图，所述图像匹配模块302包括特征提取网络3021和测度网络3022，图像1和图像2分别可以为输入特征提取网络的当前图像和已存储的图像中病变类别匹配成功的图像，其中：所述特征提取网络3021，被配置为利用神经网络对所述当前图像中的对比区域进行特征提取，得到所述当前图像中的对比区域的第一图像信息；所述测度网络3022，被配置为对所述第一图像信息与已存储的图像中病变类别匹配成功的图像进行匹配，得到匹配结果。
59.其中，实施这种实施方式，可以先利用神经网络对对比区域进行特征提取，得到对比区域对应的第一图像信息，并且可以将第一图像信息与已存储的图像中病变类别和部位信息均匹配成功的图像再次进行匹配，得到最终的匹配结果，从而提升了匹配结果的准确性。
60.请一并参阅图5，图5为本发明一实施例提供的用于图像特征匹配的图像存储系统中特征提取网络的结构示意图，所述特征提取网络3021包括调整子模块、计算子模块、跨阶段局部网络以及确定子模块，其中：所述调整子模块，被配置为基于所述当前图像中的对比区域对所述当前图像进行尺寸调整，得到调整后的图像；所述计算子模块，被配置为对所述调整后的图像中的对比区域进行卷积计算和池化计算，得到所述对比区域的第一特征图；所述跨阶段局部网络，被配置为利用瓶颈层对所述第一特征图进行计算，得到所述第一特征图对应的第二特征图；所述确定子模块，被配置为基于所述第二特征图确定所述当前图像中的对比区域的第一图像信息。
61.其中，实施这种实施方式，可以对输入神经网络的图像先进行尺寸调整，再对调整过尺寸的图像进行卷积计算和池化计算，加大了感受野，让每个卷积的输出都包含较大范围的信息，并且在利用跨阶段局部网络对计算后得到的第一特征图再次进行计算，减少参数的数量，从而更加有效、直观地进行特征提取，最后可以基于得到的第二特征图确定出对比区域的第一图像信息，从而保证了第一图像信息确定的准确性。
62.请一并参阅图6，图6为本发明一实施例提供的用于图像特征匹配的图像存储系统中跨阶段局部网络的结构示意图，如图6所示，传统的跨阶段局部网络（cross stage partial network，cspnet）中包含了瓶颈层（bottleneck），包含瓶颈层的跨阶段局部网络的主要作用是可以减少参数的数量，且在降维之后可以更加有效、直观地进行特征提取，从而更加准确的基于第二特征图确定出第一图像信息，具体的，可以将第一特征图输入跨阶段局部网络中，通过跨阶段局部网络中的cbl模块、bottleneck以及1
×
1卷积层进行计算，得到第一结果，还可以通过跨阶段局部网络中的1
×
1卷积层进行计算，得到第二结果，并且可以将第一结果和第二结果进行张量拼接（concat），进而将拼接结果输入归一化层、leakyrelu激活函数以及cbl模块，得到第一特征图对应的第二特征图，其中，cbl模块包括1
×
1卷积层、归一化层以及leakyrelu激活函数；bottleneck中包括1
×
1卷积层和3
×
3卷积层。
63.作为一种可选的实施方式，所述计算子模块包括空洞卷积层、第一池化层、第一卷积层、第二池化层、第二卷积层以及第三池化层，其中：所述空洞卷积层，被配置为对所述调整后的图像中的对比区域进行空洞卷积计算，得到所述对比区域的第一子特征图；所述第一池化层，被配置为对所述第一子特征图进行第一池化计算，得到所述第一子特征图对应的第二子特征图；所述第一卷积层，被配置为对所述第二子特征图进行第一卷积计算，得到所述第二子特征图对应的第三子特征图；
所述第二池化层，被配置为对所述第三子特征图进行第二池化计算，得到所述第三子特征图对应的第四子特征图；所述第二卷积层，被配置为对所述第四子特征图进行第二卷积计算，得到所述第四子特征图对应的第五子特征图；所述第三池化层，被配置为对所述第五子特征图进行第三池化计算，得到所述第五子特征图对应的第一特征图。
64.其中，实施这种实施方式，可以对调整后的对比区域进行多次的卷积计算和池化计算，加大了感受野，从而使得到的第一特征图更加准确。
65.作为一种可选的实施方式，所述对所述第四子特征图进行第二卷积计算，得到所述第四子特征图对应的第五子特征图的第二卷积层被配置为，基于两个卷积层对所述第四子特征图进行计算，得到所述第四子特征图对应的卷积特征图；对于所述卷积特征图进行可变形卷积计算，得到所述卷积特征图对应的第五子特征图。其中，实施这种实施方式，可以更进一步对第四子特征图利用两个卷积层和可变形卷积进行计算，以使输出的第五子特征图在特征图尺寸不变的情况下增大了感受野，提升了第五子特征图的精度。
66.作为一种可选的实施方式，所述对所述第一图像信息与已存储的图像中病变类别匹配成功的图像进行匹配，得到匹配结果的测度网络3022被配置为，利用所述神经网络对已存储的图像中病变类别匹配成功的图像进行特征提取，得到第二图像信息；计算所述第一图像信息与所述第二图像信息的相似度，并基于所述相似度确定匹配结果。其中，实施这种实施方式，可以将已存储的与病变类别匹配成功的图像也利用神经网络进行特征提取，得到该图像的第二图像信息，之后计算第二图像信息与第一图像信息的相似度，最终可以基于相似度确定出匹配结果，以使得到的匹配结果更加合理以及准确。
67.示例性介质在介绍了本发明示例性实施方式的方法和系统之后，接下来，参考图7对本发明示例性实施方式的计算机可读存储介质进行说明，请参考图7，其示出的计算机可读存储介质为光盘70，其上存储有计算机程序（即程序产品），所述计算机程序在被处理器运行时，会实现上述方法实施方式中所记载的各步骤，例如，从采集到的当前图像中确定所述当前图像中的对比区域；利用神经网络对所述当前图像中的对比区域与已存储的图像进行匹配，得到匹配结果；当所述匹配结果指示所述当前图像中的对比区域与所述已存储的图像未匹配成功时，将所述当前图像进行存储；各步骤的具体实现方式在此不再重复说明。
68.需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
69.示例性计算设备在介绍了本发明示例性实施方式的方法、介质和装置之后，接下来，参考图8对本发明示例性实施方式的用于图像特征匹配的图像存储的计算设备。
70.图8示出了适于用来实现本发明实施方式的示例性计算设备80的框图，该计算设备80可以是计算机系统或服务器。图8显示的计算设备80仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
71.如图8所示，计算设备80的组件可以包括但不限于：一个或者多个处理器或者处理单元801，系统存储器802，连接不同系统组件（包括系统存储器802和处理单元801）的总线803。
72.计算设备80典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备80访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
73.系统存储器802可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器（ram）8021和/或高速缓存存储器8022。计算设备80可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，rom8023可以用于读写不可移动的、非易失性磁介质（图8中未显示，通常称为“硬盘驱动器”）。尽管未在图8中示出，可以提供用于对可移动非易失性磁盘（例如“软盘”）读写的磁盘驱动器，以及对可移动非易失性光盘（例如cd
‑
rom，dvd
‑
rom或者其它光介质）读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线803相连。系统存储器802中可以包括至少一个程序产品，该程序产品具有一组（例如至少一个）程序模块，这些程序模块被配置以执行本发明各实施例的功能。
74.具有一组（至少一个）程序模块8024的程序/实用工具8025，可以存储在例如系统存储器802中，且这样的程序模块8024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块8024通常执行本发明所描述的实施例中的功能和/或方法。
75.计算设备80也可以与一个或多个外部设备804（如键盘、指向设备、显示器等）通信。这种通信可以通过输入/输出（i/o）接口805进行。并且，计算设备80还可以通过网络适配器806与一个或者多个网络（例如局域网（lan），广域网（wan）和/或公共网络，例如因特网）通信。如图8所示，网络适配器806通过总线803与计算设备80的其它模块（如处理单元801等）通信。应当明白，尽管图8中未示出，可以结合计算设备80使用其它硬件和/或软件模块。
76.处理单元801通过运行存储在系统存储器802中的程序，从而执行各种功能应用以及数据处理，例如，从采集到的当前图像中确定所述当前图像中的对比区域；利用神经网络对所述当前图像中的对比区域与已存储的图像进行匹配，得到匹配结果；当所述匹配结果指示所述当前图像中的对比区域与所述已存储的图像未匹配成功时，将所述当前图像进行存储。各步骤的具体实现方式在此不再重复说明。应当注意，尽管在上文详细描述中提及了用于图像特征匹配的图像存储系统的若干单元/模块或子单元/子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
77.在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
78.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
79.在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，
仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
80.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
81.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
82.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read
‑
only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
83.最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
84.此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。