一种图像处理方法、装置、电子设备及存储介质与流程

1.本发明涉及计算机技术领域，特别涉及一种图像处理方法、装置、电子设备及存储介质。


背景技术：

2.图像配准是对两幅不同条件下(例如不同时间、不同成像设备、不同角度、不同光照等条件)获取的图像进行匹配的过程，其中涉及到特征点匹配，即根据特征点检测结果得到两幅图像中特征点的匹配关系。
3.相关技术中，在进行特征点匹配时主要是根据特征点描述子的距离(如夹角余弦值等)来确定特征点的匹配关系，这种方式仅仅考虑了特征点描述子，在特征点描述子不够准确(例如图像畸变或者特征点描述子维度较低)时会产生较大的匹配误差，导致特征点匹配关系的准确性差。


技术实现要素：

4.为了解决现有技术的问题，本发明实施例提供了一种图像处理方法、装置、电子设备及存储介质。所述技术方案如下：
5.一方面，提供了一种图像处理方法，所述方法包括：
6.获取待处理图像，对所述待处理图像进行特征点检测得到第一特征点信息；所述第一特征点信息包括第一特征点的位置信息和描述子；
7.根据所述第一特征点的位置信息，确定第一邻接矩阵和第一度矩阵；所述第一邻接矩阵表征所述第一特征点之间的关联关系，所述第一度矩阵表征每个所述第一特征点所关联的特征点的数量；
8.将所述第一特征点的描述子、所述第一邻接矩阵和第一度矩阵输入至图卷积神经网络中，得到所述第一特征点的特征向量；
9.根据所述第一特征点的特征向量，确定所述第一特征点与第二特征点的匹配关系；所述第二特征点为所述待处理图像对应的标准图像中的特征点。
10.另一方面，提供了一种图像处理装置，所述装置包括：
11.第一特征点检测模块，用于获取待处理图像，对所述待处理图像进行特征点检测得到第一特征点信息；所述第一特征点信息包括第一特征点的位置信息和描述子；
12.第一确定模块，用于根据所述第一特征点的位置信息，确定第一邻接矩阵和第一度矩阵；所述第一邻接矩阵表征所述第一特征点之间的关联关系，所述第一度矩阵表征每个所述第一特征点所关联的特征点的数量；
13.图卷积处理模块，用于将所述第一特征点的描述子、所述第一邻接矩阵和第一度矩阵输入至图卷积神经网络中，得到所述第一特征点的特征向量；
14.匹配关系确定模块，用于根据所述第一特征点的特征向量，确定所述第一特征点与第二特征点的匹配关系；所述第二特征点为所述待处理图像对应的标准图像中的特征
点。
15.在一个示例性的实施方式中，所述第一确定模块，包括：
16.距离确定模块，用于根据所述第一特征点的位置信息，确定所述第一特征点之间的距离；
17.第一邻接矩阵确定模块，用于根据第一预设超参数与所述第一特征点之间的距离的比值，确定所述第一邻接矩阵；
18.第一度矩阵确定模块，用于根据所述第一邻接矩阵中每行的非对角元素的和值，确定所述第一度矩阵。
19.在一个示例性的实施方式中，所述第一特征点检测模块，还用于对所述标准图像进行特征点检测，得到第二特征点信息；所述第二特征点信息包括所述第二特征点的位置信息和描述子；
20.所述第一确定模块，还用于根据所述第二特征点的位置信息，确定第二邻接矩阵和第二度矩阵；所述第二邻接矩阵表征所述第二特征点之间的关联关系，所述第二度矩阵表征每个所述第二特征点所关联的特征点的数量；
21.所述图卷积处理模块，还用于将所述第二特征点的描述子、所述第二邻接矩阵和第二度矩阵输入至所述图卷积神经网络中，得到所述第二特征点的特征向量；
22.相应的，所述匹配关系确定模块，具体用于根据所述第一特征点的特征向量和所述第二特征点的特征向量的乘积，确定所述第一特征点与第二特征点的匹配关系。
23.在一个示例性的实施方式中，所述装置还包括：
24.第一匹配点对确定模块，用于根据所述第一特征点与第二特征点的匹配关系，确定多个匹配点对；
25.变换矩阵确定模块，用于根据所述多个匹配点对，确定目标单应性变换矩阵；
26.第一变换模块，用于根据所述目标单应性变换矩阵对所述待处理图像进行变换，得到所述标准图像对应的配准图像。
27.在一个示例性的实施方式中，所述装置还包括：
28.样本获取模块，用于获取样本图像和变换图像；所述变换图像是基于预设单应性变换矩阵对所述样本图像进行变换得到的；
29.第二特征点检测模块，用于分别对所述样本图像和变换图像进行特征点检测，得到第一样本特征点信息和第二样本特征点信息；所述第一样本特征点信息包括所述样本图像中第一样本特征点的位置信息和描述子，所述第二样本特征点信息包括所述变换图像中第二样本特征点的位置信息和描述子；
30.特征向量确定模块，用于根据所述第一样本特征点信息、所述第二样本特征点信息和初始图卷积神经网络，分别得到所述第一样本特征点的特征向量和所述第二样本特征点的特征向量；
31.预测匹配关系确定模块，用于根据所述第一样本特征点的特征向量和所述第二样本特征点的特征向量，得到所述第一样本特征点与所述第二样本特征点的预测匹配关系；
32.第二变换模块，用于基于所述预设单应性变换矩阵对所述第一样本特征点进行变换，得到变换后的第一样本特征点；
33.参考匹配关系确定模块，用于基于第二预设超参数和所述变换后的第一样本特征
点，确定所述第一样本特征点与所述第二样本特征点的参考匹配关系；
34.训练模块，用于根据所述预测匹配关系与所述参考匹配关系的差异确定损失值，并基于所述损失值调整所述初始图卷积神经网络的网络参数直至满足训练结束条件，得到所述图卷积神经网络。
35.在一个示例性的实施方式中，所述特征向量确定模块，包括：
36.第二确定模块，用于根据所述第一样本特征点的位置信息，确定第一样本邻接矩阵和第一样本度矩阵；
37.第三确定模块，用于根据所述第二样本特征点的位置信息，确定第二样本邻接矩阵和第二样本度矩阵；
38.第一特征向量确定模块，用于将所述第一样本特征点的描述子、所述第一样本邻接矩阵和第一样本度矩阵输入至初始图卷积神经网络中，得到所述第一样本特征点的特征向量；
39.第二特征向量确定模块，用于将所述第二样本特征点的描述子、所述第二样本邻接矩阵和第二样本度矩阵输入至所述初始图卷积神经网络中，得到所述第二样本特征点的特征向量。
40.在一个示例性的实施方式中，所述参考匹配关系确定模块，包括：
41.选取模块，用于从所述变换后的第一样本特征点中选取目标第一样本特征点；所述目标第一样本特征点为所述变换后的第一样本特征点中的任意一个；
42.第四确定模块，用于确定所述目标第一样本特征点到所述第二样本特征点的第一距离；
43.第五确定模块，用于确定最小第一距离对应的目标第二样本特征点；
44.第六确定模块，用于确定所述目标第二样本特征点到所述变换后的第一样本特征点的第二距离；
45.第二匹配点对确定模块，用于若最小第二距离对应的第一样本特征点与所述目标第一样本特征点相同，且所述最小第一距离和所述最小第二距离均小于所述第二预设超参数，则确定所述目标第一样本特征点与所述目标第二样本特征点为匹配点对；
46.参考匹配关系确定子模块，用于根据所述匹配点对，确定所述第一样本特征点与所述第二样本特征点的参考匹配关系。
47.另一方面，提供了一种电子设备，包括处理器和存储器，所述存储器中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由所述处理器加载并执行以实现上述的图像处理方法。
48.另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由处理器加载并执行以实现如上述的图像处理方法。
49.另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述的图像处理方法。
50.本发明实施例通过根据第一特征点的位置信息确定第一邻接矩阵和第一度矩阵，
并将第一特征点的描述子、第一邻接矩阵和第一度矩阵输入至图卷积神经网络中，得到第一特征点的特征向量，进而根据第一特征点的特征向量确定第一特征点与标准图像中第二特征点的匹配关系，由于在上述技术方案中不仅考虑了特征点的描述子，还同时考虑了特征点之间的相对位置关系，从而大大降低了匹配的误差，提高了匹配关系的准确性和匹配精度。
附图说明
51.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
52.图1是本发明实施例提供的一种实施环境的示意图；
53.图2是本发明实施例提供的工业ai质检的流程示意图；
54.图3a是本发明实施例提供的一种图像处理方法的流程示意图；
55.图3b是本发明实施例提供的图及其对应的度矩阵和邻接矩阵的示例；
56.图4是本发明实施例提供的待处理图像中的第一特征点及第一预设超参数设置的示意图；
57.图5是本发明实施例提供的另一种图像处理方法的流程示意图；
58.图6是本发明实施例提供的训练图卷积神经网络的流程示意图；
59.图7是本发明实施例提供的训练图卷积神经网络的一个具体示例；
60.图8是本发明实施例提供的一种图像处理装置的结构框图；
61.图9是本发明实施例提供的一种电子设备的硬件结构框图。
具体实施方式
62.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
63.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
64.请参阅图1，其所示为本发明实施例提供的一种实施环境示意图，该实施环境可以包括终端110和服务器120，其中，终端110和服务器120可以通过有线网络或者无线网络连接通信。
65.终端110可以包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端、
飞行器等。终端110中运行有提供图像处理功能的客户端软件如应用程序(application，简称为app)，该应用程序可以是独立的应用程序，也可以是应用程序中的子程序。
66.服务器120可以是为终端110中的应用程序提供后台服务的服务器，具体的，服务器120中可以存储有预先训练好的图卷积神经网络，终端110在进行图像处理时可以调用服务器120中的图卷积神经网络进行处理。可以理解的是，终端110也可以从服务器120下载训练好的图卷积神经网络并存储在本地，在进行图像处理时直接调用本地的图卷积神经网络，从而提高图像处理的效率。
67.需要说明的是，服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network，内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。
68.在一个示例性的实施方式，终端110和服务器120均可以是区块链系统中的节点设备，能够将获取到以及生成的信息共享给区块链系统中的其他节点设备，实现多个节点设备之间的信息共享。区块链系统中的多个节点设备可以配置有同一条区块链，该区块链由多个区块组成，并且前后相邻的区块具有关联关系，使得任一区块中的数据被篡改时都能通过下一区块检测到，从而能够避免区块链中的数据被篡改，保证区块链中数据的安全性和可靠性。
69.本发明实施例的图像处理方法可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。
70.人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
71.其中，计算机视觉技术(computer vision,cv)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
72.机器学习(machine learning,ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学
习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
73.智能交通系统(intelligent traffic system，its)又称智能运输系统(intelligent transportation system)，是将先进的科学技术(信息技术、计算机技术、数据通信技术、传感器技术、电子控制技术、自动控制理论、运筹学、人工智能等)有效地综合运用于交通运输、服务控制和车辆制造，加强车辆、道路、使用者三者之间的联系，从而形成一种保障安全、提高效率、改善环境、节约能源的综合运输系统。
74.以应用于工业ai质检场景为例，在当前的工业ai质检平台中，工业制造元器件，尤其是3c类元器件，通常较小，构造精密，因此摄像头都是针对缺陷频发位置，设计成多角度拍摄，具体到某一个摄像头时，都会有一个固定的“roi(region of interest，感兴趣区域)区域”拍照清晰，其余区域则相对模糊，留给其他的摄像头来拍照。对于摄像头的拍摄图片，通常采用图像配准方法将拍摄图片的roi区域与标准图对齐以便后续的缺陷对比学习时能够有效的定位并识别出roi区域内的缺陷，特征点匹配作为图像配准过程的关键步骤，会影响图像配准结果的准确性。如图2所示为工业ai质检的流程示意图，本发明实施例的图像处理方法可以应用于图中的图像配准步骤中。
75.请参阅图3a，其所示为本发明实施例提供的一种图像处理方法的流程示意图，以该方法应用于图1的终端为例。需要说明的是，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图3a所示，所述方法可以包括：
76.s301，获取待处理图像，对所述待处理图像进行特征点检测得到第一特征点信息。
77.其中，所述第一特征点信息包括第一特征点的位置信息和描述子。待处理图像可以是图像采集装置实时采集的图像，也可以是由图像采集装置预先采集并存储在终端内存中的图像。在一个具体的应用场景中，待处理图像可以是待检测元器件的缺陷频发部位的图像。
78.特征点检测可以采用相关技术中的特征点检测算法，例如尺度不变特征变换算法(scale invariant feature transform，sift)、加速鲁棒特征(speeded up robust features，surf)算法、角点检测算法包括harris算法、fast算法等等，其中，harris算法是一种基于图像灰度的一阶导数矩阵检测方法，fast算法为基于加速分割测试的算法。
79.每个第一特征点的位置信息表征该第一特征点在待处理图像中的位置，可以由坐标(x,y)来表示；每个第一特征点的描述子用来描述该第一特征点的特征，例如第一特征点的朝向、第一特征点的周围像素信息等，描述子的维度可以根据实际需要进行设定，例如可以是128维或者256维等等。
80.可以理解的，特征点检测可以确定待处理图像中的多个第一特征点，也即第一特征点信息可以为多个，每个第一特征点信息对应一个第一特征点，根据各个第一特征点的位置信息可以形成第一特征点位置矩阵p，p∈r
′n×2，n为第一特征点的个数，该第一特征点位置矩阵p中的每一行用来表示一个第一特征点的位置。同样，根据各第一特征点的描述子
可以形成第一特征点描述子矩阵x，x∈r
′n×f，f为描述子的维度，该第一特征点描述子矩阵x中的每一行用来表示一个第一特征点的描述子。
81.s303，根据所述第一特征点的位置信息，确定第一邻接矩阵和第一度矩阵。
82.其中，所述第一邻接矩阵表征所述第一特征点之间的关联关系，所述第一度矩阵表征每个所述第一特征点所关联的特征点的数量，该第一度矩阵为一个对角矩阵。
83.具体的实施中，第一邻接矩阵可以是0-1矩阵，也可以是权重矩阵，第一度矩阵中的元素为每个第一特征点的度，每个第一特征点的度可以是其连接的特征点的个数或者权重之和。如图3b所示为图及其对应的度矩阵和邻接矩阵示例，其中的度矩阵为对角矩阵，每个对角元素为该图中相应节点所连接的节点个数；其中的邻接矩阵为0-1矩阵，即邻接矩阵中的元素仅包含0或1，且对角元素均为0，1表示节点之间相关联，0表示节点之间不关联。
84.在一个示例性的实施方式中，上述步骤s303在根据第一特征点的位置信息确定第一邻接矩阵和第一度矩阵时，可以包括以下步骤：
85.根据所述第一特征点的位置信息，确定所述第一特征点之间的距离；
86.根据第一预设超参数与所述第一特征点之间的距离的比值，确定所述第一邻接矩阵；
87.根据所述第一邻接矩阵中每行的非对角元素的和值，确定所述第一度矩阵。
88.其中，第一预设超参数r定义为某个第一特征点(如第一特征点i)的距离范围，在r距离内的其他第一特征点为该第一特征点i的内点，内点距离该第一特征点i近，图像特征和纹理等与该第一特征点i相近的可能性更高，因此对该第一特征点i的影响更大；在该r距离外的其他第一特征点为外点，外点距离第一特征点i远，对该第一特征点i的影响也较小。
89.如图4所示为待处理图像中的第一特征点及第一预设超参数r设置的示意图，如图4所示，以第一特征点为圆心、第一预设超参数r为半径的圆内的其他第一特征点为该作为圆心的第一特征点的内点，该圆外的其他第一特征点为该作为圆心的第一特征点的外点。
90.第一特征点之间的距离可以表示为dis
(i,j)
，其中，i,j分别为第一特征点，定义corr
(i,j)
＝r/dis
(i,j)
，corr
(i,j)
可以表示第一特征点i,j之间的相关性，则第一邻接矩阵a中的元素a
(i,j)
＝corr
(i,j)
，第一度矩阵d中的元素d
(i,i)
＝∑
j≠i
corr
(i,j)
。
91.s305，将所述第一特征点的描述子、所述第一邻接矩阵和第一度矩阵输入至图卷积神经网络中，得到所述第一特征点的特征向量。
92.具体的，图卷积神经网络中的图卷积层可以表示为以下的非线性函数：
93.h
l 1
＝σ(lh
lwl
)
94.其中，为拉普拉斯矩阵，d为第一度矩阵，a为第一邻接矩阵；w
l
为图卷积层l的权重参数矩阵，可以在对图卷积神经网络的训练阶段确定；σ(
·
)为非线性激活函数，例如relu(rectified linear unit，修正线性单元)函数；h
l
为图卷积层l的输出，h
l 1
表示图卷积层l的下一图卷积层的输出，当l＝0时即h0表示图卷积神经网络第一层的输入，为第一特征点的描述子，具体为第一特征点描述子矩阵x。
95.需要说明的是，每个图卷积层l的输出h
l
对应于n
×fl
的特征向量矩阵，n为第一特征点的个数，该特征向量矩阵中的行对应第一特征点的特征向量，从而可以得到n个第一特征点的特征向量。
96.关于上述图卷积神经网络的训练将在本发明实施例的后续内容进行详细介绍。
97.s307，根据所述第一特征点的特征向量，确定所述第一特征点与第二特征点的匹配关系。
98.其中，所述第二特征点为所述待处理图像对应的标准图像中的特征点。第一特征点与第二特征点的匹配关系指示第一特征点与第二特征点之间的匹配程度。
99.实际应用中，可以根据第一特征点的特征向量与第二特征点的特征向量的乘积，确定第一特征点与第二特征点的匹配关系。具体实施中，可以计算n
×
f的第一特征向量(即第一特征点的特征向量)矩阵与m
×
f的第二特征向量(即第二特征点的特征向量)矩阵的乘积，则可以得到n
×
m的匹配矩阵，该匹配矩阵中的元素表示第一特征点的特征向量与第二特征点的特征向量的匹配关系，其中，n表示第一特征点的个数，m表示第二特征点的个数。
100.基于此，在一个示例性的实施方式中，该方法还可以包括确定第二特征点的特征向量，具体的，该确定第二特征点的特征向量可以包括：
101.对所述标准图像进行特征点检测，得到第二特征点信息；所述第二特征点信息包括所述第二特征点的位置信息和描述子；
102.根据所述第二特征点的位置信息，确定第二邻接矩阵和第二度矩阵；所述第二邻接矩阵表征所述第二特征点之间的关联关系，所述第二度矩阵表征每个所述第二特征点所关联的特征点的数量；
103.将所述第二特征点的描述子、所述第二邻接矩阵和第二度矩阵输入至所述图卷积神经网络中，得到所述第二特征点的特征向量。
104.其中，第二邻接矩阵和第二度矩阵的具体确定方式可以参照本发明实施例前述的第一邻接矩阵和第一度矩阵的确定方式，在此不再赘述。基于图卷积神经网络得到第二特征点的特征向量的具体实施方式也可以参见前述关于得到第一特征点的特征向量的相关描述，在此不再赘述。
105.需要说明的是，通常情况下待处理图像对应的标准图像是唯一的，而待处理图像可以有多个，因此，可以在处理待处理图像之前先对其标准图像进行处理以得到第二特征点的特征向量并进行存储，如此，在后续处理待处理图像得到第一特征点的特征向量后，可以直接获取存储的第二特征点的特征向量，进而确定第一特征点与第二特征点的匹配关系，避免了针对每个待处理图像均需对其标准图像进行处理，有利于提高图像处理的效率。
106.在一个示例性的实施方式中，如图5所示的另一种图像处理方法的流程示意图，在确定第一特征点与第二特征点的匹配关系之后，该方法还可以包括：
107.s501，根据所述第一特征点与第二特征点的匹配关系，确定多个匹配点对。
108.具体的，针对每个第一特征点，可以基于其对应的匹配关系确定匹配程度最高的第二特征点，进而与该匹配程度最高的第二特征点组成匹配点对，得到多个匹配点对。
109.s503，根据所述多个匹配点对，确定目标单应性变换矩阵。
110.单应性变换矩阵表征将一个平面映射到另一个平面的映射关系，单应性变化矩阵通常为3x3矩阵，有8个自由度，可以由4个点对来确定。
111.具体的实施中，可以通过ransac(randomsampleconsensus，随机抽样一致)算法确定目标单应性变换矩阵。ransac算法步骤包括：(1)从多个匹配点对中随机抽出4个样本(此4个样本之间不共线)计算出变换矩阵h，记为模型m；(2)计算多个匹配点对中所有匹配点对
于模型m的投影误差，若误差小于阈值，则加入内点集i；(3)如果当前内点集元素个数大于最优内点集i_best，则更新i_best＝i，同时更新迭代次数k；(4)如果迭代次数k大于最大迭代次数，则退出，否则迭代次数k加1，并重复上述步骤(1)～(4)。上述退出时的变换矩阵h即为目标单应性变换矩阵。
112.s505，根据所述目标单应性变换矩阵对所述待处理图像进行变换，得到所述标准图像对应的配准图像。
113.具体的实施中，可以利用transform.similaritytransform()函数基于目标单应性变换矩阵对待处理图像进行变换，从而得到变换后的配准图像。
114.本发明实施例的上述技术方案中不仅考虑了特征点的描述子，还同时考虑了特征点之间的相对位置关系，从而大大降低了匹配的误差，提高了匹配关系的准确性，进而提高了配准图像的准确性。
115.下面介绍本发明实施例的图卷积神经网络的训练过程。由于图像中的特征点具有分布广，数量多的特性，为了提高训练效率、降低训练成本，本发明实施例对于图卷积神经网络的训练采用无监督的训练方式。
116.请参阅图6，其所示为本发明实施例提供的训练图卷积神经网络的流程示意图，如图6所示，训练图卷积神经网络可以包括：
117.s601，获取样本图像和变换图像；所述变换图像是基于预设单应性变换矩阵对所述样本图像进行变换得到的。
118.示例性的，如图7提供的一个具体训练的示意图，可以先获取样本图像，然后基于预设单应性变换矩阵对样本图像进行单应性变换以得到该变换图像，其中，预设单应性变换矩阵可以根据实际经验进行设定。
119.s603，分别对所述样本图像和变换图像进行特征点检测，得到第一样本特征点信息和第二样本特征点信息。
120.其中，所述第一样本特征点信息包括所述样本图像中第一样本特征点的位置信息和描述子，所述第二样本特征点信息包括所述变换图像中第二样本特征点的位置信息和描述子。
121.特征点检测可以采用相关技术中的特征点检测算法，例如尺度不变特征变换算法(scale invariant feature transform，sift)、加速鲁棒特征(speeded up robust features，surf)算法、角点检测算法包括harris算法、fast算法等等。
122.s605，根据所述第一样本特征点信息、所述第二样本特征点信息和初始图卷积神经网络，分别得到所述第一样本特征点的特征向量和所述第二样本特征点的特征向量。
123.其中，初始图卷积神经网络中的权重参数均为初始化值。
124.上述步骤s605在实施时，可以包括：
125.根据所述第一样本特征点的位置信息，确定第一样本邻接矩阵和第一样本度矩阵；
126.根据所述第二样本特征点的位置信息，确定第二样本邻接矩阵和第二样本度矩阵；
127.将所述第一样本特征点的描述子、所述第一样本邻接矩阵和第一样本度矩阵输入至初始图卷积神经网络中，得到所述第一样本特征点的特征向量；
128.将所述第二样本特征点的描述子、所述第二样本邻接矩阵和第二样本度矩阵输入至所述初始图卷积神经网络中，得到所述第二样本特征点的特征向量。
129.具体的，关于上述第一样本邻接矩阵和第一样本度矩阵，以及第二样本邻接矩阵和第二样本度矩阵的确定方式可以参见本发明实施例前述对于第一邻接矩阵和第一度矩阵的详细描述，在此不再赘述。同样，关于上述第一样本特征点的特征向量和第二样本特征点的特征向量的确定方式可以参见本发明实施例前述对于第一特征点的特征向量的详细描述，在此不再赘述。
130.以图7为例，基于样本图像得到的第一样本特征点的特征向量可以表示为n
×
f的特征向量矩阵，n为第一样本特征点的个数；基于变换图像得到的第二样本特征点的特征向量可以表示为m
×
f的特征向量矩阵，m为第二样本特征点的个数。其中，f为描述子的维度。
131.s607，根据所述第一样本特征点的特征向量和所述第二样本特征点的特征向量，得到所述第一样本特征点与所述第二样本特征点的预测匹配关系。
132.具体的，预测匹配关系可以根据n
×
f的特征向量矩阵与m
×
f的特征向量矩阵的乘积得到，即预测匹配关系可以表示为n
×
m的预测匹配矩阵，该预测匹配矩阵中的元素表征第一样本特征点与第二样本特征点的匹配程度，通常为0～1之间的数值。
133.s609，基于所述预设单应性变换矩阵对所述第一样本特征点进行变换，得到变换后的第一样本特征点。
134.s611，基于第二预设超参数和所述变换后的第一样本特征点，确定所述第一样本特征点与所述第二样本特征点的参考匹配关系。
135.其中，参考匹配关系表征第一样本特征点与第二样本特征点的真实匹配关系。第二预设超参数可以根据实际经验进行设定。
136.在一个示例性的实施方式中，上述参考匹配关系的确定可以包括：
137.从所述变换后的第一样本特征点中选取目标第一样本特征点；所述目标第一样本特征点为所述变换后的第一样本特征点中的任意一个；
138.确定所述目标第一样本特征点到所述第二样本特征点的第一距离；
139.确定最小第一距离对应的目标第二样本特征点；
140.确定所述目标第二样本特征点到所述变换后的第一样本特征点的第二距离；
141.若最小第二距离对应的第一样本特征点与所述目标第一样本特征点相同，且所述最小第一距离和所述最小第二距离均小于所述第二预设超参数，则确定所述目标第一样本特征点与所述目标第二样本特征点为匹配点对；
142.根据所述匹配点对，确定所述第一样本特征点与所述第二样本特征点的参考匹配关系。
143.以图7所示的n个第一样本特征点、m个第二样本特征点为例，对n个第一样本特征点和m个第二样本特征点进行交叉验证，即第一样本特征点中的i到第二样本特征点中的j距离最近，且第二样本特征点中的j到第一样本特征点中的i也是距离最近，且i和j的距离均小于第二预设超参数，则认为i和j为匹配点对，由此可以得到n
×
m的真实匹配矩阵以表示第一样本特征点与所述第二样本特征点的参考匹配关系，在该真实匹配矩阵中，匹配点对的矩阵元素可以为1，非匹配点对的矩阵元素可以为0。
144.可以理解的，上述步骤s609和步骤s611不限于在步骤s607之后执行，其只要在步
骤s603之后执行即可，本发明实施例对此不作具体限定。
145.s613，根据所述预测匹配关系与所述参考匹配关系的差异确定损失值，并基于所述损失值调整所述初始图卷积神经网络的网络参数直至满足训练结束条件，得到所述图卷积神经网络。
146.具体的，可以通过图7所示的预设softmax损失函数，并根据预测匹配关系与参考匹配关系的差异确定损失值，进而基于该损失值调整初始图卷积神经网络的网络参数，并基于调整后的网络参数继续迭代训练直至满足训练结束条件，得到本发明实施例的图卷积神经网络。
147.其中，预设softmax损失函数可以是交叉熵损失函数。训练结束条件可以是迭代训练次数达到预设迭代次数阈值，还可以是相邻两次训练的损失值的差值小于预设最小差值，还可以是单次训练的损失值小于预设最小损失值。
148.本发明实施例通过将特征点作为图的节点，特征点的描述子作为节点的特征，并构造了图的邻接矩阵和度矩阵，从而结合在训练过程中确定的参考匹配关系成功的训练了图卷积神经网络，使得图像处理过程中可以基于该图卷积神经网络将特征点的位置和描述子结合起来进行特征点匹配，避免了传统算法仅仅依赖特征点描述子来进行匹配的局限性，有效的提高了特征点匹配的精度和准确性。
149.与上述几种实施例提供的图像处理方法相对应，本发明实施例还提供一种图像处理装置，由于本发明实施例提供的图像处理装置与上述几种实施例提供的图像处理方法相对应，因此前述图像处理方法的实施方式也适用于本实施例提供的图像处理装置，在本实施例中不再详细描述。
150.请参阅图8，其所示为本发明实施例提供的一种图像处理装置的结构示意图，该图像处理装置800具有实现上述方法实施例中图像处理方法的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。如图8所示，该图像处理装置800可以包括：
151.第一特征点检测模块810，用于获取待处理图像，对所述待处理图像进行特征点检测得到第一特征点信息；所述第一特征点信息包括第一特征点的位置信息和描述子；
152.第一确定模块820，用于根据所述第一特征点的位置信息，确定第一邻接矩阵和第一度矩阵；所述第一邻接矩阵表征所述第一特征点之间的关联关系，所述第一度矩阵表征每个所述第一特征点所关联的特征点的数量；
153.图卷积处理模块830，用于将所述第一特征点的描述子、所述第一邻接矩阵和第一度矩阵输入至图卷积神经网络中，得到所述第一特征点的特征向量；
154.匹配关系确定模块840，用于根据所述第一特征点的特征向量，确定所述第一特征点与第二特征点的匹配关系；所述第二特征点为所述待处理图像对应的标准图像中的特征点。
155.在一个示例性的实施方式中，所述第一确定模块820，包括：
156.距离确定模块，用于根据所述第一特征点的位置信息，确定所述第一特征点之间的距离；
157.第一邻接矩阵确定模块，用于根据第一预设超参数与所述第一特征点之间的距离的比值，确定所述第一邻接矩阵；
158.第一度矩阵确定模块，用于根据所述第一邻接矩阵中每行的非对角元素的和值，
确定所述第一度矩阵。
159.在一个示例性的实施方式中，所述第一特征点检测模块810，还用于对所述标准图像进行特征点检测，得到第二特征点信息；所述第二特征点信息包括所述第二特征点的位置信息和描述子；
160.所述第一确定模块820，还用于根据所述第二特征点的位置信息，确定第二邻接矩阵和第二度矩阵；所述第二邻接矩阵表征所述第二特征点之间的关联关系，所述第二度矩阵表征每个所述第二特征点所关联的特征点的数量；
161.所述图卷积处理模块830，还用于将所述第二特征点的描述子、所述第二邻接矩阵和第二度矩阵输入至所述图卷积神经网络中，得到所述第二特征点的特征向量；
162.相应的，所述匹配关系确定模块840，具体用于根据所述第一特征点的特征向量和所述第二特征点的特征向量的乘积，确定所述第一特征点与第二特征点的匹配关系。
163.在一个示例性的实施方式中，所述装置还包括：
164.第一匹配点对确定模块，用于根据所述第一特征点与第二特征点的匹配关系，确定多个匹配点对；
165.变换矩阵确定模块，用于根据所述多个匹配点对，确定目标单应性变换矩阵；
166.第一变换模块，用于根据所述目标单应性变换矩阵对所述待处理图像进行变换，得到所述标准图像对应的配准图像。
167.在一个示例性的实施方式中，所述装置还包括：
168.样本获取模块，用于获取样本图像和变换图像；所述变换图像是基于预设单应性变换矩阵对所述样本图像进行变换得到的；
169.第二特征点检测模块，用于分别对所述样本图像和变换图像进行特征点检测，得到第一样本特征点信息和第二样本特征点信息；所述第一样本特征点信息包括所述样本图像中第一样本特征点的位置信息和描述子，所述第二样本特征点信息包括所述变换图像中第二样本特征点的位置信息和描述子；
170.特征向量确定模块，用于根据所述第一样本特征点信息、所述第二样本特征点信息和初始图卷积神经网络，分别得到所述第一样本特征点的特征向量和所述第二样本特征点的特征向量；
171.预测匹配关系确定模块，用于根据所述第一样本特征点的特征向量和所述第二样本特征点的特征向量，得到所述第一样本特征点与所述第二样本特征点的预测匹配关系；
172.第二变换模块，用于基于所述预设单应性变换矩阵对所述第一样本特征点进行变换，得到变换后的第一样本特征点；
173.参考匹配关系确定模块，用于基于第二预设超参数和所述变换后的第一样本特征点，确定所述第一样本特征点与所述第二样本特征点的参考匹配关系；
174.训练模块，用于根据所述预测匹配关系与所述参考匹配关系的差异确定损失值，并基于所述损失值调整所述初始图卷积神经网络的网络参数直至满足训练结束条件，得到所述图卷积神经网络。
175.在一个示例性的实施方式中，所述特征向量确定模块，包括：
176.第二确定模块，用于根据所述第一样本特征点的位置信息，确定第一样本邻接矩阵和第一样本度矩阵；
177.第三确定模块，用于根据所述第二样本特征点的位置信息，确定第二样本邻接矩阵和第二样本度矩阵；
178.第一特征向量确定模块，用于将所述第一样本特征点的描述子、所述第一样本邻接矩阵和第一样本度矩阵输入至初始图卷积神经网络中，得到所述第一样本特征点的特征向量；
179.第二特征向量确定模块，用于将所述第二样本特征点的描述子、所述第二样本邻接矩阵和第二样本度矩阵输入至所述初始图卷积神经网络中，得到所述第二样本特征点的特征向量。
180.在一个示例性的实施方式中，所述参考匹配关系确定模块，包括：
181.选取模块，用于从所述变换后的第一样本特征点中选取目标第一样本特征点；所述目标第一样本特征点为所述变换后的第一样本特征点中的任意一个；
182.第四确定模块，用于确定所述目标第一样本特征点到所述第二样本特征点的第一距离；
183.第五确定模块，用于确定最小第一距离对应的目标第二样本特征点；
184.第六确定模块，用于确定所述目标第二样本特征点到所述变换后的第一样本特征点的第二距离；
185.第二匹配点对确定模块，用于若最小第二距离对应的第一样本特征点与所述目标第一样本特征点相同，且所述最小第一距离和所述最小第二距离均小于所述第二预设超参数，则确定所述目标第一样本特征点与所述目标第二样本特征点为匹配点对；
186.参考匹配关系确定子模块，用于根据所述匹配点对，确定所述第一样本特征点与所述第二样本特征点的参考匹配关系。
187.需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
188.本发明实施例提供了一种电子设备，包括处理器和存储器，所述存储器中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由所述处理器加载并执行以实现本发明实施例提供的任意一种图像处理方法。
189.存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及图像处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
190.本发明实施例所提供的方法实施例可以在计算机终端、服务器或者类似的运算装置中执行。以运行在终端上为例，图9是本发明实施例提供的运行一种图像处理方法的终端的硬件结构框图，具体来讲：
191.所述终端可以包括rf(radio frequency，射频)电路910、包括有一个或一个以上
计算机可读存储介质的存储器920、输入单元930、显示单元940、传感器950、音频电路960、wifi(wireless fidelity，无线保真)模块970、包括有一个或者一个以上处理核心的处理器980、以及电源990等部件。本领域技术人员可以理解，图9中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
192.rf电路910可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器980处理；另外，将涉及上行的数据发送给基站。通常，rf电路910包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(sim)卡、收发信机、耦合器、lna(low noise amplifier，低噪声放大器)、双工器等。此外，rf电路910还可以通过无线通信与网络和其他终端通信。所述无线通信可以使用任一通信标准或协议，包括但不限于gsm(global system of mobile communication，全球移动通讯系统)、gprs(general packet radio service，通用分组无线服务)、cdma(code division multiple access，码分多址)、wcdma(wideband code division multiple access,宽带码分多址)、lte(long term evolution,长期演进)、电子邮件、sms(short messaging service，短消息服务)等。
193.存储器920可用于存储软件程序以及模块，处理器980通过运行存储在存储器920的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器920可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述终端的使用所创建的数据等。此外，存储器920可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器920还可以包括存储器控制器，以提供处理器980和输入单元930对存储器920的访问。
194.输入单元930可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元930可包括触敏表面931以及其他输入设备932。触敏表面931，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面931上或在触敏表面931附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面931可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器980，并能接收处理器980发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面931。除了触敏表面931，输入单元930还可以包括其他输入设备932。具体地，其他输入设备932可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
195.显示单元940可用于显示由用户输入的信息或提供给用户的信息以及所述终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元940可包括显示面板941，可选的，可以采用lcd(liquid crystal display，液晶显示器)、oled(organic light-emitting diode,有机发光二极管)等形式来配置显示面板941。进一步的，触敏表面931可覆盖显示面板941，当触敏表面931检测到在其上或附近的触
摸操作后，传送给处理器980以确定触摸事件的类型，随后处理器980根据触摸事件的类型在显示面板941上提供相应的视觉输出。其中，触敏表面931与显示面板941可以两个独立的部件来实现输入和输入功能，但是在某些实施例中，也可以将触敏表面931与显示面板941集成而实现输入和输出功能。
196.所述终端还可包括至少一种传感器950，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板941的亮度，接近传感器可在所述终端移动到耳边时，关闭显示面板941和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于所述终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
197.音频电路960、扬声器961，传声器962可提供用户与所述终端之间的音频接口。音频电路960可将接收到的音频数据转换后的电信号，传输到扬声器961，由扬声器961转换为声音信号输出；另一方面，传声器962将收集的声音信号转换为电信号，由音频电路960接收后转换为音频数据，再将音频数据输出处理器980处理后，经rf电路910以发送给比如另一终端，或者将音频数据输出至存储器920以便进一步处理。音频电路960还可能包括耳塞插孔，以提供外设耳机与所述终端的通信。
198.wifi属于短距离无线传输技术，所述终端通过wifi模块970可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图9示出了wifi模块970，但是可以理解的是，其并不属于所述终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
199.处理器980是所述终端的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器920内的软件程序和/或模块，以及调用存储在存储器920内的数据，执行所述终端的各种功能和处理数据。可选的，处理器980可包括一个或多个处理核心；优选的，处理器980可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器980中。
200.所述终端还包括给各个部件供电的电源990(比如电池)，优选的，电源可以通过电源管理系统与处理器980逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源990还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
201.尽管未示出，所述终端还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，终端还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行。上述一个或者一个以上程序包含用于执行上述方法实施例提供的图像处理方法的指令。
202.本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质可设置于终端之中以保存用于实现一种图像处理方法相关的至少一条指令或至少一段程序，该至少一条指令或者该至少一段程序由该处理器加载并执行以实现上述方法实施例提供
的图像处理方法。
203.本发明的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述的图像处理方法。
204.可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
205.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
206.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
207.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
208.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。