图像识别方法及装置与流程

1.本技术涉及图像识别领域，具体涉及一种图像识别方法及装置。


背景技术：

2.图像识别技术都从多个候选图像中识别出与参考图像属于一个对象的图像，其应用在生活的方法面面，例如本技术后文涉及的车辆重识别技术等应用场景。车辆重识别是一种车辆图像快速搜索的技术，其目的是对于给定的车辆图像，检索出特定图像库/视频库中具有与目标图像相同身份的车辆图像/视频片段；车辆重识别对城市道路监控智能化管理，智慧城市全面建设等方面具有重要的实际意义。
3.当前车辆重识别方法是基于深度卷积网络（一般为文本识别网络）对车辆图像进行识别得到车牌等唯一标识，基于这些唯一标识对车辆图像是否是同一车辆进行快速识别。但是该方法过度依赖文本识别网络准确性，如果文本识别网络将相近的文本（例如0和c等）识别错误，就是导致图像归属失败。即便文本识别网络识别无误，针对套牌车辆的车辆图像也只能错误归类。
4.即当前基于对象标识的图像识别方式存在识别准确率低的技术问题。


技术实现要素：

5.本技术实施例提供一种图像识别方法及装置，以缓解当前图像识别方式存在的识别准确率低的技术问题。
6.为解决上述技术问题，本技术实施例提供以下技术方案：本技术实施例提供一种基于图神经网络的图像识别方法，包括：调用图神经网络、以及训练后的图像识别网络；其中，所述图神经网络中节点的节点特征与节点对应图像对中参考图像和候选图像的型号特征和个体特征相关，节点间的连边权重与相关节点对中的候选图像之间的相似度相关，所述图像对由参考图像和候选图像组成；所述图像识别网络包括型号特征提取网络、个体特征提取网络、以及图节点分类网络；通过所述型号特征提取网络和所述个体特征提取网络对所述参考图像和所述候选图像进行特征提取，得到所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征；根据所述图神经网络、所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征，构建所述参考图像对应的待分类图神经网络；通过所述图节点分类网络处理所述待分类图神经网络，得到节点对应图像对中图像之间的相似度参数。
7.在一种实施例中，根据预设的图神经网络、所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征，构建所述参考图像对应的待分类图神经网络的步骤，包括：
确定由参考图像和候选图像组成的多个图像对，并将图像对确定为待分类图神经网络中节点对应的图像对；根据图像对中参考图像和候选图像的型号特征和个体特征的差异值，确定节点的节点特征；根据连边相关节点对中的候选图像的型号特征和个体特征的差异值，确定连边权重。
8.在一种实施例中，实现所述根据图像对中参考图像和候选图像的型号特征和个体特征的差异值，确定节点的节点特征的步骤的方式，包括：将图像对中参考图像的个体特征和候选图像的个体特征的特征向量差，确定为节点的节点特征。
9.在一种实施例中，实现所述根据图像对中参考图像和候选图像的型号特征和个体特征的差异值，确定节点的节点特征的步骤的方式，包括：将图像对中参考图像的型号特征和候选图像的型号特征的特征向量差，确定为节点的节点特征。
10.在一种实施例中，实现所述根据图像对中参考图像和候选图像的型号特征和个体特征的差异值，确定节点的节点特征的步骤的方式，包括：根据预设的拼接权重，将参考图像的型号特征和个体特征进行特征拼接，得到参考图像的拼接特征，将候选图像的型号特征和个体特征进行特征拼接，得到候选图像的拼接特征；将图像对中参考图像的拼接特征和候选图像的拼接特征的特征向量差，确定为节点的节点特征。
11.在一种实施例中，所述根据连边相关节点对中的候选图像的型号特征和个体特征的差异值，确定连边权重的步骤，包括：根据所述连边相关节点对中的第一候选图像和第二候选图像的型号特征及个体特征的差异值，确定所述连边相关节点对中的第一候选图像和第二候选图像之间的相似性度量参数；根据所述第一候选图像与其他候选图像之后的相似性度量参数、以及所述第一候选图像和第二候选图像之间的相似性度量参数，确定所述连边的连边权重。
12.在一种实施例中，所述通过所述图节点分类网络处理所述待分类图神经网络，得到节点对应图像对中图像之间的相似度参数的步骤，包括：对所述待分类图神经网络中各节点的节点特征进行映射迭代处理，得到各节点处理后的节点特征；对各节点处理后的节点特征进行概率映射，得到各节点对应图像对中参考图像和候选图像之间的相似度参数。
13.在一种实施例中，在所述通过所述图节点分类网络处理所述待分类图神经网络，得到节点对应图像对中图像之间的相似度参数的步骤之后，还包括：获取候选图像对之间的相似度参数；根据所述候选图像对之间的相似度参数、以及所述参考图像和候选图像之间的相似度参数，从所述候选图像中确定与所述参考图像属于相同对象的目标图像。
14.本技术实施例提供一种基于图神经网络的图像识别装置，包括：调用模块，用于调用图神经网络、以及训练后的图像识别网络；其中，所述图神经网络中节点的节点特征与节点对应图像对中参考图像和候选图像的型号特征和个体特征相关，节点间的连边权重与相关节点对中的候选图像之间的相似度相关，所述图像对由参考图像和候选图像组成；所述图像识别网络包括型号特征提取网络、个体特征提取网络、以及图节点分类网络；提取模块，用于通过所述型号特征提取网络和所述个体特征提取网络对所述参考图像和所述候选图像进行特征提取，得到所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征；构建模块，用于根据所述图神经网络、所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征，构建所述参考图像对应的待分类图神经网络；识别模块，用于通过所述图节点分类网络处理所述待分类图神经网络，得到节点对应图像对中图像之间的相似度参数。
15.本技术实施例提供一种服务器，其包括处理器和存储器，存储器存储有多条指令，指令适于处理器进行加载，以执行上述方法中的步骤。
16.本技术实施例提供一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行上述方法中的步骤。
17.本技术实施例提供了一种新的图像识别方法及装置；该方法重新定义了图神经网络的参数以及后续的图像识别网络，之后通过所述型号特征提取网络和所述个体特征提取网络对所述参考图像和所述候选图像进行特征提取，并根据提取结果构建所述参考图像对应的待分类图神经网络，最后通过所述图节点分类网络处理所述待分类图神经网络，得到节点对应图像对中图像之间的相似度参数；本发明基于图像的型号特征和个体特征、候选图像之间的相似度来确定参考图像和候选图像之间的相似度，这样就可以提升图像识别的准确性，例如，本技术不会将车辆型号不同且车牌相同（套牌车的两个车辆的图像）的两张图像确定为一个车辆的图像，也可以将车辆型号相似且车牌相似（车牌识别错误）的两张图像确定为一个车辆的图像，进而可以提高车辆重识别的效率等。
附图说明
18.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1是本技术实施例提供的识别系统的组网示意图。
20.图2是本技术实施例提供的图像识别方法的第一种流程示意图。
21.图3是本技术实施例提供的图像识别方法的第二种流程示意图。
22.图4是本技术实施例提供的图像识别方法的第三种流程示意图。
23.图5是本技术实施例提供的图像识别装置的结构示意图。
24.图6是本技术实施例提供的服务器的结构示意图。
25.图7是本技术实施例涉及的模型示意图。
26.图8是本技术实施例涉及的图像识别示意图。
具体实施方式
27.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
28.人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。本技术具体涉及计算机视觉技术。
29.计算机视觉技术(computer vision, cv)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。本技术具体涉及图像识别技术，具体的为通过计算机从多个候选图像中确定与参考图像属于同一特定对应的目标图像。
30.在本技术实施例中，参考图像、候选图像、目标图像、样本图像都是摄像头等图像采集设备针对特定对象在不同位置/不同角度下采集的照片/视频等图像，特定对象是指批量生成并可以唯一识别的产品，例如汽车、电动车、摩托车、飞机等等；例如汽车在批量生成时有x马x系xxxx款xx套装xx颜色等车型，在卖给用户后有车牌等唯一标识，其他电动车、摩托车、飞机与其类似。
31.为便于说明，本技术将车型“x马x系xxxx款xx套装xx颜色”作为型号特征标签，与型号特征标签对应的图像特征记为型号特征；本技术将车牌“某a12xxx”等作为个体特征标签，与个体特征标签对应的图像特征记为个体特征；本技术将两张图像是否属于同一特定对象的判断结果“属于
‑
1，不属于
‑
0”作为相似匹配标签，两张图像之间的相似度参数用于表征两张图像属于同一特定对象的概率，在概率大于某阈值时神经网络就将这两张图像判定为属于同一特定对象。
32.在本技术实施例中，图像对仅包括两个图像，节点对仅包括两个节点。
33.本技术实施例涉及的图像识别方法及装置涉及人工智能领域，具体的可以通过云技术领域中的人工智能云服务实现，下文将结合具体的实施例进行说明。
34.请参阅图1，图1为本技术实施例所提供的识别系统的场景示意图，该系统可以包括用户侧设备以及服务侧设备，用户侧设备与服务侧设备通过各种网关组成的互联网等方式连接，不再赘述，其中，用户侧设备包括多个终端11，服务侧设备包括多个服务器12；其
中：终端11包括但不局限于安装有各种图像识别应用的手机、平板等便携终端，以及电脑、查询机、广告机等固定终端，是用户可以使用并操作的服务端口，在本技术中，终端为用户提供参考图像选择、包含目标图像的照片展示/视频播放等各种功能；为便于下文说明，将终端11定义为开发者终端11a和用户终端11b，开发者终端11a用于对数据服务器提供的样本图像进行标签添加、样本图像对进行相似匹配标签添加，而用户终端11b则用于用户选择参考图像等。
35.服务器12为用户提供各种业务服务，包括数据服务器12a、识别服务器12b等，其中，数据服务器12a用于存储采集设备（例如路边摄像头、移动摄像头等）采集并上传的车辆等特定对象的照片/视频等图像、提供下载等服务，识别服务器12b用于根据用户对样本图像和样本图像对的标签添加结果对神经网络进行训练，并基于训练后的神经网络从多个候选图像中确定与参考图像属于同一特定对应的目标图像。具体的，识别服务器12b调用图神经网络、以及训练后的图像识别网络，通过所述型号特征提取网络和所述个体特征提取网络对所述参考图像和所述候选图像进行特征提取，得到所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征，根据所述图神经网络、所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征，构建所述参考图像对应的待分类图神经网络，通过所述图节点分类网络处理所述待分类图神经网络，得到节点对应图像对中图像之间的相似度参数，获取候选图像对之间的相似度参数，根据所述候选图像对之间的相似度参数、以及所述参考图像和候选图像之间的相似度参数，从所述候选图像中确定与所述参考图像属于相同对象的目标图像。
36.需要说明的是，图1所示的系统场景示意图仅仅是一个示例，本技术实施例描述的服务器以及场景是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统的演变和新业务场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
37.图2是本技术实施例提供的图像识别方法的第一种流程示意图，请参阅图2，该图像识别方法包括以下步骤：201：调用图神经网络、以及训练后的图像识别网络。
38.在一种实施例中，所述图神经网络中节点的节点特征与节点对应图像对中参考图像和候选图像的型号特征和个体特征相关，节点间的连边权重与相关节点对中的候选图像之间的相似度相关，所述图像对由参考图像和候选图像组成。本技术中的图神经网络可以是任意具备节点属性和连边属性的神经网络，下文以具有全连接结构的无向图神经网络g(v,e)为例进行说明，其他形式的图神经网络与其类似。
39.在一种实施例中，所述图像识别网络包括型号特征提取网络、个体特征提取网络、以及图节点分类网络；型号特征提取网络和个体特征提取网络可以是任意具备图像特征提取功能的神经网络，例如可以是下文中的基于resnet50的具有端对端结构的深度卷积网络。
40.在一种实施例中，在本步骤之前，还包括图像识别网络的训练步骤，其训练步骤包括：获取样本图像，并组合得到样本图像对；所述样本图像标记有型号特征标签和个
体特征标签，所述样本图像对标记有相似匹配标签；根据样本图像及型号特征标签，采用有监督训练方式对待训练的型号特征提取网络进行训练，得到训练后的型号特征提取网络；所述待训练的型号特征提取网络的输入为样本图像，输出为型号特征标签预测结果，所述训练后的型号特征提取网络的输出为型号特征向量；根据样本图像及个体特征标签，采用有监督训练方式对待训练的个体特征提取网络进行训练，得到训练后的个体特征提取网络；所述待训练的个体特征提取网络的输入为样本图像，输出为个体特征标签预测结果，所述训练后的个体特征提取网络的输出为个体特征向量；通过训练后的型号特征提取网络和训练后的个体特征提取网络，处理样本图像对中的样本图像，得到样本图像的型号特征向量和个体特征向量；根据所述图神经网络、所述样本图像的型号特征向量和个体特征向量，构建各样本图像对的样本图神经网络；根据所述样本图神经网络以及样本图像对标记的相似匹配标签，采用有监督训练方式对待训练的图节点分类网络进行训练，得到训练后的图节点分类网络；所述待训练的图节点分类网络的输入为样本图像对的样本图神经网络，输出为样本图像对相似匹配标签预测结果，所述训练后的图节点分类网络的输入为图像对的图神经网络，输出为图像对中图像之间的相似度参数。
41.在上述训练过程中，根据样本图像及个体特征标签，采用有监督训练方式对型号特征提取网络进行训练，使得型号特征提取网络更关注图像内与型号相关的特征表达；根据样本图像及个体特征标签，采用有监督训练方式对待训练的个体特征提取网络进行训练，使得个体特征提取网络更关注图像内与个体相关的特征表达；而样本图神经网络的连边权重与样本图像对之间的相似度相关；基于此，本技术提供的训练后的识别网络是基于图像的型号特征和个体特征、候选图像之间的相似度来确定参考图像和候选图像之间的相似度，这样就可以提升图像识别的准确性。
42.具体的训练过程请参考下文描述，此处不再赘述。
43.202：通过所述型号特征提取网络和所述个体特征提取网络对所述参考图像和所述候选图像进行特征提取，得到所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征。
44.在一种实施例中，本步骤是常规的使用训练后的神经网络对图像进行特征提取的步骤，可以参考下文描述。
45.203：根据所述图神经网络、所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征，构建所述参考图像对应的待分类图神经网络。
46.在一种实施例中，本步骤主要是对如何使用步骤202的输出构建图神经网络的过程进行说明。
47.在一种实施例中，本步骤包括：确定由参考图像和候选图像组成的多个图像对，并将图像对确定为待分类图神经网络中节点对应的图像对；根据图像对中参考图像和候选图像的型号特征和个体特征的差异值，确定节点的节点特征；根据连边相关节点对中的候选图像的型号特征和个体特征的差异值，确定连边权重。例如，如果需要从n个候选图像中识
别出与参考图像属于同一个车辆的目标图像，本步骤可以是：参考图像分别和n个候选图像组成的n个图像对，之后将各图像对确定为待分类图神经网络中节点对应的图像对，此时，图神经网络存在n个节点，每个节点对应一个图像对，节点的节点特征根据节点对应图像对中参考图像和候选图像的型号特征和个体特征的差异值来确定，n个节点中两两节点组成节点对，共n*（n
‑
1）/2个节点对，节点对对应连边的连边权重根据连边相关节点对中的候选图像的型号特征和个体特征的差异值确定。
48.在一种实施例中，所述根据图像对中参考图像和候选图像的型号特征和个体特征的差异值，确定节点的节点特征的步骤，包括：将图像对中参考图像的个体特征和候选图像的个体特征的特征向量差，确定为节点的节点特征。本方式直接将个体特征的特征向量差确定为节点的节点特征，降低了运算负担。
49.在一种实施例中，所述根据图像对中参考图像和候选图像的型号特征和个体特征的差异值，确定节点的节点特征的步骤，包括：将图像对中参考图像的型号特征和候选图像的型号特征的特征向量差，确定为节点的节点特征。本方式直接将型号特征的特征向量差确定为节点的节点特征，降低了运算负担。
50.在一种实施例中，所述根据图像对中参考图像和候选图像的型号特征和个体特征的差异值，确定节点的节点特征的步骤，包括：根据预设的拼接权重，将参考图像的型号特征和个体特征进行特征拼接，得到参考图像的拼接特征，将候选图像的型号特征和个体特征进行特征拼接，得到候选图像的拼接特征；将图像对中参考图像的拼接特征和候选图像的拼接特征的特征向量差，确定为节点的节点特征。本方式同时考虑个体特征和型号特征的特征向量差，提高了运算准确性。
51.在一种实施例中，所述根据连边相关节点对中的候选图像的型号特征和个体特征的差异值，确定连边权重的步骤，包括：根据所述连边相关节点对中的第一候选图像和第二候选图像的型号特征及个体特征的差异值，确定所述连边相关节点对中的第一候选图像和第二候选图像之间的相似性度量参数；根据所述第一候选图像与其他候选图像之后的相似性度量参数、以及所述第一候选图像和第二候选图像之间的相似性度量参数，确定所述连边的连边权重。本步骤将在下文进行描述。
52.204：通过所述图节点分类网络处理所述待分类图神经网络，得到节点对应图像对中图像之间的相似度参数。
53.在一种实施例中，本步骤包括：对所述待分类图神经网络中各节点的节点特征进行映射迭代处理，得到各节点处理后的节点特征；对各节点处理后的节点特征进行概率映射，得到各节点对应图像对中参考图像和候选图像之间的相似度参数。映射迭代处理是本技术提供的图神经网络的更新机制，基于该更新机制可以提高准确性。
54.在通过步骤204得到节点对应图像对中图像之间的相似度参数，即参考图像与各候选图像之间的相似度，就可以基于这个相似度从候选图像中确定参考图像对应的目标图像，例如可以将与参考图像的相似度大于阈值（可以为99.99%等任意值）的候选图像作为目标图像，也可以将与参考图像的相似度最大的候选图像作为目标图像等。
55.进一步的，为了使得本发明的应用更合理，在步骤204之后，还包括：获取候选图像对之间的相似度参数；根据所述候选图像对之间的相似度参数、以及所述参考图像和候选图像之间的相似度参数，从所述候选图像中确定与所述参考图像属于相同对象的目标图
像。例如，针对某一候选图像，采用步骤202至步骤204的技术手段进行处理，得到该候选图像与其他候选图像之间的相似度参数，并进行均值或者加权处理，作为该候选图像对应的优化参数，然后将参考图像与该候选图像的相似度参数与该候选图像对应的优化参数进行求和/加权处理后作为最终的评判参数，基于这个评判参数从候选图像中确定参考图像对应的目标图像。
56.下文将结合具体的应用场景对本技术进行说明。
57.在图3及图4所示的应用场景中，特定对象为汽车，那么汽车的型号特征标签就是指车型，汽车的个体特征标签就是指车牌等；型号特征提取网络用于提取图像中与车型相关的图像特征向量，个体特征提取网络用于提取图像中与车牌相关的图像特征向量。
58.在图3及图4所示的应用场景中，型号特征提取网络和个体特征提取网络采用基于resnet50的深度卷积网络，一个用以对车辆个体层面的特征（即车牌相关的特征）进行表达，另一个用以对车辆车型层面的特征（即车型相关的特征）进行表达。
59.图3是本技术实施例提供的图像识别方法的第二种流程示意图，本实施例主要是对模型训练过程进行说明；请参阅图3，该图像识别方法包括以下步骤：301：样本数据（包括训练数据）的标引。
60.在一种实施例中，本步骤是开发者通过开发者终端11a从数据服务器12a提供的车辆相关的车辆图片/视频中选择n个样本图像img，并针对每个样本图像img标记对应的车型特征标签m和车牌特征标签i（下文也称为id标签）。针对每两个样本图像组成的样本图像对，根据是否为同一车辆的两张图像进行相似匹配标签y的标记，y=0表示样本图像对中的样本图像不是同一车辆的两张图像，y=1表示样本图像对中的样本图像是同一车辆的两张图像。
61.即，通过本步骤得到训练样本，其中ve
i
表示第i个训练样本，img
i
是该样本的图像，m
i
是该样本的车型标签，i
i
是该样本的id标签，n是样本总数目。
62.302：神经网络的构建。
63.在一种实施例中，本步骤是开发者通过开发者终端11a在识别服务器12b内构建初始的图像识别网络（包括型号特征提取网络、个体特征提取网络、以及图节点分类网络）并定义图神经网络（图神经网络中节点的节点特征与节点对应图像对中参考图像和候选图像的型号特征和个体特征相关，节点间的连边权重与相关节点对中的候选图像之间的相似度相关，所述图像对由参考图像和候选图像组成），在完成神经网络构建后触发识别服务器进行模型训练。
64.在一种实施例中，图像识别网络的网络架构如图7所示，图像识别网络包括型号特征提取网络71、个体特征提取网络72、图节点分类网络73以及运算层l0；型号特征提取网络71和个体特征提取网络72均包括输入层l1、特征提取层l2以及池化层l3；图节点分类网络73包括特征映射层l4、特征更新层l5、线性全连接层l6以及输出层l7。其中；输入层l1用于将图像裁剪为预定尺寸大小（例如像素大小为224*224）的图片，并转换为目标维度的图像特征向量；特征提取层l2为顺序连接的多个残差块层组成，如图7所示，依次包括3个残差块层、4个残差块层、6个残差块层和3个残差块层，用于对输入层l1输出的图像特征向量进行
特征提取；池化层l3用于对特征提取层l2输出的特征进行池化等操作，得到对应的车型特征向量或者个体特征向量；运算层l0用于根据池化层l3的输出以及图神经网络定义输出图神经网络，下文将具体进行说明；特征映射层l4用于对节点特征进行激活映射，下文将具体进行说明；特征更新层l5用于对节点特征进行更新，下文将具体进行说明；线性全连接层l6用于将每个节点的节点特征映射到实数空间；输出层l7用于根据特定函数将每个节点的最终结果映射到区间（0,1），具体值与节点对应图像对中图像之间的相似度正相关。
65.303：识别服务器12b从数据服务器12a拉取训练数据。
66.本步骤为常规的数据拉取，不再赘述。
67.通过本步骤，识别服务器12b获得到了训练样本，等训练数据。
68.304：识别服务器12b进行特征提取网络的训练。
69.本步骤主要是进行型号特征提取网络71和个体特征提取网络72的训练。在本技术中，这两个网络独立训练，在训练过程中，型号特征提取网络71和个体特征提取网络72需要在图7所示的池化层l3后分别增加一个输出层，型号特征提取网络71的输出层用于根据池化层l3输出的车型特征向量输出预测的车型标签（一般为车型的编号等），个体特征提取网络72的输出层用于根据池化层l3输出的个体特征向量输出预测的个体标签（一般为车牌号）。
70.具体的，针对型号特征提取网络71，以为训练样本（其中，是车型标签集，例如有100个车型，可以分别标记为0至99），那么车型标签集就是0至99，以交叉熵损失函数作为训练的损失函数，该损失函数为：；其中，m
i
是样本img
i
的真实车型标签值，是img
i
的车型预测值。
71.型号特征提取网络71是具有resnet50网络结构的车型分类深度卷积网络，网络最后一层的线性映射层（作为输出层）的维度设置为训练样本中车辆车型的总个数，实现端对端的有监督式学习。
72.在训练完成后，将resnet50最后的池化层l3的输出结果作为车辆图像车型层面的特征向量，即：即：是第i个样本的车型特征向量（即上文中的型号特征向量）。
73.具体的，针对个体特征提取网络72，以为训练样本（其中，{i
i
}
是车牌标签集，例如有1000个车牌，可以分别标记为0至999，那么车牌标签集就是0至999），以交叉熵损失函数作为训练的损失函数，该损失函数为：其中，i
i
是样本img
i
的真实车牌标签值，是img
i
的车牌预测值。
74.个体特征提取网络72是具有resnet50网络结构的车牌分类深度卷积网络，网络最后一层的线性映射层（作为输出层）的维度设置为训练样本中车辆车牌的总个数，实现端对端的有监督式学习。
75.在训练完成后，将resnet50最后的池化层l3的输出结果作为车辆图像个体层面的特征向量，即：即：是第i个样本的车牌特征向量（即上文中的个体特征向量）。
76.305：识别服务器12b进行图节点分类网络的训练。
77.在完成步骤304之后，执行本步骤以实现对图节点分类网络73的训练。
78.在描述下文之前，做如下参数配置：利用欧式距离确定不同图像之间的个体特性向量的相似性度量：；利用欧式距离确定不同图像之间的型号特征向量的相似性度量：。
79.在上述参数配置的基础上，进行后续训练。
80.在训练过程中，针对n个样本图像，识别服务器从数据服务器中获取任意一个新的车辆图像作为目标车辆图像p，将n个样本图像作为待匹配图像，执行后续步骤。
81.运算层l0对于给定的目标车辆图像p和个待匹配图像（下文中的图像vi），构建具有全连接结构的无向图神经网络g(v, e)，其中v表示图节点，每个图节点由目标车辆图像p和待匹配图像对构成，将“匹配(标记为1)”与“不匹配(标记为0)”作为图节点的分类标签。并且对于任一图节点(p, v
i
)，将目标车辆图像p的个体特征向量与待匹配图像的个体特征向量的向量差作为图节点i的特征向量nf
i
，则目标车辆图像和待匹配图像中第i个图像vi对(p, v
i
)对应了无向图神经网络中的第i个节点。
82.运算层l0确定图神经网络g(v, e)中的连边e。对任意的图节点对(p, v
i
)和(p, v
j
)，存在两个层面的相似关系，即如果待匹配图像v
i
与v
j
属于同一车辆的两幅图像，则两者的车型特征向量和个体特征向量都应具备较高的相似度，任意特征维度的低相似度都会导
致与在身份层面的低相似。
83.基于神经元激活函数的非线性映射原理，本技术根据图像对(p, v
i
)和(p, v
j
)中待匹配图像v
i
与v
j
的车型相似度和个体相似度两个维度定义g(v, e)中连边e的权重。
84.任意的节点对((p, v
i
),(p, v
j
))中v
i
与v
j
的相似性度量s(v
i
, v
j
)为：；s(v
i
, v
j
)度量的不仅是单个维度特征（车型特征或个体特征）的相似关系，而且还度量了两个维度特征（车型特征和个体特征）的同质/异构程度，能够更全面地反映出图像在身份层面的相似关系。
85.运算层l0根据上述的s(
•
)，计算任意节点对((p, v
i
),(p, v
j
))之间的连边权重w
ij
：；其中，v
g
表示所有的待匹配图像，exp是指一个以e为底的指数函数。
86.运算层l0经过上述处理，针对目标车辆图像p和n个待匹配图像，构建了一个目标车辆图像p对应的无向全连接的图神经网络g(v, e)。
87.开始进行图节点分类网络73的训练。
88.特征映射层l4对节点特征进行激活映射，具体的，将无向全连接图神经网络中的每个节点的节点特征向量nf
i
输入具有两层激活映射的网络结构（即特征映射层l4），其中每层的激活映射包括一个具有多个（例如2048个）神经元的全连接层和一个relu激活层，输出深度消息特征mf
i
，即：mf
i
=df(nf
i
)；其中df(
•
)表示特征映射层l4所使用的双层映射结构函数。
89.特征更新层l5对节点特征进行更新，具体的，利用图神经网络的消息传播机制对g(v, e)进行图节点的节点特征进行更新，节点特征更新如下：；其中，nf
i(t)
表示第t次迭代中第i个图节点的特征，mf
i(t)
表示第t次迭代中第i个图节点的深度消息特征，α是权衡相邻迭代间特征的融合率的权重，可以设置为0.8至0.98等。
90.针对每个图节点的节点特征，进行t=t0次迭代后（例如，t=t0），将最终得到每个图节点i的节点特征。
91.如图8所示，在迭代更新的过程中，部分图节点的节点标签会发送变化。
92.线性全连接层l6将每个图节点i的节点特征映射至实数空间。
93.之后，输出层l7通过sigmoid函数将最终结果映射至(0,1)，其数值与图节点i的节点特征对应的图节点i (p, v
i
)中目标车辆图像p与待匹配图像v
i
的相似度正相关。
94.最后，用交叉熵损失函数（cross
‑
entropy）对征映射层l4、特征更新层l5、线性全连接层l6以及输出层l7进行训练，交叉熵损失函数为：；其中，fs(
•
)表示线性全连接层l6以及输出层l7所使用的映射函数，y
i
是对应的图节点i(p, v
i
)图像对的真实匹配标签，y
i
=0表示待匹配图像v
i
与目标车辆图像p不匹配；y
i
=1表示待匹配图像v
i
与目标车辆图像p相匹配，匹配是指开发者标记的两个图像属于同一个车辆，不匹配是指开发者标记的两个图像不属于同一个车辆。
95.本步骤通过对图节点分类网络73进行有监督的训练，得到训练后的图节点分类网络73。
96.通过本实施例的实施，完成了图像识别网络的训练，之后将训练后的神经网络存入数据服务器中，便于后续使用。
97.图4是本技术实施例提供的图像识别方法的第三种流程示意图，本实施例主要是对模型应用过程进行说明；请参阅图4，该图像识别方法包括以下步骤：401：确定待识别数据（包括参考车辆图像和候选车辆图像）。
98.在一种实施例中，本步骤是用户通过用户终端11b从数据服务器12a提供的车辆相关的车辆图片/视频中选择1个参考图像p和n个候选图像；候选图像可以是数据服务器12a根据用户设置的条件（例如某时间段通过某路口的车辆图像）从存储的车辆图像中进行筛选，参考图像p可以是用户选择或者上传的车辆图像。
99.402：图像调用。
100.在一种实施例中，本步骤是识别服务器12b从数据服务器12a中获取参考图像p和n个候选图像。
101.403：调用网络架构。
102.在一种实施例中，本步骤是识别服务器12b从数据服务器12a中获取训练后的网络架构。
103.404：图像相似度识别。
104.在一种实施例中，本步骤是识别服务器12b基于训练后的网络架构，识别参考图像p和n个候选图像之间的相似度。
105.具体的，如图8所示，本步骤包括：步骤a，特征提取。
106.针对参考图像p和n个候选图像，分别通过型号特征提取网络71进行特征提取，将resnet50最后的池化层l3的输出结果作为车辆图像车型层面的特征向量，即：；
是参考图像p和n个候选图像中第个图像的车型特征向量（图8中的车型特征向量）。
107.针对参考图像p和n个候选图像，分别通过个体特征提取网络72进行特征提取，将resnet50最后的池化层l3的输出结果作为车辆图像个体层面的特征向量，即：；是是参考图像p和n个候选图像中第个图像的车牌特征向量（图8中的个体特征向量）。
108.步骤b，图神经网络构建。
109.利用欧式距离确定不同图像（参考图像和候选图像、候选图像和候选图像）之间的个体特性向量的相似性度量：；利用欧式距离确定不同图像（参考图像和候选图像、候选图像和候选图像）之间的型号特征向量的相似性度量：。
110.运算层l0对于目标图像p和n个候选图像，构建具有全连接结构的无向图神经网络g(v, e)，每个图节点由目标图像p和候选图像vg构成，并且对于任一图节点(p, v
i )，将目标图像p的个体特征向量与候选图像vg的个体特征向量的向量差作为图节点i的特征向量nf
i
。
111.运算层l0对任意的节点对((p, v
i
),(p, v
j
))，确定v
i
与v
j
的相似性度量s(v
i
, v
j
)为：。
112.运算层l0根据上述的s(
•
)，确定任意节点对((p, v
i
),(p, v
j
))之间的连边权重w
ij
：；其中，v
g
表示所有的待匹配图像，exp是指一个以e为底的指数函数。
113.运算层l0经过上述处理，针对目标车辆图像p和n个待匹配图像，构建了一个目标车辆图像p对应的无向全连接的图神经网络g(v, e)。
114.图节点分类网络73通过特征映射层l4对节点特征进行激活映射，具体的，将无向全连接图神经网络中的每个节点的节点特征向量输入具有两层激活映射的网络结构（即特征映射层l4），其中每层的激活映射包括一个具有多个（例如2048个）神经元的全连接层和
一个relu激活层，输出深度消息特征mf
i
，即：mf
i
=df( nf
i )；其中df(
•
)表示特征映射层l4所使用的双层映射结构函数。
115.图节点分类网络73通过特征更新层l5对节点特征进行更新，具体的，利用图神经网络的消息传播机制对g(v, e)进行图节点的节点特征进行更新，节点特征更新如下：；其中，表示第t次迭代中第i个图节点的特征，表示第t次迭代中第i个图节点的深度消息特征，α是权衡相邻迭代间特征的融合率的权重，可以设置为0.8至0.98等。
116.针对每个图节点的节点特征，进行t=t0次迭代后（例如，t0=5），将最终得到每个图节点i的节点特征。
117.如图8所示，在迭代更新的过程中，部分图节点的节点标签会发送变化。
118.图节点分类网络73通过线性全连接层l6将每个图节点i的节点特征映射至实数空间。
119.之后，图节点分类网络73通过输出层l7通过sigmoid函数将最终结果映射至(0,1)，其数值与图节点i的节点特征对应的图节点i(p, v
i )中目标车辆图像p与待匹配图像v
i
的相似度正相关。
120.通过本步骤的执行，识别服务器12b得到了参考图像p与n个候选图像之间的相似度值，该相似度值处于区间(0,1)。
121.405：目标车辆图像确定。
122.识别服务器基于步骤404的执行结果可以确定参考图像p与n个候选图像之间的相似度值，然后将与参考图像的相似度值大于0.98的候选图像确定为目标图像，并展示给用户终端11b。
123.通过本实施例的实施，本技术从个体特征和车型特征两个维度的相似关系构建基于图像对匹配标签的图神经网络结构，并且使用基于图神经网络(gnn)的节点特征表达机理，实现了利用待匹配图像对的相似关系对匹配结果进行约束，最终有效地提升了重识别的精度(即匹配精确度)。
124.相应的，图5是本技术实施例提供的图像识别装置的结构示意图，请参阅图5，该图像识别装置包括以下模块：调用模块501，用于调用图神经网络、以及训练后的图像识别网络；其中，所述图神经网络中节点的节点特征与节点对应图像对中参考图像和候选图像的型号特征和个体特征相关，节点间的连边权重与相关节点对中的候选图像之间的相似度相关，所述图像对由参考图像和候选图像组成；所述图像识别网络包括型号特征提取网络、个体特征提取网络、以及图节点分类网络；提取模块502，用于通过所述型号特征提取网络和所述个体特征提取网络对所述
参考图像和所述候选图像进行特征提取，得到所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征；构建模块503，用于根据所述图神经网络、所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征，构建所述参考图像对应的待分类图神经网络；识别模块504，用于通过所述图节点分类网络处理所述待分类图神经网络，得到节点对应图像对中图像之间的相似度参数。
125.在一种实施例中，构建模块503用于：确定由参考图像和候选图像组成的多个图像对，并将图像对确定为待分类图神经网络中节点对应的图像对；根据图像对中参考图像和候选图像的型号特征和个体特征的差异值，确定节点的节点特征；根据连边相关节点对中的候选图像的型号特征和个体特征的差异值，确定连边权重。
126.在一种实施例中，构建模块503用于：将图像对中参考图像的个体特征和候选图像的个体特征的特征向量差，确定为节点的节点特征。
127.在一种实施例中，构建模块503用于：将图像对中参考图像的型号特征和候选图像的型号特征的特征向量差，确定为节点的节点特征。
128.在一种实施例中，构建模块503用于：根据预设的拼接权重，将参考图像的型号特征和个体特征进行特征拼接，得到参考图像的拼接特征，将候选图像的型号特征和个体特征进行特征拼接，得到候选图像的拼接特征；将图像对中参考图像的拼接特征和候选图像的拼接特征的特征向量差，确定为节点的节点特征。
129.在一种实施例中，构建模块503用于：根据所述连边相关节点对中的第一候选图像和第二候选图像的型号特征及个体特征的差异值，确定所述连边相关节点对中的第一候选图像和第二候选图像之间的相似性度量参数；根据所述第一候选图像与其他候选图像之后的相似性度量参数、以及所述第一候选图像和第二候选图像之间的相似性度量参数，确定所述连边的连边权重。
130.在一种实施例中，识别模块504用于：对所述待分类图神经网络中各节点的节点特征进行映射迭代处理，得到各节点处理后的节点特征；对各节点处理后的节点特征进行概率映射，得到各节点对应图像对中参考图像和候选图像之间的相似度参数。
131.在一种实施例中，识别模块504用于：获取候选图像对之间的相似度参数；根据所述候选图像对之间的相似度参数、以及所述参考图像和候选图像之间的相似度参数，从所述候选图像中确定与所述参考图像属于相同对象的目标图像。
132.在一种实施例中，调用模块501用于：获取样本图像，并组合得到样本图像对；所述样本图像标记有型号特征标签和个体特征标签，所述样本图像对标记有相似匹配标签；根据样本图像及型号特征标签，采用有监督训练方式对待训练的型号特征提取网络进行训练，得到训练后的型号特征提取网络；所述待训练的型号特征提取网络的输入为样本图像，输出为型号特征标签预测结果，所述训练后的型号特征提取网络的输出为型号特征向量；根据样本图像及个体特征标签，采用有监督训练方式对待训练的个体特征提取网络进行训练，得到训练后的个体特征提取网络；所述待训练的个体特征提取网络的输入为样本图像，输出为个体特征标签预测结果，所述训练后的个体特征提取网络的输出为个体特征向量；通过训练后的型号特征提取网络和训练后的个体特征提取网络，处理样本图像对中的样本图像，得到样本图像的型号特征向量和个体特征向量；根据所述图神经网络、所述样本图像
的型号特征向量和个体特征向量，构建各样本图像对的样本图神经网络；根据所述样本图神经网络以及样本图像对标记的相似匹配标签，采用有监督训练方式对待训练的图节点分类网络进行训练，得到训练后的图节点分类网络；所述待训练的图节点分类网络的输入为样本图像对的样本图神经网络，输出为样本图像对相似匹配标签预测结果，所述训练后的图节点分类网络的输入为图像对的图神经网络，输出为图像对中图像之间的相似度参数。
133.相应的，本技术实施例还提供一种服务器，如图6所示，该服务器可以包括射频（rf，radio frequency）电路601、包括有一个或一个以上计算机可读存储介质的存储器602、输入单元603、显示单元604、传感器605、音频电路606、无线保真（wifi，wireless fidelity)模块607、包括有一个或者一个以上处理核心的处理器608、以及电源609等部件。本领域技术人员可以理解，图6中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：rf电路601可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器608处理；另外，将涉及上行的数据发送给基站。存储器602可用于存储软件程序以及模块，处理器608通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。输入单元603可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
134.显示单元604可用于显示由用户输入的信息或提供给用户的信息以及服务器的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。
135.服务器还可包括至少一种传感器605，比如光传感器、运动传感器以及其他传感器。音频电路606包括扬声器，扬声器可提供用户与服务器之间的音频接口。
136.wifi属于短距离无线传输技术，服务器通过wifi模块607可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图6示出了wifi模块607，但是可以理解的是，其并不属于服务器的必须构成，完全可以根据需要在不改变申请的本质的范围内而省略。
137.处理器608是服务器的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行服务器的各种功能和处理数据，从而对手机进行整体监控。
138.服务器还包括给各个部件供电的电源609（比如电池），优选的，电源可以通过电源管理系统与处理器608逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
139.尽管未示出，服务器还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，服务器中的处理器608会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器608来运行存储在存储器602中的应用程序，从而实现以下功能：调用图神经网络、以及训练后的图像识别网络；其中，所述图神经网络中节点的节点特征与节点对应图像对中参考图像和候选图像的型号特征和个体特征相关，节点间的连边权重与相关节点对中的候选图像之间的相似度相关，所述图像对由参考图像和候选图像组成；所述图像识别网络包括型号特征提取网络、个体特征提取网络、以及图节点分类网
络；通过所述型号特征提取网络和所述个体特征提取网络对所述参考图像和所述候选图像进行特征提取，得到所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征；根据所述图神经网络、所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征，构建所述参考图像对应的待分类图神经网络；通过所述图节点分类网络处理所述待分类图神经网络，得到节点对应图像对中图像之间的相似度参数。
140.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文的详细描述，此处不再赘述。本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
141.为此，本技术实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以实现以下功能：调用图神经网络、以及训练后的图像识别网络；其中，所述图神经网络中节点的节点特征与节点对应图像对中参考图像和候选图像的型号特征和个体特征相关，节点间的连边权重与相关节点对中的候选图像之间的相似度相关，所述图像对由参考图像和候选图像组成；所述图像识别网络包括型号特征提取网络、个体特征提取网络、以及图节点分类网络；通过所述型号特征提取网络和所述个体特征提取网络对所述参考图像和所述候选图像进行特征提取，得到所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征；根据所述图神经网络、所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征，构建所述参考图像对应的待分类图神经网络；通过所述图节点分类网络处理所述待分类图神经网络，得到节点对应图像对中图像之间的相似度参数。
142.以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
143.其中，该存储介质可以包括：只读存储器（rom，read only memory）、随机存取记忆体（ram，random access memory）、磁盘或光盘等。
144.由于该存储介质中所存储的指令，可以执行本技术实施例所提供的任一种方法中的步骤，因此，可以实现本技术实施例所提供的任一种方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
145.以上对本技术实施例所提供的一种图像识别方法及装置、服务器及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本技术的限制。