多节点类别路侧泊位字符识别方法以及系统与流程

1.本技术涉及图像处理技术领域，特别是涉及一种多节点类别路侧泊位字符识别方法以及系统。


背景技术：

2.近年来，停车难、停车乱已成为我国城市交通发展中亟待解决的主要问题之一，各地交管部门也在积极推动解决路侧停车难、停车乱的问题。为有效缓解该问题，各地交管部门进行了各种智能化停车管理技术的尝试、实施。
3.然而，传统方法通过移动巡检设备上安装的gps定位位置来确定当前移动巡检设备的位置，进而根据当前移动巡检设备的位置来确定对应的路侧泊位字符序列。从而，通过gps定位获取当前泊位位置即能够获得路侧泊位字符序列，并与泊位内车辆的车辆信息进行匹配，以实现对泊位内车辆的停车收费管理。但是，移动巡检设备上安装的gps定位位置容易出现米级范围内的误差，导致由当前移动巡检设备的位置来确定的路侧泊位字符序列有误。当相邻泊位内停满车辆或是停车不规范时，无法使得停车车辆与路侧泊位字符序列正确匹配，导致停车收费管理出错。


技术实现要素：

4.本技术的目的是解决移动巡检设备上安装的gps定位位置容易出现米级范围内的误差导致的路侧泊位字符序列确认有误的技术问题。为实现上述目的，本技术提供一种多节点类别路侧泊位字符识别方法以及系统。
5.本技术提供一种多节点类别路侧泊位字符识别方法，包括：
6.获取路侧泊位字符图像数据集，并对所述路侧泊位字符图像数据集中每个泊位字符进行目标检测标注，获得标注字符图像数据集；
7.对所述标注字符图像数据集中每个所述泊位字符进行节点分类标注，获得节点标注字符图像数据集；
8.根据所述标注字符图像数据集，对泊位字符检测模型进行训练，获得训练完成的泊位字符检测模型；
9.根据所述节点标注字符图像数据集，对图卷积神经网络模型进行训练，获得训练完成的图卷积神经网络模型；
10.获取待测泊位字符图像，根据所述训练完成的泊位字符检测模型与所述训练完成的图卷积神经网络模型，对所述待测泊位字符图像进行识别，获得泊位字符序列。
11.在一个实施例中，所述对所述标注字符图像数据集中每个所述泊位字符进行节点分类标注，获得节点标注字符图像数据集，包括：
12.根据每个所述泊位字符的字符位置，对所述标注字符图像数据集中各个所述泊位字符进行列划分或者行划分，形成第一节点类别泊位字符、第二节点类别泊位字符以及第三节点类别泊位字符；
13.根据所述第一节点类别泊位字符、所述第二节点类别泊位字符以及所述第三节点类别泊位字符，对所述标注字符图像数据集中每个所述泊位字符进行节点类别标注，形成所述节点标注字符图像数据集。
14.在一个实施例中，所述根据所述节点标注字符图像数据集，对图卷积神经网络模型进行训练，获得训练完成的图卷积神经网络模型，包括：
15.根据每个所述泊位字符的字符位置，对所述节点标注字符图像数据集中每个节点标注字符图像进行提取变换，获得单字符图像数据集；
16.根据每个所述泊位字符的字符位置，获取单字符的距离特征；
17.将单字符图像数据集中每个单字符图像的图像特征与所述单字符的距离特征进行特征拼接，获得每个所述单字符图像的输入特征向量。
18.在一个实施例中，所述根据所述节点标注字符图像数据集，对图卷积神经网络模型进行训练，获得训练完成的图卷积神经网络模型，还包括：
19.根据所述单字符图像数据集中每个所述单字符图像的节点类别，获得每个所述单字符图像对应的字符检测框的节点分类特征矩阵；
20.根据所述单字符图像数据集中每个所述单字符图像的字符位置，获得与每个所述单字符图像对应的字符检测框的度矩阵；
21.获取每个所述单字符图像对应的字符检测框的单位矩阵，根据所述单位矩阵、所述节点分类特征矩阵以及所述度矩阵，获得每个所述单字符图像对应的字符检测框的邻接矩阵；
22.根据每个所述单字符图像对应的字符检测框的所述邻接矩阵与所述输入特征向量，对所述图卷积神经网络模型进行训练，获得所述训练完成的图卷积神经网络模型；
23.所述图卷积神经网络模型为：所述图卷积神经网络模型为：
24.其中，x表示每个所述单字符图像的所述输入特征向量，a表示每个所述单字符图像对应的字符检测框的所述节点分类特征矩阵，i表示每个所述单字符图像对应的字符检测框的所述单位矩阵，表示每个所述单字符图像对应的字符检测框的所述度矩阵，表示每个所述单字符图像对应的字符检测框的所述邻接矩阵，w
(0)
与w
(1)
表示所述图卷积神经网络模型的参数，softmax表示归一化函数，relu非线性激活函数。
25.在一个实施例中，所述获取待测泊位字符图像，根据所述训练完成的泊位字符检测模型与所述训练完成的图卷积神经网络模型，对所述待测泊位字符图像进行识别，获得泊位字符序列，包括：
26.获取所述待测泊位字符图像，将所述待测泊位字符图像输入至所述训练完成的泊位字符检测模型中，获得每个待测泊位字符的字符类别与字符位置；
27.根据每个所述字符位置对待测泊位字符图像进行提取变换，获得多个待测单字符图像，根据每个所述字符位置获取待测单字符的距离特征，并将每个所述待测单字符图像的图像特征与所述待测单字符的距离特征进行特征拼接，获得每个所述待测单字符图像的输入特征向量；
28.将每个所述待测单字符图像的所述输入特征向量输入至所述训练完成的图卷积神经网络模型中，输出每个所述待测单字符图像对应的字符检测框的节点分类特征矩阵；
29.根据每个所述待测泊位字符的所述字符类别、所述字符位置以及每个所述待测单字符图像对应的字符检测框的所述节点分类特征矩阵，获得所述泊位字符序列。
30.在一个实施例中，所述根据每个所述待测泊位字符的所述字符类别、所述字符位置以及每个所述待测单字符图像对应的字符检测框的所述节点分类特征矩阵，获得所述泊位字符序列，包括：
31.根据每个待测泊位字符的字符类别、字符位置以及每个所述待测单字符图像对应的字符检测框的所述节点分类特征矩阵，对所有所述待测泊位字符进行升序或降序排列，获得所述泊位字符序列。
32.在一个实施例中，本技术提供一种基于图卷积神经网络的路侧泊位字符识别系统，包括：
33.数据获取模块，用于获取路侧泊位字符图像数据集，并对所述路侧泊位字符图像数据集中每个泊位字符进行目标检测标注，获得标注字符图像数据集；
34.节点分类模块，用于对所述标注字符图像数据集中每个所述泊位字符进行节点分类标注，获得节点标注字符图像数据集；
35.第一模型训练模块，用于根据所述标注字符图像数据集，对泊位字符检测模型进行训练，获得训练完成的泊位字符检测模型；
36.第二模型训练模块，用于根据所述节点标注字符图像数据集，对图卷积神经网络模型进行训练，获得训练完成的图卷积神经网络模型；
37.泊位字符序列获取模块，用于获取待测泊位字符图像，根据所述训练完成的泊位字符检测模型与所述训练完成的图卷积神经网络模型，对所述待测泊位字符图像进行识别，获得泊位字符序列。
38.在一个实施例中，所述节点分类模块包括：
39.划分模块，用于根据每个所述泊位字符的字符位置，对所述标注字符图像数据集中各个所述泊位字符进行列划分或者行划分，形成第一节点类别泊位字符、第二节点类别泊位字符以及第三节点类别泊位字符；
40.标注模块，用于根据所述第一节点类别泊位字符、所述第二节点类别泊位字符以及所述第三节点类别泊位字符，对所述标注字符图像数据集中每个所述泊位字符进行节点类别标注，形成所述节点标注字符图像数据集。
41.在一个实施例中，所述第二模型训练模块包括：
42.单字符图像获取模块，用于根据每个所述泊位字符的字符位置，对所述节点标注字符图像数据集中每个节点标注字符图像进行提取变换，获得单字符图像数据集；
43.距离特征获取模块，用于根据每个所述泊位字符的字符位置，获取单字符的距离特征；
44.输入特征向量获取模块，用于将单字符图像数据集中每个单字符图像的图像特征与所述单字符的距离特征进行特征拼接，获得每个所述单字符图像的输入特征向量。
45.在一个实施例中，所述第二模型训练模块还包括：
46.节点分类特征矩阵获取模块，用于根据所述单字符图像数据集中每个所述单字符
图像的节点类别，获得每个所述单字符图像对应的字符检测框的节点分类特征矩阵；
47.度矩阵获取模块，用于根据所述单字符图像数据集中每个所述单字符图像的字符位置，获得与每个所述单字符图像对应的字符检测框的度矩阵；
48.邻接矩阵获取模块，用于获取每个所述单字符图像对应的字符检测框的单位矩阵，根据所述单位矩阵、所述节点分类特征矩阵以及所述度矩阵，获得每个所述单字符图像对应的字符检测框的邻接矩阵；
49.图卷积神经网络模型构建模块，用于根据每个所述单字符图像对应的字符检测框的所述邻接矩阵与所述输入特征向量，对所述图卷积神经网络模型进行训练，获得所述训练完成的图卷积神经网络模型；
50.所述图卷积神经网络模型为：所述图卷积神经网络模型为：
51.其中，x表示每个所述单字符图像的所述输入特征向量，a表示每个所述单字符图像对应的字符检测框的所述节点分类特征矩阵，i表示每个所述单字符图像对应的字符检测框的所述单位矩阵，表示每个所述单字符图像对应的字符检测框的所述度矩阵，表示每个所述单字符图像对应的字符检测框的所述邻接矩阵，w
(0)
与w
(1)
表示所述图卷积神经网络模型的参数，softmax表示归一化函数，relu非线性激活函数。
52.在一个实施例中，所述泊位字符序列获取模块包括：
53.待测泊位字符信息获取模块，用于获取所述待测泊位字符图像，将所述待测泊位字符图像输入至所述训练完成的泊位字符检测模型中，获得每个待测泊位字符的字符类别与字符位置；
54.待测输入特征向量获取模块，用于根据每个所述字符位置对待测泊位字符图像进行提取变换，获得多个待测单字符图像，根据每个所述字符位置获取待测单字符的距离特征，并将每个所述待测单字符图像的图像特征与所述待测单字符的距离特征进行特征拼接，获得每个所述待测单字符图像的输入特征向量；
55.待测节点分类特征矩阵获取模块，用于将每个所述待测单字符图像的所述输入特征向量输入至所述训练完成的图卷积神经网络模型中，输出每个所述待测单字符图像对应的字符检测框的节点分类特征矩阵；
56.泊位字符序列生成模块，用于根据每个所述待测泊位字符的所述字符类别、所述字符位置以及每个所述待测单字符图像对应的字符检测框的所述节点分类特征矩阵，获得所述泊位字符序列。
57.在一个实施例中，所述泊位字符序列生成模块包括：
58.排列模块，用于根据每个待测泊位字符的字符类别、字符位置以及每个所述待测单字符图像对应的字符检测框的所述节点分类特征矩阵，对所有所述待测泊位字符进行升序或降序排列，获得所述泊位字符序列。
59.上述多节点类别路侧泊位字符识别方法以及系统中，通过构建经过标注的标注字符图像数据集与节点标注字符图像数据集，对泊位字符检测模型与图卷积神经网络模型进行模型训练，获得训练完成的泊位字符检测模型与图卷积神经网络模型。根据训练完成的
泊位字符检测模型与图卷积神经网络模型，对待测泊位字符图像进行检测识别，分别获得字符类别、字符位置以及字符节点类别，并根据字符类别、字符位置以及字符节点类别获得泊位字符序列。通过多节点类别路侧泊位字符识别方法，可以实时进行路侧泊位字符的识别，不需要仅依靠gps定位来获得路侧泊位字符序列，避免了gps定位错误导致的路侧泊位字符序列与车辆匹配错误的问题。通过多节点类别路侧泊位字符识别方法，可以基于路侧泊位字符图像获得车辆信息与路侧泊位字符序列进行车辆与泊位字符序列的匹配，进一步提高了泊位字符匹配的准确率，提高了停车收费管理的精确度，提高用户体验满意度。
附图说明
60.图1是本技术提供的多节点类别路侧泊位字符识别方法的步骤流程示意图。
61.图2是本技术提供的一个实施例中节点类别的分类示意图。
62.图3是本技术提供的多节点类别路侧泊位字符识别系统的结构示意图。
具体实施方式
63.下面通过附图和实施例，对本技术的技术方案做进一步的详细描述。
64.请参见图1，本技术提供一种基于图卷积神经网络的路侧泊位字符识别方法，包括：
65.s10，获取路侧泊位字符图像数据集，并对路侧泊位字符图像数据集中每个泊位字符进行目标检测标注，获得标注字符图像数据集；
66.s20，对标注字符图像数据集中每个泊位字符进行节点分类标注，获得节点标注字符图像数据集；
67.s30，根据标注字符图像数据集，对泊位字符检测模型进行训练，获得训练完成的泊位字符检测模型；
68.s40，根据节点标注字符图像数据集，对图卷积神经网络模型进行训练，获得训练完成的图卷积神经网络模型；
69.s50，获取待测泊位字符图像，根据训练完成的泊位字符检测模型与训练完成的图卷积神经网络模型，对待测泊位字符图像进行识别，获得泊位字符序列。
70.在s10中，路侧泊位字符图像数据集包括多个路侧泊位字符图像。路侧泊位字符图像利用移动巡检设备上的摄像头进行路侧泊位字符图像数据采集。移动巡检设备包括三个摄像头，分别朝向巡检设备行驶方向的前侧、右侧、后侧，分别用于采集行进方向前侧视频数据、右侧车位视频信息以及行进方向的后侧视频数据。路侧泊位字符通常印刷于泊位旁边，移动巡检设备采用低头式的摄像头会拍摄到泊位上清晰及完整的路侧泊位字符。通过收集低头式摄像头拍摄的视频数据，提取其中含有路侧泊位字符的图像帧，形成路侧泊位字符图像数据集。采用矩形框标注工具对路侧泊位字符图像中所有泊位字符进行目标检测标注。标注信息包括路侧泊位字符的左上角及右下角坐标位置信息与类别信息。每个泊位字符的坐标位置也可以理解为字符位置。字符位置通过坐标位置信息来表示。泊位字符类别信息包括阿拉伯数字0-9与字符
“‑”
，一共11个类别，具体的类别信息并不仅限于11个类别，还可以根据实际情况进行增加。对路侧泊位字符图像数据集中每个泊位字符进行标注后，获得泊位字符检测的标签，形成标注字符图像数据集。标注字符图像数据集包括多个含
有标注信息的路侧泊位字符图像。
71.在s20中，节点分类，可以理解为对路侧泊位字符形成的泊位字符序列进行进一步划分，根据实际路侧场景中的路侧泊位字符印刷位置进行分类。节点分类的类别可以包括左侧类别泊位字符、右侧类别泊位字符以及中间类别泊位字符等，具体类别并不仅限于上述列举的三个类别，还可以包括其他类别，还可以根据实际情况进行增加。左侧类别泊位字符可以理解为泊位号码位于泊位框左边沿，字符序列读取顺序为自上而下。右侧类别泊位字符可以理解为泊位号码位于泊位框右边沿，字符序列读取顺序为自下而上。中间类别泊位字符可以理解为泊位号码位于泊位框下边沿，字符序列读取顺序为自左往右。对标注字符图像数据集中所有字符进行节点分类标注，可以标注出每个字符相对于泊位框的具体位置，更有利于获知在多个相邻停车泊位中，泊位字符具体属于哪个停车泊位，可以解决gps定位错误带来的误差。
72.在s30中，标注字符图像数据集包括多个含有字符位置与字符类别信息的路侧泊位字符图像。标注字符图像数据集作为模型训练集，对泊位字符检测模型进行模型训练，优化参数，获得训练完成的泊位字符检测模型。训练完成的泊位字符检测模型用于对泊位字符的字符位置与字符类别进行检测识别。将标注字符图像数据集中各个标注字符图像输入到泊位字符检测模型中进行泊位字符目标检测，获得标注字符图像中所有字符的目标检测结果。在一个实施例中，泊位字符检测模型包括主干网络以及目标分类和回归的目标检测网络。主干网络用于对标注字符图像进行特征提取。主干网络包括但不限于resnet、vgg等卷积神经网络。目标分类和回归的目标检测网络用于对根据提取的特征进行目标分类和回归，获得每个字符的检测框对应的字符类别与字符位置。目标检测网络包括但不限于faster-rcnn、yolo、ssd等两阶段或单阶段的目标检测方法。
73.在s40中，节点标注字符图像数据集包括多个含有节点类别、字符位置以及字符类别信息的路侧泊位字符图像。节点标注字符图像数据集作为模型训练集，对图卷积神经网络模型进行模型训练，优化参数，获得训练完成的图卷积神经网络模型。训练完成的图卷积神经网络模型用于对泊位字符的节点类别进行识别。将节点标注字符图像数据集中各个节点标注字符图像输入到图卷积神经网络模型中进行泊位字符的节点类别识别，获得节点标注字符图像中所有字符的节点类别。在一个实施例中，图卷积神经网络模型可以为图卷积神经网络(graph convolutional network，gcn)，用于处理非结构化的数据。本技术中将泊位字符之间的关系表示为一种图结构数据，利用图卷积神经网络强大的图结构数据的学习能力，实现对泊位字符的节点类别的分类任务判断。
74.在s50中，待测泊位字符图像可以理解为待进行检测识别的泊位字符图像。根据训练完成的泊位字符检测模型对待测泊位字符图像进行检测识别，获得待测泊位字符图像中所有字符的字符位置与字符类别。根据训练完成的图卷积神经网络模型对待测泊位字符图像进行节点类别检测，获得待测泊位字符图像中所有字符的节点类别，并基于所有字符的字符位置与字符类别，获得泊位字符序列。从而，根据所有字符的字符位置、字符类别以及节点类别，可以获知每个停车泊位的泊位字符序列。
75.本技术提供的多节点类别路侧泊位字符识别方法，通过构建经过标注的标注字符图像数据集与节点标注字符图像数据集，对泊位字符检测模型与图卷积神经网络模型进行模型训练，获得训练完成的泊位字符检测模型与图卷积神经网络模型。根据训练完成的泊
位字符检测模型与图卷积神经网络模型，对待测泊位字符图像进行检测识别，分别获得字符类别、字符位置以及字符节点类别，并根据字符类别、字符位置以及字符节点类别获得泊位字符序列。通过多节点类别路侧泊位字符识别方法，可以实时进行路侧泊位字符的识别，不需要仅依靠gps定位来获得路侧泊位字符序列，避免了gps定位错误导致的路侧泊位字符序列与车辆匹配错误的问题。通过多节点类别路侧泊位字符识别方法，可以基于路侧泊位字符图像获得车辆信息与路侧泊位字符序列进行车辆与泊位字符序列的匹配，进一步提高了泊位字符匹配的准确率，提高了停车收费管理的精确度，提高用户体验满意度。
76.在一个实施例中，s20，对标注字符图像数据集中每个泊位字符进行节点分类标注，获得节点标注字符图像数据集，包括：
77.s210，根据每个泊位字符的字符位置，对标注字符图像数据集中各个泊位字符进行列划分或者行划分，形成第一节点类别泊位字符、第二节点类别泊位字符以及第三节点类别泊位字符；
78.s220，根据第一节点类别泊位字符、第二节点类别泊位字符以及第三节点类别泊位字符，对标注字符图像数据集中每个泊位字符进行节点类别标注，形成节点标注字符图像数据集。
79.本实施例中，泊位字符的字符位置可以理解为字符检测框的左上角及右下角坐标信息。根据各个泊位字符的字符位置，可以判断出标注字符图像数据集中所有字符哪些字符属于同一行或者同一列。列划分或者行划分可以理解为进行同一行或者同一列划分。将位于同一行的字符和同一列的字符进行分类，形成了第一节点类别泊位字符、第二节点类别泊位字符以及第三节点类别泊位字符。在一个实施例中，第一节点类别泊位字符可以为左侧类别泊位字符，第二节点类别泊位字符可以为右侧类别泊位字符，第三节点类别泊位字符可以为中间类别泊位字符(可参见图2所示)。左侧类别泊位字符、右侧类别泊位字符以及中间类别泊位字符中左右中的位置描述是相对于泊位框来进行的描述，并不局限于左右中方位的描述。通过对标注字符图像数据集中所有泊位字符进行节点类别的标注，可以将各个字符划分为不同的节点类别，在泊位字符的字符位置的基础上进一步进行了序列位置的限定，可以更准确地对泊位字符序列进行检测识别，更有利于获知在多个相邻停车泊位中，泊位字符序列具体属于哪个停车泊位，可以解决gps定位错误带来的误差。
80.在一个实施例中，s20，对标注字符图像数据集中每个泊位字符进行节点分类标注，获得节点标注字符图像数据集之后，s30，根据标注字符图像数据集，对泊位字符检测模型进行训练，获得训练完成的泊位字符检测模型之前，方法还包括：
81.对节点标注字符图像数据集中每个节点标注字符图像进行旋转，获得多个倾斜节点标注字符图像；
82.对节点标注字符图像数据集中每个节点标注字符图像进行亮度变换，获得多个亮度变换节点标注字符图像；
83.对节点标注字符图像数据集中每个节点标注字符图像进行裁剪，获得多个遮挡节点标注字符图像；
84.根据多个倾斜节点标注字符图像、多个亮度变换节点标注字符图像以及多个遮挡节点标注字符图像，形成数据增强的节点标注字符图像数据集。
85.本实施例中，对每个节点标注字符图像进行旋转，利用旋转得到不同旋转角度的
倾斜节点标注字符图像，可以模拟出真实拍摄场景中遇到的倾斜的字符图像。对每个节点标注字符图像进行亮度变换，可以模拟出真实路侧泊位场景下早中晚不同亮度条件时的字符图像。对每个节点标注字符图像进行随机裁剪，可以模拟出真实路侧泊位场景下出现的车辆遮挡泊位号等情况的字符图像。
86.在一个实施例中，s30，根据标注字符图像数据集，对泊位字符检测模型进行训练，获得训练完成的泊位字符检测模型中，泊位字符检测模型包括主干网络、特征金字塔网络以及目标检测网络。主干网络包括但不限于resnet、vgg等卷积神经网络。目标检测网络包括但不限于faster-rcnn、yolo、ssd等两阶段或单阶段的目标检测方法。
87.将特征金字塔网络融入至主干网络中对多个标注字符图像进行特征提取与融合，获得多个特征融合号码图像。将多个特征融合号码图像输入至目标检测网络进行目标检测，得到每个字符的预测字符检测框坐标信息与预测字符类别信息。在主干网络结构中增加特征金字塔网络结构，能够从不同尺度上来提取高层语义特征，并将提取的特征进行特征融合。特征金字塔网络(feature pyramid networks，fpn)能够解决多尺度问题。
88.多个特征融合号码图像包括了融合后的特征。融合后的特征为经过特征金字塔网络得到的融合了不同分辨率特征图的特征。通过增加特征金字塔网络的网络连接，可以在不增加卷积神经网络的模型计算量的情况下，提升检测的性能。特征金字塔网络通过从上而下的路径和横向连接，可以将多个标注字符图像中分辨率较低但语义特征较强的特征和分辨率较高但语义特征较弱的特征融合起来，实现不同特征的融合，进而能够提高目标检测的准确率。
89.将特征金字塔网络融入至主干网络中，能够实现特征的提取与融合，解决移动巡检设备采集数据时由距离泊位的位置不同与拍摄角度不同导致的拍摄号码大小不同的问题，从而提高了路侧泊位号码识别方法的识别准确率。
90.在一个实施例中，s30，根据标注字符图像数据集，对泊位字符检测模型进行训练，获得训练完成的泊位字符检测模型中，通过征金字塔网络与主干网络对多个标注字符图像进行特征提取与融合后获得多个特征融合号码图像，将每个特征融合号码图像输入至目标检测网络的分类分支与回归分支，输出每个字符的预测字符检测框坐标信息与预测字符类别信息。根据每个字符的预测字符检测框坐标信息与真实字符检测框坐标信息可以构建位置回归损失函数。根据每个字符的预测字符类别信息与真实字符类别信息，构建类别分类损失函数。
91.泊位字符检测模型的损失函数为l
det
＝λ1l
reg
λ2l
cls
。
92.其中，l
reg
表示位置回归损失函数，l
cls
表示类别分类损失函数，λ1与λ2表示权重系数，可以设置为1或者根据实际应用情况设置权重系数比例。
93.位置回归损失函数包括但不限于使用平均绝对误差损失函数l1 loss、均方误差损失函数l2 loss、交并比损失函数iou loss等位置回归损失函数。类别分类损失函数包括但不限于使用cross entropy交叉熵损失函数、focal loss损失函数等分类损失函数。通过位置回归损失函数与类别分类损失函数对目标检测模型进行训练和参数优化。
94.在一个实施例中，s40，根据节点标注字符图像数据集，对图卷积神经网络模型进行训练，获得训练完成的图卷积神经网络模型，包括：
95.s410，根据每个泊位字符的字符位置，对节点标注字符图像数据集中每个节点标
注字符图像进行提取变换，获得单字符图像数据集；
96.s420，根据每个泊位字符的字符位置，获取单字符的距离特征；
97.s430，将单字符图像数据集中每个单字符图像的图像特征与单字符的距离特征进行特征拼接，获得每个单字符图像的输入特征向量。
98.本实施例中，每个泊位字符的字符位置可以通过字符检测框的坐标信息获知。在节点标注字符图像中抠取获得每个检测框对应的图像，得到多个单字符图像。每个单字符图像包含有一个字符。对不同尺寸的多个单字符图像进行尺寸变换，变换为相同尺寸。变换后的单字符图像的尺寸为n*c*h*w，n表示字符检测框的数量，h*w表示字符检测框的宽高，c表示通道数，可以为rgb三通道。
99.根据第一节点类别泊位字符、第二节点类别泊位字符以及第三节点类别泊位字符的节点分类，属于不同节点类别的泊位字符具有不同的字符朝向，具有不同的图像特征，可以作为进行节点分类的特征学习之一。请参见图2，例如：以某一个泊位为参考依据，左侧类别泊位字符01-002-03的朝向为东，右侧类别泊位字符04-005-06的朝向为西，中间类别泊位字符07-008-09的朝向为北。
100.每个单字符的距离特征可以表示为n*4*h*w，n字符检测框的数量，4表示字符位置的x、y、w、h信息，h*w为单字符图像统一尺寸后的宽高信息。通过单字符的距离特征，可以学习到相邻距离近的泊位字符的关系。距离近的泊位字符属于同一节点类别的概率较大，更有利于节点分类的学习。
101.将图像特征的n*3*w*h与距离特征的n*4*h*w在通道维度上进行特征拼接，得到n*7*w*h维度的特征。
102.在一个实施例中，将特征拼接后的n*7*h*w维度的特征输入多个卷积层，获得特征变换后的图像特征，可以表示为n*c*h*w，通道数c为128，可以进一步提取检测框图像以及距离的特征。
103.在一个实施例中，将特征变换后的图像特征输入至全连接层网络进行计算，获得特征维度为n*c*1*1，即n*c，其中c为128，作为每个单字符图像的输入特征向量，输入至图卷积神经网络模型中进行训练。
104.在一个实施例中，s40，根据节点标注字符图像数据集，对图卷积神经网络模型进行训练，获得训练完成的图卷积神经网络模型，还包括：
105.s440，根据单字符图像数据集中每个单字符图像的节点类别，获得每个单字符图像对应的字符检测框的节点分类特征矩阵；
106.s450，根据单字符图像数据集中每个单字符图像的字符位置，获得与每个单字符图像对应的字符检测框的度矩阵；
107.s460，获取每个单字符图像对应的字符检测框的单位矩阵，根据单位矩阵、节点分类特征矩阵以及度矩阵，获得每个单字符图像对应的字符检测框的邻接矩阵；
108.s470，根据每个单字符图像对应的字符检测框的邻接矩阵与输入特征向量，对图卷积神经网络模型进行训练，获得训练完成的图卷积神经网络模型；
109.图卷积神经网络模型为：图卷积神经网络模型为：
110.其中，x表示每个单字符图像的输入特征向量，a表示每个单字符图像对应的字符检测框的节点分类特征矩阵，i表示每个单字符图像对应的字符检测框的单位矩阵，表示每个单字符图像对应的字符检测框的度矩阵，表示每个单字符图像对应的字符检测框的邻接矩阵，w
(0)
与w
(1)
表示图卷积神经网络模型的参数，softmax表示归一化函数，relu非线性激活函数。
111.本实施例中，图卷积神经网络模型包括多个卷积层与非线性激活层等，进行泊位字符节点特征学习。节点类别分为第一节点类别泊位字符、第二节点类别泊位字符以及第三节点类别泊位字符。根据每个单字符图像的节点类别，可以判断出每个单字符图像对应的字符检测框与其他检测框之间的关系。每个单字符图像与其他单字符图像属于同一个节点类别，也可以理解为每个单字符图像对应的字符检测框与其他单字符图像对应的字符检测框属于同一个节点类别，进而在节点分类特征矩阵中数值为1，不属于同一个节点类别，则在矩阵中数值为0，形成了每个单字符图像对应的字符检测框的节点分类特征矩阵。i表示单位矩阵，通过每个单字符图像对应的字符检测框的单位矩阵可以增加每个字符检测框自身与自身的特征表示。表示每个单字符图像对应的字符检测框的度矩阵，表示了节点的度数，也可以理解为每个字符检测框与其他字符检测框有连接关系的检测框个数。连接关系可以理解为属于同一个节点类别。z表示两层图卷积神经网络，输出特征维度为n*n，为第一层图卷积神经网络，输出特征维度为n*n，为邻接矩阵，特征维度为n*n，w
(0)
为第一层图卷积神经网络中的可学习的参数，特征维度为128*n，relu()表示非线性激活函数。w
(1)
为第二层图卷积神经网络中的可学习的参数，特征维度为128*n，softmax()表示softmax归一化函数。
112.在一个实施例中，s40，根据节点标注字符图像数据集，对图卷积神经网络模型进行训练，获得训练完成的图卷积神经网络模型，还包括：
113.s480，根据每个单字符图像对应的字符检测框的节点分类特征矩阵与预测节点分类特征矩阵构建图卷积神经网络模型的损失函数。
114.本实施例中，根据图卷积神经网络模型，可以预测输出每个单字符图像对应的字符检测框的预测的节点分类特征矩阵，也就是可以获知每个字符检测框与其他字符检测框是否属于同一个节点类别。预测节点分类特征矩阵中会以数值1或者数值0进行表示，数值1代表一个字符检测框与其他字符检测框属于同一个节点类别，数值0代表一个字符检测框与其他字符检测框不属于同一个节点类别。从而，根据图卷积神经网络模型预测获得的预测节点分类特征矩阵可以获知各个字符检测框之间是否属于同一个节点类别，进而可以获知每个停车泊位的泊位序列号。本实施例中，损失函数采用l2范数损失函数进行模型训练，l2范数损失函数也称为最下平方误差损失函数。图卷积神经网络模型的损失函数为：
[0115][0116]
其中，表示模型的预测节点分类特征矩阵，y表示节点分类特征矩阵，也可以理解为真实的节点分类特征矩阵，m表示共有m个样本，也可以理解为m个字符检测框对应的样本数据。通过损失函数计算每个样本中预测值与真实值的平方和，再对所有样本的平和方求
和。损失函数的目标为最小化平方和求和值。
[0117]
在一个实施例中，s50，获取待测泊位字符图像，根据训练完成的泊位字符检测模型与训练完成的图卷积神经网络模型，对待测泊位字符图像进行识别，获得泊位字符序列，包括：
[0118]
s510，获取待测泊位字符图像，将待测泊位字符图像输入至训练完成的泊位字符检测模型中，获得每个待测泊位字符的字符类别与字符位置；
[0119]
s520，根据每个待测泊位字符的字符位置对待测泊位字符图像进行提取变换，获得多个待测单字符图像，根据每个待测泊位字符的字符位置获取待测单字符的距离特征，并将每个待测单字符图像的图像特征与待测单字符的距离特征进行特征拼接，获得每个待测单字符图像的输入特征向量；
[0120]
s530，将每个待测单字符图像的输入特征向量输入至训练完成的图卷积神经网络模型中，输出每个待测单字符图像对应的字符检测框的节点分类特征矩阵；
[0121]
s540，根据每个待测泊位字符的字符类别、字符位置以及每个待测单字符图像对应的字符检测框的节点分类特征矩阵，获得泊位字符序列。
[0122]
本实施例中，在s510中，通过训练完成的泊位字符检测模型，可以获得每个待测泊位字符的字符类别，例如阿拉伯数字0-9与字符
“‑”
等11个类别。通过训练完成的泊位字符检测模型，可以获得每个待测泊位字符的字符位置，也可以理解为字符的坐标位置。在一个实施例中，利用nms(non-maximum suppression，非极大抑制)算法去除部分冗余框，保留泊位字符检测输出框的类别和位置信息。
[0123]
在s520中，本步骤中的相关描述可参考上述实施例中s410至s430的相关描述。在s530中，通过训练完成的图卷积神经网络模型，可以获知每个字符检测框对应的节点分类特征矩阵，进而可以根据节点分类特征矩阵获知每个字符检测框与其他检测框是否属于同一个节点类别。一个待测单字符图像对应一个待测泊位字符，对应一个字符类别，对应一个字符位置，对应一个字符检测框，对应一个节点分类特征矩阵，彼此之前存在一一对应关系，可以互相进行解释以及表示示意。节点分类特征矩阵可以理解为某一个字符检测框与其他字符检测框之间的类别关系，也可以进一步理解为某一个泊位字符与其他泊位字符之间的类别关系。在s540中，根据每个待测泊位字符的字符类别、字符位置以及对应的与其他字符的节点分类特征矩阵，可以获知多个待测泊位字符排列形成的泊位字符序列。
[0124]
在一个实施例中，s540，根据每个待测泊位字符的字符类别、字符位置以及每个待测单字符图像对应的字符检测框的节点分类特征矩阵，获得泊位字符序列，包括：
[0125]
s541，根据每个待测泊位字符的字符类别、字符位置以及每个待测单字符图像对应的字符检测框的节点分类特征矩阵，对所有待测泊位字符进行升序或降序排列，获得泊位字符序列。
[0126]
本实施例中，根据每个待测泊位字符的字符位置，可以获知各个待测泊位字符的具体位置。根据每个待测泊位字符对应的字符检测框的节点分类特征矩阵可以获知各个待测泊位字符之间的类别关系，获知哪些待测泊位字符属于同一个类别。根据每个待测泊位字符的字符类别，可以获知每个待测泊位字符具体为哪个数字。从而，根据每个待测泊位字符的字符位置，对同一个类别的各个待测泊位字符进行升序排列或者降序排列，可以获知对应的完整的泊位字符序列。
[0127]
因此，通过本技术提供的多节点类别路侧泊位字符识别方法，利用目标检测方法进行每个泊位字符的检测，通过构建泊位字符检测模型，并利用损失函数进行模型训练和参数优化获得训练完成的泊位字符检测模型，可以实时进行路侧泊位字符的检测，获得每个泊位字符的字符类别与字符位置。进一步，本技术提供的多节点类别路侧泊位字符识别方法，根据各个泊位字符的目标检测结果进行节点分类，并利用图卷积神经网络模型对每个泊位字符节点分类，将属于同一泊位序列的泊位字符节点归为一类，根据同类的泊位字符得到完整的泊位字符序列。
[0128]
请参见图3，本技术提供一种基于图卷积神经网络的路侧泊位字符识别系统100。多节点类别路侧泊位字符识别系统100包括数据获取模块10、节点分类模块20、第一模型训练模块30、第二模型训练模块40以及泊位字符序列获取模块50。数据获取模块10用于获取路侧泊位字符图像数据集，并对路侧泊位字符图像数据集中每个泊位字符进行目标检测标注，获得标注字符图像数据集。节点分类模块20用于对标注字符图像数据集中每个泊位字符进行节点分类标注，获得节点标注字符图像数据集。第一模型训练模块30用于根据标注字符图像数据集，对泊位字符检测模型进行训练，获得训练完成的泊位字符检测模型。第二模型训练模块40用于根据节点标注字符图像数据集，对图卷积神经网络模型进行训练，获得训练完成的图卷积神经网络模型。泊位字符序列获取模块50用于获取待测泊位字符图像，根据训练完成的泊位字符检测模型与训练完成的图卷积神经网络模型，对待测泊位字符图像进行识别，获得泊位字符序列。
[0129]
本实施例中，数据获取模块10的相关描述可参考上述实施例中s10的相关描述。节点分类模块20的相关描述可参考上述实施例中s20的相关描述。第一模型训练模块30的相关描述可参考上述实施例中s30的相关描述。第二模型训练模块40的相关描述可参考上述实施例中s40的相关描述。泊位字符序列获取模块50的相关描述可参考上述实施例中s50的相关描述。
[0130]
在一个实施例中，节点分类模块20包括划分模块与标注模块。划分模块用于根据每个泊位字符的字符位置，对标注字符图像数据集中各个泊位字符进行列划分或者行划分，形成第一节点类别泊位字符、第二节点类别泊位字符以及第三节点类别泊位字符。标注模块用于根据第一节点类别泊位字符、第二节点类别泊位字符以及第三节点类别泊位字符，对标注字符图像数据集中每个泊位字符进行节点类别标注，形成节点标注字符图像数据集。
[0131]
本实施例中，划分模块的相关描述可参考上述实施例中s210的相关描述。标注模块的相关描述可参考上述实施例中s220的相关描述。
[0132]
在一个实施例中，第二模型训练模块40包括单字符图像获取模块、距离特征获取模块以及输入特征向量获取模块。单字符图像获取模块用于根据每个泊位字符的字符位置，对节点标注字符图像数据集中每个节点标注字符图像进行提取变换，获得单字符图像数据集。距离特征获取模块用于根据每个泊位字符的字符位置，获取单字符的距离特征。输入特征向量获取模块用于将单字符图像数据集中每个单字符图像的图像特征与单字符的距离特征进行特征拼接，获得每个单字符图像的输入特征向量。
[0133]
本实施例中，单字符图像获取模块的相关描述可参考上述实施例中s410的相关描述。距离特征获取模块的相关描述可参考上述实施例中s420的相关描述。输入特征向量获
取模块的相关描述可参考上述实施例中s430的相关描述。
[0134]
在一个实施例中，第二模型训练模块40还包括节点分类特征矩阵获取模块、度矩阵获取模块、邻接矩阵获取模块以及图卷积神经网络模型构建模块。节点分类特征矩阵获取模块用于根据单字符图像数据集中每个单字符图像的节点类别，获得每个单字符图像对应的字符检测框的节点分类特征矩阵。度矩阵获取模块用于根据单字符图像数据集中每个单字符图像的字符位置，获得与每个单字符图像对应的字符检测框的度矩阵。
[0135]
邻接矩阵获取模块用于获取每个单字符图像对应的字符检测框的单位矩阵，根据单位矩阵、节点分类特征矩阵以及度矩阵，获得每个单字符图像对应的字符检测框的邻接矩阵。图卷积神经网络模型构建模块用于根据每个单字符图像对应的字符检测框的邻接矩阵与输入特征向量，对图卷积神经网络模型进行训练，获得训练完成的图卷积神经网络模型。
[0136]
图卷积神经网络模型为：图卷积神经网络模型为：
[0137]
其中，x表示每个单字符图像的输入特征向量，a表示每个单字符图像对应的字符检测框的节点分类特征矩阵，i表示每个单字符图像对应的字符检测框的单位矩阵，表示每个单字符图像对应的字符检测框的度矩阵，表示每个单字符图像对应的字符检测框的邻接矩阵，w
(0)
与w
(1)
表示图卷积神经网络模型的参数，softmax表示归一化函数，relu非线性激活函数。
[0138]
本实施例中，节点分类特征矩阵获取模块的相关描述可参考上述实施例中s440的相关描述。度矩阵获取模块的相关描述可参考上述实施例中s450的相关描述。邻接矩阵获取模块的相关描述可参考上述实施例中s460的相关描述。图卷积神经网络模型构建模块的相关描述可参考上述实施例中s470的相关描述。
[0139]
在一个实施例中，泊位字符序列获取模块50包括待测泊位字符信息获取模块、待测输入特征向量获取模块、待测节点分类特征矩阵获取模块以及泊位字符序列生成模块。待测泊位字符信息获取模块用于获取待测泊位字符图像，将待测泊位字符图像输入至训练完成的泊位字符检测模型中，获得每个待测泊位字符的字符类别与字符位置。待测输入特征向量获取模块用于根据每个字符位置对待测泊位字符图像进行提取变换，获得多个待测单字符图像，根据每个字符位置获取待测单字符的距离特征，并将每个待测单字符图像的图像特征与待测单字符的距离特征进行特征拼接，获得每个待测单字符图像的输入特征向量。待测节点分类特征矩阵获取模块用于将每个待测单字符图像的输入特征向量输入至训练完成的图卷积神经网络模型中，输出每个待测单字符图像对应的字符检测框的节点分类特征矩阵。泊位字符序列生成模块用于根据每个待测泊位字符的字符类别、字符位置以及每个待测单字符图像对应的字符检测框的节点分类特征矩阵，获得泊位字符序列。
[0140]
本实施例中，待测泊位字符信息获取模块的相关描述可参考上述实施例中s510的相关描述。待测输入特征向量获取模块的相关描述可参考上述实施例中s520的相关描述。待测节点分类特征矩阵获取模块的相关描述可参考上述实施例中s530的相关描述。泊位字符序列生成模块的相关描述可参考上述实施例中s540的相关描述。
[0141]
在一个实施例中，泊位字符序列生成模块包括排列模块。排列模块用于根据每个待测泊位字符的字符类别、字符位置以及每个待测单字符图像对应的字符检测框的节点分类特征矩阵，对所有待测泊位字符进行升序或降序排列，获得泊位字符序列。
[0142]
本实施例中，排列模块的相关描述可参考上述实施例中s541的相关描述。
[0143]
上述各个实施例中，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于的特定顺序或层次。
[0144]
本领域技术人员还可以了解到本技术实施例列出的各种说明性逻辑块(illustrative logical block)，模块和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，模块和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本技术实施例保护的范围。
[0145]
本技术实施例中所描述的各种说明性的逻辑块，或模块都可以通过通用处理器，数字信号处理器，专用集成电路(asic)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
[0146]
本技术实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动磁盘、cd-rom或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于asic中，asic可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。
[0147]
以上所述的具体实施方式，对本技术的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本技术的具体实施方式而已，并不用于限定本技术的保护范围，凡在本技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。