一种公交车乘客出行起讫信息获取方法与流程

1.本发明属于公共交通技术领域，具体涉及一种公交车乘客出行起讫信息获取方法。


背景技术：

2.公交系统运营的核心在于客流，在对车辆运营状态感知之后，为了全面分析优化公交系统，需要对客流进行感知、分析和预测。城市的公交客流特征可以反映该城市居民乘坐公交车出行的时间和空间分布状况，能够支撑城镇居民对公交车需求方面的研究，为城镇公共交通系统的实时调度与优化提供依据，是城镇公共交通体系升级的一块基石。对公交客流的探测与预测有着重大意义，一方面，获取公交乘客的客流情况是公交线路优化设计的基础；另一方面，客流分析和预测的结果可以连同电子站牌为乘客提供车内拥挤度信息，引导乘客选择合适的线路出行；再者，客流分析和预测的结果可为公交企业在规划线路、调度车辆和运营等方面提供数据支撑。
3.陈旭梅等人在《基于ic卡记录的公交站间od客流预测方法及装置》中提出了一种基于时变ic卡记录的公交站间乘客出行起讫信息预测方法及装置并进行估计乘客出行起讫信息，夏井新等人在《基于afc数据的公交客流od实时估计方法》一文中提出利用公交afc系统的刷卡数据，并挖掘出公交客流与站点客流量的映射关系，构建卡尔曼滤波的公交乘客出行起讫信息实时估计模型，实现公交乘客出行起讫信息的实时估计，王炜等人在《一种公交出行od矩阵反推的组合方法》一文中提出了采用粒子群算法计算反推权重，并最终采用bp神经网络预测公交出行乘客出行起讫信息反推矩阵的方案。
4.上述学者在进行公交乘客出行起讫信息对识别时大多采用的是ic卡刷卡信息、票据等数据，由此可以得知目前公共交通大部分客流感知都是基于ic卡刷卡信息、票据等数据，比如北京，采用上下车两次刷卡的方式，并结合后台其他数据，推断乘客出行起讫信息，但是这种方式很难普及，很多地方只有一次刷卡(上车刷卡)。另外这种方式的数据质量也不是完整的乘客出行起讫信息，因为ic卡只有一个时间信息，需要结合后台其他数据进行空间信息的推断，数据的准确性很难保证。另外目前随着科学技术的发展，伴随着移动支付的普及，对基于ic卡进行乘客出行起讫信息推断的方案形成较大的冲击。


技术实现要素：

5.针对目前公交客流起讫信息的获取方式存在信息获取不全，数据准确性难以保证的缺陷和问题，本发明提供一种公交车乘客出行起讫信息获取方法。
6.本发明解决其技术问题所采用的方案是：一种公交乘客出行起讫信息获取方法，通过安装在公交车上的硬件系统结合软件系统来实现，其中硬件系统包括安装在公交车前门的前门摄像头、安装在后门的后门摄像头、车载终端以及服务器，前门摄像头和后门摄像头分别与车载终端连接，前门摄像头和后门摄像头分别用于采集各站点上、车乘客的面部信息并将获取的乘客面部信息传送至车载终端并通过安装在车载终端上的软件模块进行
处理；所述软件系统包括人脸识别模块、特征分析模块以及起讫信息推导模块分别用于对采集的乘客面部图像进行人脸识别、面部特征比对和起讫信息推导从而精确的获取公交乘客的起讫信息。
7.上述的公交乘客出行起讫信息获取方法，所述前门摄像头安装在司机座位上方正对上车门的位置，所述后门摄像头安装在下车门正上方车顶部正对下车门的位置。
8.上述的公交乘客出行起讫信息获取方法，所述前门摄像头和后门摄像头为ipc摄像头。
9.上述的公交乘客出行起讫信息获取方法，起讫信息获取方法包括以下步骤：
10.步骤一、前门摄像头和后门摄像头分别采集站点s
i
，i＝1,2,
…
n(n为公交线路站点总数)的上、下车乘客的面部图像信息，并将乘客的上、下车站点以及每个上车乘客以及下车乘客的图像信息传送至车载终端。
11.步骤二、车载终端搭载的人体识别算法对前后门摄像头传送的图像信息进行处理，处理方法为：
12.s1、将前门摄像头和后门摄像头获取的乘客的图像信息输入神经网络框架yolov3得到特征图，特征图经5层卷积后，一条分支分别进行卷积操作和上采样，将得到的特征图与上层的特征图进行通道合并；另一条分支通过两层卷积直接输出预测结果；然后再通过卷积层1x1，获取边界框以及样本的类别概率；
13.s2、采用交叉熵的目标损失函数计算出图像的类别概率
[0014][0015]
式中：l表示类别概率；y
i
表示样本i的标签，正类为1，负类为0；p
i
为样本i预测为正类的概率；
[0016]
s3、将面部图像进行压缩、裁剪，裁除大于80*80的面部检测尺度；
[0017]
s4、排除静止的面部图像，选择具有位置偏移的面部图像作为目标面部图像。
[0018]
步骤三、采用多模型adaboost级联将采集的面部信息按照面部68个特征点进行对比，为每个面部特征关键点构建局部特征，具体包括：
[0019]
s1、将目标面部图像进行对齐使其接近标准形状；
[0020]
s2、对对齐后的图像形状特征做pca处理，得到降维后的图像
[0021]
s3、将降维后面部的各个特征点与标准面部68点信息图进行对比，对当前面部特征点进行矫正获取当前图像中各个关键点的所处位置从而构建得到局部特征图；
[0022]
步骤四、根据局部特征图获得每个上车乘客所对应的下车乘客及下车站点候选集；
[0023]
步骤五、根据每个站点上车乘客所对应的下车乘客候选集，按照面部特征进行分类，分别得到上车乘客特征v1＝{u1，u2，
…
u
i
，
…
u
n
}和下车乘客特征v2＝{d1，d2，
…
d
j
，
…
d
m
}；分别以上车乘客特征和下车乘客特征为顶点生成二分图，进行广度搜索算法和深度优先搜索算法求得所有上车乘客所对应的下车乘客及下车站点。
[0024]
上述的公交乘客出行起讫信息获取方法，对对齐后的图像形状特征做pca处理，处理方法为：
[0025]
(1)将图像形状特征按列组成矩阵x；
[0026]
(2)将矩阵x的每一行进行零均值化；
[0027]
(3)计算出矩阵x的协方差矩阵；
[0028]
(4)计算出协方差矩阵的特征向量以及特征值；
[0029]
(5)将特征向量按照对应特征值进行大小排序，取前k行组成的矩阵最终得到降维后的数据。
[0030]
上述的公交乘客出行起讫信息获取方法，步骤四中获取下车乘客及下车站点候选集的方法为：
[0031]
s1、获取上车乘客i的面部特征u
i
和该乘客的上车站点编号s
i
；
[0032]
s2、若i＜n，获取下车乘客j的面部特征d
j
和该乘客的下车站点编号s
q
，判断j是否小于m；
[0033]
(1)若j＜m，计算i与j的相似度cos(i，j)，遍历所有下车乘客(j 1)，计算最大相似度max(cos(i，j))，进入步骤3；
[0034][0035][0036]
其中函数表示判断当前上车乘客以及下车乘客是否为同一个人，当两个乘客面部特征的余弦距离大于0.7可以认为是同一个人，否则认为不是同一个人；f(i，j)函数主要是用于从数据库中取出相同乘客的上下站点信息；
[0037]
(2)若j≥m，返回步骤1；
[0038]
s3、遍历所有上车乘客(i 1)，循环步骤s1
‑
s3直至完成所有匹配，得到所有上车乘客所对应的下车乘客站点候选集。
[0039]
上述的公交乘客出行起讫信息获取方法，步骤五中根据上车乘客特征和下车乘客特征，分别以上车乘客特征和下车乘客特征为顶点生成二分图，将顶点集分为不相交的两部分，即下车乘客特征和上车乘客特征，使图中的任一一条边的两个端点分别在下车乘客特征和上车乘客特征中，方法为：
[0040]
(1)进行一次广度搜索算法(bfs)来确定v1中点的层次；
[0041]
(2)从v1中随机初始一个点，使其和v2中所有未匹配的点连接；
[0042]
(3)采用余弦距离进行度量第i个上车乘客的面部特征与第j个下车乘客的面部特征的相似度进而获取增广路的长度；
[0043]
(4)当搜索到v1中的点的层次大于最短增广路上v1中点的个数时就可以直接退出；
[0044]
(5)从所有v1中未匹配的点出发进行深度优先搜索(dfs)，在进行深度优先搜索时按照广度搜索算法(bfs)时建立的层次体系来遍历，然后回到步骤(1)直到找到所有增广路为止。
[0045]
上述的公交乘客出行起讫信息获取方法，所述标准形状指的是符合面部68个特征点的人脸，同时剔除脸部部分特征被遮盖的图像。
[0046]
本发明的有益效果：本发明采用硬件和软件结合的方式，通过硬件采集不同站点
上下车乘客的面部图像，选用yolov3深度神经网络模型，对模型进行裁剪和训练得到识别精度高的人脸识别算法，从而排除大量的非人脸提高识别的准确性；然后以人面部68个特征点作为特征，采用adaboost级联的方式建立面部图像到面部特征的映射函数，得到上车乘客特征以及下车乘客特征，以上车乘客特征以及下车乘客特征为顶点采用二分图算法进行搜索、匹配，直至所有上车乘客特征与下车乘客特征相对应，从而完成整条线路乘客起讫信息的获取。该方法能够显著提高人脸识别精度，提高精确度；采用二分图可以有效降低降低时间复杂度，进而提高计算效率，能够快速的完成特征匹配；能够精确的针对每位上车乘客推导出其相应的下车站点，相对于基于ic卡等多源数据的推导算法而言精度更高，同时相较于多源刷卡数据的获取难度更小，实施难度相对较低。
附图说明
[0047]
图1为本发明整体流程图。
[0048]
图2为本发明框架流程图。
[0049]
图3为出行起讫信息分析流程图。
[0050]
图4为乘客特征匹配示意图。
具体实施方式
[0051]
针对目前根据ic卡获取od信息存在信息获取不全，精确度低的问题，本发明提供一种能够全面、精准获取乘客起讫信息的公交车乘客起讫信息获取方法。下面结合附图和实施例对本发明进一步说明。
[0052]
一种公交乘客出行起讫信息获取方法，该方法通过是通过安装在公交车上的硬件系统结合软件系统来实现，其中硬件系统包括安装在公交车前门的前门摄像头、安装在后门的后门摄像头、车载终端以及服务器，前门摄像头和后门摄像头分别与车载终端连接，前门摄像头和后门摄像头分别用于采集各站点上、车乘客的面部信息并将获取的乘客面部信息传送至车载终端上，所述软件系统包括人脸识别模块、特征分析模块以及起讫信息推导模块分别用于用于对采集的乘客面部图像进行人脸识别、面部特征比对和起讫信息推导从而精确的获取公交乘客的起讫信息。
[0053]
本发明在实际使用时所用前门摄像头和后门摄像头为ipc摄像头tm9601，该摄像头基于红外摄像头加镜头信息实现人脸识别，人脸特征提取嵌入前段，负责人脸抓拍和特征提取，并通过无线模块或者网线与车载机的特征信息交互；如若同一个目标多次抓拍，则筛选出清晰度较高、尺度较大、人脸特征最全面的一张传输到车载设备上。所用车载机为tm8731车载机，车载机与后台服务器通过无线网络模块或网线连接，同时又与ipc摄像头连接、存储并管理乘客人脸数据，通过对比，匹配前后门的人脸特征向量，并结合站点空间信息生成乘客出行起讫信息。
[0054]
主要包括以下步骤：
[0055]
步骤一、硬件安装
[0056]
将前门摄像头安装在司机座位上方正对上车门的位置，将后门摄像头安装在下车门正上方车顶部正对下车门的位置。
[0057]
步骤二、人脸识别
[0058]
一、前门摄像头和后门摄像头分别采集站点s
i
，i＝1,2,
…
n(n为公交线路站点总数)的上、下车乘客的面部图像信息，并将乘客的上、下车站点以及每个上车乘客以及下车乘客的图像信息传送至车载终端；
[0059]
二、车载终端搭载的人体识别算法对前后门摄像头传送的图像信息进行处理，处理方法为：
[0060]
1、将前门摄像头和后门摄像头获取的乘客的图像信息输入神经网络框架yolov3得到特征图，特征图经5层卷积后，一条分支分别进行卷积操作和上采样，将得到的特征图与上层的特征图进行通道合并；另一条分支通过两层卷积直接输出预测结果；然后再通过卷积层1x1，获取边界框以及样本的类别概率；
[0061]
2、采用交叉熵的目标损失函数计算出图像的类别概率，
[0062][0063]
式中：l表示类别概率；y
i
表示样本i的标签，正类为1，负类为0；p
i
为样本i预测为正类的概率。
[0064]
3、将面部图像进行压缩、裁剪，裁除大于80*80的面部检测尺度；
[0065]
4、排除静止的面部图像，选择具有位置偏移的面部图像作为目标面部图像。
[0066]
步骤三、采用多模型adaboost级联将采集的面部信息按照面部68个特征点进行对比，为每个面部特征关键点构建局部特征，具体包括：
[0067]
1、先将目标面部图像进行对齐使其接近标准形状，所述标准形状指的是符合面部68个特征点的人脸，同时剔除脸部部分特征被遮盖的图像；
[0068]
2、对对齐后的图像形状特征做pca处理，处理方法为：
[0069]
(1)将图像形状特征按列组成矩阵x；
[0070]
(2)将矩阵x的每一行进行零均值化；
[0071]
(3)计算出矩阵x的协方差矩阵；
[0072]
(4)计算出协方差矩阵的特征向量以及特征值；
[0073]
(5)将特征向量按照对应特征值进行大小排序，取前k行组成的矩阵最终得到降维后的数据。
[0074]
3、将当前面部的各个特征点与标准面部68点信息图进行对比，对当前面部特征点进行矫正获取当前图像中各个关键点的所处位置从而构建得到局部特征图；
[0075]
步骤四、根据局部特征图获得每个上车乘客所对应的下车乘客及下车站点候选集，方法为：
[0076]
该条线路公交车的上车乘客数量为n，下车乘客数量为m，(一条线路上车乘客和下车乘客数量一致)，每个上车乘客的基础信息包括上车乘客面部特征u
i
和该乘客的上车站点编号s
i
；每个下车乘客的基础信息包括下车乘客面部特征d
j
和该乘客的下车站点编号s
j
，
[0077]
1、获取上车乘客i的面部特征u
i
和该乘客的上车站点编号s
i
；
[0078]
2、若i＜n，获取下车乘客j的面部特征d
j
和该乘客的下车站点编号s
q
，判断j是否小于m；
[0079]
(1)若j＜m，计算i与j的相似度cos(i，j)，遍历所有下车乘客(j 1)，计算最大相似
度max(cos(i，j))，进入步骤3；
[0080][0081][0082]
其中函数表示判断当前上车乘客以及下车乘客是否为同一个人，当两个乘客面部特征的余弦距离大于0.7可以认为是同一个人，否则认为不是同一个人；f(i，j)函数主要是用于从数据库中取出相同乘客的上下站点信息。
[0083]
(2)若j≥m，返回步骤1。
[0084]
3、遍历所有上车乘客(i 1)，循环步骤1
‑
4直至完成所有匹配，得到所有上车乘客所对应的下车乘客站点候选集。
[0085]
步骤五、根据每个站点上车乘客所对应的下车乘客候选集，按照面部特征进行分类，分别得到上车乘客特征v1＝{u1，u2，
…
u
i
，
…
u
n
}和下车乘客特征v2＝{d1，d2，
…
d
j
，
…
d
m
}
[0086]
式中：v1表示上车乘客特征，u
i
表示一个上车乘客的面部特征；v2表示下车乘客特征，d
j
表示一个下车乘客的面部特征；
[0087]
根据上车乘客特征和下车乘客特征，分别以上车乘客特征和下车乘客特征为顶点生成二分图，将顶点集分为不相交的两部分v2(下车乘客特征)和v1(上车乘客特征)，使图中的任一一条边的两个端点分别在v2和v1中，从而得到所有上车乘客所对应的下车乘客及下车站点，二分图的匹配是指其边集e的一个子集e’，使e’中的任意两条边都不共享顶点。具体为：
[0088]
(1)进行一次广度搜索算法(bfs)来确定v1中点的层次；
[0089]
(2)从v1中随机初始一个点，使其和v2中所有未匹配的点连接；
[0090]
(3)采用余弦距离进行度量第i个上车乘客的面部特征与第j个下车乘客的面部特征的相似度进而获取增广路的长度；
[0091]
(4)当搜索到v1中的点的层次大于最短增广路上v1中点的个数时就可以直接退出；
[0092]
(5)从所有v1中未匹配的点出发进行深度优先搜索(dfs)，在进行深度优先搜索时按照广度搜索算法(bfs)时建立的层次体系来遍历，然后回到步骤(1)直到找到所有增广路为止。
[0093]
采用该方法的时间复杂度为相对于穷举法可以大大缩短上下车乘客面部特征匹配的计算速度，能够快速的完成特征匹配；采用二分图的算法能够精确的针对每位上车乘客推导出其相应的下车站点，相对于基于ic卡等多源数据的推导算法而言精度更高，同时相较于多源刷卡数据的获取难度更小，实施难度相对较低。