基于图像识别的轨道交通费用结算方法和装置与流程

1.本公开涉及轨道交通技术领域，尤其涉及基于图像识别的轨道交通费用结算方法和装置。


背景技术：

2.轨道交通领域现有的进站方式均为闸机进站，一人一个闸机通道，可以采取刷交通卡支付、电子设备二维码支付、电子设备nfc支付等，在车费的划分上均根据进出站信息，计算可能的转乘路线，以此来细分车费。
3.虽然现有的进站方式已经极大的方便了乘客的乘车进站服务，但是轨道交通系统客流量较大，尤其在一线城市的地铁上下班高峰时期，此时这些方法会增加乘客进站等待时间，且存在电子设备无信号或者无电量情况，进站口多个闸机也会占用极大的空间，以上情况会导致轨道交通系统的列次数量调度判断会有些许误差、造成地铁站内空间拥堵、延误乘客进出站时间等不良现象。
4.同时，现有技术中的转乘车费细分上没有精确的转乘线路费用划分方案，仍采用最可能采取的方式细分车费，不利于乘车费用在各运营线路之间的合理分配。


技术实现要素：

5.为解决现有技术中存在的上述技术问题，本公开实施例提供了一种基于图像识别的轨道交通费用结算方法和装置。
6.根据本公开的第一方面，提供了一种基于图像识别的轨道交通费用结算方法，应用于服务器，包括：
7.响应于接收到根据设置在出站位置处的图像采集设备采集到的图像确定的唯一标识，基于所述唯一标识获取采集对应图像的图像采集设备的出站位置信息、采集对应图像的时间信息和对应图像对应的目标用户；
8.根据所述唯一标识确定所述目标用户的入站位置信息和中转位置信息，以及所述入站位置信息和所述中转位置信息分别对应的时间信息；
9.根据所述出站位置信息、所述入站位置信息和中转位置信息，以及所述出站位置信息、所述入站位置信息和中转位置信息分别对应的时间信息，确定所述目标用户的乘车路线信息；
10.根据所述乘车路线信息，对目标用户的乘车费用进行结算。
11.在一些实施例中，所述方法还包括用户预先注册信息的过程，具体包括：
12.接收用户通过终端设备上传的人脸图像和支付账户信息，对所述人脸图像进行识别，生成人脸信息，为所述人脸信息和所述支付账户信息分配唯一标识，并基于所述唯一标识建立所述人脸信息和所述支付账户信息的关联关系。
13.在一些实施例中，所述方法还包括根据设置在出站位置处的图像采集设备采集到的图像确定所述唯一标识的过程，具体包括：
14.将设置在出站位置处的图像采集设备采集到的人脸图像与已注册的人脸图像进行匹配，确定所述唯一标识，
15.或者，
16.将设置在出站位置处的图像采集设备采集到的身体图像与设置在入站位置处的图像采集设备采集到的身体图像进行匹配，在匹配成功后，将匹配成功的身体图像对应的人脸图像与已注册的人脸图像进行匹配，确定所述唯一标识，其中，在进行身体图像匹配时，采用余弦相似度进行度量，对身体图像按照相似度进行排序，并对排序后的身体图像的特征进行降维，对降维后的特征用其平均均值精度进行进一步排序。
17.在一些实施例中，所述方法还包括：
18.提取设置在入站位置、中转位置或出站位置处的人脸图像采集设备采集到的人脸图像的图像特征，根据所图像特征的相似度对设置在入站位置、中转位置或出站位置处的人脸图像采集设备采集到的人脸图像分别进行去重处理，对去重处理后的图像特征进行识别，得到人脸信息，确定人脸信息对应的唯一标识，其中，在提取人脸图像的特征时，通过目标检测算法fpn检测人脸特征，并在特征提取时所得到的金字塔特征图中加入独立的上下文模块，用可变卷积网络替换所有的卷积层。
19.在一些实施例中，所述根据所述出站位置信息、所述入站位置信息和中转位置信息，以及所述出站位置信息、所述入站位置信息和中转位置信息分别对应的时间信息，确定所述目标用户的乘车路线信息，包括：
20.根据所述目标用户的入站位置信息、中转位置信息和出站位置信息，以及所述出站位置信息、所述入站位置信息和中转位置信息分别对应的时间信息，确定所述目标用户在各轨道路线的乘车记录。
21.在一些实施例中，所述根据所述乘车路线信息，对目标用户的乘车费用进行结算，包括：
22.根据所述乘车路线信息，确定目标用户应当支付的费用，以及用户支付的费用在各轨道路线间的分配。
23.在一些实施例中，所述支付账号信息对应有多种支付方式，所述方法还包括：
24.在确定目标用户应当支付的费用后，根据用户预先指定的支付方式对应当支付的费用进行结算，或者，向所述目标用户发送费用结算信息，根据用户选择的支付方式对应当支付的费用进行结算。
25.根据本公开的第二方面，提供一种基于图像识别的轨道交通费用结算装置，包括：
26.信息提取模块，用于响应于接收到根据设置在出站位置处的图像采集设备采集到的图像确定的唯一标识，基于所述唯一标识获取采集对应图像的图像采集设备的出站位置信息、采集对应图像的时间信息和对应图像对应的目标用户；根据所述唯一标识确定所述目标用户的入站位置信息和中转位置信息，以及所述入站位置信息和所述中转位置信息分别对应的时间信息；
27.乘车路线信息确定模块，用于根据所述出站位置信息、所述入站位置信息和中转位置信息，以及所述出站位置信息、所述入站位置信息和中转位置信息分别对应的时间信息，确定所述目标用户的乘车路线信息；
28.乘车费用结算模块，用于根据所述乘车路线信息，对目标用户的乘车费用进行结
算。
29.根据本公开的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上第一方面所述的方法。
30.根据本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上第一方面所述的方法。
31.应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
32.本公开实施例的基于图像识别的轨道交通费用结算方法和装置，能够方便用户乘车的同时，能够根据用户的具体乘车路线实现乘车费用的精确合理分配。
附图说明
33.结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。附图用于更好地理解本方案，不构成对本公开的限定在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
34.图1示出了根据本公开的实施例的基于图像识别的轨道交通费用结算方法的流程图；
35.图2示出了根据本公开的实施例的基于图像识别的轨道交通费用结算装置的框图；
36.图3示出了能够实施本公开的实施例的示例性电子设备的方框图；
37.图4为fpn的整体结构示意图。
具体实施方式
38.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。
39.另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
40.本公开实施例的基于图像识别的轨道交通费用结算方法，可以应用于轨道交通系统的后台服务器，通过图像识别技术确定用户在入站位置和出站位置之间的具体乘车路线，实现乘车费用在各轨道线路运营公司之间的合理分配，同时通过人脸支付，使得用户能够快速进出站，从而缓解站内压力，提高用户体验。
41.具体地，如图1所示，为本公开的实施例的基于图像识别的轨道交通费用结算方法的流程图。本实施例的基于图像识别的轨道交通费用结算方法，可以包括以下步骤：
42.s101：响应于接收到根据设置在出站位置处的图像采集设备采集到的图像确定的唯一标识，基于所述唯一标识获取采集对应图像的图像采集设备的出站位置信息、采集对
应图像的时间信息和对应图像对应的目标用户。
43.s102：根据所述唯一标识确定所述目标用户的入站位置信息和中转位置信息，以及所述入站位置信息和所述中转位置信息分别对应的时间信息。
44.s103：根据所述出站位置信息、所述入站位置信息和中转位置信息，以及所述出站位置信息、所述入站位置信息和中转位置信息分别对应的时间信息，确定所述目标用户的乘车路线信息。
45.s104：根据所述乘车路线信息，对目标用户的乘车费用进行结算。
46.本公开实施例的方法，可以应用于轨道交通系统的后台服务器，轨道交通系统可以分为图像采集系统、数据库系统和费用结算系统，图像采集系统、数据库系统和费用结算系统可以分别有对应的后台服务器，这些服务器的数据是互通的，也可以共用一个后台服务器。本实施例以一个后台服务器为例，对本公开的技术方案进行说明。
47.具体地，图像采集系统包括设置在各入站口、各中转站和各出站口的图像采集装置。图像采集装置可以仅采集人脸图像，图像采集装置采集到入站口、中转站和出站口的人脸图像后，将采集到的人脸图像发送至轨道交通系统的后台服务器，后台服务器记录上传每张人脸图像对应的时间信息，并对同一站点(入站点、中转站点和出站点)的人脸图像采集装置上传的人脸图像进行去重处理。由于同一站点的图像采集区域可能设置有多个图像采集装置(摄像头)，存在多个图像采集装置采集到同一张人脸的情形。因此需要对同一站点的图像采集装置上传的人脸图像进行去重处理。
48.具体地，可以分别提取设置在入站位置、中转位置或出站位置处的图像采集设备采集到的人脸图像的图像特征，根据所图像特征的相似度对设置在入站位置、中转位置或出站位置处的图像采集设备采集到的人脸图像分别进行去重处理。
49.对去重处理后的人脸图像进行识别，具体地，可以采用人脸识别算法对人脸图像的图像特征进行识别，得到对应的人脸信息，基于得到的人脸信息，去数据库系统中匹配，确定人脸信息对应的用户的身份信息，将人脸信息按照对应的时间信息关联到用户的身份信息，这样，数据库系统中的每个身份信息就关联了多个时间序列，以及时间序列对应的人脸信息。
50.此外，在本公开的一些其他实施例中，设置在入站位置处的图像采集装置需要采集人体的整体图像，将采集的人体的整体图像分割为人脸图像和身体图像，并建立人脸图像和身体图像的关联关系，设置在中转位置处或出站位置处的图像采集装置可以采集人体的整体图像，也可以仅采集人脸图像或身体图像，对于设置在中转位置处或出站位置处的图像采集装置能够采集到的人脸图像的情形，可以参见上述的情形，这里不再重复赘述。需要特别说明的是，针对设置在中转位置处或出站位置处的图像采集装置既能够采集到身体图像的情形，可以将采集到的身体图像与设置在入站位置处的图像采集装置采集到的身体图像进行匹配，进而确定关联的人脸图像，并根据确定的关联的人脸图像确定对应的唯一标识。并且，也可以对同一位置处采集到的身体图像进行去重。
51.在本实施例中，可以先从图像采集装置采集到的图像中对人脸图像进行检测，具体地，可以利用特征金字塔的技术，通过多尺度信息的融合，对检测图片中较小的人脸进行有效检测。在本公开的实施例中，采用了人脸检测算法，并且加入了目标检测算法fpn(feature pyramid networks)，在特征提取时所得到金字塔特征图中加入了独立的上下文
模块以提高建模能力，用可变形卷积网络(dcn)替换了横向连接和上下文模块中的所有3
×
3卷积层，采用多任务学习策略同时预测人脸分数、面部框、五个点和三维位置。具体地，采用了fpn(feature pyramid networks)特征金字塔的技术提取多尺度特征信息，对检测图片中较小的人脸有重要的作用。fpn的整体结构如图4所示，图4为fpn的整体结构示意图。在图4中，fpn分为自底向上和自顶向下和侧向连接三个过程。图4中左侧为自底向上的特征提取网络，特征分辨率不断缩小，本技术选取了resnet50提取特征，每个特征图的步长对应特征金字塔的一个级别。本公开可以选用resnet50，选取其conv2、conv3、conv4、conv5层的最后一个残差块层特征作为fpn的特征，记为{c2、c3、c4、c5}，也即是fpn网络的4个级别。这几个特征层相对于原图的步长分别为4、8、16、32。图4中右侧的自上向下是特征图放大的过程，采用上采样来实现，其中上采样使用插值的方式，便于fpn从高层特征上采样既可以利用顶层的高级语义特征(有助于分类)又可以利用底层的高分辨率信息(有助于定位)。图中左右之间的连线为侧向连接，该方式可以将高层语义特征和底层的精确定位能力结合，即连接将上一层经过上采样后和当前层分辨率一致的特征通过相加的方法进行融合。同时为了保持所有级别的特征层通道数都保持一致，来自右之后采用多任务学习策略同时预测人脸分数、面部框、五个点和三维位置。
52.识别时采用arcface算法对比两个人脸图片以判断其身份，该算法对比时采用了angular margin loss损失函数，实现角度空间内最大化分类界限。相对于余弦空间其他损失函数如cosineface而言，arcface直接在角度空间中最大化分类界限，对特征向量和权重归一化，对角度加上角度间隔m，具有更加清晰的几何解释性，角空间中的边缘差距也相当于超球面上的弧距。将角度边缘t置于cos(θ)函数内部，使得cos(θ t)在θ∈[0,π-t]范围内要小于cos(θ),对于其损失函数l，在满足要小于cos(θ),对于其损失函数l，在满足的情况下，其损失计算公式为
[0053][0054]
概括来说，检测识别的流程可如下表示，先对摄像头拍摄的图片用retinaface检测人脸关键点，再通过相似变换得到被裁剪后的人脸图片，完成人脸对齐流程，之后用retinaface检测人脸，并根据其提取的特征用arcface算法对处理后的人脸图片计算特征间的余弦距离，识别人脸身份，来自左侧的特征使用1
×
1卷积实现。
[0055]
对于人体图像的识别，可以对输入图片采取了固定尺寸384
×
128，同时采用了翻转、随机擦除、随机补丁的方式进行数据增强，骨干网络采取resnet50网络提取特征，在特征集成阶段用自适应池化操作集成特征，并使用了注意力机制让模型学习其有用的特征，最后经过全连接层特征向量变化为可以构建id的独热编码。对提取到的身体属性特征进行度量时，用到了余弦相似度，余弦距离只考虑两个生成的向量的夹角，余弦相似度的取值范围是[-1,1]，相同两个向量的之间的相似度为1，余弦距离的取值范围是[0,2]。如果特征向
量a、b经过归一化之后，则余弦距离的计算公式为：d＝1-cos(a,b)。距离度量完成后需要用后处理方法获得更优的匹配结果和更优的匹配排序，采用机器学习领域的pca以及svd均可达到降维效果，最后用其评价指标rank1和map(平均均值精度)展现其评测效果，即获取更优的匹配结果，使得身体图像的特征的相似度更精确。
[0056]
上述过程只是针对本公开实施例的基于人脸识别的轨道交通费用结算方法所应用的轨道交通系统的工作原理进行了说明，下面结合具体的实现流程对本公开实施例的方案进行说明。
[0057]
具体地，当后台服务器接收到根据设置在出站位置处的图像采集设备采集到的人脸图像确定的唯一标识，其中，所述唯一标识为用户在预先注册人脸信息的过程中生成的，用户预先注册人脸信息的过程，具体包括：接收用户通过终端设备上传的人脸图像和支付账户信息，对所述人脸图像进行识别，生成人脸信息，为所述人脸信息和所述支付账户信息分配唯一标识，并基于所述唯一标识建立所述人脸信息和所述支付账户信息的关联关系。这里的终端设备可以是移动终端，例如智能手机等，也可以是设置在车站内的专门用于人脸信息注册的终端。同时，图像采集设备上传采集到的人脸图像时，会同时上传对应的位置信息(入站位置、中转位置或出站位置)，该位置信息可以是具体的站点，也可以是表征站点的编号等。
[0058]
当后台服务器接收到唯一标识后，基于所述唯一标识获取采集对应图像的图像采集设备的出站位置信息、采集对应图像的时间信息和对应图像对应的目标用户。由于所述唯一标识是与用户的人脸信息关联的，根据所述唯一标识信息可以确定对应的人脸信息，根据人脸信息可以获取人脸信息对应的用户的身份信息，以及身份信息关联的多个时间序列，以及时间序列对应的人脸信息。这样，根据多个时间序列，以及时间序列对应的人脸信息，就可以确定该身份信息对应的目标用户的乘车轨迹，即在各站点之间的乘车路线。例如，用户从a站进入，经b站、c站中转后，从d站走出，则可以确定用户的乘车路线为a—b、b—c、c—d。这样可以根据用户的乘车路线计算用户的乘车费用，以及乘车费用在各乘车路段的承运公司间的分配，用户的乘车费用进行结算，并对结算的费用在各路段运营公司之间进行合理分配。同时，用户无需进行任何操作，就可以乘坐列车。
[0059]
本公开实施例的基于图像识别的轨道交通费用结算方法，能够方便用户乘车的同时，能够根据用户的具体乘车路线实现乘车费用的精确合理分配。
[0060]
作为本公开的一个可选实施例，在上述实施例中，在提取设置在入站位置、中转位置或出站位置处的图像采集设备采集到的人脸图像的图像特征时，可以按照预设时间间隔(例如5分钟)提取设置在入站位置、中转位置或出站位置处的图像采集设备采集到的人脸图像的图像特征。
[0061]
由于在实际情况中，用户可能在同一站点停留较长时间，图像采集装置会采集到较多的重复的人脸图像，因此，可以按照预设时间间隔提取图像采集设备采集到的人脸图像的图像特征，以对人脸图像进行去重。
[0062]
作为本公开的一个可选实施例，在确定目标用户应当支付的费用后，根据用户预先指定的支付方式对应当支付的费用进行结算，或者，向所述目标用户发送费用结算信息，根据用户选择的支付方式对应当支付的费用进行结算。
[0063]
具体地，用户在注册人脸信息时，可以直接指定支付方式，例如现有的支付软件，
进行费用的划扣。也可以通过指定对应的乘车软件，在乘车软件接收到请求支付费用的信息时，通过手动选择对应的支付方式来进行费用的划扣。
[0064]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本公开所必须的。
[0065]
以上是关于方法实施例的介绍，以下通过装置实施例，对本公开所述方案进行进一步说明。
[0066]
如图2所示，为本公开的实施例的基于图像识别的轨道交通费用结算装置的框图。本实施例的基于图像识别的轨道交通费用结算装置，包括：
[0067]
信息提取模块201，用于响应于接收到根据设置在出站位置处的图像采集设备采集到的图像确定的唯一标识，基于所述唯一标识获取采集对应图像的图像采集设备的出站位置信息、采集对应图像的时间信息和对应图像对应的目标用户；根据所述唯一标识确定所述目标用户的入站位置信息和中转位置信息，以及所述入站位置信息和所述中转位置信息分别对应的时间信息。
[0068]
乘车路线信息确定模块202，用于根据所述出站位置信息、所述入站位置信息和中转位置信息，以及所述出站位置信息、所述入站位置信息和中转位置信息分别对应的时间信息，确定所述目标用户的乘车路线信息。
[0069]
乘车费用结算模块203，用于根据所述乘车路线信息，对目标用户的乘车费用进行结算。
[0070]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0071]
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
[0072]
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0073]
图3示出了可以用来实施本公开的实施例方法的电子设备300的示意性框图。如图所示，设备300包括中央处理单元(cpu)301，其可以根据存储在只读存储器(rom)302中的计算机程序指令或者从存储单元308加载到随机访问存储器(ram)303中的计算机程序指令，来执行各种适当的动作和处理。在ram 303中，还可以存储设备300操作所需的各种程序和数据。cpu 301、rom 302以及ram 303通过总线304彼此相连。输入/输出(i/o)接口305也连接至总线304。
[0074]
设备300中的多个部件连接至i/o接口305，包括：输入单元306，例如键盘、鼠标等；输出单元307，例如各种类型的显示器、扬声器等；存储单元308，例如磁盘、光盘等；以及通信单元309，例如网卡、调制解调器、无线通信收发机等。通信单元309允许设备300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0075]
处理单元301执行上文所描述的各个方法和处理，其被有形地包含于机器可读介质，例如存储单元308。在一些实施例中，计算机程序的部分或者全部可以经由rom 302和/
或通信单元309而被载入和/或安装到设备300上。当计算机程序加载到ram 703并由cpu 301执行时，可以执行上文描述的方法的一个或多个步骤。备选地，在其他实施例中，cpu 301可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述方法。
[0076]
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)等等。
[0077]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0078]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0079]
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
[0080]
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。