图像元素匹配方法、装置、设备以及存储介质与流程

1.本技术涉及智能交通领域，尤其涉及一种图像元素匹配方法、装置、设备以及存储介质。


背景技术：

2.在现有的道路应用场景（如道路自动化、高精地图、自动驾驶等场景）中，往往需要识别并关联不同道路图像中的同一个图像元素来实现目标跟踪、地图生成等计算机视觉任务。在传统方案中一般采用图像特征点匹配、卡尔曼滤波等方式实现，一方面此类方案的准确度不够，道路图像更新的范围和频率较高，数据采集量非常巨大，另一方面也会消耗巨大的人力物力，难以广泛性应用。
3.因此，如何高效准确地确定不同道路图像中的相同图像元素成为亟需解决的问题。


技术实现要素：

4.本技术实施例提供一种图像元素匹配方法、装置、设备以及存储介质，可准确高效地确定不同道路图像中相同的图像元素，适用性高。
5.一方面，本技术实施例提供一种图像元素匹配方法，该方法包括：确定第一道路图像对应的深度图，上述深度图的每一像素点的图像深度表示对应的图像元素与拍摄设备之间的距离，上述第一道路图像为上述拍摄设备沿第一行进轨迹拍摄的任一道路图像；确定与上述第一道路图像相匹配的第二道路图像，基于上述深度图，确定上述第一道路图像中的第一图像元素在上述第二道路图像中的预测区域；确定上述第一图像元素的元素类型，若上述预测区域中包括与上述元素类型相同的第二图像元素，则确定上述第一图像元素和上述第二图像元素为相同的图像元素。
6.另一方面，本技术实施例提供了一种图像元素匹配装置，该装置包括：确定模块，用于确定第一道路图像对应的深度图，上述深度图的每一像素点的图像深度表示对应的图像元素与拍摄设备之间的距离，上述第一道路图像为上述拍摄设备沿第一行进轨迹拍摄的任一道路图像；预测模块，用于确定与上述第一道路图像相匹配的第二道路图像，基于上述深度图，确定上述第一道路图像中的第一图像元素在上述第二道路图像中的预测区域；判断模块，用于确定上述第一图像元素的元素类型，若上述预测区域中包括与上述元素类型相同的第二图像元素，则确定上述第一图像元素和上述第二图像元素为相同的图像元素。
7.另一方面，本技术实施例提供了一种电子设备，包括处理器和存储器，该处理器和存储器相互连接；上述存储器用于存储计算机程序；
上述处理器被配置用于在调用上述计算机程序时，执行本技术实施例提供的图像元素匹配方法。
8.另一方面，本技术实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行以实现本技术实施例提供的图像元素匹配方法。
9.另一方面，本技术实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序或计算机指令，上述计算机程序或计算机指令被处理器执行时实现本技术实施例提供的图像元素匹配方法。
10.在本技术实施例中，由于第一道路图像对应的深度图可用于表征第一道路图像中各像素点与拍摄设备之间的距离，因此通过第一道路图像对应的深度图，可在充分考虑图像元素与拍摄设备之间的距离的情况下，准确高效地确定出第一道路图像中第一图像元素在第二道路图像中的预测位置。并且通过判断预测区域中第二图像元素的元素类型，可在预测区域中包括图像元素的情况下，进一步确保预测区域中的第二图像元素与第一道路图像中第一图像元素为相同的图像元素，进一步提升图像元素匹配的准确性，适用性高。
附图说明
11.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
12.图1是本技术实施例提供的图像元素匹配方法的流程示意图；图2是本技术实施例提供的道路图像示意图；图3是本技术实施例提供的道路图像和深度图的示意图；图4是本技术实施例提供的确定拍摄位置的场景示意图；图5是本技术实施例提供的确定干扰图像元素的场景示意图；图6a是本技术实施例提供的确定第一图像特征点的一场景示意图；图6b是本技术实施例提供的确定第一图像特征点的另一场景示意图；图7是本技术实施例提供的确定道路图像间特征对的场景示意图；图8是本技术实施例提供的确定第一图像元素的场景示意图；图9a是本技术实施例提供的神经网络的一结构示意图；图9b是本技术实施例提供的神经网络的另一结构示意图；图10是本技术实施例提供的确定预测区域的方法流程图；图11是本技术实施例提供的深度图的示意图；图12是本技术实施例提供的确定目标区域的场景示意图；图13是本技术实施例提供的平面成像的示意图；图14是本技术实施例提供的像素点和对极线的映射关系的场景示意图；图15是本技术实施例提供的预测区域的场景示意图；图16a是本技术实施例提供的关联图像元素的一场景示意图；图16b是本技术实施例提供的关联图像元素的另一场景示意图；
图17是本技术实施例提供的图像元素匹配装置的结构示意图；图18是本技术实施例提供的电子设备的结构示意图。
具体实施方式
13.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
14.本技术实施例提供的图像元素匹配方法可适用于地图、导航、自动驾驶、智能车辆控制、车联网、智能交通以及云计算等领域，如可适用于交通领域中的智慧交通系统（intelligent traffic system，its）以及智能车路协同系统（intelligent vehicle infrastructure cooperative systems，ivics）。
15.其中，智能交通系统又称智能运输系统（intelligent transportation system），是将先进的科学技术（信息技术、计算机技术、数据通信技术、传感器技术、电子控制技术、自动控制理论、运筹学、人工智能等）有效地综合运用于交通运输、服务控制和车辆制造，加强车辆、道路、使用者三者之间的联系，从而形成一种保障安全、提高效率、改善环境、节约能源的综合运输系统。基于本技术实施例提供的图像元素匹配方法，可实时对车辆的实际行驶轨迹进行确定和调整，从而为交通运输、服务控制等方面提供有力保障。
16.其中，智能车路协同系统简称车路协同系统，是智能交通系统（its）的一个发展方向。车路协同系统是采用先进的无线通信和新一代互联网等技术，全方位实施车车、车路动态实时信息交互，并在全时空动态交通信息采集与融合的基础上开展车辆主动安全控制和道路协同管理，充分实现人车路的有效协同，保证交通安全，提高通行效率，从而形成的安全、高效和环保的道路交通系统。基于本技术实施例提供的图像元素匹配方法，可为交通安全、车路协同提供技术支持。
17.本技术实施例提供的图像元素匹配方法还可适用于道路图像匹配和跟踪等计算机视觉任务，或者道路生产地动画、高精度地图生成等以图像元素匹配为基础或主要辅助手段的相关领域之中，以提升图像元素匹配的效率和准确性。
18.本技术实施例提供的图像元素匹配方法可由终端或者服务器执行，其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端、智能电视等，但并不局限于此。
19.参见图1，图1是本技术实施例提供的图像元素匹配方法的流程示意图。如图1所示，本技术实施例提供的图像元素匹配方法可包括如下步骤：步骤s11、确定第一道路图像对应的深度图。
20.在一些可行的实施方式中，第一道路图像为拍摄设备沿第一行进轨迹所拍摄的各道路图像中的任一道路图像，其中，上述拍摄设备可以为移动终端、行车记录仪等具有图像采集能力的设备，在此不做限制。
21.作为一示例，第一道路图像可以为车辆在沿第一行进轨迹行驶过程中，行车记录仪所拍摄的道路图像中的任一道路图像。
22.如图2所示，图2是本技术实施例提供的道路图像示意图。图2示出了行车记录仪在车辆沿第一行进轨迹行驶过程中所拍摄的一道路图像，因此可将其确定为第一道路图像。并且该道路图像中包括车道线、交通指示牌、拍摄水印以及其他车辆等图像元素。
23.作为一示例，第一道路图像可以为行人在沿第一行进轨迹行走过程中，通过移动终端所拍摄的道路图像中的任一道路图像。
24.其中，上述拍摄设备可根据预设时间间隔或者预设距离间隔拍摄道路图像，且预设时间间隔或者预设距离间隔可基于实际应用场景需求确定，在此不做限制。
25.可选地，在选择第一道路图像时，可确定拍摄设备沿第一行进轨迹拍摄各道路图像时的定位信息，进而基于定位信息确定拍摄设备沿第一行进轨迹拍摄各道路图像时的第一定位点以及行进方向。
26.进一步地，对于拍摄设备沿第一行进轨迹拍摄的任一道路图像，可确定拍摄设备在拍摄该道路图像时的第一定位点与第一行进轨迹的直线距离、以及确定拍摄设备在拍摄该道路图像时的行进方向相较于第一行进轨迹的方向偏差。若拍摄设备在拍摄该道路图像时的第一定位点与第一行进轨迹的直线距离大于或者等于一定阈值（为方便描述，以下称为第五阈值），和/或拍摄设备在拍摄该道路图像时的行进方向相较于第一行进轨迹的方向偏差大于或者等于一定阈值（为方便描述，以下称为第六阈值），则说明该道路图像为拍摄设备不是在正常行进过程中所拍摄的道路图像，因此可去除该道路图像并从剩余的道路图像中选择第一道路图像。
27.其中，第一定位点与第一行进轨迹的直线距离为第一定位点至第一行进轨迹的投影距离，拍摄设备拍摄任一道路图像时的行进方向相较于第一行进轨迹的方向偏差，为拍摄设备拍摄该道路图像时的行进方向与对应行进点在第一行进轨迹中的行进方向的方向偏差，该行进点为拍摄设备在拍摄该道路图像时的第一定位点至第一行进轨迹的投影点。
28.可选地，在选择第一道路图像时，可基于实际选择需求进行选择，如将拍摄设备沿第一行进轨迹拍摄的道路图像中位于预设位置的道路图像确定为第一道路图像，或者将包括预设图像元素（如预设建筑物、预设交通指示牌等）的道路图像确定为第一道路图像，或者将在预设时间拍摄的道路图像确定为第一道路图像等，具体可基于实际应用场景需求确定，在此不做限制。
29.在一些可行的实施方式中，第一道路图像对应的深度图的每一像素点的图像深度表示对应的图像元素与拍摄设备之间的距离。在确定第一道路对应的深度图时，可确定第一道路图像中各像素点对应的图像元素之间的相对距离。
30.具体可通过特征处理网络对第一道路图像进行处理，得到第一道路图像的图像特征，进而基于景深估计网络确定第一道路图像中各像素点对应的图像元素之间的相对距离。
31.其中，上述景深估计网络为神经网络模型，可基于训练样本集预先训练得到，训练样本集中包括多个样本道路图像。在具体训练时，可将各样本道路图像的图像特征输入初始景深估计网络，得到各样本道路图像中各像素点对应的图像元素之间的预测相对距离，进而基于各样本道路图像中各像素点对应的图像元素之间的真实相对距离和预测相对距离确定训练损失值（为方便描述，以下称为第一训练损失值）。基于训练样本集和第一训练损失值对初始景深估计网络进行迭代训练，直至第一训练损失值符合训练结束条件时，将
训练结束时的网络确定为最终的景深估计网络。
32.其中，上述训练样本集可基于已有的道路图像构建，也可基于kitti数据集构建。kitti数据集包含市区、乡村和高速公路等场景采集的真实道路图像数据，基于kitti数据集可构建出用于训练景深估计网络的训练样本集。
33.进一步地，基于第一道路图像中图像元素之间的相对距离，以及拍摄设备在拍摄第一道路图像时的拍摄位置，可确定第一道路图像中各图像元素与拍摄设备之间的距离，从而基于第一道路图像中各图像元素与拍摄设备之间的距离，通过小孔成像原理可得到第一道路图像对应的深度图。
34.在确定第一道路图像中各像素点对应的图像元素与拍摄设备之间的距离时，可确定第一道路图像中的固定图像元素，如建筑物、指示牌等位置保持不变的图像元素，进而基于第一行进轨迹所在路网的道路数据，确定该固定图像元素的位置。同时，通过拍摄设备在拍摄第一道路图像时的定位信息可确定拍摄设备在拍摄第一道路图像时的拍摄位置，进而基于固定图像元素的位置以及拍摄设备在拍摄第一道路图像时的拍摄位置，可确定固定图像元素与拍摄设备之间的距离。
35.在得到固定图像元素与拍摄设备之间的距离之后，可基于第一道路图像中各图像元素之间的相对距离，确定出第一道路图像中各图像元素与拍摄设备之间的距离，以进一步通过小孔成像原理得到第一道路图像对应的深度图。
36.或者，可确定第一道路图像在第一行进轨迹中相邻的道路图像（为方便描述，以下称为第三道路图像），并确定第三道路图像中各图像元素之间的相对距离。同时，确定拍摄设备在拍摄第一道路图像和第三道路图像的拍摄位置的距离差值，并确定第一道路图像和第三道路图像中相同固定图像元素所对应的相对距离的变化差值，并基于此确定图像元素与拍摄位置之间的距离与相对距离的对应关系，进而基于此对应关系确定第一道路图像中各图像元素与拍摄设备之间的距离。
37.可选地，也可基于其他装置直接确定道路图像中各图像元素与拍摄设备之间的距离，如通过车载激光雷达来确定道路图像中各图像元素与拍摄设备之间的距离，在此不做限制。
38.参见图3，图3是本技术实施例提供的道路图像和深度图的示意图。如图3示出了一行车记录仪所拍摄的第一道路图像，基于上述方式可确定图3中第一道路图像对应的深度图。深度图中每一像素点的图像深度表示该像素点对应的图像元素与行车记录仪之间的距离，即对于图3中的第一道路图像而言，行车记录仪所拍摄的图像元素越远，在该图像元素对应于深度图中的像素点的图像深度越大。其中，对于深度图而言，像素点的图像深度越大，其灰度值越大，颜色越深，像素点的图像深度越小，其灰度值越小，颜色也就越浅。
39.例如，第一道路图像中包括两个交通指示牌，分别为用于指示方向的指示牌1和用于指示行驶速度的指示牌2，且从第一道路图像中可知指示牌1与行车记录仪之间的距离小于指示牌2与行车记录仪之间的距离。在确定出第一道路图像的深度图之后，指示牌1所在区域中的某一像素点的图像深度为5，指示牌2所在区域的某一像素点的图像深度为8，从而不难确定指示牌2与行车记录仪之间的距离大于指示牌1与行车记录仪之间的距离。
40.其中，基于深度图中每一像素点的深度可确定对应的图像元素与行车记录仪之间的距离，即可基于像素点与距离的换算关系确定深度图中各像素点对应的图像元素与行车
记录仪之间的距离。
41.在一些可行的实施方式中，拍摄设备在拍摄第一道路图像时的拍摄位置可以由拍摄设备在拍摄第一道路图像时的定位信息来确定。如基于定位信息的经纬度信息确定第一定位点，将第一定位点确定为拍摄设备在拍摄第一道路图像时的拍摄位置。
42.由于基于定位信息所确定出的第一定位点往往与拍摄设备拍摄第一道路图像时所处的实际位置存在误差，因此可基于第一道路图像所对应的第一行进轨迹以及第一定位点，确定拍摄设备拍摄第一道路图像时的拍摄位置。
43.具体可在确定拍摄设备拍摄第一道路图像时的第一定位点之后，确定第一定位点对应于第一行进轨迹的投影位置，将投影位置确定为拍摄设备拍摄第一道路图像时的拍摄位置。
44.参见图4，图4是本技术实施例提供的确定拍摄位置的场景示意图。如图4所示，点a为基于定位信息确定的拍摄设备在拍摄第一道路图像时的第一定位点，进一步可将第一定位点至第一行进轨迹的投影位置b确定为拍摄设备在拍摄第一道路图像时的拍摄位置。也即将第一行进轨迹中与第一定位点距离最近的位置确定为拍摄设备在拍摄第一道路图像时的拍摄位置。
45.在一些可行的实施方式中，还可基于差分gps来确定拍摄设备在拍摄任一道路图像时的拍摄位置时。即首先利用已知精确三维坐标的差分gps基准台，求得伪距修正量或位置修正量，再将这个修正量对拍摄设备的定位信息进行修正，得到拍摄设备在拍摄道路图像的拍摄位置。
46.步骤s12、确定与第一道路图像相匹配的第二道路图像，基于深度图，确定第一道路图像中的第一图像元素在第二道路图像中的预测区域。
47.在一些可行的实施方式中，与第一道路图像相匹配的第二道路图像，为拍摄设备沿第二行进轨迹拍摄的各道路图像中的道路图像，且该道路图像可能包括与第一道路图像中相同的固定图像元素，如包括相同的交通指示牌或相同的建筑物等。
48.其中，第二行进轨迹与第一道路图像对应的第一行进轨迹可以为相同行进轨迹，即第一道路图像和第二道路图像可以为同一行进轨迹中的不同道路图像。或者，第一行进轨迹和第二行进轨迹可以为不同的行进轨迹，如拍摄设备所在车辆在不同时间的行使相同道路或者不同道路所产生的行进轨迹，也即第一道路图像和第二道路图像可以为不同行进轨迹中的不同道路图像。
49.具体地，在确定与第一道路图像相匹配的第二道路图像时，可先确定第一道路图像的图像特征点、以及拍摄设备沿第二行进轨迹拍摄的各道路图像的图像特征点，进一步根据第一道路图像的图像特征点、以及对应于第二行进轨迹的各道路图像的图像特征点，从对应于第二行进轨迹的各道路图像中确定出与第一道路图像相匹配的第二道路图像。
50.在确定道路图像的图像特征点时，可同样通过神经网络来确定道路图像的图像特征点，如通过d2net、superpoint等网络确定道路图像的图像特征点。需要特别说明的是，对于第一道路图像和对应于第二行进轨迹的各道路图像，需要采用同一种神经网络来确定特征点。
51.其中，任一道路图像中的图像特征点为该道路图像中灰度值发生显著变化的像素点或者曲率变化较大的像素点（如图像边缘的点），且每一图像特征点可包含丰富的图像信
息。进而任一道路图像的图像特征点可在一定程度上标识图像中的各图像元素以反映道路图像的本质内容。
52.对于对应于第二行进轨迹的各道路图像中的任一道路图像，可对该道路图像的图像特征点和第一道路图像的图像特征点进行特征点匹配，即对于该道路图像的每一图像特征点，从第一道路图像中确定出与之相匹配的图像特征点。进一步可确定该道路图像和第一道路图像对应的特征对的数量，若特征对的数量大于一定阈值（为方便描述，以下称为第一阈值），则可确定该道路图像和第一道路图像中大多数的图像元素相同，进而可确定该道路图像为与第一道路图像相匹配的第二道路图像。
53.其中，该道路图像和第二道路图像对应的每一特征对包括该道路图像中的一个图像特征点和第一道路图像中与该图像特征点相匹配的图像特征点。道路图像之间的特征点匹配可基于flann算法、superglue算法等方式实现，在此不做限制。并且上述第一阈值可基于实际应用场景需求确定，如第一阈值可以为40，在此不做限制。
54.可选地，由于道路图像中往往包括非固定图像元素，如行人、来往车辆甚至图像水印等，从而在对对应于第二行进轨迹的任一道路图像和第一道路图像的图像特征点进行特征点匹配时，非固定图像元素对应的特征点会对匹配结果产生影响，从而造成确定出的第二道路图像和第一道路图像可能并不包括相同的固定图像元素。
55.基于此，在确定第一道路图像的图像特征点和对应于第二行进轨迹的各道路图像的图像特征点之后，可进一步确定第一道路图像和对应于第二行进轨迹的各道路图像中的干扰图像元素。干扰图像元素及道路图像中的非固定图像元素，如车辆后视镜、行人等，具体可基于实际应用场景需求确定，在此不做限制。
56.参见图5，图5是本技术实施例提供的确定干扰图像元素的场景示意图。若干扰图像元素为车辆、行人、水印、动物等，则对于图2所示的道路图像进行干扰图像元素识别之后，可确定图2中的车辆（行车记录仪所在车辆以及前方车辆）和水印为干扰图像元素。
57.其中，可基于干扰识别网络确定道路图像中的干扰图像元素，且干扰识别网络同样为神经网络模型。具体可通过特征处理网络对道路图像进行处理，得到道路图像的图像特征，进而基于干扰识别网络确定道路图像中的干扰图像元素。
58.其中，上述干扰识别网络同样可基于多个样本道路图像训练得到。在具体训练时，可将各样本道路图像的图像特征输入初始干扰识别网络，得到各样本道路图像的干扰图像元素。其中，各样本道路图像中的各图像元素标注有样本标签，每一样本标签表征了对应的图像元素为干扰图像元素或为非干扰图像元素之外的其他图像元素。进而基于初始干扰识别网络所预测得到的干扰图像元素和其实际是否为干扰图像元素确定训练损失值（为方便描述，以下称为第二训练损失值），并基于第二训练损失值和各样本道路图像对初始干扰识别网络进行迭代训练，直至第二训练损失值符合训练结束条件时，将训练结束时的网络确定为最终的干扰识别网络。
59.其中，上述训练样本集同样可基于已有的道路图像构建，也可基于kitti数据集构建，在此不做限制。
60.进一步地，将第一道路图像中位于干扰图像元素所在区域之外的图像特征点确定为第一图像特征点，将对应于第二行进轨迹的任一道路图像中位于干扰图像元素所在区域之外的图像特征点确定为第二图像特征点。
61.其中，在确定第一图像特征点或第二图像特征点时，可先确定道路图像中的干扰图像元素，进而确定道路图像中干扰图像所在区域外的图像特征点，并将其作为第一图像特征点或第二图像特征点。
62.以第一道路图像为例，参见图6a，图6a是本技术实施例提供的确定第一图像特征点的一场景示意图。对于图2所示的第一道路图像，可确定并去除其中的干扰图像元素，得到去除干扰图像元素后的第一道路图像。进一步确定去除干扰图像元素后的第一道路图像中的图像特征点，得到第一道路图像中的第一图像特征点。
63.其中，在确定第一图像特征点或第二图像特征点时，还可先确定道路图像中的所有图像特征点和干扰图像元素，进而将位于干扰图像元素所在区域的图像特征点去除，得到第一图像特征点或第二图像特征点。
64.以第一道路图像为例，参见图6b，图6b是本技术实施例提供的确定第一图像特征点的另一场景示意图。对于图2所示的第一道路图像，可先行确定出第一道路图像所有的所有图像特征点，并确定第一道路图像中的干扰图像元素（车辆和水印）。基于此，可将第一道路图像中位于车辆、水印所在区域之外的图像特征点确定为第一道路图像的第一图像特征点。
65.进一步地，对于对应于第二行进轨迹的每一道路图像，可确定该道路图像和第一道路图像对应的特征对，此时该特征对包括一个第一图像特征点和与该第一图像特征点相匹配的第二图像特征点。若确定出的特征对的数量大于第一阈值，则确定该道路图像为与第一道路图像相匹配的第二道路图像。
66.如图7所示，图7是本技术实施例提供的确定道路图像间特征对的场景示意图。将图2所示的第一道路图像去除干扰图像元素以及干扰图像元素所在区域的图像特征点之后，得到图7中包括第一图像特征点的第一道路图像。图7中第二道路图像为车辆在同一行进轨迹不同时间所对应的道路图像，在去除其中干扰图像元素所在区域的图像特征点之后，得到图7中包括第二图像特征点的第二道路图像。从图7中不难发现，第二道路图像中不存在与第一道路图像中方向指示牌对应的第一图像特征点相匹配的第二图像特征点，第一道路图像中路沿和限速指示牌对应的第一图像特征点分别与第二道路图像中路沿和限速指示牌对应的第二图像特征点相匹配，由此不难得到第一道路图像和第二道路图像所对应的特征对。
67.在一些可行的实施方式中，在确定拍摄设备沿第二行进轨迹拍摄的各道路图像时，可先确定拍摄设备沿第二行进轨迹拍摄的初始图像，进一步基于拍摄设备在拍摄各初始图像时的定位信息，从各初始图像中筛选出拍摄设备沿第二行进轨迹拍摄的道路图像。
68.具体地，可确定拍摄设备沿第二行进轨迹拍摄各初始图像时的定位信息，进而基于定位信息确定拍摄设备沿第二行进轨迹拍摄各初始图像时的第二定位点以及行进方向。进一步将符合预设条件的初始图像确定为拍摄设备沿第二行进轨迹所拍摄的道路图像，上述预设条件包括以下至少一项：拍摄设备的第二定位点与第二行进轨迹的距离小于第五阈值；拍摄设备的行进方向相较于第二行进轨迹的方向变差小于第六阈值。
69.也就是说，对于拍摄设备沿第二行进轨迹拍摄的任一初始图像，若拍摄设备在拍摄该初始图像时的第二定位点与第二行进轨迹的直线距离小于第五阈值，和/或，拍摄设备
在拍摄该初始图像时的行进方向相较于第二行进轨迹的方向偏差小于第六阈值，则可将该初始图像确定为拍摄设备沿第二行进轨迹所拍摄一幅道路图像。
70.若拍摄设备在拍摄该初始图像时的第二行为点与第二行进轨迹的直线距离不小于第五阈值，和/或，拍摄设备在拍摄该初始图像时的行进方向相较于第二行进轨迹的方向偏差不小于第六阈值，则说明该初始图像很可能不是在正常行进过程中所拍摄的图像，如调整行车记录仪时所拍摄的道路图像，或者行人在行走过程中的自拍图像等。
71.其中，上述第五阈值和第六阈值具体可基于实际应用场景需求确定，在此不做限制。
72.其中，第二定位点与第二行进轨迹的直线距离为第二定位点至第二行进轨迹的投影距离，拍摄设备拍摄任一初始图像时的行进方向相较于第二行进轨迹的方向偏差，为拍摄设备拍摄该初始图像时的行进方向与对应行进点在第二行进轨迹中的行进方向的方向偏差，该行进点为拍摄设备在拍摄该初始图像时的第二定位点至第二行进轨迹的投影点。
73.可选地，在确定拍摄设备沿第二行进轨迹拍摄的各道路图像时，可基于实际选择需求从拍摄设备沿第二行进轨迹拍摄的各初始图像中进行选择，如将拍摄设备沿第二行进轨迹拍摄的初始图像中位于预设位置的至少一个初始图像确定为拍摄设备拍摄的道路图像，或者将包括预设图像元素（如预设建筑物、预设交通指示牌等）的至少一个初始图像确定为拍摄设备拍摄的道路图像，或者将在预设时间段内拍摄的初始图像确定为拍摄设备拍摄的道路图像等，具体可基于实际应用场景需求确定，在此不做限制。
74.在一些可行的实施方式中，在确定出第一道路图像对应的深度图之后，可确定第一道路图像中的第一图像元素在第二道路图像中的预测区域。其中，第一图像元素为第一道路图像中任一图像元素，如可以为预设图像元素，也可以为基于用户选择操作所确定出的图像元素，具体可基于实际应用场景需求确定，在此不做限制。
75.其中，第一道路图像中的第一图像元素还可基于目标检测网络确定，且目标检测网络同样为神经网络模型。具体可通过特征处理网络对道路图像进行处理，得到道路图像的图像特征，进而基于目标检测网络确定道路图像中的干扰图像元素。参见图8，图8是本技术实施例提供的确定第一图像元素的场景示意图。若本技术实施例中的第一图像元素为指示牌，基于目标检测网络可确定出图2所示的第一道路图像中的指示牌，并将其作为第一道路图像中的第一图像元素。
76.其中，上述目标检测网络同样可基于多个样本道路图像训练得到。在具体训练时，可将各样本道路图像的图像特征输入初始目标检测网络，得到各样本道路图像的预测图像元素。其中，各样本道路图像标注有样本标签，每一样本标签表征了对应的道路图像中的实际图像元素。进而基于初始目标检测网络得到的预测图像元素和实际图像元素确定训练损失值（为方便描述，以下称为第三训练损失值），并基于第三训练损失值和各样本道路图像对初始目标检测网络进行迭代训练，直至第三训练损失值符合训练结束条件时，将训练结束时的网络确定为最终的目标检测网络。
77.基于训练得到的目标检测网络可检测第一道路图像中的图像元素，并从中确定出第一图像元素。若各样本道路图像中的图像元素均为第一图像元素，则基于训练得到的目标检测网络可直接检测到第一道路图像中的第一图像元素。
78.其中，上述训练样本集同样可基于已有的道路图像构建，也可基于kitti数据集构
建，在此不做限制。
79.可选地，目标检测网络和干扰识别网络可以为同一类型检测网络，通过类型检测网络可确定道路图像中每一像素点的类型，进而基于每一像素点的类型确定出道路图像中不同类型的图像元素，进而可从中确定出道路图像中的第一图像元素以及干扰图像元素。
80.可选地，上述目标检测网络、干扰识别网络以及景深估计网络的输入可以为同一特征处理网络输出的图像特征，也即目标检测网络、干扰识别网络以及景深估计网络分别为特征处理网络的下一级网络。以第一道路图像为例，参见图9a，图9a是本技术实施例提供的神经网络的一结构示意图。如图9a所示，经特征处理网络对第一道路图像进行处理后可得到第一道路图像的图像特征，基于目标检测网络对该图像特征进行处理之后可得到第一道路图像中的第一图像元素，基于干扰识别网络对该图像特征进行处理之后可得到第一道路图像中的干扰图像元素，基于景深估计网络对该图像特征处理之后可得到第一道路图像对应的深度图。
81.可选地，参见图9b，图9b是本技术实施例提供的神经网络的另一结构示意图。如图9b所示，同样以第一道路图像为例，上述目标检测网络、干扰识别网络以及景深估计网络可以为独立的神经网络模型，即均可独立对第一道路图像进行特征处理得到第一道路图像的图像特征，并进一步对得到的图像特征进行处理得到第一道路图像的第一图像元素、干扰图像元素以及深度图。并且，当上述目标检测网络、干扰识别网络以及景深估计网络分别为独立的神经网络模型时，目标检测网络、干扰识别网络以及景深估计网络对第一道路图像进行特征处理时的特征处理网络可以相同、也可以不同，在此不做限制。
82.在一些可行的实施方式中，在确定出第一道路图像中的第一图像元素之后，确定第一图像元素在第二道路图像中的预测区域的具体方式可参见图10。图10是本技术实施例提供的确定预测区域的方法流程图，图10所示的确定预测区域的方法具体可包括如下步骤：步骤s101、基于第一图像元素，确定深度图中的目标区域。
83.在一些可行的实施方式中，目标区域包括第一图像元素对应的第一图像特征点中的第三图像特征点，各第三图特征点的数量大于第二阈值，且任意两个第三图像特征点对应的图像深度的差值小于第三阈值。
84.为避免基于景深估计网络所确定出的深度图中某些像素点（也即图像特征点）的图像深度与其实际图像深度差异较大，因此可先确定第一图像元素所在区域的各第一图像特征点对应的图像深度，将图像深度相同或者相近（差值小于第三阈值）的第一图像特征点作为第三图像特征点。
85.其中，第一图像元素所在区域的每一第一图像特征点在第二道路图像中存在与之相匹配的第二图像特征点。
86.进一步地，将先前确定出的第三图像特征点所对应的区域确定为初始区域，若初始区域中的第三图像特征点的数量较小，则其与第一图像元素相关的信息较少，因而基于初始区域所确定出第一图像元素在第二道路图像中的预测区域可能存在误差。基于此，可确定初始区域中第三图像特征点的数量，若数量小于第二阈值，则膨胀初始区域，直至其中的第三图像特征点的数量大于第二阈值且各第三图像特征点对应的图像深度之间的差值小于第三阈值时停止膨胀，并将停止膨胀时的初始区域确定为深度图中的目标区域。
87.其中，在对初始区域进行膨胀时，将与初始区域内第三图像特征点的图像深度差值不小于第三阈值、且在第二道路图像中不存在与之相匹配的第二图像特征点的图像特征点排除在外，不计入初始区域之中。也即初始区域中新增的第三图像特征点满足以下条件：图像深度与初始区域中各第三图像特征点的图像深度的差值小于第三阈值；在第二道路图像中存在与之相匹配的第二图像特征点；干扰图像元素对应的图像特征点之外的其他图像特征点。
88.其中，上述初始区域的形状和膨胀方式、以及上述第二阈值和第三阈值具体可基于实际应用场景需求确定，在此不做限制。
89.参见图11，图11是本技术实施例提供的深度图的示意图。图11示出了第一道路图像对应的深度图，像素点的图像深度可直观反映出对应的图像元素与拍摄设备之间的距离，像素点的图像深度越大表示对应的图像元素距离拍摄设备越远，不同区域的像素点的图像深度存在差异。如图11中图像深度为12.8的像素点对应的图像元素相较于图像深度为17.3的像素点对应的图像元素更靠近拍摄设备。
90.同时，同一区域的像素点的图像深度往往差异较小，如第一图像元素所在区域的第一图像特征对应的图像深度之间并不会存在较大差异。如图11中第一图像元素所在区域包括3个第一图像特征点，在深度图中的图像深度分别为12.8、12.7以及13，从而可知2个第一图像特征点对应的图像元素与拍摄设备之间的距离相近。
91.基于此，对于上述初始区域而言，由于初始区域中的第三图像特征点大部分或者全部为第一图像元素对应的第一图像特征点，因此任意两个第三图像特征点对应的图像深度的差值小于第三阈值，即任意两个第三图像特征点对应的图像深度的差值在一定范围内，第三阈值较小时，表示任意两个第三图像特征点对应的图像深度的差值较小。
92.参见图12，图12是本技术实施例提供的确定目标区域的场景示意图。如图12所示，假设上述第二阈值为9，在初始区域中第三图像特征点的数量只有7，则需要对初始区域进行膨胀以囊括更多的第三图像特征点。当初始区域中第三图像特征点的数量大于9时，停止膨胀并在初始区域中各第三图像特征点之间图像深度的差值小于第三阈值的情况下，将停止膨胀时的初始区域确定为深度图中的目标区域。
93.基于上述实现方式，可使得目标区域中包括第一图像元素对应的绝大多数的第一图像特征点，并且可减少由于噪声等因素所导致深度图中部分像素点的深度误差。
94.步骤s102、基于目标区域，确定第一图像元素在第二道路图像中的预测区域。
95.在一些可行的实施方式中，在确定出深度图中的目标区域之后，可第二道路图像中与目标区域中各第三图像特征点相匹配的第二图像特征点。进一步确定与各第三图像特征点相匹配的各第二图像特征点所对应的区域，将该区域确定为第一道路图像中的第一图像元素在第二道路图像中的预测区域。也即第二道路图像中的预测区域可能包括与第一图像元素相同的图像元素。
96.可选地，可确定目标区域对应的各目标特征对，每一目标特征对包括目标区域中的一个第三图像特征点和第二道路图像中与该第三图像特征点相匹配的第二图像特征点。
97.进一步地，基于各目标特征对中各第三图像特征点和对应的第二图像特征点的位置信息，确定转移矩阵（也即单应矩阵）。该转移矩阵表征了目标特征对中各第三图像特征点与对应的第二图像特征点的位置变换关系，即对于目标特征对中的任一第三图像特征
点，可基于该第三图像特征点在第一道路图像中的坐标以及上述转移矩阵，确定出对应第二图像特征点在第二道路图像中的坐标。
98.其中，上述转移矩阵关于三维齐次矢量的一种线性变换，可以用一个3*3非奇异矩阵h表示。假设一目标特征对中包括第三图像特征点p1(x1,y1,1)和第二图像特征点p2(x2,y2,1)，转移矩阵为h，则存在：；基于多个目标特征对（如4对匹配的图像特征点）中第三图像特征点和第二图像特征点的坐标可确定出上述转移矩阵。具体计算过程可基于云计算或者相关函数，如opencv软件包中的findhomography()函数求解，在此不做限制。
99.当场景中的点都在一个平面上时，可通过转移矩阵表示场景中的点两个不同的成像平面之间的位置关系。如图13所示，图13是本技术实施例提供的平面成像的示意图。某一平面在不同映射方式下可得到在平面1中的图像1以及在平面2中的图像2。基于平面1和平面2中相匹配的点可确定图像1和图像2中同一点的位置关系，即基于转移矩阵可确定图像1中任一点在图像2中的位置。
100.由于上述目标区域中包括第一图像元素中的大部分或者全部第一图像特征点，且第一图像元素对应的各像素点（或者所有图像特征点）的图像深度互相之间相同或者相接近。因此对于第一图像元素而言，可将第一图像元素的各像素点视为同一平面中的像素点，从而可基于第一图像元素的各像素点的位置以及上述转移矩阵，确定第一图像元素的各像素点在第二道路图像中的预测位置，进而基于第一图像元素的各像素点在第二道路图像中的预测位置，确定第一图像元素在第二道路图像中的预测区域。
101.或者，可从第一图像元素的所有像素点中，确定出可以表征第一图像元素轮廓的目标像素点，进而基于各目标像素点的位置以及上述转移矩阵，确定各目标像素点在第二道路图像中的预测位置，从而基于各目标像素点在第二道路图像中的预测位置，确定第一图像元素在第二道路图像中的预测区域。
102.需要特别说明的是，若第一道路图像中包括多个第一图像元素，第一道路图像中的各第一图像元素分别对应于独立的基础矩阵。即对于每一第一图像元素，均需要确定该第一图像元素在深度图中的目标区域，并通过目标区域确定对应的基础矩阵，从而基于基础矩阵确定该第一图像元素在第二道路图像中的预测区域。
103.在一些可行的实施方式中，由于目标区域中的各第三图像特征点对应的图像深度可能不会完全相同，因此确定出的转移矩阵可能不能完全表征每一第三图像特征点和对应的第二图像特征点的位置变换关系，进而使得第一图像元素在第二道路图像中的预测区域与真实区域存在一定的误差。
104.基于此，可基于第一道路图像中的特征对确定基础矩阵，根据基础矩阵对第一图像元素的各像素点对应的预测位置进行调整，并基于调整后的预测位置，确定第一图像元素在第二道路图像中的预测区域。也即若第二道路图像中存在第一图像元素，则其所在位置位于上述预测区域之内。
105.其中，上述基础矩阵表征了各特征对中每一第一图像特征点与该第一图像特征点
在第二道路图像中的对极线之间的映射关系，且每一特征对中的第一图像特征点在第二道路图像中的预测位置位于该第一图像特征点对应于第二道路图像中的对极线之上。
106.如图14所示，图14是本技术实施例提供的像素点和对极线的映射关系的场景示意图。在图14中，平面p2是拍摄设备在位置o1拍摄平面p1得到的成像平面，平面p3是拍摄设备在位置o2拍摄平面p1得到的成像平面，即o1和o2分别为拍摄设备在不同拍摄角度的相机中心。相机中心的连线o
1 o2称为基线。e1和e2分别是基线与平面p2和p3的交点，e1为拍摄设备在位置o1拍摄平面p1时o2在平面p2的像素点，e2为拍摄设备在位置o2拍摄平面p1时o1在平面p2的像素点。
107.其中，x1为拍摄设备在位置o1拍摄平面p1时a1在平面p2的像素点，x2为拍摄设备在位置o2拍摄平面p1时a1在平面p2的像素点。基于基础矩阵h和x1的位置，可确定出a1在平面p3的位置x2。对极线为对极平面和成像平面的交线，对极平面为过基线的平面，且e1、e2、o1、o2、x1、x2以及a1在同一平面。
108.从以上信息可知，对于平面p1在不同视角得到的平面p2和平面p3，平面p2中任意一个像素点，在平面p3中都有一条与之对应的对极线。如平面p2中的像素点x2与平面p3中的对极线l1相对应，即fx2=l1。其中，f为基础矩阵，表示像素点x2与平面p3中的对极线l1的映射关系。
109.对于三维空间中的点a2，其与o1和a1在同一直线上，因此拍摄设备在位置o1拍摄平面p1时a1和a2在平面p2的像素点相同而图像深度不同。基于图14可知，拍摄设备在位置o2拍摄平面p1时a1和a2分别在平面p2的像素点x2和x3仍然位于同一对极线之上。
110.因此，在确定出基础矩阵之后，可基于基础矩阵确定第一图像元素的每一像素点在第二道路图像中的预测位置是否位于对应的对极线之上。若位于对应的对极线之上，则不对像素点的预测位置进行调整，若位于对应的对极线之外，则对像素点的预测位置进行调整使之位于对应的对极线之上，从而实现对第一图像元素的各像素点的预测位置的调整。基于调整后的预测位置所确定出的第一图像元素在第二道路图像中的预测区域具有较高的准确性。
111.在图14中，基础矩阵。
112.其中，r和t分别表示拍摄设备在位置o2时相较于在位置o1时的旋转和平移，ta为t的反对称矩阵，t表示转置，k表示拍摄设备的内参数，由拍摄设备的焦距、成像时像素点（块）的高和宽等确定。
113.基于此，在确定第一图像元素中各像素点在第二道路图像中的预测位置之后，可确定拍摄设备拍摄第二道路图像时相较于拍摄第一道路图像时的平移信息和旋转信息。进一步基于上述平移信息、旋转信息、拍摄设备的焦距以及多个特征对来确定出基础矩阵。
114.其中，确定基础矩阵时的特征对的数量大于第四阈值，且第四阈值为大于或者等于7的整数。即在确定拍摄设备拍摄第二道路图像时相较于拍摄第一道路图像时的平移信息、旋转信息以及拍摄设备的焦距之后，至少还需要第一道路图像和第二道路图像中至少7对相匹配的图像特征点才能确定出上述基础矩阵。
115.其中，在确定基础矩阵时所采用的特征对，可以是第一道路图像和第二道路图像中任意相匹配的图像特征点，也可以为深度图中目标区域所包括的特征对，具体可基于实际应用场景需确定，在此不做限制。
116.步骤s13、确定第一图像元素的元素类型，若预测区域中包括与元素类型相同的第二图像元素，则确定第一图像元素和第二图像元素为相同的图像元素。
117.在一些可行的实施方式中，在确定出第一图像元素在第二道路图像中的预测区域之后，可确定第一图像元素的元素类型。若在第二道路图像中的预测区域中包括相同元素类型的第二图像元素，则可确定第一图像元素和第二图元素为不同道路图像中的同一图像元素。
118.其中，上述元素类型的划分方式具体可基于实际应用场景需求确定，如可将道路图像中图像元素的元素类型划分为交通指示牌、建筑物以及路灯等，也可将道路图像中图像元素的元素类型划分为道路设施、路边建筑以及广告牌等，在此不做限制。
119.例如，如图15所示，图15是本技术实施例提供的预测区域的场景示意图。第一道路图像为图2所示的道路图像，图15所示的是同一行车记录仪在行驶过程中的不同时间所拍摄的第二道路图像。若第一图像元素是图2中的限速指示牌，第二道路图像的预测区域中同样包括限速指示牌，则可确定第一图像道路中的限速指示牌和第二图像元素的限速指示牌为同一限速指示牌。
120.可选地，为进一步减少由图像特征点的图像深度以及计算过程所带来的误差，提升容错率，可对确定出的预测区域扩大处理得到膨胀预测区域。其中膨胀预测区域包括此前确定出的预测区域，且具体膨胀方式在此不做限制。
121.进一步地，可确定膨胀预测区域中是否包含与第一图像元素相同元素类型的第二图像元素，若包括，则确定第二道路图像中的第二图像元素与第一图像元素为同一图像元素。
122.基于本技术实施例提供的方法，可对同一行进轨迹中不同道路图像中的相同图像元素进行关联。如图16a所示了行车记录仪在车辆行驶过程中相隔5秒所拍摄的两幅道路图像，基于本技术实施例提供的方法可确定两幅道路图像中相同的图像元素并进行关联。
123.可选地，基于本技术实施例提供的方法，可对不同行进轨迹中的道路图像中的相同图像元素进行关联。如图16b所示了不同日期的行进轨迹在经过相同位置时拍摄的两副道路图像，基于本技术实施例提供的方法可确定两个道路图像中相同的图像元素并进行关联。
124.本技术实施例中涉及到的神经网络训练、转移矩阵的计算、基础矩阵的计算以及其他数据处理过程，可基于计算机技术以及云计算等方式进行。其中，云计算是网格计算（grid computing)、分布式计算（distributed computing)、并行计算（parallel computing)、效用计算（utility computing)、网络存储（network storage technologies)、虚拟化（virtualization)、负载均衡（load balance)等传统计算机和网络技术发展融合的产物，基于云计算可提升本技术实施例中数据处理和计算的效率。
125.本技术实施例中用于训练神经网络的样本道路图像、图像元素匹配结果以及各行进轨迹对应的各道路图像可存储于数据库(database)、云存储(cloud storage)或者区块链（blockchain）中，具体可基于实际应用场景需求确定，在此不做限制。
126.其中，数据库简而言之可视为电子化的文件柜——存储电子文件的处所，在本技术中可用于存储多人场景图像。区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链本质上是一个去中心化的数据库，是一串使用密
码学方法相关联产生的数据块。在本技术中，区块链中的每一个数据块均可存储以上信息和道路图像。云存储是在云计算概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术以及分布存储文件系统等功能，将网络中大量各种不同类型的存储设备（存储设备也称之为存储节点）通过应用软件或应用接口集合起来协同工作，共同存储以上道路图像。
127.在本技术实施例中，由于第一道路图像对应的深度图可用于表征第一道路图像中各像素点与拍摄设备之间的距离，因此通过第一道路图像对应的深度图，可在充分考虑图像元素与拍摄设备之间的距离的情况下，通过转移矩阵准确高效地确定出第一道路图像中第一图像元素在第二道路图像中的预测位置。并且通过判断预测区域中第二图像元素的元素类型，可在预测区域中包括图像元素的情况下，进一步确保预测区域中的第二图像元素与第一道路图像中第一图像元素为相同的图像元素，进一步提升图像元素匹配的准确性，适用性高。
128.参见图17，图17是本技术实施例提供的图像元素匹配装置的结构示意图。本技术实施例提供的图像元素匹配装置包括：确定模块171，用于确定第一道路图像对应的深度图，上述深度图的每一像素点的图像深度表示对应的图像元素与拍摄设备之间的距离，上述第一道路图像为上述拍摄设备沿第一行进轨迹拍摄的任一道路图像；预测模块172，用于确定与上述第一道路图像相匹配的第二道路图像，基于上述深度图，确定上述第一道路图像中的第一图像元素在上述第二道路图像中的预测区域；判断模块173，用于确定上述第一图像元素的元素类型，若上述预测区域中包括与上述元素类型相同的第二图像元素，则确定上述第一图像元素和上述第二图像元素为相同的图像元素。
129.在一些可行的实施方式中，上述确定模块171，用于：确定第一道路图像中各像素点对应的图像元素之间的相对距离；基于各上述相对距离、以及上述拍摄设备在拍摄上述第一道路图像时的拍摄位置，确定上述第一道路图像对应的深度图。
130.在一些可行的实施方式中，上述预测模块172，用于：确定上述第一道路图像的图像特征点；确定上述拍摄设备沿第二行进轨迹拍摄的各道路图像的图像特征点；基于上述第一道路图像的图像特征点、以及对应于上述第二行进轨迹的各上述道路图像的图像特征点，从对应于上述第二行进轨迹的各上述道路图像中确定与上述第一道路图像相匹配的第二道路图像。
131.在一些可行的实施方式中，上述预测模块172，用于：确定上述第一道路图像中的干扰图像元素；对于对应于上述第二行进轨迹的每一上述道路图像：确定该道路图像中的干扰图像元素；确定上述第一道路图像和该道路图像对应的特征对，每一上述特征对包括一个第一图像特征点和与该第一图像特征点相匹配的第二图像特征点，任一上述第一图像特征点为位于上述第一道路图像中的干扰图像元素所在区域之外的图像特征点，任一上述第二图
像特征点为位于该道路图像中的干扰图像元素所在区域之外的图像特征点；若上述特征对的数量大于第一阈值，则确定该道路图像为与上述第一道路图像相匹配的第二道路图像。
132.在一些可行的实施方式中，上述预测模块172，用于：基于上述第一图像元素，确定上述深度图中的目标区域，上述目标区域包括上述第一图像元素对应的第一图像特征点中的第三图像特征点，各上述第三图像特征点的数量大于第二阈值，且任意两个上述第三图像特征点对应的图像深度的差值小于第三阈值；基于上述目标区域，确定上述第一图像元素在上述第二道路图像中的预测区域。
133.在一些可行的实施方式中，上述预测模块172，用于：确定上述目标区域对应的各目标特征对，每一上述目标特征对包括一个上述第三图像特征点和与该第三图像特征点相匹配的第二图像特征点；基于各上述目标特征对确定转移矩阵，上述转移矩阵表征了各上述目标特征对中各上述第三图像特征点与对应的第二图像特征点的位置变换关系；基于上述转移矩阵，确定上述第一图像元素的各像素点在上述第二道路图像中的预测位置；基于各上述预测位置，确定上述第一图像元素在上述第二道路图像中的预测区域。
134.在一些可行的实施方式中，上述预测模块172，用于：基于各上述特征对，确定基础矩阵，上述基础矩阵表征了各上述特征对中各第一图像特征点与对应于上述第二道路图像中的对极线之间的映射关系，各上述特征对中每一第一图像特征点在第二道路图像中的预测位置位于该第一图像特征点对应于上述第二道路图像中的对极线之上；基于上述基础矩阵，对上述第一图像元素的各像素点对应的预测位置进行调整，并基于各调整后的预测位置，确定上述第一图像元素在上述第二道路图像中的预测区域。
135.在一些可行的实施方式中，上述预测模块172，用于：确定上述拍摄设备拍摄上述第二道路图像时相较于拍摄上述第一道路图像时的平移信息和旋转信息；基于上述平移信息、上述旋转信息、上述拍摄设备的焦距以及各上述特征对确定基础矩阵，其中，确定上述基础矩阵时的特征对的数量大于第四阈值。
136.在一些可行的实施方式中，上述确定模块171，还用于：上述拍摄设备拍摄上述第一道路图像时的第一定位点；确定上述第一定位点对应于上述第一行进轨迹的投影位置，将上述投影位置确定为上述拍摄设备在拍摄上述第一道路图像时的拍摄位置。
137.在一些可行的实施方式中，上述预测模块172，用于：确定上述拍摄设备沿上述第二行进轨迹所拍摄的各初始图像；确定上述拍摄设备在拍摄各上述初始图像时的定位信息，基于上述定位信息确定上述拍摄设备在拍摄各上述初始图像时的第二定位点以及行进方向；将符合预设条件的上述初始图像确定为上述拍摄设备沿第二行进轨迹所拍摄的道路图像，上述预设条件包括以下至少一项：
上述拍摄设备的第二定位点与上述第二行进轨迹的距离小于第五阈值；上述拍摄设备的行进方向相较于上述第二行进轨迹的方向偏差小于第六阈值。
138.具体实现中，上述图像元素匹配装置可通过其内置的各个功能模块执行如上述图1和/或图10中各个步骤所提供的实现方式，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。
139.参见图18，图18是本技术实施例提供的电子设备的结构示意图。如图18所示，本实施例中的电子设备1800可以包括：处理器1801，网络接口1804和存储器1805，此外，上述电子设备1800还可以包括：用户接口1803，和至少一个通信总线1802。其中，通信总线1802用于实现这些组件之间的连接通信。其中，用户接口1803可以包括显示屏（display）、键盘（keyboard），可选用户接口1803还可以包括标准的有线接口、无线接口。网络接口1804可选的可以包括标准的有线接口、无线接口（如wi-fi接口）。存储器1804可以是高速ram存储器，也可以是非易失性存储器（non-volatile memory，nvm），例如至少一个磁盘存储器。存储器1805可选的还可以是至少一个位于远离前述处理器1801的存储装置。如图18所示，作为一种计算机可读存储介质的存储器1805中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
140.在图18所示的电子设备1800中，网络接口1804可提供网络通讯功能；而用户接口1803主要用于为用户提供输入的接口；而处理器1801可以用于调用存储器1805中存储的设备控制应用程序，以实现：确定第一道路图像对应的深度图，上述深度图的每一像素点的图像深度表示对应的图像元素与拍摄设备之间的距离，上述第一道路图像为上述拍摄设备沿第一行进轨迹拍摄的任一道路图像；确定与上述第一道路图像相匹配的第二道路图像，基于上述深度图，确定上述第一道路图像中的第一图像元素在上述第二道路图像中的预测区域；确定上述第一图像元素的元素类型，若上述预测区域中包括与上述元素类型相同的第二图像元素，则确定上述第一图像元素和上述第二图像元素为相同的图像元素。
141.在一些可行的实施方式中，上述处理器1801用于：确定第一道路图像中各像素点对应的图像元素之间的相对距离；基于各上述相对距离、以及上述拍摄设备在拍摄上述第一道路图像时的拍摄位置，确定上述第一道路图像对应的深度图。
142.在一些可行的实施方式中，上述处理器1801用于：确定上述第一道路图像的图像特征点；确定上述拍摄设备沿第二行进轨迹拍摄的各道路图像的图像特征点；基于上述第一道路图像的图像特征点、以及对应于上述第二行进轨迹的各上述道路图像的图像特征点，从对应于上述第二行进轨迹的各上述道路图像中确定与上述第一道路图像相匹配的第二道路图像。
143.在一些可行的实施方式中，上述处理器1801用于：确定上述第一道路图像中的干扰图像元素；对于对应于上述第二行进轨迹的每一上述道路图像：确定该道路图像中的干扰图像元素；
确定上述第一道路图像和该道路图像对应的特征对，每一上述特征对包括一个第一图像特征点和与该第一图像特征点相匹配的第二图像特征点，任一上述第一图像特征点为位于上述第一道路图像中的干扰图像元素所在区域之外的图像特征点，任一上述第二图像特征点为位于该道路图像中的干扰图像元素所在区域之外的图像特征点；若上述特征对的数量大于第一阈值，则确定该道路图像为与上述第一道路图像相匹配的第二道路图像。
144.在一些可行的实施方式中，上述处理器1801用于：基于上述第一图像元素，确定上述深度图中的目标区域，上述目标区域包括上述第一图像元素对应的第一图像特征点中的第三图像特征点，各上述第三图像特征点的数量大于第二阈值，且任意两个上述第三图像特征点对应的图像深度的差值小于第三阈值；基于上述目标区域，确定上述第一图像元素在上述第二道路图像中的预测区域。
145.在一些可行的实施方式中，上述处理器1801用于：确定上述目标区域对应的各目标特征对，每一上述目标特征对包括一个上述第三图像特征点和与该第三图像特征点相匹配的第二图像特征点；基于各上述目标特征对确定转移矩阵，上述转移矩阵表征了各上述目标特征对中各上述第三图像特征点与对应的第二图像特征点的位置变换关系；基于上述转移矩阵，确定上述第一图像元素的各像素点在上述第二道路图像中的预测位置；基于各上述预测位置，确定上述第一图像元素在上述第二道路图像中的预测区域。
146.在一些可行的实施方式中，上述处理器1801用于：基于各上述特征对，确定基础矩阵，上述基础矩阵表征了各上述特征对中各第一图像特征点与对应于上述第二道路图像中的对极线之间的映射关系，各上述特征对中每一第一图像特征点在第二道路图像中的预测位置位于该第一图像特征点对应于上述第二道路图像中的对极线之上；基于上述基础矩阵，对上述第一图像元素的各像素点对应的预测位置进行调整，并基于各调整后的预测位置，确定上述第一图像元素在上述第二道路图像中的预测区域。
147.在一些可行的实施方式中，上述处理器1801用于：确定上述拍摄设备拍摄上述第二道路图像时相较于拍摄上述第一道路图像时的平移信息和旋转信息；基于上述平移信息、上述旋转信息、上述拍摄设备的焦距以及各上述特征对确定基础矩阵，其中，确定上述基础矩阵时的特征对的数量大于第四阈值。
148.在一些可行的实施方式中，上述处理器1801还用于：上述拍摄设备拍摄上述第一道路图像时的第一定位点；确定上述第一定位点对应于上述第一行进轨迹的投影位置，将上述投影位置确定为上述拍摄设备在拍摄上述第一道路图像时的拍摄位置。
149.在一些可行的实施方式中，上述处理器1801还用于：确定上述拍摄设备沿上述第二行进轨迹所拍摄的各初始图像；确定上述拍摄设备在拍摄各上述初始图像时的定位信息，基于上述定位信息确定
上述拍摄设备在拍摄各上述初始图像时的第二定位点以及行进方向；将符合预设条件的上述初始图像确定为上述拍摄设备沿第二行进轨迹所拍摄的道路图像，上述预设条件包括以下至少一项：上述拍摄设备的第二定位点与上述第二行进轨迹的距离小于第五阈值；上述拍摄设备的行进方向相较于上述第二行进轨迹的方向偏差小于第六阈值。
150.应当理解，在一些可行的实施方式中，上述处理器1801可以是中央处理单元 (central processing unit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器 (digital signal processor，dsp)、专用集成电路 (application specific integrated circuit，asic)、现成可编程门阵列 (field-programmable gate array，fpga) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。该存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。
151.具体实现中，上述电子设备1800可通过其内置的各个功能模块执行如上述图1和/或图10中各个步骤所提供的实现方式，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。
152.本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，被处理器执行以实现图1和/或图10中各个步骤所提供的方法，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。
153.上述计算机可读存储介质可以是前述任一实施例提供的图像元素匹配装置或电子设备的内部存储单元，例如电子设备的硬盘或内存。该计算机可读存储介质也可以是该电子设备的外部存储设备，例如该电子设备上配备的插接式硬盘，智能存储卡（smart media card, smc），安全数字（secure digital, sd）卡，闪存卡（flash card）等。上述计算机可读存储介质还可以包括磁碟、光盘、只读存储记忆体（read-only memory，rom）或随机存储记忆体（randomaccess memory，ram）等。进一步地，该计算机可读存储介质还可以既包括该电子设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该电子设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
154.本技术实施例提供了一种计算机程序产品，该计算机程序产品包括计算机程序或计算机指令，上述计算机程序或计算机指令被处理器执行时本技术实施例提供的语音播放方法执行图1和/或图10中各个步骤所提供的方法。
155.本技术的权利要求书和说明书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或电子设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或电子设备固有的其它步骤或单元。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施
例可以与其它实施例相结合。在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
156.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
157.以上所揭露的仅为本技术较佳实施例而已，不能以此来限定本技术之权利范围，因此依本技术权利要求所作的等同变化，仍属本技术所涵盖的范围。