一种校准参数确定方法、装置及电子设备与流程

1.本发明涉及校准技术领域，特别是涉及一种校准参数确定方法、装置及电子设备。


背景技术：

2.当前，随着汽车技术和道路交通的不断发展，道路中行驶的车辆的数量逐渐增多，从而，如何提高行车安全受到了越来越多用户的关注。
3.通常，可以在汽车上安装多个车载相机，以使每个车载相机可以拍摄其视角范围内的路况，之后，将各个车载相机所采集的路况图像进行拼接，并向用户展示拼接后的路况图像。这样，可以帮助用户更好地了解汽车所处的路况环境，并基于路况环境调整行驶策略，进而，提高了行车安全。
4.例如，在汽车的车身前方、车身后方、车身左侧和车身右侧各安装一个车载相机。从而，如图1(a)-图1(e)所示，可以获取到上述各个车载相机采集到的图像，其中，图1(a)为安装在车身前方的车载相机所采集的前视图，图1(b)为安装在车身左侧的车载相机所采集的左视图，图1(c)为安装在车身右侧的车载相机所采集的右视图，图1(d)为安装在车身后方的车载相机所采集的后视图，进而，将上述前视图、左视图、右视图及后视图进行环视拼接，便可以得到如图1(e)所示的环视拼接图像。这样，用户便可以通过查看上述环视拼接图像更为清晰地了解汽车周围的路况。
5.然而，当汽车途径较为颠簸的路面时，其所搭载的车载相机可能会随着车身颠簸而发生位置偏移，从而，导致在拼接车载相机所采集到的图像时，使得所得到的拼接图像出现拼接误差，降低上述拼接图像对汽车周围的路况的展示准确性。
6.基于此，亟需一种校准参数确定方法，可以实现对车载相机所采集到的图像进行拼接时，对车载相机所采集到的图像进行校准，降低所得到的拼接图像的拼接误差，提高上述拼接图像对汽车周围的路况的展示准确性。


技术实现要素：

7.本发明实施例的目的在于提供一种校准参数确定方法、装置及电子设备，以提高车载相机拼接图像对汽车周围的路况的展示准确性。具体技术方案如下：
8.第一方面，本发明实施例提供了一种校准参数确定方法，所述方法包括：
9.获取待校准车载相机所采集的多张图像；
10.在针对斑马线场景所采集的图像中确定待处理图像，并对所述待处理图像进行去畸变处理，得到目标图像；
11.利用预设的深度学习算法，确定所述目标图像所包括的斑马线的消失点和所述斑马线的各个线条的分割图，并利用边缘提取算法提取每个分割图中的指定边缘线；其中，所述指定边缘线与所述斑马线的通行方向呈指定几何关系；
12.建立关于所述消失点、所述待校准车载相机的内参以及所述待校准车载相机的校准参数的约束方程；其中，所述内参包括：主点和焦距；所述校准参数包括：俯仰角、偏航角
和滚动角；
13.基于预设的利用斑马线的几何特性确定的求解目标，求解所述约束方程，得到所述校准参数；其中，所述求解目标包括：所述指定边缘线平行。
14.可选的，一种具体实现方式中，所述待校准车载相机所在车辆的车身前方、车身后方、车身左侧和车身右侧中的至少一个方向分别安装有至少一个车载相机；所述待校准车载相机包括所述车辆所安装的车载相机中的一个或多个。
15.可选的，一种具体实现方式中，所述待校准车载相机包括安装在所述车辆的车身前方和/或车身后方的至少一个车载相机；
16.所述利用预设的深度学习算法，确定所述目标图像所包括的斑马线的消失点和所述斑马线的各个线条的分割图，并利用边缘提取算法提取每个分割图中的指定边缘线，包括：
17.利用预设的深度学习算法，确定所述目标图像所包括的斑马线的第一消失点和所述斑马线的各个线条的分割图，并利用边缘提取算法提取每个分割图中的与所述斑马线的通行方向垂直的第一指定边缘线；其中，所述各个线条的分割图中的第一边缘线的延长线相交于所述第一消失点。
18.可选的，一种具体实现方式中，所述待校准车载相机包括安装在所述车辆的车身左侧和/或车身右侧的至少一个车载相机；
19.所述利用预设的深度学习算法，确定所述目标图像所包括的斑马线的消失点和所述斑马线的各个线条的分割图，并利用边缘提取算法提取每个分割图中的指定边缘线，包括：
20.利用预设的深度学习算法，确定所述目标图像所包括的斑马线的第二消失点和所述斑马线的各个线条的分割图，并利用边缘提取算法提取每个分割图中的与所述斑马线的通行方向垂直的第二指定边缘线；其中，所述各个线条的分割图中与所述斑马线的通行方向平行的边缘线的延长线相交于所述第二消失点。
21.可选的，一种具体实现方式中，若所述目标图像中包括斑马线中的多个线条，则所述求解目标还包括：所述斑马线中的每条线条的宽度相同，和/或，所述斑马线中的每条线条的高度相同；
22.若所述目标图像所包括的斑马线中的线条的数量大于2，则所述求解目标还包括：所述斑马线中的每条线条的宽度相同、所述斑马线中的每条线条的高度相同和所述斑马线中各组相邻线条之间的间距相同中的至少一个。
23.可选的，一种具体实现方式中，所述约束方程是关于所述消失点在所述目标图像对应的图像坐标系中的坐标、所述主点在所述图像坐标系中的坐标、所述待校准车载相机的横向焦距、所述待校准车载相机的纵向焦距、所述俯仰角、所述偏航角和所述滚动角的方程。
24.可选的，一种具体实现方式中，所述待校准车载相机的数量为多个，所述方法还包括：
25.利用所述校准参数对所述待校准车载相机所采集的图像进行校准；
26.对校准后的所述待校准车载相机所采集的图像进行拼接，得到拼接图像。
27.第二方面，本发明实施例提供了一种校准参数确定装置，所述装置包括：
28.图像获取模块，用于获取待校准车载相机所采集的多张图像；
29.处理模块，用于在针对斑马线场景所采集的图像中确定待处理图像，并对所述待处理图像进行去畸变处理，得到目标图像；
30.确定模块，用于利用预设的深度学习算法，确定所述目标图像所包括的斑马线的消失点和所述斑马线的各个线条的分割图，并利用边缘提取算法提取每个分割图中的指定边缘线；其中，所述指定边缘线与所述斑马线的通行方向呈指定几何关系；
31.方程建立模块，用于建立关于所述消失点、所述待校准车载相机的内参以及所述待校准车载相机的校准参数的约束方程；其中，所述内参包括：主点和焦距；所述校准参数包括：俯仰角、偏航角和滚动角；
32.求解模块，用于基于预设的利用斑马线的几何特性确定的求解目标，求解所述约束方程，得到所述校准参数；其中，所述求解目标包括：所述指定边缘线平行。
33.可选的，一种具体实现方式中，所述待校准车载相机所在车辆的车身前方、车身后方、车身左侧和车身右侧中的至少一个方向分别安装有至少一个车载相机；所述待校准车载相机包括所述车辆所安装的车载相机中的一个或多个。
34.可选的，一种具体实现方式中，所述待校准车载相机包括安装在所述车辆的车身前方和/或车身后方的至少一个车载相机；
35.所述确定模块，具体用于：
36.利用预设的深度学习算法，确定所述目标图像所包括的斑马线的第一消失点和所述斑马线的各个线条的分割图，并利用边缘提取算法提取每个分割图中的与所述斑马线的通行方向垂直的第一指定边缘线；其中，所述各个线条的分割图中的第一边缘线的延长线相交于所述第一消失点。
37.可选的，一种具体实现方式中，所述待校准车载相机包括安装在所述车辆的车身左侧和/或车身右侧的至少一个车载相机；
38.所述确定模块，具体用于：
39.利用预设的深度学习算法，确定所述目标图像所包括的斑马线的第二消失点和所述斑马线的各个线条的分割图，并利用边缘提取算法提取每个分割图中的与所述斑马线的通行方向垂直的第二指定边缘线；其中，所述各个线条的分割图中与所述斑马线的通行方向平行的边缘线的延长线相交于所述第二消失点。
40.可选的，一种具体实现方式中，若所述目标图像中包括所述斑马线中的多个线条；则所述求解目标还包括：所述斑马线中的每个线条的宽度相同，和/或，所述斑马线中的每个线条的高度相同；
41.若所述目标图像所包括的斑马线中的线条的数量大于2；则所述求解目标还包括：所述斑马线中的每个线条的宽度相同、所述斑马线中的每个线条的高度相同和所述斑马线中各组相邻线条之间的间距相同中的至少一个。
42.可选的，一种具体实现方式中，所述约束方程是关于所述消失点在所述目标图像对应的图像坐标系中的坐标、所述主点在所述图像坐标系中的坐标、所述待校准车载相机的横向焦距、所述待校准车载相机的纵向焦距、所述俯仰角、所述偏航角和所述滚动角的方程。
43.可选的，一种具体实现方式中，所述待校准车载相机的数量为多个，所述装置还包
括：
44.校准模块，用于利用所述校准参数对所述待校准车载相机采集的图像进行校准；
45.拼接模块，用于对校准后的所述待校准车载相机所采集的图像进行拼接，得到拼接图像。
46.第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
47.存储器，用于存放计算机程序；
48.处理器，用于执行存储器上所存放的程序时，实现上述任一方法实施例的步骤。
49.第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一方法实施例的步骤。第五方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一方法实施例的步骤。
50.本发明实施例有益效果：
51.以上可见，应用本发明实施例提供的方法，在确定待校准车载相机的校准参数时，首先获取待校准车载相机所采集的多张图像；之后，在针对斑马线场景所采集的图像中确定待处理图像，并对待处理图像进行去畸变处理，得到目标图像；然后，利用预设的深度学习算法，确定目标图像所包括的斑马线的消失点和斑马线的各个线条的分割图，并利用边缘提取算法提取每个分割图中的与斑马线的通行方向呈指定几何关系的指定边缘线；从而，可以建立关于消失点、待校准车载相机的内参以及待校准车载相机的校准参数的约束方程；进而，可以基于预设的利用斑马线的几何特性确定的求解目标对上述约束方程进行求解，得到上述校准参数。
52.基于此，应用本发明实施例提供的方案，在确定待校准车载相机的校准参数时，可以利用车载相机采集到的包括斑马线的图像，结合斑马线的几何特性，通过求解关于斑马线的消失点、待校准车载相机的内参以及校准参数的约束方程，得到待校验车载相机的校准参数。进而，在存在多个待校验车载相机时，便可以在对上述多个待校验车载相机所采集到的图像进行拼接的过程中，利用上述所得到的各个待校验车载相机的校准参数对上述图像进行校准，以使拼接后的图像可以更为准确地展示车辆周围的路况。
附图说明
53.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
54.图1(a)-图1(d)分别为本发明实施例提供的一种车载相机所采集的图像；
55.图1(e)为对图1(a)-图1(d)进行拼接所得到的拼接图像；
56.图2为本发明实施例提供的一种校准参数确定方法的流程示意图；
57.图3为本发明实施例提供的一种车载相机的安装位置的示意图；
58.图4(a)-图4(b)分别为本发明实施例提供的车载相机所采集图像的场景示意图；
59.图5(a)-图5(b)分别为本发明实施例提供的车载相机所采集到的包括斑马线的图
像的示意图；
60.图6(a)-图6(b)分别为对图5(a)-图5(b)进行去畸变处理之后的示意图；
61.图7为本发明实施例提供的一种斑马线的具体实例图；
62.图8(a)-图8(b)分别为针对图6(a)，确定斑马线的消失点和提取斑马线中的所在区域的指定边缘线的具体实例图；
63.图9(a)-图9(b)分别为针对图6(a)，确定斑马线的消失点和提取斑马线中的所在区域的指定边缘线的具体实例图；
64.图10为本发明实施例提供的一种世界坐标系与相机坐标系的映射关系示意图；
65.图11(a)-图11(b)分别为本发明实施例提供的一种拼接图像的示意图；
66.图12为本发明实施例提供的一种校准参数确定装置的结构示意图；
67.图13为本发明实施例提供的电子设备的结构示意图。
具体实施方式
68.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本技术所获得的所有其他实施例，都属于本发明保护的范围。
69.通常，可以在汽车上安装多个车载相机，以使每个车载相机可以拍摄其视角范围内的路况，之后，将各个车载相机所采集的路况图像进行拼接，并向用户展示拼接后的路况图像。这样，可以帮助用户更好地了解汽车所处的路况环境，并基于路况环境调整行驶策略，进而，提高了行车安全。
70.然而，当汽车途径较为颠簸的路面时，其所搭载的车载相机可能会随着车身颠簸而发生位置偏移，从而，导致在拼接车载相机所采集到的图像时，使得所得到的拼接图像出现拼接误差，降低上述拼接图像对汽车周围的路况的展示准确性。
71.为了解决上述技术问题，本发明实施例提供了一种校准参数确定方法。
72.其中，该方法可以应用于添加有执行该方法的功能模块的车载相机，以使该车载相机执行该方法确定自身的校准参数；也可以应用于为车载相机提供确定校准参数服务的电子设备，上述电子设备可以是与该车载相机相通信的手机、对车载相机进行监控的监控台等，上述电子设备可以接收车载相机所采集的图像，并执行本发明所提供的方法，确定车载相机的校准参数。基于此，本发明实施例不对该方法的执行主体进行具体限定。
73.本发明实施例提供的一种校准参数确定方法，可以包括如下步骤：
74.获取待校准车载相机所采集的多张图像；
75.在针对斑马线场景所采集的图像中确定待处理图像，并对所述待处理图像进行去畸变处理，得到目标图像；
76.利用预设的深度学习算法，确定所述目标图像所包括的斑马线的消失点和所述斑马线的各个线条的分割图，并利用边缘提取算法提取每个分割图中的指定边缘线；其中，所述指定边缘线与所述斑马线的通行方向呈指定几何关系；
77.建立关于所述消失点、所述待校准车载相机的内参以及所述待校准车载相机的校准参数的约束方程；其中，所述内参包括：主点和焦距；所述校准参数包括：俯仰角、偏航角
和滚动角；
78.基于预设的利用斑马线的几何特性确定的求解目标，求解所述约束方程，得到所述校准参数；其中，所述求解目标包括：所述指定边缘线平行。
79.以上可见，应用本发明实施例提供的方法，在确定待校准车载相机的校准参数时，首先获取待校准车载相机所采集的多张图像；之后，在针对斑马线场景所采集的图像中确定待处理图像，并对待处理图像进行去畸变处理，得到目标图像；然后，利用预设的深度学习算法，确定目标图像所包括的斑马线的消失点和斑马线的各个线条的分割图，并利用边缘提取算法提取每个分割图中的与斑马线的通行方向呈指定几何关系的指定边缘线；从而，可以建立关于消失点、待校准车载相机的内参以及待校准车载相机的校准参数的约束方程；进而，可以基于预设的利用斑马线的几何特性确定的求解目标对上述约束方程进行求解，得到上述校准参数。
80.基于此，应用本发明实施例提供的方案，在确定待校准车载相机的校准参数时，可以利用车载相机采集到的包括斑马线的图像，结合斑马线的几何特性，通过求解关于斑马线的消失点、待校准车载相机的内参以及校准参数的约束方程，得到待校验车载相机的校准参数。进而，在存在多个待校验车载相机时，便可以在对上述多个待校验车载相机所采集到的图像进行拼接的过程中，利用上述所得到的各个待校验车载相机的校准参数对上述图像进行校准，以使拼接后的图像可以更为准确地展示车辆周围的路况。
81.下面，结合附图，对本发明实施例提供的一种校准参数确定方法进行具体说明。
82.图2为本发明实施例提供的一种校准参数确定方法的流程示意图，如图2所示，该方法可以包括如下步骤s201-s205。
83.s201：获取待校准车载相机所采集的多张图像；
84.在车辆的行驶过程中，车载相机可以实时进行图像采集，从而，在车辆行驶过不同的道路场景时，车载相机可以采集到针对上述不同的道路场景的图像，例如，针对斑马线场景采集的图像、针对车道线场景采集的图像等等。这样，在确定待校准车载相机的校准参数时，可以首先获取待校准车载相机采集的多张图像。
85.其中，上述待校准车载相机可以是鱼眼相机，球机以及枪机等各种类型的相机，这都是合理的，在本发明实施例中不对上述待校准车载相机的类型进行具体限定。
86.并且，上述待校准车载相机可以是一个，也可以是多个。当上述待校准车载相机为一个时，该待校准车载相机可以安装在车身的任一方向；当上述待校准车载相机为多个时，上述多个待校准车载相机可以安装在车身的同一方向，也可以安装在车身的不同方向。例如，待校准车载相机数量为3个时，其中两个待校准车载相机安装在车辆的车身前方，另一个待校准车载相机安装在车辆的车身左侧，这都是合理的，在本发明实施例中不对上述待校准车载相机的具体数量和安装位置进行具体限定。
87.可选的，一种具体实现方式中，上述待校准车载相机所在车辆的车身前方、车身后方、车身左侧和车身右侧中的至少一个方向分别安装有至少一个车载相机；待校准车载相机包括车辆所安装的车载相机中的一个或多个。
88.例如，如图3所示，在车辆e的车身前方、车身后方、车身左侧及车身右侧分别安装有车载相机a、车载相机b、车载相机c和车载相机d，进而，待校准车载相机可以包括上述车载相机a-d中的至少一个车载相机，示例性的，上述车载相机a-d全部为待校准车载相机。
89.当上述待校准车载相机为多个时，针对每个待校准车载相机，可以获取该待校准车载相机所采集的图像。进而，可以利用该待校准车载相机所采集到的图像，确定该待校准车载相机的校准参数。也就是说，在本发明实施例中，是利用每个待校准车载相机独立采集到的图像，独立地确定该待校准车载相机的校准参数。
90.在车辆行驶过程中，为了便于用户实时查看车辆周围的路况，车载相机通常是实时进行图像采集的，因此，在获取上述待校准车载相机所采集的多张图像时，可以获取待校准车载相机在车辆经过斑马线时所采集到的多张图像。
91.可选的，在车辆行驶过斑马线的过程中，车载相机可以实时采集到多张针对斑马线场景的图像，从而，对于待校准车载相机而言，可以获取该待校准车载相机在其所在车辆经过斑马线时所采集的多张图像，进而，可以在上述多张图像中，确定用于确定该待校准车载相机的校准参数的待处理图像。
92.在车辆的行驶过程中，当车辆发生颠簸时，安装在该车辆上的车载相机的安装位置可能会随着车辆的颠簸而发生变化，进而，导致车载相机的外参发生变化，例如，车载相机的俯仰角、偏航角和滚动角发生变化。基于此，为了保证在后续行驶过程中，基于车载相机所采集到的图像向用户展示的车辆周围的路况图像的准确性，可以在车辆发生颠簸时，获取待校准车载相机所采集的多张图像，从而，确定待校准车载相机的校准参数。
93.基于此，可选的，在检测到车载相机所在的车辆产生预设的行驶状态后，获取待校准车载相机在其所在车辆恢复正常行驶状态且首次经过斑马线时，所采集的多张针对斑马线场景的图像；
94.其中，行驶状态为能够导致待校准车载相机的安装位置发生变化的状态。
95.在本具体实现方式中，可以预先设定能够导致待校准车载相机的安装位置发生变化的行驶状态，例如，车辆颠簸、车辆急停等，这都是合理的，在本发明实施例中不对上述行驶状态进行具体限定，只要其是能够导致待校准车载相机的安装位置发生变化的行驶状态即可。并且，在车辆产生上述行驶状态时，安装在该车辆上的车载相机的安装位置可能发生变化，也可能不发生变化，这都是合理的。
96.进而，在待校准车载相机所在车辆的行驶过程中，可以实时检测待校准相机所在车辆的行驶状态，这样，在检测到上述车辆产生预设的行驶状态后，可以获取上述待校准车载相机在其所在车辆恢复正常行驶状态且首次经过斑马线时，所采集的多张针对斑马线场景的图像。
97.例如，在某个时刻，待校准车载相机所在车辆因碾压到了路上的石块而发生了颠簸，在经过石块后，该车辆的行驶状态恢复了正常，在该车辆继续行驶的过程中，可以获取该待校准车载相机在该车辆首次经过斑马线时所采集的多张针对斑马线场景的图像，并在上述多张图像中确定待处理图像。
98.s202：在针对斑马线场景所采集的图像中确定待处理图像，并对所述待处理图像进行去畸变处理，得到目标图像；
99.通常，斑马线是具有几何特性的，比如，斑马线中的每个线条的指定边缘线是相互平行，斑马线中的每个线条的每条边缘线均为直线，斑马线中的每个线条的宽度和高度分别相同，斑马线中的每组相邻两个线条之间的间距相同。因此，可以将上述斑马线的几何特性作为待校准车载相机的校准依据，从而，在确定待校准车载相机的校准参数时，便可以利
用待校准车载相机所采集的针对斑马线场景的图像确定该待校准车载相机的校准参数。
100.这样，在获取到待校准车载相机所采集的多张图像后，便可以利用场景分类算法，对上述多张图像所拍摄的场景进行识别分类，得到针对斑马线场景所采集的图像。
101.如图4(a)-4(b)所示，图4(a)为待校准车载相机针对斑马线场景所采集的图像，图4(b)为待校准车载相机针对车道线场景所采集的图像。
102.其中，上述场景分类算法可以是空间金字塔匹配算法，也可以是深度学习算法，例如卷积算法；这都是合理的，在本发明实施例中不做具体限定。
103.由于所谓斑马线是指由多条相互平行的白实线组成的线条集合，因此，上述目标图像中可以包括斑马线中的一条线条，也可以包括斑马线中的多条线条。
104.进而，便可以在所获取到的针对斑马线场景所采集的图像中确定待处理图像。
105.其中，在待校准车载相机安装在车辆车身的不同位置时，其所采集到的车辆周围的路况是不同的，进而，其所采集的针对斑马线场景的图像也是不同的。例如，安装在车身前方的车载相机可以采集到如图5(a)所示的针对斑马线场景的图像，安装在车身左侧的车载相机可以采集到如图5(b)所示的针对斑马线场景的图像。
106.在针对斑马线场景所采集的图像中确定待处理图像时，可以将上述多张图像中所包含的斑马线中的线条数量最多的候选图像作为待处理图像，也可以将上述多张图像中拍摄时间最早的图像作为待处理图像，还可以将上述多张图像中图像质量最好的图像作为待处理图像，这都是合理的，本发明实施例不对上述在多张针对斑马线场景的图像中确定待处理图像的方法进行具体限定。
107.并且，由于上述待校准车载相机所采集到的图像可能存在由于相机类型所带来的图像畸变，例如，在上述待校准车载相机为鱼眼相机或球机时，该待校准相机所采集的图像可能存在边缘畸变等，因此，从待校准车载相机采集的针对斑马线场景的图像中，确定出待处理图像后，考虑到该待处理图像可能存在畸变，为了提高最终所确定的校准参数的准确性，可以首先对上述用于待处理图像进行去畸变处理，得到用于进行校准参数确定的目标图像。
108.可选的，一种具体实现方式中，在上述待校准车载相机为鱼眼相机时，可以利用待校准车载相机的内参对上述待处理图像进行去畸变处理，得到目标图像。进而，可以对上述待处理图像进行去畸变处理，并将去畸变之后的上述待处理图像作为确定校准参数的目标图像。
109.在本具体实现方式中，在上述待校准车载相机为鱼眼相机时，在确定该待校准车载相机所采集的待处理图像后，可以利用待校准车载相机的内参对上述待处理图像进行去畸变处理，得到确定待校准车载相机的校准参数的目标图像。
110.其中，图像畸变可以包括径向畸变和切向畸变，在利用车载相机的内参对目标图像去畸变时，可以如下公式计算该点g(a，b)去畸变之后的坐标(a
distorted
，b
distorted
)：
[0111][0112][0113]
[0114][0115][0116]
其中，a为点g在图像坐标系中的横坐标，b为点g在图像坐标系中的纵坐标；a
distorted
为去畸变之后的点g在图像坐标系中的横坐标，b
distorted
为去畸变之后的点g在图像坐标系中的纵坐标；cx为主点在图像坐标系中的横坐标；cy为主点在图像坐标系中的纵坐标；fx为待校准车载相机的横向焦距；fy为待校准车载相机的纵向焦距；x为点g在世界坐标系中的对应点的横轴坐标；y为点g在世界坐标系中的对应点的纵轴坐标；r为点g在世界坐标系中的对应点的竖轴坐标；
[0117]
为了便于描述，可以将点g在世界坐标系中的对应点称为标定点，则上述x即可以理解为：标定点在世界坐标系中的横轴坐标；上述y即可以理解为标定点在世界坐标系中的纵轴坐标；上述ry即可以理解为标定点在世界坐标系中的竖轴坐标；
[0118]
进而，上述x
distorted
为去畸变之后的标定点在世界坐标系中的横轴坐标；y
distorted
为去畸变之后的标定点在世界坐标系中的纵轴坐标；k1、k2、k3、p1、p2均为预设参数，其分别为一个常数。
[0119]
在计算得到上述a
distorted
和b
distorted
不是整数时，可以使用周围整数坐标的像素值，通过双线性差值或者最近邻方式，对上述a
distorted
和b
distorted
进行取整，得到去畸变之后的点g在图像坐标系中的坐标。
[0120]
基于相同的构思，在上述待校准车载相机为球机或者其他可能会使所拍摄的图像发生畸变的相机时，可以首先按照上述方法对该待校准车载相机所采集的待处理图像进行去畸变处理，得到确定待校准车载相机的校准参数的目标图像。
[0121]
示例性的，当待校准车载相机为鱼眼相机，且安装在车辆的车身前方时，所获取的该待校准车载相机所采集的待处理图像为如图5(a)所示的图像，对该待处理图像进行去畸变处理，可以得到如图6(a)所示的去畸变之后的目标图像；当待校准车载相机为鱼眼相机，且安装在车辆的车身左侧时，所获取的该待校准车载相机所采集的待处理图像为如图5(b)所示的图像，对该待处理图像进行去畸变处理，可以得到如图6(b)所示的去畸变之后的目标图像。
[0122]
s203：利用预设的深度学习算法，确定目标图像所包括的斑马线的消失点和斑马线的各个线条的分割图，并利用边缘提取算法提取每个分割图中的指定边缘线；
[0123]
其中，指定边缘线与斑马线的通行方向呈指定几何关系；
[0124]
在得到上述目标图像后，针对该目标图像，可以利用预设的深度学习算法，确定该目标图像所包括的斑马线的消失点，以及斑马线的各个线条的分割图，之后，可以利用边缘提取算法，提取每个分割图中的与斑马线的通行方向呈指定几何关系的指定边缘线。
[0125]
其中，行人按照斑马线所指示的通行方向通过马路，从而，行人的行走方向可以理解为斑马线的通行方向，例如，如图7所示，图中的白线线条1-5为构成斑马线的部分线条；箭头所指示的方向为斑马线的通行方向。
[0126]
如图7所示，对于斑马线中的每个线条来说，该线条中的每条边缘线均为直线，并且该线条中的较长的边缘线垂直于该斑马线的通行方向垂直，较短的边缘线平行于该斑马
线的通行方向，从而，基于上述边缘线与斑马线的通行方向的几何关系，可以在上述几何关系中确定一个指定几何关系，进而，可以在目标图像中提取与斑马线的通行方向呈上述指定几何关系的指定边缘线。
[0127]
其中，上述指定几何关系可以为垂直或平行。
[0128]
并且，上述深度学习算法可以是无监督预训练算法，也可以是卷积神经算法；上述边缘提取算法可以是sobel算法，也可以是prewitt算法，这都是合理的，在本发明实施例中不对上述深度学习算法和上述边缘提取算法进行具体限定。
[0129]
例如，针对斑马线的每个线条的分割图，可以利用sobel算法提取该分割图中的各个边缘点，之后，通过直线拟合，得到该分割图中的各个边缘线，从而，可以提取与各个分割图中的与斑马线的通行方向呈指定几何关系的指定边缘线。
[0130]
此外，车载相机在车辆上的安装位置不同，其所采集的针对斑马线场景的图像可以是不同的。基于此，针对不同安装位置的待校准车载相机，所确定的目标图像可以是不同的，进而，针对每个目标图像，所确定的斑马线的消失点和指点边缘线也可以是不同的。
[0131]
可选的，一种具体实现方式中，待校准车载相机包括安装在车辆的车身前方和/或车身后方的至少一个车载相机；上述步骤s203，可以包括如下步骤21：
[0132]
步骤21：利用预设的深度学习算法，确定目标图像所包括的斑马线的第一消失点和斑马线的各个线条的分割图，并利用边缘提取算法提取每个分割图中的与斑马线的通行方向垂直的第一指定边缘线；
[0133]
其中，各个线条的分割图中的第一边缘线的延长线相交于第一消失点。
[0134]
在本具体实现方式中，在待校准车载相机包括安装在车辆的车身前方和/或车身后方的至少一个车载相机时，针对所确定的目标图像，可以利用深度学习算法，确定该目标图像中所包括的斑马线的第一消失点以及该斑马线中的各个线条的分割图，然后，可以利用边缘提取算法，提取上述斑马线中的各个线条的分割图中与斑马线的通行方向垂直的各条第一指定边缘线。并且，上述各条第一边缘线的延长线相交于上述第一消失点。
[0135]
示例性的，当待校准车载相机为安装在车辆的车身前方的车载相机时，用于确定该待校准车载相机的校准参数的目标图像为图6(a)。之后，可以利用深度学习算法确定该目标图像所包括的斑马线的各个线条的分割图以及斑马线的消失点，如图8(a)所示，图中黑色长条区域为斑马线的各个线条的分割图，图中消失点g为该斑马线的第一消失点；之后，可以利用边缘提取算法提取每个线条的分割图中与斑马线的通行方向垂直的第一边缘线，如图8(b)所示，每个黑色长条区域的长边的边缘线即为该线条的分割图中的第一边缘线，并且，多条第一边缘线的延伸线相交于消失点g。
[0136]
可选的，一种具体实现方式中，待校准车载相机包括安装在车辆的车身左侧和/或车身右侧的至少一个车载相机；上述步骤s203，可以包括如下步骤31：
[0137]
步骤31：利用预设的深度学习算法，确定目标图像所包括的斑马线的第二消失点和斑马线的各个线条的分割图，并利用边缘提取算法提取每个分割图中的与斑马线的通行方向垂直的第二指定边缘线；其中，各个线条的分割图中与斑马线的通行方向平行的边缘线的延长线相交于第二消失点。
[0138]
在本具体实现方式中，在待校准车载相机包括安装在车辆的车身左侧和/或车身右侧的至少一个车载相机时，针对所确定的目标图像，可以利用深度学习算法，确定该目标
图像中所包括的斑马线的第二消失点以及该斑马线中的各个线条的分割图，然后，可以利用边缘提取算法，提取上述斑马线中的各个线条的分割图中与斑马线的通行方向垂直的各条第二指定边缘线，上述各个线条的分割图中与斑马线的通信方向平行的边缘线的延长线相交于上述第二消失点。
[0139]
示例性的，当待校准车载相机为安装在车辆的车身左侧的车载相机时，用于确定该待校准车载相机的校准参数的目标图像为图6(b)。之后，可以利用深度学习算法确定该目标图像所包括的斑马线的各个线条的分割图以及斑马线的消失点，如图9(a)所示，图中黑色长条区域为斑马线的各个线条的分割图，图中消失点h为该斑马线的第二消失点；之后，可以利用边缘提取算法提取每个线条的分割图中与斑马线的通行方向垂直的第二边缘线，如图9(b)所示，每个黑色长条区域的长边的边缘线即为该线条的分割图中的第二边缘线。此外，每个黑色长条区域的短边的边缘线与斑马线的通行方向平行，并且各个黑色长条区域的短边的边缘线的延长线相交于消失点h。
[0140]
s204：建立关于消失点、待校准车载相机的内参以及待校准车载相机的校准参数的约束方程；
[0141]
其中，内参包括：主点和焦距；校准参数包括：俯仰角、偏航角和滚动角；
[0142]
对于车载相机而言，上述斑马线的消失点在目标图像的图像坐标系中的坐标、该待校准车载相机的内参以及该待校准车载相机的校准参数之间是相关且相互影响的，由于上述消失点的坐标和上述内参是已知的，因此，可以利用上述消失点、内参以及校准参数的关系以及已知的消失点和内参，计算待校准车载相机的校准参数。
[0143]
基于此，可以首先根据上述斑马线的消失点在目标图像的图像坐标系中的坐标、该待校准车载相机的内参以及该待校准车载相机的校准参数，建立关于上述消失点、上述内参以及上述校准参数的约束方程。其中，上述内参可以包括主点和焦距，上述校准参数可以包括：俯仰角、偏航角和滚动角。所谓主点即为车载相机所拍摄的图像的图像中心。
[0144]
也就是说，可以建立关于斑马线的消失点、主点、焦距、俯仰角、偏航角和滚动角的约束方程。
[0145]
可选的，一种具体实现方式中，上述约束方程是关于消失点在目标图像对应的图像坐标系中的坐标、主点在图像坐标系中的坐标、待校准车载相机的横向焦距、待校准车载相机的纵向焦距、俯仰角、偏航角和滚动角的方程。
[0146]
在本具体实现方式中，在得到目标图像中所包括的斑马线的消失点、主点、待校准车载相机的横向焦距和待校准车载相机的纵向焦距之后，可以建立关于消失点在目标图像对应的图像坐标系中的坐标、主点在图像坐标系中的坐标、待校准车载相机的横向焦距、待校准车载相机的纵向焦距、俯仰角、偏航角和滚动角的约束方程。
[0147]
可选的，如图10所示，相机坐标系0c-xcyczc与世界坐标系0cw-xcwycwzcw之间的映射关系如下所示：
[0148][0149]
其中，xc为相机坐标系中的横轴坐标；yc为相机坐标系中的纵轴坐标；zc为相机坐标系中的竖轴坐标；xcw为世界坐标系中的横轴坐标；ycw为世界坐标系中的横轴坐标；zcw
为世界坐标系中的竖轴坐标；pitch为相机的俯仰角，roll为相机的滚动角。
[0150]
所谓相机的偏航角是指：车道线与世界坐标系0cw-xcwycwzcw中的ycw轴之间的夹角，表示为yaw，从而，车道线上的点在世界坐标系中的坐标可以表示为(ycw*tan(yaw),ycw,0)。
[0151]
此外，图像中的车道线的消失点在图像坐标系中的坐标(u，v)与该消失点在相机坐标系0c-xcyczc中的坐标(xd，yd，zd)之间的映射关系可以表示为：
[0152][0153]
其中，xd为上述消失点在相机坐标系中的横轴坐标；yd为上述消失点在相机坐标系中的纵轴坐标；zd为上述消失点在相机坐标系中的竖轴坐标；cx为主点在图像坐标系中的横坐标；cy为主点在图像坐标系中的纵坐标；fx为待校准车载相机的横向焦距；fy为待校准车载相机的纵向焦距，α为预设参数，是一个常量。
[0154]
这样，在上述(ycw*tan(yaw),ycw,0)中，当ycw
→
∞时，联动上述两个映射关系，所得到的(u，v)，即为目标图像中消失点在图像坐标系中的坐标。
[0155]
因此，求解上述两个映射关系，并将求解之后的方程取极限，即可以得到关于消失点、主点、焦距、俯仰角、偏航角和滚动角的约束方程：
[0156][0157][0158]
其中，u为消失点在目标图像对应的图像坐标系中的横坐标；v为消失点在图像坐标系中的纵坐标；cx为主点在图像坐标系中的横坐标；cy为主点在图像坐标系中的纵坐标；fx为待校准车载相机的横向焦距；fy为待校准车载相机的纵向焦距；pitch为俯仰角；yaw为偏航角；roll为滚动角。
[0159]
s205：基于预设的利用斑马线的几何特性确定的求解目标，求解约束方程，得到校准参数；
[0160]
其中，求解目标包括：指定边缘线平行。
[0161]
通常，斑马线是具有几何特性的，比如，斑马线中的每个线条的指定边缘线是相互平行，斑马线中的每个线条的每条边缘线均为直线，斑马线中的每个线条的宽度和高度分别相同，斑马线中的每组相邻两个线条之间的间距相同。因此，可以将上述斑马线的几何特性作为待校准车载相机的校准依据，从而，可以基于斑马线的几何特性，确定求解目标，并且，可以基于上述求解目标，求解上述约束方程，得到待校准车载相机的校准参数。
[0162]
其中，上述预设的利用斑马线的几何特性确定的求解目标可以包括：上述所提取到的指定边缘线平行。
[0163]
可选的，上述预设的利用斑马线的几何特性确定的求解目标还可以包括：上述所提取到的指定边缘线均为直线。
[0164]
这样，通过对上述约束方程进行求解，即可以同时得到待校准车载相机的俯仰角、偏航角和滚动角，进而，可以避免在单独计算校准参数中的某个或某几个参数后，在后续计
算其他校准参数时，对已经完成校准的参数造成影响，使得最终所得到的各个校准参数的准确性较差。
[0165]
可选的，基于上述求解目标，可以利用lm(levenberg-marquardt)算法，对上述约束方程进行求解，得到待校准车载相机的校准参数。
[0166]
其中，上述lm算法为优化算法，进而，上述求解目标即为该优化算法的优化目标。
[0167]
由于针对不同的待校准车载相机，所获取的该待校准车载相机的目标图像可以是不同的。并且，由于拍摄角度、拍摄距离的不同，每张目标图像中所包含的斑马线中的线条的数量是不同的。在目标图像中仅包含斑马线中的至少一条线条时，可以利用每条线条的边缘线的几何特性确定上述求解目标，在目标图像中包含斑马线中的多条线条时，还可以利用各条线条之间的几何关系确定上述求解目标。
[0168]
可选的，一种具体实现方式中，若目标图像中包括斑马线中的多个线条，则求解目标还包括：斑马线中的每条线条的宽度相同，和/或，斑马线中的每条线条的高度相同。
[0169]
在本具体实现方式中，在上述目标图像中包括多条斑马线时，上述求解目标还可以包括斑马线中的每条线条的宽度相同，和/或，斑马线中的每条线条的高度相同。
[0170]
即上述求解目标包括斑马线中的线条的指定边缘线平行，以及斑马线中的各个线条宽度相同和斑马线中的各个图像的高度相同中的至少一项。
[0171]
同理，在目标图像中包含斑马线中的多个线条，并且线条的数量大于2时，还可以对上述线条进行分组，并利用每组线条之间的几何关系确定上述求解目标。
[0172]
可选的，一种具体实现方式中，若目标图像所包括的斑马线中的线条的数量大于2，则求解目标还包括：斑马线中的每条线条的宽度相同、斑马线中的每条线条的高度相同和斑马线中各组相邻线条之间的间距相同中的至少一个。
[0173]
在本具体实现方式中，在上述目标图像中包括的斑马线中的线条的数量大于2时，可以将上述斑马线中每两个相邻的线条作为一组，从而，上述求解目标还可以包括斑马线中的每条线条的宽度相同、斑马线中的每条线条的高度相同和斑马线中各组相邻线条之间的间距相同中的至少一个。
[0174]
在确定上述校准参数后，可以利用上述校准参数对待校准相机所采集的照片进行校准，以使上述待校准车载相机所输出的图像为能够较为准确地还原车辆所在位置的路况。
[0175]
可选的，一种具体实现方式中，本发明实施例提供的一种校准参数确定方法，在待校准车载相机的数量为多个时，还可以包括如下步骤41-42：
[0176]
步骤41：利用校准参数对待校准车载相机拍摄的图像进行校准；
[0177]
步骤42：对校准后的待校准车载相机所采集的图像进行拼接，得到拼接图像。
[0178]
在本具体实现方式中，在求解得到上述待校准车载相机的校准参数之后，可以利用上述校准参数对该待校准车载相机所采集的图像进行校准。
[0179]
其中，可以利用上述待校准车载相机的内参和上述校准参数，将待校准车载相机所拍摄的图像上的各个点映射到世界坐标系中，进而，将上述在世界坐标系中通过映射所得到的各个点，再次映射到图像坐标系中，得到新的图像，上述所得到的新的图像即为对待校准车载相机所拍摄的图像进行校准之后的图像。
[0180]
在利用上述校准参数对该待校准车载相机所采集的图像进行校准之后，可以将校
准之后的多个图像进行拼接，得到拼接图像。
[0181]
例如，当待校准车载相机所在的车辆在车身前方、车身后方、车身左侧及车身右侧各安装有一个车载相机时，上述待校准的车载相机可以是上述四个车载相机。在确定每个待校准车载相机的校准参数后，可以基于上述校准参数对该待校准车载相机所采集的图像进行校准，之后将校准之后的图像进行拼接。
[0182]
示例性的，如图11(a)-11(b)所示，图11(a)为将各个待校准车载相机所采集的图像直接进行拼接得到的拼接图像，由于各个待校准车载相机的安装位置发生变化，使得所得到的拼接图像存在拼接误差，不能准确展示车辆周围的路况；图11(b)为按照上述校准参数对各个待校准车载相机所采集的图像进行校准之后，对校准之后的图像进行拼接得到的拼接图像，所得到的拼接图像可以准确展示车辆周围的路况。
[0183]
这样，将校准后的图像进行拼接，可以提高拼接图像对车辆周围路况的展示准确性。之后，可以将上述拼接图像展示给用户，以使用户基于上述拼接图像，准确了解车辆周围的路况。
[0184]
可选的，在完成利用上述校准参数对该待校准车载相机所采集的图像的校准后，可以将校准之后的图像作为该待校准车载相机的图像采集结果进行输出。
[0185]
例如，当只存在一个待校正车载相机时，在完成利用上述校准参数对该待校准车载相机所采集的图像的校准后，可以将校准之后的图像作为该待校准车载相机的图像采集结果进行输出。
[0186]
以上可见，应用本发明实施例提供的方案，在确定待校准车载相机的校准参数时，可以利用车载相机采集到的包括斑马线的图像，结合斑马线的几何特性，通过求解关于斑马线的消失点、待校准车载相机的内参以及校准参数的约束方程，得到待校验车载相机的校准参数。进而，在存在多个待校验车载相机时，便可以在对上述多个待校验车载相机所采集到的图像进行拼接的过程中，利用上述所得到的各个待校验车载相机的校准参数对上述图像进行校准，以使拼接后的图像可以更为准确地展示车辆周围的路况。
[0187]
基于相同的发明构思，相应于上述本发明实施例提供的图2所示的一种校准参数确定方法，本发明实施例还提供了一种校准参数确定装置。
[0188]
图12为本发明实施例提供的一种校准参数确定方法的结构示意图，如图12所示，该装置可以包括如下模块：
[0189]
图像获取模块1210，用于获取待校准车载相机所采集的多张图像；
[0190]
处理模块1220，用于在针对斑马线场景所采集的图像中确定待处理图像，并对所述待处理图像进行去畸变处理，得到目标图像；
[0191]
确定模块1230，用于利用预设的深度学习算法，确定所述目标图像所包括的斑马线的消失点和所述斑马线的各个线条的分割图，并利用边缘提取算法提取每个分割图中的指定边缘线；其中，所述指定边缘线与所述斑马线的通行方向呈指定几何关系；
[0192]
方程建立模块1240，用于建立关于所述消失点、所述待校准车载相机的内参以及所述待校准车载相机的校准参数的约束方程；其中，所述内参包括：主点和焦距；所述校准参数包括：俯仰角、偏航角和滚动角；
[0193]
求解模块1250，用于基于预设的利用斑马线的几何特性确定的求解目标，求解所述约束方程，得到所述校准参数；其中，所述求解目标包括：所述指定边缘线平行。
[0194]
以上可见，应用本发明实施例提供的方案，在确定待校准车载相机的校准参数时，可以利用车载相机采集到的包括斑马线的图像，结合斑马线的几何特性，通过求解关于斑马线的消失点、待校准车载相机的内参以及校准参数的约束方程，得到待校验车载相机的校准参数。进而，在存在多个待校验车载相机时，便可以在对上述多个待校验车载相机所采集到的图像进行拼接的过程中，利用上述所得到的各个待校验车载相机的校准参数对上述图像进行校准，以使拼接后的图像可以更为准确展示车辆周围的路况。
[0195]
可选的，一种具体实现方式中，所述待校准车载相机所在车辆的车身前方、车身后方、车身左侧和车身右侧中的至少一个方向分别安装有至少一个车载相机；所述待校准车载相机包括所述车辆所安装的车载相机中的一个或多个。
[0196]
可选的，一种具体实现方式中，所述待校准车载相机包括安装在所述车辆的车身前方和/或车身后方的至少一个车载相机；
[0197]
所述确定模块1230，具体用于：
[0198]
利用预设的深度学习算法，确定所述目标图像所包括的斑马线的第一消失点和所述斑马线的各个线条的分割图，并利用边缘提取算法提取每个分割图中的与所述斑马线的通行方向垂直的第一指定边缘线；其中，所述各个线条的分割图中的第一边缘线的延长线相交于所述第一消失点。
[0199]
可选的，一种具体实现方式中，所述待校准车载相机包括安装在所述车辆的车身左侧和/或车身右侧的至少一个车载相机；
[0200]
所述确定模块1230，具体用于：
[0201]
利用预设的深度学习算法，确定所述目标图像所包括的斑马线的第二消失点和所述斑马线的各个线条的分割图，并利用边缘提取算法提取每个分割图中的与所述斑马线的通行方向垂直的第二指定边缘线；其中，所述各个线条的分割图中与所述斑马线的通行方向平行的边缘线的延长线相交于所述第二消失点。
[0202]
可选的，一种具体实现方式中，若所述目标图像中包括所述斑马线中的多个线条；则所述求解目标还包括：所述斑马线中的每个线条的宽度相同，和/或，所述斑马线中的每个线条的高度相同；
[0203]
若所述目标图像所包括的斑马线中的线条的数量大于2；则所述求解目标还包括：所述斑马线中的每个线条的宽度相同、所述斑马线中的每个线条的高度相同和所述斑马线中各组相邻线条之间的间距相同中的至少一个。
[0204]
可选的，一种具体实现方式中，所述约束方程是关于所述消失点在所述目标图像对应的图像坐标系中的坐标、所述主点在所述图像坐标系中的坐标、所述待校准车载相机的横向焦距、所述待校准车载相机的纵向焦距、所述俯仰角、所述偏航角和所述滚动角的方程。
[0205]
可选的，一种具体实现方式中，所述待校准车载相机的数量为多个，所述装置还包括：
[0206]
校准模块，用于利用所述校准参数对所述待校准车载相机采集的图像进行校准；
[0207]
拼接模块，用于对校准后的所述待校准车载相机所采集的图像进行拼接，得到拼接图像。
[0208]
本发明实施例还提供了一种电子设备，如图13所示，包括处理器1301、通信接口
1302、存储器1303和通信总线1304，其中，处理器1301，通信接口1302，存储器1303通过通信总线1304完成相互间的通信，
[0209]
存储器1303，用于存放计算机程序；
[0210]
处理器1301，用于执行存储器1303上所存放的程序时，实现上述本发明实施例提供的任一校准参数确定方法的步骤。
[0211]
上述电子设备提到的通信总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0212]
通信接口用于上述电子设备与其他设备之间的通信。
[0213]
存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0214]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0215]
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一校准参数确定方法的步骤。
[0216]
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一校准参数确定方法。
[0217]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0218]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要
素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0219]
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、电子设备实施例、计算机可读存储介质实施例以及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0220]
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。