图像采集设备姿态标定方法、装置、设备及存储介质与流程

1.本发明实施例涉及车辆技术领域，具体涉及一种图像采集设备姿态标定方法、装置、设备及存储介质。


背景技术：

2.智能驾驶车辆搭载有各种各样的传感器，如激光雷达、相机、毫米波雷达和超声波雷达等。在众多传感器中，相机是最重要的传感器之一，系统高度依赖相机对周围环境信息进行抽象和建模。
3.在相机应用中，相机的外参标定是一个非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。相机中心相对车体中心的位置和姿态称为相机到车体的外参，在车辆使用的过程中，相机对车体的位姿会发生变化，导致之前的标定参数与实际关系之间存在较大误差，最终引起感知定位结果误差大，严重情况下使得系统功能降级。故亟需一种能够简单准确的相机姿态标定方法，以提升感知定位结果的准确性。


技术实现要素：

4.鉴于以上所述现有技术的缺点，本发明实施例提供一种图像采集设备姿态标定方法、装置、设备及存储介质，以解决上述技术问题。
5.本发明实施例提供的图像采集设备姿态标定方法，所述方法包括：
6.获取包括多条结构性线条的环境图像，所述环境图像通过图像采集设备采集；
7.确定多个参考线段形成的多个交点，以及所述交点的交点位置信息，多个参考线段包括至少一部分所述结构性线条；
8.根据所述交点位置信息将所述交点投影至预设高斯球面，得到所述交点的投影点，以及在所述预设高斯球面配置所述投影点的多组匹配点对，所述匹配点对包括第一匹配点和第二匹配点，根据所述投影点与所述预设高斯球的球心生成第一向量，根据所述第一匹配点与所述预设高斯球的球心生成第二向量，根据所述第一匹配点与所述预设高斯球的球心生成第三向量，所述第一向量、所述第二向量和所述第三向量之间两两垂直；
9.基于一交点的所述投影点、一所述第一匹配点和一所述第二匹配点生成所述交点的待选组合，得到一交点的待选组合集合；
10.确定优选曼哈顿世界假设，所述优选曼哈顿世界假设为各所述交点的待选组合集合中一所述待选组合；
11.根据所述优选曼哈顿世界假设中曼哈顿投影点、曼哈顿第一匹配点和曼哈顿第二匹配点与各参考线段之间的位置关系确定曼哈顿坐标轴属性，得到所述曼哈顿投影点的投影曼哈顿世界坐标、曼哈顿第一匹配点的第一曼哈顿世界坐标和曼哈顿第二匹配点的第二曼哈顿世界坐标；
12.基于所述投影曼哈顿世界坐标、所述第一曼哈顿世界坐标和所述第二曼哈顿世界
坐标以及预设图像采集设备世界坐标确定所述图像采集设备到所述曼哈顿世界的旋转矩阵，以对所述图像采集设备进行姿态标定。
13.于本发明一实施例中，获取包括多条结构性线条的环境图像之后，确定至少一部分所述结构性线条的延长线的多个交点，以及所述交点的交点位置信息之前，所述图像采集设备姿态标定方法还包括：
14.获取所述环境图像中的感兴趣区域，对所述感兴趣区域的感兴趣图像进行图像去畸变操作；
15.提取图像去畸变操作后的所述感兴趣图像中的参考线段；
16.记录至少部分所述参考线段的端点坐标信息，以通过所述端点坐标信息确定所述交点位置信息。
17.于本发明一实施例中，所述参考线段的数量的确定方式包括:
18.获取预设噪声参数和预设置信度；
19.根据所述预设噪声参数确定第一参考参数，根据所述预设置信度确定第二参考参数；
20.基于所述第一参考参数和所述第二参考参数确定所述参考线段的数量。
21.于本发明一实施例中，所述图像采集设备姿态标定方法应用于车辆，所述图像采集设备设置于所述车辆，获取包括多条结构性线条的环境图像之前，所述图像采集设备姿态标定方法包括：
22.控制所述车辆的车辆纵向与所述车辆所在空间的空间纵向平行；
23.通过所述图像采集设备采集环境图像。
24.于本发明一实施例中，确定优选曼哈顿世界假设的方式包括：
25.将所述预设高斯球面的半球面展开得到预设栅格，并将各所述交点划分到所述预设栅格的子栅格中；
26.根据形成所述交点的两条所述参考线段的线段长度、线段夹角和预设控制参数确定所述交点的响应值，将所述响应值确定为所述交点所在的子栅格的响应值，得到各所述子栅格的响应值；
27.根据所述待选组合中投影点、第一匹配点和第二匹配点分别在所述预设栅格中对应的子栅格的响应值确定各所述交点的待选组合集合中各所述待选组合的组合响应值；
28.将所述组合响应值最大的所述待选组合确定为所述优选曼哈顿世界假设。
29.于本发明一实施例中，将所述预设高斯球面的半球面展开得到预设栅格，并将各所述交点划分到所述预设栅格的子栅格中包括：
30.根据预设噪声参数确定栅格宽和栅格高；
31.将所述预设高斯球面的半球面展开，按照所述栅格宽和所述栅格高划分得到多个子栅格，得到所述预设栅格；
32.根据所述交点位置信息确定各所述交点投影至所述预设高斯球面的高斯球坐标，将所述高斯球坐标转化为极坐标；
33.基于所述极坐标将所述各所述交点划分到所述预设栅格的各所述子栅格中。
34.于本发明一实施例中，根据形成所述交点的两条所述参考线段的线段长度、线段夹角和预设控制参数确定所述交点的响应值包括：
[0035][0036]
其中，score为响应值，l1为一条所述参考线段的线段长度，l2为另一条所述参考线段的线段长度，θ为线段夹角，factor为预设控制参数，n为参考线段的数量。
[0037]
于本发明一实施例中，根据形成所述交点的两条所述参考线段的线段长度、线段夹角和预设控制参数确定所述交点的响应值之前，所述图像采集设备姿态标定方法包括：
[0038]
获取形成各所述交点的两条所述参考线段的线段夹角；
[0039]
若所述线段夹角大于预设角度阈值，将所述交点筛除；
[0040]
根据形成筛除后的所述交点的两条所述参考线段的线段长度、线段夹角和预设控制参数确定所述交点的响应值。
[0041]
于本发明一实施例中，根据所述优选曼哈顿世界假设中曼哈顿投影点、曼哈顿第一匹配点和曼哈顿第二匹配点与各参考线段之间的位置关系确定曼哈顿坐标轴属性包括：
[0042]
将所述曼哈顿投影点、曼哈顿第一匹配点和曼哈顿第二匹配点转换到预设归一化图像坐标系，得到归一化投影点、归一化第一匹配点和归一化第二匹配点；
[0043]
确定投影至所述预设归一化图像坐标系的至少一部分所述参考线段分别与所述归一化投影点、归一化第一匹配点和归一化第二匹配点之间的位置关系；
[0044]
基于所述位置关系对各所述参考线段进行聚类，得到所述参考线段的类别；
[0045]
确定各所述类别中所述参考线段的平均斜率分布情况，得到曼哈顿坐标轴属性。
[0046]
本发明还提供了一种图像采集设备姿态标定装置，所述图像采集设备姿态标定装置包括：
[0047]
获取模块，用于获取包括多条结构性线条的环境图像，所述环境图像通过图像采集设备采集；
[0048]
交点确定模块，用于确定多个参考线段形成的多个交点，以及所述交点的交点位置信息，多个参考线段包括至少一部分所述结构性线条；
[0049]
匹配点对确定模块，用于根据所述交点位置信息将所述交点投影至预设高斯球面，得到所述交点的投影点，以及在所述预设高斯球面配置所述投影点的多组匹配点对，所述匹配点对包括第一匹配点和第二匹配点，根据所述投影点与所述预设高斯球的球心生成第一向量，根据所述第一匹配点与所述预设高斯球的球心生成第二向量，根据所述第一匹配点与所述预设高斯球的球心生成第三向量，所述第一向量、所述第二向量和所述第三向量之间两两垂直；
[0050]
待选组合集合确定模块，用于基于一交点的所述投影点、一所述第一匹配点和一所述第二匹配点生成所述交点的待选组合，得到一交点的待选组合集合；
[0051]
优选曼哈顿世界假设确定模块，用于确定优选曼哈顿世界假设，所述优选曼哈顿世界假设为各所述交点的待选组合集合中一所述待选组合；
[0052]
曼哈顿坐标轴属性确定模块，用于根据所述优选曼哈顿世界假设中曼哈顿投影点、曼哈顿第一匹配点和曼哈顿第二匹配点与各参考线段之间的位置关系确定曼哈顿坐标轴属性，得到所述曼哈顿投影点的投影曼哈顿世界坐标、曼哈顿第一匹配点的第一曼哈顿世界坐标和曼哈顿第二匹配点的第二曼哈顿世界坐标；
[0053]
旋转矩阵确定模块，用于基于所述投影曼哈顿世界坐标、所述第一曼哈顿世界坐标和所述第二曼哈顿世界坐标以及预设图像采集设备世界坐标确定所述图像采集设备到
所述曼哈顿世界的旋转矩阵，以对所述图像采集设备进行姿态标定。
[0054]
本发明实施例提供的一种电子设备，所述电子设备包括：
[0055]
一个或多个处理器；
[0056]
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现上述任一项实施例所述的图像采集设备姿态标定方法。
[0057]
本发明实施例提供的一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行上述任一项实施例所述的图像采集设备姿态标定方法。
[0058]
本发明实施例的有益效果：本发明实施例中的图像采集设备姿态标定方法、装置、设备及存储介质，该方法通过对图像采集设备采集的环境图像中的结构性线条构造曼哈顿世界，基于单张图像即可估计得到曼哈顿世界与图像采集设备之间的旋转矩阵，实现对图像采集设备姿态的标定，简单准确，速度快。
[0059]
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
[0060]
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0061]
图1是本技术的一示例性实施例示出的图像采集设备姿态标定方法的实施环境示意图；
[0062]
图2是本技术的一示例性实施例示出的图像采集设备姿态标定方法的流程示意图；
[0063]
图3是本技术的一示例性实施例示出的曼哈顿假设的示意图；
[0064]
图4是本技术的一示例性实施例示出的曼哈顿假设生成示意图；
[0065]
图5是本技术的一示例性实施例示出的预设栅格的确定方式以及子栅格的响应值的确定方式示意图；
[0066]
图6是本技术的一示例性实施例示出的栅格响应值表的一个示意图；
[0067]
图7是本技术的一示例性实施例示出的根据优选曼哈顿假设进行旋转标定的过程的示意图；
[0068]
图8是本技术的一示例性实施例示出的三轴分布示意图；
[0069]
图9是本技术的一示例性实施例示出的图像采集设备姿态标定方法的一种具体的方法的示意图；
[0070]
图10是本技术的一示例性实施例示出的图像采集设备姿态标定装置的框图；
[0071]
图11示出了适于用来实现本技术实施例的电子设备的计算机系统的结构示意图。
具体实施方式
[0072]
以下将参照附图和优选实施例来说明本发明的实施方式，本领域技术人员可由本说明书中所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
[0073]
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0074]
在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。
[0075]
曼哈顿世界假设，是关于城市和室内场景的场景统计的假设。假定这样的城市或室内房间场景建立在笛卡尔网格上，在笛卡尔网格中，世界中的表面与三个主要方向之一对准，其中所有平面彼此平行或垂直。根据观察，大多数室内和城市场景都是在曼哈顿三维网格上设计的，在大多数情况下，人造建筑可以被抽象为与三个主要方向堆叠在一起的块，这被称为曼哈顿世界假设。
[0076]
结构性线条，可以理解为空间中与建筑物三个主要方向对齐的线。对于人造建筑的场景，包含了若干个主导方向的平面，而沿着这些主导方向的直线可以大致勾勒出建筑的结构，故可称之为结构性线条。
[0077]
高斯球，将物体表面每点的法向向量映射到一个单位球上，这个球称为高斯参考球(gaussian reference sphere)，高斯球。映射过程可以为将法向的起点平移至高斯参考球的球心，每个法向量会与高斯参考球的球面有一个交点。
[0078]
图1是本技术的一示例性实施例示出的实施环境示意图。如图1所示，服务器101通过网络与设置于车辆102内部的车载终端进行通信。车载终端的实现设备包括但不限于个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等任意支持图像采集设备姿态标定方法所生成的软件的终端设备。车载终端搭载有联网的终端软件，例如pc网站、手机网站、安卓app、iosapp、微信小程序、智能手表app、智能汽车app以及其它智能硬件应用等。服务器101可以用独立的服务器或者是多个服务器组成的服务器集群来实现，该服务器/服务器集群例如tsp(telematics service provider，汽车远程服务提供商)服务器。该服务器/服务器集群还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器，在此也不进行限制。通过车辆的图像采集设备采集环境图像，将环境图像的结构性线条图像进行检测，得到多个直线段，形成多个线段对，选取一定数量的线段对计算每一对线段对延长线的交点的交点坐标，以图像采集设备的中心为原点o，建立高斯球，将各交点投影在高斯球上得到多个投影点p1，在高斯球面获取向量的垂直圆，在该圆上采集多个个垂直点{p2}。计算向量和
所在平面的法向量与高斯球面的交点{p3}，最终得到多个三维点组{p1，p2，p3}。将高斯球的一半展开为矩形栅格，将各交点划分到对应的栅格上，以得到栅格的响应值。基于具有响应值的栅格和上述各个三维点组，以确定得到各个三维点组的响应值和，并将响应值和最大的一个三维点组作为最优曼哈顿世界假设。再将最优曼哈顿世界假设的三维点组中的三个点转为归一化图像坐标系，得到2d{p
best1
，p
best2
，p
best3
}，遍历上述得到的各个直线段，分别计算{p
best1
，p
best2
，p
best3
}各点与线段中点连线线段，通过夹角阈值判定进行聚类，通过统计各个聚类的横纵向斜率确定每个聚类的曼哈顿坐标轴属性x，y，z，进而确定曼哈顿世界假设三轴的对应情况，再计算相机到曼哈顿世界的旋转pm＝r
mc
pc，其中rmc表示从相机到曼哈顿的旋转矩阵。上述过程可以通过服务器独立执行，也可以通过车载终端独立执行，还可以通过服务器和车载终端进行交互实现。
[0079]
智能驾驶车辆搭载有各种各样的传感器，包括：激光雷达、相机、毫米波雷达和超声波雷达等。在众多传感器中，相机是最重要的传感器之一，系统高度依赖相机对周围环境信息进行抽象和建模。在相机应用中，相机的外参标定是一个非常关键的环节，其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。相机中心相对车体中心的位置和姿态称为相机到车体的外参，在车辆使用的过程中，相机对车体的位姿会发生变化，导致之前的标定参数与实际关系之间存在较大误差，最终引起感知定位结果误差大，严重情况下使得系统功能降级。故亟需一种能够简单准确的相机姿态标定方法，以提升感知定位结果的准确性。
[0080]
很多自然场景或者人工场景存在着结构上具有规律性的线条，这些线条要么互相平行，要么互相垂直，比如地板、天花板和墙面等。如果已知曼哈顿世界和车体之间的旋转关系，然后求解出相机和曼哈顿世界的旋转，就能最终得到车体和相机之间的旋转。曼哈顿世界和车体之间的旋转部分可以近似等于单位矩阵，通过车辆摆放位置与曼哈顿世界纵向直线平行来实现。
[0081]
为解决这些问题，本技术的实施例分别提出一种图像采集设备姿态标定方法、一种图像采集设备姿态标定装置、一种电子设备、一种计算机可读存储介质以及一种计算机程序产品，以下将对这些实施例进行详细描述。
[0082]
请参阅图2，图2是本技术的一示例性实施例示出的图像采集设备姿态标定方法的流程图。该方法可以应用于图1所示的实施环境，并由该实施环境中的服务器101或车载终端具体执行，或者通过服务器和车载终端共同执行。应理解的是，该方法也可以适用于其它的示例性实施环境，并由其它实施环境中的设备具体执行，本实施例不对该方法所适用的实施环境进行限制。
[0083]
如图2所示，在一示例性的实施例中，图像采集设备姿态标定方法至少包括步骤s201至步骤s207，详细介绍如下：
[0084]
步骤s201，获取包括多条结构性线条的环境图像。
[0085]
其中，所述环境图像通过图像采集设备采集。
[0086]
将该图像采集设备姿态标定方法应用于车辆时，可以将车辆放置于具有丰富结构性线条环境下，地面尽量平整，图像采集设备设置于车辆，获取包括多条结构性线条的环境图像之前，该图像采集设备姿态标定方法包括：
[0087]
控制车辆的车辆纵向与车辆所在空间的空间纵向平行；
[0088]
通过图像采集设备采集环境图像。
[0089]
图像采集设备可以是车辆的行车记录仪等具有图像拍摄功能的设备，图像采集设备的设置位置在此不做限定，可以由本领域技术人员根据需要进行设定。
[0090]
车辆纵向为车辆车门所在侧面的平面，也可以是车头-车尾方向。空间纵向为本领域技术人员将车辆所在空间进行方向设定的纵向。可以是与该空间中部分结构性线条平行的方向。
[0091]
在一实施例中，图像采集设备姿态标定方法应用于其他装置或设备时，需要将应用的装置或设备设置在所拍摄的图像所在具有一定边界的空间中的与边界平行的位置，比如，以车辆为例，将车辆停放在地下车库的车位中、车道线旁，墙边等。
[0092]
在一实施例中，步骤s201之后，步骤s202之前，该图像采集设备姿态标定方法包括：
[0093]
获取环境图像中的感兴趣区域，对感兴趣区域的感兴趣图像进行图像去畸变操作；
[0094]
提取图像去畸变操作后的感兴趣图像中的参考线段；
[0095]
记录至少部分参考线段的端点坐标信息，以通过端点坐标信息确定交点位置信息。
[0096]
其中，参考线段的端点坐标信息包括两个端点的端点坐标，通过端点坐标信息确定交点位置信息的方式可以为：
[0097]
将一参考线段的两个端点坐标转换成齐次坐标后计算叉积，以得到该参考线段的表达式；
[0098]
基于两条参考线段的表达式确定一交点，及该交点的交点位置信息。
[0099]
感兴趣区域可以是环境图像偏上部分或本领域技术人员所设定的其他部分。可以通过图像采集设备的内参数对原始鱼眼图像(环境图像)偏上部分去畸变，以实现对感兴趣区域的感兴趣图像进行图像去畸变操作。
[0100]
在一实施例中，参考线段的数量的确定方式如下：
[0101]
获取预设噪声参数和预设置信度；
[0102]
根据预设噪声参数确定第一参考参数，根据预设置信度确定第二参考参数；
[0103]
基于第一参考参数和第二参考参数确定参考线段的数量。
[0104]
参考线段的数量的具体的确定方式如下：
[0105]
m＝log(1-coe)/log(1-noise)
ꢀꢀ
公式(1)；
[0106]
其中，m为参考线段的数量，coe为预设置信度，noise为预设噪声参数。
[0107]
此时，基于上述参考线段数量的参考线段两两组合计算得到交点，交点的数量小于或等于交点阈值，交点阈值的计算方式为：
[0108][0109]
其中，j为交点阈值，m为参考线段的数量。
[0110]
通过上述方式确定参考线段的数量，可以在保证后续旋转矩阵的确定精度的前提下，降低计算量，减少资源浪费。
[0111]
步骤s202，确定多个参考线段形成的多个交点，以及所述交点的交点位置信息。
[0112]
其中，多个参考线段为环境图像中的至少一部分结构性线条。换句话说，从环境图
像中的多条结构性线条中选择一部分作为参考线段。
[0113]
可参见上述实施例中对于参考线段数量的确定方式，以及交点位置信息的确定方式，在此不做赘述。
[0114]
步骤s203，根据交点位置信息将交点投影至预设高斯球面，得到交点的投影点，以及在预设高斯球面配置投影点的多组匹配点对。
[0115]
其中，匹配点对包括第一匹配点和第二匹配点，根据投影点与预设高斯球的球心生成第一向量，根据第一匹配点与预设高斯球的球心生成第二向量，根据第一匹配点与预设高斯球的球心生成第三向量，第一向量、第二向量和第三向量之间两两垂直。
[0116]
一种匹配点对的生成方式如下：
[0117]
将所有交点投影到预设高斯球面得到{p1}集合，将{p1}中每一个点与预设高斯球的球心作为第一轴；
[0118]
{p1}中每一个点，可以根据正交关系得到一个高斯球上的正圆，在正圆上按照一定的角度分辨率选点，得到第一匹配点，最终确定投影点集合{p2}，角度分辨率为0.5时，投影点的数量为将{p2}中每一个点与预设高斯球的球心作为第二轴；
[0119]
第三轴的位置根据第一轴、第二轴的正交关系可以唯一确定，得到第二匹配点，角度分辨率为0.5时，该轴在高斯球上的点{p3}数量为
[0120]
一种具体的匹配点对的生成方式如下：
[0121]
选取一定数量的参考线段，得到n对线段对，计算每对线段对在远处的交点坐标{p1}；
[0122]
以相机(以图像采集设备为相机为例)中心o为原点，建立长度为单位1(也可以选择其他单位长度)的高斯球s(预设高斯球)，求取上述所有交点在高斯球上的投影点{p1}；
[0123]
参见图3，图3是本技术的一示例性实施例示出的曼哈顿假设的示意图，在高斯球面获取向量的垂直圆，在该圆上按照0.5度(也可以按照其他角度，此处为示例)的分辨率采集720个点{p2}(第一匹配点的集合)；
[0124]
计算向量和所在平面的法向量与高斯球面的交点{p3}(也即第二匹配点的集合)，最终{p1，p2，p3}组合(一个交点的待选组合)数量为720n(以0.5度分辨率为例)，也即可以得到该交点的待选组合集合。
[0125]
步骤s204，基于一交点的投影点、一第一匹配点和一第二匹配点生成交点的待选组合，得到一交点的待选组合集合。
[0126]
如上述实施例所示例的，将一个交点的一个第一匹配点、该第一匹配点的第二匹配点组成该交点的一个待选组合，待选组合中的第二匹配点与第一匹配点一一对应。第二匹配点为根据投影点和第一匹配点所确定的点。
[0127]
参见图4，图4是本技术的一示例性实施例示出的曼哈顿假设生成示意图，也即一交点的带选组合集合的生成过程示意图，如图4所示，该过程包括：
[0128]
步骤s401，根据噪声因子和不确定性计算选取线段数量m。
[0129]
其中噪声因子也即前述的预设噪声参数，不确定性也即前述的预设置信度。线段数量也即参考线段的数量。具体确定方式可以参见前述公式(1)。
[0130]
步骤s402，随机选取固定数量m的线段。
[0131]
也即在多条结构性线条中随机选择m条结构性线条作为参考线段。
[0132]
步骤s403，线段两两组合计算出所有
[0133]
也即，将上述步骤s402所得到的参考线段两两组合，计算出交点，交单数量为
[0134]
步骤s404，所有交点投影到单位高斯球得到点集合{p1}。
[0135]
单位高斯球也即预设高斯球，通过投影得到交点的投影点，各交点的投影点形成集合{p1}。
[0136]
步骤s405，根据正交关系确定所有的高斯投影点集合{p2}。
[0137]
以0.5度的角度分辨率选点，得到第一匹配点的数量共计{p2}为各投影点的第一匹配点的集合。
[0138]
步骤s406，根据正交关系确定所有的高斯投影点集合{p3}。
[0139]
以0.5度的角度分辨率选点，得到第一匹配点，并根据正交关系，基于投影点、第一匹配点得到对应的第二匹配点，基于第一匹配点的数量为第二匹配点的数量共计{p3}为各投影点的第二匹配点的集合。
[0140]
步骤s407，系列曼哈顿假设组合。
[0141]
通过上述方式就可以得到各所述交点的待选组合集合的各个待选组合。
[0142]
步骤s205，确定优选曼哈顿世界假设。
[0143]
其中，优选曼哈顿世界假设为各交点的待选组合集合中一待选组合。
[0144]
在一实施例中，优选确定曼哈顿世界假设的方式包括：
[0145]
将预设高斯球面的半球面展开得到预设栅格，并将各交点划分到预设栅格的子栅格中；
[0146]
根据形成交点的两条参考线段的线段长度、线段夹角和预设控制参数确定交点的响应值，将响应值确定为交点所在的子栅格的响应值，得到各子栅格的响应值；
[0147]
根据待选组合中投影点、第一匹配点和第二匹配点分别在预设栅格中对应的子栅格的响应值确定各交点的待选组合集合中各待选组合的组合响应值；
[0148]
将组合响应值最大的待选组合确定为优选曼哈顿世界假设。
[0149]
在一实施例中，将预设高斯球面的半球面展开得到预设栅格，并将各交点划分到预设栅格的子栅格中包括：
[0150]
根据预设噪声参数确定栅格宽和栅格高；
[0151]
将预设高斯球面的半球面展开，按照栅格宽和栅格高划分得到多个子栅格，得到预设栅格；
[0152]
根据交点位置信息确定各交点投影至预设高斯球面的高斯球坐标，将高斯球坐标转化为极坐标；
[0153]
基于极坐标将各交点划分到预设栅格的各子栅格中。
[0154]
在一实施例中，根据形成交点的两条参考线段的线段长度、线段夹角和预设控制参数确定交点的响应值包括：
[0155][0156]
其中，score为响应值，l1为一条参考线段的线段长度，l2为另一条参考线段的线段长度，θ为线段夹角，factor为预设控制参数，n为参考线段的数量。
[0157]
在一实施例中，根据形成交点的两条参考线段的线段长度、线段夹角和预设控制参数确定交点的响应值之前，图像采集设备姿态标定方法包括：
[0158]
获取形成各交点的两条参考线段的线段夹角；
[0159]
若线段夹角大于预设角度阈值，将交点筛除；
[0160]
根据形成筛除后的交点的两条参考线段的线段长度、线段夹角和预设控制参数确定交点的响应值。
[0161]
参见图5，图5是本技术的一示例性实施例示出的预设栅格的确定方式以及子栅格的响应值的确定方式示意图，如图5所示：
[0162]
步骤s501，计算所有直线两两组合得到的交点坐标x，y，z。
[0163]
也即计算参考线段之间的交点。
[0164]
步骤s502，计算高斯半球宽(列数)，w＝360/0.5。
[0165]
也即，计算高斯半球等效栅格的宽(列数)，w＝360/0.5公式(4)，w为宽。
[0166]
步骤s503，计算高斯半球高(行数)，h＝90/0.5。
[0167]
也即，计算高斯半球等效栅格的高(行数)，h＝90/0.5公式(5)，h为高。
[0168]
步骤s504，生成高斯球等效栅格。
[0169]
也即生成预设栅格。
[0170]
步骤s505，交点坐标转到高斯球中心下坐标。
[0171]
在一实施例中，交点坐标投影到高斯球坐标，计算公式为：
[0172][0173]
其中，x1，y1，z1为交点的高斯球坐标，x,y,z的初始坐标(交点位置信息)，xc，yc为预设归一化图像坐标系的图像中心坐标。
[0174]
步骤s506，中心坐标转极坐标。
[0175]
高斯球坐标转极坐标，计算方式为：
[0176][0177]
其中，和ρ为交点的极坐标，x1，y1，z1为交点的高斯球坐标。
[0178]
步骤s507，交点极坐标转栅格并更新栅格响应值。
[0179]
响应值的计算公式可以参见上述实施例。
[0180]
步骤s508，判断组成交点的两直线夹角是否大于阈值，若是则跳过，对新的交点执行步骤s505。若否则执行步骤s509。
[0181]
其中，对于线段夹角超过一定阈值(预设角度阈值)的两个线段的交点的响应值直接忽略。
[0182]
步骤s509，等效栅格响应值表。
[0183]
也即将该交点的响应值确定为预设栅格的子栅格的响应值。
[0184]
通过上述方式能够得到各子栅格的响应值，后续对于曼哈顿假设(待选组合)可以通过查表得到组合响应值。
[0185]
在一实施例中，参见图6，图6是本技术的一示例性实施例示出的栅格响应值表的一个示意图。
[0186]
通过选取一定数量的交点生成曼哈顿假设，遍历所有曼哈顿假设计算每组假设的响应值，响应值最大则为优选曼哈顿假设。
[0187]
步骤s206，根据曼哈顿世界假设中曼哈顿投影点、曼哈顿第一匹配点和曼哈顿第二匹配点与各参考线段之间的位置关系确定曼哈顿坐标轴属性，得到曼哈顿投影点的投影曼哈顿世界坐标、曼哈顿第一匹配点的第一曼哈顿世界坐标和曼哈顿第二匹配点的第二曼哈顿世界坐标。
[0188]
将曼哈顿世界假设的待选组合中投影点、第一匹配点和第二匹配点确定为曼哈顿投影点、曼哈顿第一匹配点和曼哈顿第二匹配点。
[0189]
在一实施例中，根据曼哈顿世界假设中曼哈顿投影点、曼哈顿第一匹配点和曼哈顿第二匹配点与各参考线段之间的位置关系确定曼哈顿坐标轴属性包括：
[0190]
将曼哈顿投影点、曼哈顿第一匹配点和曼哈顿第二匹配点转换到预设归一化图像坐标系，得到归一化投影点、归一化第一匹配点和归一化第二匹配点；
[0191]
确定投影至预设归一化图像坐标系的至少一部分参考线段分别与归一化投影点、归一化第一匹配点和归一化第二匹配点之间的位置关系；
[0192]
基于位置关系对各参考线段进行聚类，得到参考线段的类别；
[0193]
确定各类别中参考线段的平均斜率分布情况，得到曼哈顿坐标轴属性。
[0194]
步骤s207，基于投影曼哈顿世界坐标、第一曼哈顿世界坐标和第二曼哈顿世界坐标以及预设图像采集设备世界坐标确定图像采集设备到曼哈顿世界的旋转矩阵，以对图像采集设备进行姿态标定。
[0195]
其中，预设归一化图像坐标系可以为图像采集设备的图像坐标系，此时，可以不用对参考线段进行投影，参考线段本身就在图像坐标系下。
[0196]
参见图7，图7是本技术的一示例性实施例示出的根据优选曼哈顿假设进行旋转标定的过程，具体可以包含以下步骤：
[0197]
步骤s701，曼哈顿世界假设的组合坐标转换。
[0198]
将前面生成的所有曼哈顿世界假设的组合，经过图像坐标系-高斯球笛卡尔坐标系-高斯球极坐标系的转换。
[0199]
步骤s702，计算每组假设的响应值得分总和。
[0200]
查询各曼哈顿世界假设所在栅格的响应值分数并计算每组假设的得分总和(待选组合的响应值)。例如，可以分别将每一个曼哈顿世界假设(待选组合)中各点的高斯球坐标转换为极坐标(参考公式(7)的方式)，进而得到该点的角度信息，通过查询预设栅格中该点所对应的子栅格的响应值，作为该点的响应值，当得到一曼哈顿世界假设(待选组合)中各点的响应值后，取各响应值之和，得到待选组合的响应值。
[0201]
步骤s703，确定最优曼哈顿世界假设组合。
[0202]
遍历找到得分最高的曼哈顿世界假设组合，也即优选曼哈顿世界假设。
[0203]
步骤s704，最优曼哈顿世界假设组合坐标转换。
[0204]
将最优组合的3个点(对应三轴)从高斯球坐标系转回到图像坐标系(预设归一化坐标系)，分别计算每条线段与三个假设点的几何关系来确定直线所属类别，最后得到满足条件的线段聚类。
[0205]
步骤s705，线段聚类。
[0206]
分别计算每条线段与三个假设点的几何关系来确定直线所属类别，最后得到满足条件的线段聚类。
[0207]
步骤s706，统计每个类别的斜率分布。
[0208]
统计每个类别的平均斜率分布情况，dy/d
x
最小的类所属的轴为x轴，d
x
/dy最小的类所属的轴为y轴，介于中间的为z轴。
[0209]
步骤s707，确定每个类别对应的坐标轴。
[0210]
步骤s708，确定最优曼哈顿世界假设的三轴分布情况。
[0211]
所有类对应轴的关系已经确定，每个类对应的假设点确定，如图8所示，图8是本技术的一示例性实施例示出的三轴分布示意图，也即，最终曼哈顿世界假设的三个正交轴分布(曼哈顿坐标轴属性)。
[0212]
步骤s709，计算从相机到曼哈顿世界的旋转。
[0213]
计算从相机到车体(图像采集设备也即此处的相机位于车辆上)的旋转部分，旋转矩阵的确定方式如下：
[0214]
pm＝r
mc
pcꢀꢀ
公式(8)，
[0215]
其中，r
mc
表示从相机到曼哈顿的旋转矩阵，pc为预设相机坐标，pm为投影曼哈顿世界坐标、第一曼哈顿世界坐标和第二曼哈顿世界坐标组成的曼哈顿世界坐标。
[0216]
如图9所示，图9是本技术的一示例性实施例示出的图像采集设备姿态标定方法的一种具体的方法，采用基于曼哈顿世界假设的相机外参标定方法，根据场景中较为常见的结构化线条构造曼哈顿世界，然后计算出相机与曼哈顿世界之间的旋转部分。当该方法采用在车辆时，通过约束车辆的停放姿态，使得车辆与曼哈顿世界的旋转部分近似为单位矩阵，最终得到相机与车辆的旋转部分。该方法原理相对简单，数据准备过程工作量小，结果比较准确，对于结构化线条丰富的场景具有很好的应用前景。如图9所示，以相机为例，该具体的方法包括：
[0217]
步骤s901，具有结构性线条图像采集。
[0218]
也即采集环境图像。
[0219]
步骤s902，图像预处理。
[0220]
根据相机内参数，对原始鱼眼图像偏上部分去畸变。
[0221]
步骤s903，图像中线段检测。
[0222]
提取去畸变图像中满足一定条件的m条线段。
[0223]
步骤s904，计算所有线段的相关信息。
[0224]
统计记录每条直线的端点、长度、表达式和旋转角度。
[0225]
步骤s905，生成曼哈顿世界假设。
[0226]
选取一定数量的n对线段，计算每对线段在远处的交点坐标{p1}，以相机中心o为原点，建立长度为单位1的高斯球s，求取上述所有交点在高斯球上的投影点{p1}，在高斯球
面获取向量的垂直圆，在该圆上按照0.5度的分辨率采集720个点{p2}，计算向量和所在平面的法向量与高斯球面的交点{p3}，最终{p1，p2，p3}组合数量为720n。
[0227]
步骤s906，高斯半球展开栅格。
[0228]
采用统计学中的组合方法穷举两条线段组pair的情况，计算每个pair的交点{pi}，并将其交点{pi}投影到上述单位高斯球s上，将高斯半球按角度分辨率展开为(w＝360/0.5，h＝90/0.5)的矩形栅格g。
[0229]
步骤s907，计算每个栅格的响应值。
[0230]
将上述步骤得到的所有交点pi按照角度划分到对应的栅格上，更新栅格的响应值score，响应值计算公式为其中θ为两条直线的夹角，factor为控制参数。
[0231]
步骤s908，确定最优曼哈顿世界假设。
[0232]
代入步骤s905中所有的{p1，p2，p3}组合，计算每个组合的响应值和，响应值最大的组合构成了曼哈顿世界假设。
[0233]
步骤s909，聚类并确定曼哈顿三轴分布情况。
[0234]
将上述得到的曼哈顿世界假设的三个高斯球面上的点转换到归一化平面上得到对应的2d p
best1
，p
best2
，p
best3
，遍历所有线段，分别计算{p
best1
，p
best2
，p
best3
}各点与线段中点连线线段，通过夹角阈值判定进行聚类，通过统计各个聚类的横纵向斜率确定每个聚类的曼哈顿坐标轴属性x，y，z，进而确定步骤s908最优曼哈顿世界假设三轴的对应情况。
[0235]
步骤s910，计算相机到曼哈顿世界的旋转矩阵。
[0236]
计算相机到曼哈顿世界的旋转pm＝r
mc
pc，其中r
mc
表示从相机到曼哈顿的旋转矩阵。
[0237]
通过利用自然场景或者人工场景存在规律性的线条构造曼哈顿世界，通过提取单张图片即可估计出曼哈顿世界和相机的旋转关系。不需要进行复杂的数据采集和预处理过程；也不需要额外的标定辅助工具；标定速度快，精度高。
[0238]
图10是本技术的一示例性实施例示出的图像采集设备姿态标定装置的框图。该装置可以应用于图1所示的实施环境，并具体配置在服务器或车载终端中。该装置也可以适用于其它的示例性实施环境，并具体配置在其它设备中，本实施例不对该装置所适用的实施环境进行限制。
[0239]
如图10所示，该示例性的图像采集设备姿态标定装置1000包括：
[0240]
获取模块1001，用于获取包括多条结构性线条的环境图像，环境图像通过图像采集设备采集；
[0241]
交点确定模块1002，用于确定多个参考线段形成的多个交点，以及交点的交点位置信息，多个参考线段包括至少一部分结构性线条；
[0242]
匹配点对确定模块1003，用于根据交点位置信息将交点投影至预设高斯球面，得到交点的投影点，以及在预设高斯球面配置投影点的多组匹配点对，匹配点对包括第一匹配点和第二匹配点，根据投影点与预设高斯球的球心生成第一向量，根据第一匹配点与预设高斯球的球心生成第二向量，根据第一匹配点与预设高斯球的球心生成第三向量，第一向量、第二向量和第三向量之间两两垂直；
[0243]
待选组合集合确定模块1004，用于基于一交点的投影点、一第一匹配点和一第二匹配点生成交点的待选组合，得到一交点的待选组合集合；
[0244]
优选曼哈顿世界假设确定模块1005，用于确定优选曼哈顿世界假设，优选曼哈顿世界假设为各交点的待选组合集合中一待选组合；
[0245]
曼哈顿坐标轴属性确定模块1006，用于根据优选曼哈顿世界假设中曼哈顿投影点、曼哈顿第一匹配点和曼哈顿第二匹配点与各参考线段之间的位置关系确定曼哈顿坐标轴属性，得到曼哈顿投影点的投影曼哈顿世界坐标、曼哈顿第一匹配点的第一曼哈顿世界坐标和曼哈顿第二匹配点的第二曼哈顿世界坐标；
[0246]
1007，用于基于投影曼哈顿世界坐标、第一曼哈顿世界坐标和第二曼哈顿世界坐标以及预设图像采集设备世界坐标确定图像采集设备到曼哈顿世界的旋转矩阵，以对图像采集设备进行姿态标定。
[0247]
需要说明的是，上述实施例所提供的图像采集设备姿态标定装置与上述实施例图2所提供的图像采集设备姿态标定方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的图像采集设备姿态标定装置在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处也不对此进行限制。
[0248]
本技术的实施例还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现上述各个实施例中提供的图像采集设备姿态标定方法。
[0249]
图11示出了适于用来实现本技术实施例的电子设备的计算机系统的结构示意图。需要说明的是，图11示出的电子设备的计算机系统1100仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
[0250]
如图11所示，计算机系统1100包括中央处理单元(central processing unit，cpu)1101，其可以根据存储在只读存储器(read-only memory，rom)1102中的程序或者从储存部分1108加载到随机访问存储器(random access memory，ram)1103中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在ram 1103中，还存储有系统操作所需的各种程序和数据。cpu 1101、rom 1102以及ram 1103通过总线1104彼此相连。输入/输出(input/output，i/o)接口1105也连接至总线1104。
[0251]
以下部件连接至i/o接口1105：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(cathode ray tube，crt)、液晶显示器(liquid crystal display，lcd)等以及扬声器等的输出部分1107；包括硬盘等的储存部分1108；以及包括诸如lan(local area network，局域网)卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至i/o接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入储存部分1108。
[0252]
特别地，根据本技术的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本技术的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的
实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被中央处理单元(cpu)1101执行时，执行本技术的系统中限定的各种功能。
[0253]
需要说明的是，本技术实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(erasable programmable read only memory，eprom)、闪存、光纤、便携式紧凑磁盘只读存储器(compact disc read-only memory，cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
[0254]
附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0255]
描述于本技术实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
[0256]
本技术的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机的处理器执行时，使计算机执行如前所述的图像采集设备姿态标定方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。
[0257]
本技术的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的图像采集设备姿态标定方法。
[0258]
上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因
此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。