深度信息的确定方法、装置、终端及存储介质与流程

1.本技术涉及视觉里程计技术领域，特别涉及一种深度信息的确定方法、装置、终端及存储介质。


背景技术：

2.目前，视觉里程计在自动驾驶、移动机器人和增强现实等领域得到了广泛的应用。例如，通过视觉里程计确定物体对应的特征点的深度信息，根据特征点的深度信息，确定物体的三维坐标。也即，在通过视觉里程计确定物体的三维坐标之前，需要确定物体对应的特征点的深度信息。
3.相关技术中，通过结构光法获取特征点的深度信息，该方法包括：通过结构光发射器向物体发射结构光，通过结构光接收器接收物体反射回来的结构光，根据物体造成的结构光的变化，确定物体对应的特征点的深度信息。
4.但是，在上述相关技术中，结构光容易受到太阳光等外界光线的干扰，这样当需要获取室外物体对应的特征点的深度信息时，结构光接收器接收物体反射回来的结构光中掺杂有部分外界光线，导致确定的特征点的深度信息的精确性低。


技术实现要素：

5.本技术实施例提供了一种深度信息的确定方法、装置、终端及存储介质，能够提高确定目标对象的深度信息的精确性。所述技术方案如下：
6.根据本技术实施例的一方面，提供了一种深度信息的确定方法，所述方法包括：
7.获取第一图像和第二图像，所述第一图像和所述第二图像为安装在目标设备上的双目相机采集的；
8.基于所述第一图像和所述第二图像，确定特征点对的第一坐标信息，所述特征点对的第一坐标信息用于表示所述特征点对在归一化平面的坐标系下的坐标，所述特征点对包括所述第一图像中的第一特征点和所述第二图像中与所述第一特征点匹配的第二特征点；
9.获取所述目标设备在世界坐标系下的姿态信息和所述目标设备距离参考面的高度信息；
10.基于所述特征点对的第一坐标信息、所述高度信息和所述姿态信息，确定目标特征点在所述双目相机对应的坐标系下的深度信息，所述目标特征点为所述特征点对映射到所述参考面的特征点。
11.在一些实施例中，获取所述目标设备距离参考面的高度信息的过程，包括：
12.获取单点测距传感器采集的所述目标设备距离所述参考面的距离信息，所述单点测距传感器安装在所述目标设备上；
13.将所述距离信息确定为所述目标特征点在单点测距传感器坐标系下的高度值，得到第二坐标信息，所述第二坐标信息用于表示所述目标特征点在所述单点测距传感器坐标
系下的坐标；
14.根据所述第二坐标信息和所述姿态信息，确定所述目标设备距离参考面的高度信息。
15.在另一些实施例中，所述根据所述第二坐标信息和所述姿态信息，确定所述目标设备距离参考面的高度信息，包括：
16.获取所述单点测距传感器与所述双目相机之间的第一旋转参数和第一平移参数，基于所述第一旋转参数和所述第一平移参数，将所述第二坐标信息转换为第三坐标信息，所述第三坐标信息用于表示所述目标特征点在所述双目相机坐标系下的坐标；
17.根据所述第三坐标信息和所述姿态信息的乘积，确定所述目标设备在所述世界坐标系下的第四坐标信息；
18.基于所述第四坐标信息，确定所述目标设备距离参考面的高度信息。
19.在另一些实施例中，所述第四坐标信息包括所述目标设备在所述世界坐标系下的横向参数、纵向参数和第一高度参数；
20.所述基于所述第四坐标信息，确定所述目标设备距离参考面的高度信息，包括：
21.从所述第四坐标信息中确定第一高度参数，响应于所述第一高度参数的绝对值不大于第一预设高度值，确定所述第一高度参数为所述目标设备距离参考面的高度信息；
22.响应于所述第一高度参数的绝对值大于所述第一预设高度值，获取所述目标设备的状态信息，所述状态信息包括所述目标设备当前的第二高度参数，确定所述第二高度参数为所述目标设备距离参考面的高度信息。
23.在另一些实施例中，所述获取单点测距传感器采集的所述目标设备距离所述参考面的距离信息，包括：
24.获取所述单点测距传感器在预设时长内采集的多个历史距离，确定所述多个历史距离的距离中值；
25.响应于所述单点测距传感器采集的当前距离与所述距离中值之间的差值小于预设距离阈值，确定所述当前距离为所述距离信息；响应于所述当前距离与所述距离中值之间的差值大于所述预设距离阈值，确定所述距离中值为所述距离信息。
26.在另一些实施例中，所述基于所述特征点对的第一坐标信息、所述高度信息和所述姿态信息，确定目标特征点在所述双目相机对应的坐标系下的深度信息，包括：
27.从所述第一坐标信息中确定参考特征点的第一坐标，确定所述高度信息与第一目标值的比值，将所述比值作为所述参考特征点在所述双目相机对应的坐标系下的目标深度，所述参考特征点为所述第一特征点和所述第二特征点中的至少一个，所述第一目标值为基于所述第一坐标和所述姿态信息的乘积确定的；
28.基于所述目标深度，确定目标特征点在所述双目相机对应的坐标系下的深度信息。
29.在另一些实施例中，所述基于所述目标深度，确定目标特征点在所述双目相机对应的坐标系下的深度信息，包括：
30.所述参考特征点为所述第一特征点或者所述第二特征点时，将所述目标深度作为所述深度信息。
31.在另一些实施例中，从所述第一图像和所述第二图像中确定特征点对的过程，包
括：
32.从所述第一图像中提取第一特征点，在所述第二图像中确定与所述第一特征点匹配的第二特征点；
33.在所述第一图像中确定与所述第二特征点匹配的第三特征点；
34.若所述第一特征点和所述第三特征点之间的距离小于第一预设距离，将所述第一特征点和所述第二特征点组成特征点对。
35.在另一些实施例中，从所述第一图像和所述第二图像中确定特征点对的过程，包括：
36.从所述第一图像中提取第一特征点，在所述第二图像中确定与所述第一特征点匹配的第二特征点；
37.确定所述第二特征点对应的极线；
38.响应于所述第一特征点与所述极线之间的距离小于第二预设距离，将所述第一特征点和所述第二特征点组成特征点对。
39.在另一些实施例中，所述确定所述第二特征点对应的极线，包括：
40.获取所述双目相机中第一相机与第二相机之间的第二旋转参数和第二平移参数；
41.确定所述第二特征点在归一化平面的坐标系下的第二坐标；
42.根据所述第二坐标、所述第二旋转参数和所述第二平移参数的反对称矩阵的乘积，确定极线方程的参数，得到所述第二特征点对应的极线。
43.在另一些实施例中，第一特征点的数量为多个，所述从所述第一图像中提取第一特征点，包括：
44.确定所述第一图像中的多个图像网格，从每个图像网格中提取至少一个角点，得到多个角点；
45.确定所述多个角点中任两个角点之间的距离，基于所述距离，从所述多个角点中确定所述距离大于第三预设距离的多个目标角点；
46.将每个目标角点作为一个第一特征点。
47.在另一些实施例中，所述方法还包括：
48.响应于所述高度信息小于第二预设高度值，获取所述双目相机中第一相机与第二相机之间的第二旋转参数和第二平移参数；
49.根据所述第二旋转参数、所述第二平移参数、所述第一坐标信息和目标关系数据，确定所述目标特征点在第一相机坐标系下的第一目标深度和所述目标特征点在第二相机坐标系下的第二目标深度，所述目标关系数据用于表示所述第二旋转参数、所述第二平移参数、所述第一坐标信息、所述第一目标深度和所述第二目标深度之间的关系；
50.确定所述第一目标深度为所述目标特征点的深度信息。
51.根据本技术实施例的另一方面，提供了一种深度信息的确定装置，所述装置包括：
52.第一获取模块，用于获取第一图像和第二图像，所述第一图像和所述第二图像为安装在目标设备上的双目相机采集的；
53.第一确定模块，用于基于所述第一图像和所述第二图像，确定特征点对的第一坐标信息，所述特征点对的第一坐标信息用于表示所述特征点对在归一化平面的坐标系下的坐标，所述特征点对包括所述第一图像中的第一特征点和所述第二图像中与所述第一特征
点匹配的第二特征点；
54.第二获取模块，用于获取所述目标设备在世界坐标系下的姿态信息和所述目标设备距离参考面的高度信息；
55.第二确定模块，用于基于所述特征点对的第一坐标信息、所述高度信息和所述姿态信息，确定目标特征点在所述双目相机对应的坐标系下的深度信息，所述目标特征点为所述特征点对映射到所述参考面的特征点。
56.在一些实施例中，所述第二获取模块，包括：
57.第一获取单元，用于获取单点测距传感器采集的所述目标设备距离所述参考面的距离信息，所述单点测距传感器安装在所述目标设备上；
58.第一确定单元，用于将所述距离信息确定为所述目标特征点在单点测距传感器坐标系下的高度值，得到第二坐标信息，所述第二坐标信息用于表示所述目标特征点在所述单点测距传感器坐标系下的坐标；
59.第二确定单元，用于根据所述第二坐标信息和所述姿态信息，确定所述目标设备距离参考面的高度信息。
60.在另一些实施例中，所述第二确定单元，用于获取所述单点测距传感器与所述双目相机之间的第一旋转参数和第一平移参数，基于所述第一旋转参数和所述第一平移参数，将所述第二坐标信息转换为第三坐标信息，所述第三坐标信息用于表示所述目标特征点在所述双目相机坐标系下的坐标；根据所述第三坐标信息和所述姿态信息的乘积，确定所述目标设备在所述世界坐标系下的第四坐标信息；基于所述第四坐标信息，确定所述目标设备距离参考面的高度信息。
61.在另一些实施例中，所述第四坐标信息包括所述目标设备在所述世界坐标系下的横向参数、纵向参数和第一高度参数；所述第二确定单元，用于从所述第四坐标信息中确定第一高度参数，响应于所述第一高度参数的绝对值不大于第一预设高度值，确定所述第一高度参数为所述目标设备距离参考面的高度信息；
62.响应于所述第一高度参数的绝对值大于所述第一预设高度值，获取所述目标设备的状态信息，所述状态信息包括所述目标设备当前的第二高度参数，确定所述第二高度参数为所述目标设备距离参考面的高度信息。
63.在另一些实施例中，所述第一获取单元，用于获取所述单点测距传感器在预设时长内采集的多个历史距离，确定所述多个历史距离的距离中值；响应于所述单点测距传感器采集的当前距离与所述距离中值之间的差值小于预设距离阈值，确定所述当前距离为所述距离信息；响应于所述当前距离与所述距离中值之间的差值大于所述预设距离阈值，确定所述距离中值为所述距离信息。
64.在另一些实施例中，所述第二确定模块，包括：
65.第三确定单元，用于从所述第一坐标信息中确定参考特征点的第一坐标，确定所述高度信息与第一目标值的比值，将所述比值作为所述参考特征点在所述双目相机对应的坐标系下的目标深度，所述参考特征点为所述第一特征点和所述第二特征点中的至少一个，所述第一目标值为基于所述第一坐标和所述姿态信息的乘积确定的；
66.第四确定单元，用于基于所述目标深度，确定目标特征点在所述双目相机对应的坐标系下的深度信息。
67.在另一些实施例中，所述第四确定单元，用于所述参考特征点为所述第一特征点或者所述第二特征点时，将所述目标深度作为所述深度信息。
68.在另一些实施例中，所述第一确定模块，用于从所述第一图像中提取第一特征点，在所述第二图像中确定与所述第一特征点匹配的第二特征点；在所述第一图像中确定与所述第二特征点匹配的第三特征点；若所述第一特征点和所述第三特征点之间的距离小于第一预设距离，将所述第一特征点和所述第二特征点组成特征点对。
69.在另一些实施例中，所述第一确定模块，用于从所述第一图像中提取第一特征点，在所述第二图像中确定与所述第一特征点匹配的第二特征点；确定所述第二特征点对应的极线；响应于所述第一特征点与所述极线之间的距离小于第二预设距离，将所述第一特征点和所述第二特征点组成特征点对。
70.在另一些实施例中，所述第一确定模块，用于获取所述双目相机中第一相机与第二相机之间的第二旋转参数和第二平移参数；确定所述第二特征点在归一化平面的坐标系下的第二坐标；根据所述第二坐标、所述第二旋转参数和所述第二平移参数的反对称矩阵的乘积，确定极线方程的参数，得到所述第二特征点对应的极线。
71.在另一些实施例中，第一特征点的数量为多个，所述第一确定模块，用于确定所述第一图像中的多个图像网格，从每个图像网格中提取至少一个角点，得到多个角点；确定所述多个角点中任两个角点之间的距离，基于所述距离，从所述多个角点中确定所述距离大于第三预设距离的多个目标角点；将每个目标角点作为一个第一特征点。
72.在另一些实施例中，所述装置还包括：
73.第三获取模块，用于响应于所述高度信息小于第二预设高度值，获取所述双目相机中第一相机与第二相机之间的第二旋转参数和第二平移参数；
74.第三确定模块，用于根据所述第二旋转参数、所述第二平移参数、所述第一坐标信息和目标关系数据，确定所述目标特征点在第一相机坐标系下的第一目标深度和所述目标特征点在第二相机坐标系下的第二目标深度，所述目标关系数据用于表示所述第二旋转参数、所述第二平移参数、所述第一坐标信息、所述第一目标深度和所述第二目标深度之间的关系；
75.第四确定模块，用于确定所述第一目标深度为所述目标特征点的深度信息。
76.根据本技术实施例的另一方面，提供了一种终端，所述终端包括：处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行以实现上述任一实施例中所述的深度信息的确定方法中的操作。
77.根据本技术实施例的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现上述任一实施例中所述的深度信息的确定方法中的操作。
78.根据本技术实施例的另一方面，提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机程序代码，所述计算机程序代码存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取所述计算机程序代码，处理器执行所述计算机程序代码，使得所述计算机设备执行上述任一实施例中所述的深度信息的确定方法所执行的操作。
79.本技术实施例提供了一种深度信息的确定方法，由于通过特征点对的第一坐标信
息、目标设备的姿态信息和距离参考面的高度信息，确定目标特征点的深度信息，而第一坐标信息是通过双目相机采集的第一图像和第二图像确定的，在确定深度信息的过程中，第一图像、第二图像、目标设备的姿态信息和高度信息等不会受到外界光线的干扰，所以提高了确定的深度信息的精确性。
80.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
81.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
82.图1是本技术实施例提供的一种实施环境的示意图；
83.图2是本技术实施例提供的一种深度信息的确定方法的流程图；
84.图3是本技术实施例提供的一种深度信息的确定方法的流程图；
85.图4是本技术实施例提供的一种深度信息的确定方法的示意图；
86.图5是本技术实施例提供的一种深度信息的确定装置的结构示意图；
87.图6是本技术实施例提供的一种深度信息的确定装置的结构示意图；
88.图7是本技术实施例提供的一种终端的结构示意图。
具体实施方式
89.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
90.图1是本技术实施例提供的一种实施环境的示意图。参见图1，该实施环境中包括终端101和目标设备，目标设备上安装有双目相机和单点测距传感器。终端101和双目相机以及单点测距传感器之间通过无线或者有线网络连接，并能通过网络连接进行指令传输、图像传输、测试数据传输等。其中，双目相机能够采集目标特征点所在场景的图像，目标特征点所在的参考面对应的是图像所在的参考面，单点测距传感器能够采集目标设备距离目标特征点所在参考面的距离信息。
91.在一些实施例中，通过终端101确定目标特征点的深度信息。具体的步骤为：双目相机将采集的图像信息上传至终端101，单点测距传感器将采集的距离信息上传至终端101；终端101根据图像信息以及距离信息，确定目标特征点的深度信息。
92.在另一些实施例中，通过服务器102确定目标特征点的深度信息。相应的，该实施环境还包括服务器102；终端101和服务器102之间通过无线或者有线网络连接。终端101上可以安装有服务器102提供服务的客户端，终端101对应的用户可以通过该客户端与服务器102之间实现例如数据传输、消息交互等功能。客户端可以为终端101上安装的包括上网功能的客户端。例如，该客户端可以为配送应用、飞行状态应用等。
93.终端101可以为电脑或者其他电子设备。服务器102可以是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心。
94.其中，通过服务器102确定目标特征点的深度信息的步骤为：终端101接收双目相机采集的图像信息以及单点测距传感器采集的距离信息；通过客户端向服务器102发送图像信息以及距离信息；然后，服务器102根据图像信息以及距离信息，确定目标特征点的深度信息。
95.图2是本技术实施例提供的一种深度信息的确定方法的流程图。参见图3，该方法包括以下步骤：
96.201、获取第一图像和第二图像，第一图像和第二图像为安装在目标设备上的双目相机采集的。
97.202、基于第一图像和第二图像，确定特征点对的第一坐标信息，特征点对的第一坐标信息用于表示特征点对在归一化平面的坐标系下的坐标，特征点对包括第一图像中的第一特征点和第二图像中与第一特征点匹配的第二特征点。
98.203、获取目标设备在世界坐标系下的姿态信息和目标设备距离参考面的高度信息。
99.204、基于特征点对的第一坐标信息、高度信息和姿态信息，确定目标特征点在双目相机对应的坐标系下的深度信息，目标特征点为特征点对映射到参考面的特征点。
100.在一些实施例中，获取目标设备距离参考面的高度信息的过程，包括：
101.获取单点测距传感器采集的目标设备距离参考面的距离信息，单点测距传感器安装在目标设备上；
102.将距离信息确定为目标特征点在单点测距传感器坐标系下的高度值，得到第二坐标信息，第二坐标信息用于表示目标特征点在单点测距传感器坐标系下的坐标；
103.根据第二坐标信息和姿态信息，确定目标设备距离参考面的高度信息。
104.在另一些实施例中，根据第二坐标信息和姿态信息，确定目标设备距离参考面的高度信息，包括：
105.获取单点测距传感器与双目相机之间的第一旋转参数和第一平移参数，基于第一旋转参数和第一平移参数，将第二坐标信息转换为第三坐标信息，第三坐标信息用于表示目标特征点在双目相机坐标系下的坐标；
106.根据第三坐标信息和姿态信息的乘积，确定目标设备在世界坐标系下的第四坐标信息；
107.基于第四坐标信息，确定目标设备距离参考面的高度信息。
108.在另一些实施例中，第四坐标信息包括目标设备在世界坐标系下的横向参数、纵向参数和第一高度参数；
109.基于第四坐标信息，确定目标设备距离参考面的高度信息，包括：
110.从第四坐标信息中确定第一高度参数，响应于第一高度参数的绝对值不大于第一预设高度值，确定第一高度参数为目标设备距离参考面的高度信息；
111.响应于第一高度参数的绝对值大于第一预设高度值，获取目标设备的状态信息，状态信息包括目标设备当前的第二高度参数，确定第二高度参数为目标设备距离参考面的高度信息。
112.在另一些实施例中，获取单点测距传感器采集的目标设备距离参考面的距离信息，包括：
113.获取单点测距传感器在预设时长内采集的多个历史距离，确定多个历史距离的距离中值；
114.响应于单点测距传感器采集的当前距离与距离中值之间的差值小于预设距离阈值，确定当前距离为距离信息；响应于当前距离与距离中值之间的差值大于预设距离阈值，确定距离中值为距离信息。
115.在另一些实施例中，基于特征点对的第一坐标信息、高度信息和姿态信息，确定目标特征点在双目相机对应的坐标系下的深度信息，包括：
116.从第一坐标信息中确定参考特征点的第一坐标，确定高度信息与第一目标值的比值，将比值作为参考特征点在双目相机对应的坐标系下的目标深度，参考特征点为第一特征点和第二特征点中的至少一个，第一目标值为基于第一坐标和姿态信息的乘积确定的；
117.基于目标深度，确定目标特征点在双目相机对应的坐标系下的深度信息。
118.在另一些实施例中，基于目标深度，确定目标特征点在双目相机对应的坐标系下的深度信息，包括：
119.参考特征点为第一特征点或者第二特征点时，将目标深度作为深度信息。
120.在另一些实施例中，从第一图像和第二图像中确定特征点对的过程，包括：
121.从第一图像中提取第一特征点，在第二图像中确定与第一特征点匹配的第二特征点；
122.在第一图像中确定与第二特征点匹配的第三特征点；
123.若第一特征点和第三特征点之间的距离小于第一预设距离，将第一特征点和第二特征点组成特征点对。
124.在另一些实施例中，从第一图像和第二图像中确定特征点对的过程，包括：
125.从第一图像中提取第一特征点，在第二图像中确定与第一特征点匹配的第二特征点；
126.确定第二特征点对应的极线；
127.响应于第一特征点与极线之间的距离小于第二预设距离，将第一特征点和第二特征点组成特征点对。
128.在另一些实施例中，确定第二特征点对应的极线，包括：
129.获取双目相机中第一相机与第二相机之间的第二旋转参数和第二平移参数；
130.确定第二特征点在归一化平面的坐标系下的第二坐标；
131.根据第二坐标、第二旋转参数和第二平移参数的反对称矩阵的乘积，确定极线方程的参数，得到第二特征点对应的极线。
132.在另一些实施例中，第一特征点的数量为多个，从第一图像中提取第一特征点，包括：
133.确定第一图像中的多个图像网格，从每个图像网格中提取至少一个角点，得到多个角点；
134.确定多个角点中任两个角点之间的距离，基于距离，从多个角点中确定距离大于第三预设距离的多个目标角点；
135.将每个目标角点作为一个第一特征点。
136.在另一些实施例中，方法还包括：
137.响应于高度信息小于第二预设高度值，获取双目相机中第一相机与第二相机之间的第二旋转参数和第二平移参数；
138.根据第二旋转参数、第二平移参数、第一坐标信息和目标关系数据，确定目标特征点在第一相机坐标系下的第一目标深度和目标特征点在第二相机坐标系下的第二目标深度，目标关系数据用于表示第二旋转参数、第二平移参数、第一坐标信息、第一目标深度和第二目标深度之间的关系；
139.确定第一目标深度为目标特征点的深度信息。
140.本技术实施例提供的一种深度信息的确定方法，由于通过特征点对的第一坐标信息、目标设备的姿态信息和距离参考面的高度信息，确定目标特征点的深度信息，而第一坐标信息是通过双目相机采集的第一图像和第二图像确定的，在确定深度信息的过程中，第一图像、第二图像、目标设备的姿态信息和高度信息等不会受到外界光线的干扰，所以提高了确定的深度信息的精确性。
141.图3是本技术实施例提供的一种深度信息的确定方法的流程图。以通过终端确定深度信息为例进行说明。参见图3，该方法包括以下步骤：
142.301、终端获取第一图像和第二图像，第一图像和第二图像为安装在目标设备上的双目相机采集的。
143.在本步骤中，目标设备可以是无人驾驶车辆、无人机设备、智能机器人等使用视觉里程计技术的设备。双目相机包括第一相机和第二相机。其中，第一图像为第一相机采集的，第二图像为第二相机采集的。可选的，第一相机为安装在目标设备的左侧的相机，第二相机为安装在目标设备的右侧的相机，或者，第一相机为安装在目标设备的右侧的相机，第二相机为安装在目标设备的左侧的相机。
144.在一些实施例中，第一图像和第二图像为第一相机和第二相机在同一时间点采集的图像。第一图像和第二图像为包括相同目标对象的图像。目标对象包括多个目标特征点，目标特征点可以是图像中的任一特征点，也即是和周围像素有区别的像素。
145.在一些实施例中，当用户打算获取目标设备的深度信息时，触发指定操作，终端响应于指定操作，生成采集指令，向双目相机发送采集指令，双目相机接收采集指令，采集图像后，将图像发送至终端，终端获取第一图像和第二图像。
146.其中，指定操作可以是按压终端上的采集按钮，也可以是点击终端的显示屏幕上的采集图标。
147.在本技术实施例中，当用户打算获取目标设备的深度信息时，终端通过采集指令获取双目相机采集的第一图像和第二图像，进而根据第一图像和第二图像，确定目标设备的深度信息，确保每次采集的图像均被使用，所以提高了获取的第一图像和第二图像的有效性。
148.在另一些实施例中，双目相机按照预设周期采集图像，并将图像发送至终端，终端获取双目相机采集的第一图像和第二图像。例如，预设周期可以是1/60s至1s之间的任一数值，例如，1s、1/2s、1/5s等；在本技术实施例中，对预设周期的时长不作具体限定，可以根据需要进行设定并修改。
149.在本技术实施例中，终端按照预设周期，获取双目相机采集的第一图像和第二图像，进而根据图像，能够实时确定深度信息，所以提高了确定深度信息的实时性。
150.302、终端基于第一图像和第二图像，确定特征点对的第一坐标信息，特征点对的第一坐标信息用于表示特征点对在归一化平面的坐标系下的坐标，特征点对包括第一图像中的第一特征点和第二图像中与第一特征点匹配的第二特征点。
151.在本步骤中，特征点对包括第一图像中的第一特征点和第二图像中与第一特征点匹配的第二特征点，其中，终端从第一图像和第二图像中确定特征点对可以有以下三种方式，但不限于以下三种：
152.第一种，终端通过klt(kanade
‑
lucas
‑
tomasi)光流跟踪法，从第一图像和第二图像中确定特征点对。相应的，终端从第一图像和第二图像中确定特征点对的过程，包括：终端从第一图像中提取第一特征点，在第二图像中确定与第一特征点匹配的第二特征点；在第一图像中确定与第二特征点匹配的第三特征点；若第一特征点和第三特征点之间的距离小于第一预设距离，将第一特征点和第二特征点组成特征点对。例如，第一预设距离可以为1像素至50像素之间的任意数值，例如，1像素、5像素、10像素等；在本技术实施例中，对第一预设距离的数值不作具体限定，可以根据需要进行设定并修改。
153.在一些实施例中，终端对第一特征点进行光流跟踪，得到第二图像中与第一特征点匹配的第二特征点；终端对第二特征点进行光流跟踪，得到第一图像中与第二特征点匹配的第三特征点。
154.在本技术实施例中，由于第一特征点和通过双向光流跟踪法得到的第三特征点之间的距离较小，匹配度高，所以通过光流跟踪法，从第一图像和第二图像中确定特征点对的精确度高。
155.在一些实施例中，参见图4，终端从第一图像中提取fast(features from accelerated segment test，分段加速测试的特征)角点，将fast角点作为第一图像中的特性点。相应的，终端从第一图像中提取第一特征点的步骤为：终端确定第一图像中的多个图像网格，从每个图像网格中提取至少一个角点，得到多个角点；确定多个角点中任两个角点之间的距离，基于距离，从多个角点中确定距离大于第三预设距离的多个目标角点；将每个目标角点作为一个第一特征点。
156.其中，第三预设距离可以为5像素至50像素之间的任意数值，例如，10像素、15像素、20像素等；在本技术实施例中，对第三预设距离的数值不作具体限定，可以根据需要进行设定并修改。
157.需要说明的一点是，第一图像包括多个像素，每个像素的灰度值不同。在一些实施例中，终端确定多个像素的灰度值；对于每个像素，当该像素与相邻像素之间的灰度值之差大于预设灰度阈值时，终端确定该像素为角点。
158.其中，预设灰度阈值可以是10至100之间的任意数值，例如，10、20、50等；在本技术实施例中，对该预设灰度阈值的数值不作具体限定，可以根据需要进行设定并修改。
159.在本技术实施例中，将第一图像划分为多个图像网格，然后从每个图像网格中提取至少一个角点，这样选取的角点均匀分布在图像内，并且，由于任两个角点之间的距离大于第三预设距离，从而避免出现多个角点扎堆的情况发生，进一步提高了角点分布的均匀性。
160.第二种，终端根据极线约束，从第一图像和第二图像中筛选出误差小的特征点对。相应的，终端从第一图像和第二图像中确定特征点对的过程，包括：终端从第一图像中提取
第一特征点，在第二图像中确定与第一特征点匹配的第二特征点；确定第二特征点对应的极线；响应于第一特征点与极线之间的距离小于第二预设距离，将第一特征点和第二特征点组成特征点对。其中，第二预设距离可以为1像素至50像素之间的任意数值，例如，1像素、5像素、10像素等；在本技术实施例中，对第二预设距离的数值不作具体限定，可以根据需要进行设定并修改。
161.终端从第一图像中提取第一特征点，在第二图像中确定与第一特征点匹配的第二特征点的方法与第一种情况中的方法相同，在此不再进行赘述。
162.在一些实施例中，终端确定第二特征点对应的极线，包括：终端获取双目相机中第一相机与第二相机之间的第二旋转参数和第二平移参数；确定第二特征点在归一化平面的坐标系下的第二坐标；根据第二坐标、第二旋转参数和第二平移参数的反对称矩阵的乘积，确定极线方程的参数，得到第二特征点对应的极线。
163.其中，双目相机中第一相机与第二相机之间的第二旋转参数和第二平移参数为该双目相机的外参，第二旋转参数可以用字母r2表示，第二平移参数可以用字母t2表示。
164.在一些实施例中，终端根据第二坐标、第二旋转参数和第二平移参数的反对称矩阵的乘积，确定极线方程的参数为a、b、c；得到的极线的直线方程为：l(a,b,c)＝t2^r2x2；其中，a、b、c分别表示直线方程的第一常数、第二常数和第三常数；t2表示第二平移参数，r2表示第二旋转参数，t2^表示第二平移参数的反对称矩阵，x2表示第二坐标。
165.需要说明的一点是，第二坐标、第二旋转参数和第二平移参数的反对称矩阵的乘积为3*1阶的矩阵，参数为a、b、c分别对应矩阵的第一行、第二行和第三行，相应的，直线方程l(a,b,c)为ax by c＝0；其中，a、b、c分别表示直线方程的第一常数、第二常数和第三常数，x表示第二特征点的横坐标，y表示第二特征点的纵坐标。
166.在一些实施例中，第一特征点的坐标为(u，v)，相应的，第一特征点与极线之间的距离d为：
167.其中，a、b、c分别表示直线方程的第一常数、第二常数和第三常数，u表示第一特征点的横坐标，v表示第一特征点的纵坐标。
168.在本技术实施例中，由于通过第一特征点与第二特征点对应的极线之间的距离，筛选距离较小的第一特征点与第二特征点，得到的特征点对的匹配度较高，从而提高了确定的特征点对的精确度。
169.第三种，继续参见图4，终端可以先通过klt光流跟踪法确定多个特征点对，然后通过极线约束，对特征点对进行筛选，得到最终的特征点对。相应的，终端从第一图像和第二图像中确定特征点对的过程，包括：终端从第一图像中提取第一特征点，在第二图像中确定与第一特征点匹配的第二特征点；在第一图像中确定与第二特征点匹配的第三特征点；若第一特征点和第三特征点之间的距离小于第一预设距离，将第一特征点和第二特征点组成特征点对；终端确定该特征点对中的第二特征点对应的极线，响应于该特征点对中的第一特征点与极线之间的距离小于第二预设距离，确定该特征点对为最终的特征点对。
170.在本技术实施例中，由于先通过双向光流跟踪法，筛选出匹配度较高的特征点对，然后通过该特征点对中的第一特征点与第二特征点对应的极线之间的距离进行二次筛选，从而进一步提高了得到的最终的特征点对的匹配度，所以确定的特征点对的精确度高。
171.需要说明的一点是，光流跟踪法的前提条件为亮度恒定，在一些实施例中，继续参
见图4，在确定特征点对之前，终端可以先对第一图像和第二图像进行直方图均衡化处理，使第一图像和第二图像的平均亮度相近，然后才根据第一图像和第二图像，通过光流跟踪法确定特征点对。
172.在一些实施例中，继续参见图4，在通过光流跟踪法确定特征点对之前，为了便于跟踪特征点，对于第一图像或第二图像，终端可以先构建该图像对应的金字塔图像，也即，构建该图像对应的多个尺度的图像；然后，通过多个尺度的图像实现光流跟踪。例如，通过光流跟踪确定第二图像中的第二特征点的过程中，先构建第二图像对应的多个尺度的图像，然后对多个尺度的图像进行光流跟踪，得到第二特征点。
173.在一些实施例中，特征点对的第一坐标信息包括第一特征点在归一化平面上的第一坐标和第二特征点在归一化平面上的第二坐标。相应的，终端确定特征点对的第一坐标信息的步骤为：终端获取第一相机的内参和第二相机的内参，根据第一相机的内参，通过以下公式一，确定第一特征点在归一化平面上的第一坐标；根据第二相机的内参，通过以下公式二，确定第二特征点在归一化平面上的第二坐标；确定第一坐标和第二坐标为特征点对的第一坐标信息；
174.公式一：
175.公式二：
176.其中，p1表示第一特征点的坐标信息，k1表示第一相机的内参，x1表示第一特征点在归一化平面上的第一坐标；p2表示第二特征点的坐标信息，k2表示第二相机的内参，x2表示第二特征点在归一化平面上的第二坐标。可选的，第一特征点的坐标信息为第一特征点在第一图像平面的齐次坐标(u1,v1,1)，第二特征点的坐标信息为第二特征点在第二图像平面的齐次坐标(u2,v2,1)。
177.303、终端获取目标设备在世界坐标系下的姿态信息和目标设备距离参考面的高度信息。
178.在一些实施例中，世界坐标系为ned(north east down，北东地)坐标系；ned坐标系中的x轴方向为地球正北方向，y轴方向为地球正东方向，z轴方向为垂直于地球表面指向下。
179.在一些实施例中，在目标设备启动之后，终端可以实时获取该目标设备的在世界坐标系下的姿态信息。
180.在一些实施例中，终端通过单点测距传感器获取目标设备距离参考面的高度信息，相应的，终端获取高度信息的步骤为：终端获取单点测距传感器采集的目标设备距离参考面的距离信息，单点测距传感器安装在目标设备上；将距离信息确定为目标特征点在单点测距传感器坐标系下的高度值，得到第二坐标信息，第二坐标信息用于表示目标特征点在单点测距传感器坐标系下的坐标；根据第二坐标信息和姿态信息，确定目标设备距离参考面的高度信息。其中，单点测距传感器可以为激光测距传感器。
181.在一些实施例中，继续参见图4，单点测距传感器的原始数据中存在噪声数据，终端可以利用中值滤波来抑制原始数据中存在的跳变和错误值对单点测距结果的影响。相应的，终端获取单点测距传感器采集的目标设备距离参考面的距离信息的步骤为：获取单点测距传感器在预设时长内采集的多个历史距离，确定多个历史距离的距离中值；响应于单
点测距传感器采集的当前距离与距离中值之间的差值小于预设距离阈值，确定当前距离为距离信息；响应于当前距离与距离中值之间的差值大于预设距离阈值，确定距离中值为距离信息。
182.在本技术实施例中，由于在当前距离与距离中值之间的差值小时，终端确定当前距离有效，在当前距离与距离中值之间的差值大时，确定当前距离为噪声数据，将距离中值作为目标距离，从而避免了原始数据中存在的跳变和错误值对单点测距结果的影响，所以提高了单点测距的准确性。
183.在一些实施例中，将单点测距传感器在参考面上投射的激光点作为目标特征点，将距离信息d确定为目标特征点在单点测距传感器坐标系下的高度值，得到的第二坐标信息为p2(0，0，d)；然后根据第二坐标信息p2和姿态信息r
ned
确定目标设备距离参考面的高度信息。
184.需要说明的一点是，d指的是单点测距传感器发出的激光点打在参考平面上的位置，也就是参考面上投射的激光点(目标特征点)在单点测距传感器坐标系下的高度值。由于单点测距传感器距离参考面的距离较远，在单点测距传感器测试过程中，特征点对映射到参考面的特征点(目标特征点)近似位于同一个参考面上。
185.其中，终端根据第二坐标信息和姿态信息，确定目标设备距离参考面的高度信息的步骤为：终端获取单点测距传感器与双目相机之间的第一旋转参数和第一平移参数，基于第一旋转参数和第一平移参数，将第二坐标信息转换为第三坐标信息，第三坐标信息用于表示目标特征点在双目相机坐标系下的坐标；根据第三坐标信息和姿态信息的乘积，确定目标设备在世界坐标系下的第四坐标信息；基于第四坐标信息，确定目标设备距离参考面的高度信息。
186.例如，单点测距传感器与双目相机之间的第一旋转参数用字母r1表示，第一平移参数用字母t1表示。终端基于r1和t1，将p2转换为p3，其中，p2与p3之间的转换关系为：p3＝r1p2 t1。终端确定目标设备在世界坐标系下第四坐标信息t
ned
(2)，也即t
ned
在z方向的值。其中，目标特征点在世界坐标系下的第四坐标信息为p
ned
(2)；p
ned
(2)与p3之间的转换关系为：p
ned
(2)＝r
ned
p3(2) t
ned
(2)。由于目标特征点位于地面上，所以目标特征点在世界坐标系下的坐标信息p
ned
在z方向的值p
ned
(2)为0。其中，r
ned
p3 t
ned
在z方向的值与p
ned
在z方向的值相同，均为0，从而确定t
ned
(2)＝(
‑
r
ned
p3)(2)。
187.在一些实施例中，第四坐标信息包括目标设备在世界坐标系下的横向参数、纵向参数和第一高度参数。相应的，终端基于第四坐标信息，确定目标设备距离参考面的高度信息的步骤为：终端从第四坐标信息中确定第一高度参数，响应于第一高度参数的绝对值不大于第一预设高度值，确定第一高度参数为目标设备距离参考面的高度信息。
188.其中，第一预设高度值可以至110m至130m之间的任一数值，例如，110m、120m、125m等；在本技术实施例中，对第一预设高度值的数值不作具体限定，可以根据需要进行设定并修改。
189.例如，继续参见图4，第一预设高度值为120m。第四坐标信息包括横向位置参数x(沿世界坐标系的x轴方向)，纵向位置参数y(沿世界坐标系的y轴方向)和高度位置参数h(沿世界坐标系的z轴方向)；其中，当h的绝对值不大于120m时，确定h的绝对值为目标设备距离参考面的高度信息。
190.其中，第二坐标信息用于表示目标特征点在单点测距传感器坐标系下的坐标，第三坐标信息用于表示目标特征点在双目相机坐标系下的坐标；将第二坐标信息转换为第三坐标信息，也即将单点测距传感器坐标系转换为双目相机坐标系。
191.在本技术实施例中，由于目标设备距离参考面的距离信息是通过单点测距传感器采集的，当第一高度参数的绝对值不大于第一预设高度值时，能够满足单点测距传感器的测量范围，确保通过采集的距离信息确定的高度信息的精确度，进而提高了确定的深度信息的精确度。
192.需要说明的一点是，当第一高度参数的绝对值大于第一预设高度值时，则确定超出单点测距传感器的测量范围，此时需要通过目标设备的先验数据，确定高度信息。
193.在一些实施例中，目标设备的先验数据可以是目标设备的状态信息。相应的，终端确定高度信息的步骤为：终端获取目标设备的状态信息，状态信息包括目标设备当前的第二高度参数，确定第二高度参数为目标设备距离参考面的高度信息。
194.在本技术实施例中，由于当第一高度参数的绝对值大于第一预设高度值时，超出了单点测距传感器的测量范围，此时通过目标设备的先验数据，确定高度信息，而先验数据在大尺度范围内的精确度高，进而确保了确定了高度信息的精确度，提高了确定的深度信息的准确性。
195.例如，继续参见图4，当第一高度参数的绝对值小于第一预设高度值(120m)时，能够满足单点测距传感器的测量范围，终端通过单点测距传感器采集的距离信息确定的高度信息；当第一高度参数的绝对值大于第一预设高度值(120m)时，超出了单点测距传感器的测量范围，此时通过目标设备的先验数据，确定高度信息；由此可知，本技术实施例能够根据第一高度参数的绝对值的大小，灵活选取精确性高的方法来确定高度信息，进而提高了确定的高度信息的准确性。
196.304、若目标设备距离参考面的高度信息不小于第二预设高度值，终端基于特征点对的第一坐标信息、高度信息和姿态信息，确定目标特征点在双目相机对应的坐标系下的深度信息，目标特征点为特征点对映射到参考面的特征点。
197.在一些实施例中，终端确定目标设备距离参考面的高度信息之后，可以根据目标设备距离参考面的高度信息与第二预设高度值之间的大小，选择精确性高的设备来确定深度信息。若目标设备距离参考面的高度信息不小于第二预设高度值，终端执行完步骤301至步骤303之后，继续执行步骤304，而不再执行步骤305至步骤307；若目标设备距离参考面的高度信息小于第二预设高度值，则终端通过双目相机采集的图像以及该双目相机的参数信息，确定特征点的深度信息。此时，终端执行完步骤301至步骤303之后，不再执行步骤304，而是通过步骤305至步骤307确定深度信息。
198.其中，第二预设高度值可以至40m至60m之间的任一数值，例如，40m、50m、55m等；在本技术实施例中，对第二预设高度值的数值不作具体限定，可以根据需要进行设定并修改。例如，继续参见图4，第二预设高度值为50m。
199.在本技术实施例中，由于当通过单点测距传感器确定的高度信息较大时，单点测距传感器的精确度较高，则通过单点测距传感器和目标设备的高度信息，确定目标特征点的深度信息，当通过单点测距传感器确定的高度信息较小时，双目相机的精确度较高，此时则根据双目相机确定目标特征点的深度信息，由此可知，本技术能够根据深度信息对应的
深度值区间，灵活选取精确性高的设备来确定深度信息，所以提高了确定的深度信息的准确性。
200.在一些实施例中，终端基于特征点对的第一坐标信息、高度信息和姿态信息，确定目标特征点在双目相机对应的坐标系下的深度信息的步骤为：终端从第一坐标信息中确定参考特征点的第一坐标，确定高度信息与第一目标值的比值，将比值作为参考特征点在双目相机对应的坐标系下的目标深度；基于目标深度，确定目标特征点在双目相机对应的坐标系下的深度信息，第一目标值为基于第一坐标和姿态信息的乘积确定的。
201.在一些实施例中，第一目标值为第一坐标和姿态信息的乘积的第三维对应的值，也即，该乘积在z方向的值。
202.在一些实施例中，参考特征点为第一特征点和第二特征点中的至少一个。终端基于目标深度，确定目标特征点在双目相机对应的坐标系下的深度信息的步骤为：当参考特征点为第一特征点或者第二特征点时，终端将目标深度作为深度信息。
203.305、若目标设备距离参考面的高度信息小于第二预设高度值，终端获取双目相机中第一相机与第二相机之间的第二旋转参数和第二平移参数。
204.在一些实施例中，终端内存储有双目相机对应的型号，对于每个型号的双目相机，终端内存储有该双目相机中第一相机与第二相机之间的旋转参数和平移参数。相应的，本步骤为：终端响应于高度信息小于第二预设高度值，获取双目相机的型号信息，根据型号信息，确定该双目相机中第一相机与第二相机之间的第二旋转参数和第二平移参数。
205.其中，第二旋转参数可以用字母r2表示，第二平移参数用字母t2表示。
206.306、终端根据第二旋转参数、第二平移参数、第一坐标信息和目标关系数据，确定目标特征点在第一相机坐标系下的第一目标深度和目标特征点在第二相机坐标系下的第二目标深度，目标关系数据用于表示第二旋转参数、第二平移参数、第一坐标信息、第一目标深度和第二目标深度之间的关系。
207.在一些实施例中，第一坐标信息包括第一特征点的坐标和第二特征点的坐标，终端通过最小二乘法，确定第一目标深度和第二目标深度，相应的，本步骤为：终端根据第二旋转参数、第二平移参数、第一特征点的坐标、第二特征点的坐标和以下公式三，确定公式三的最小二乘解，确定该最小二乘解为第一目标深度和第二目标深度；
208.公式三：s1x1＝r2s2x2 t2；
209.其中，目标关系数据为公式三，s1表示第一目标深度，s2表示第二目标深度，x1表示第一特征点的坐标，x2表示第二特征点的坐标，t2表示第二平移参数，r2表示第二旋转参数。
210.需要说明的一点是，公式三s1x1＝r2s2x2 t2的矩阵形式为公式四：[x1ꢀ‑
r2x2]简记作：ax＝b；终端通过矩阵形式得到的最小二乘解为x＝(a
t
a)
‑1a
t
b。其中，最小二乘解为矩阵形式的解，第一目标深度矩阵中第一行的解x(0)，第二目标深度为矩阵中第二行的解x(1)。其中，第一目标深度x(0)为目标特征点在第一相机坐标系下的深度，第二目标深度x(1)为目标特征点在第二相机坐标系下的深度。
[0211]
307、终端确定第一目标深度为目标特征点的深度信息。
[0212]
在一些实施例中，终端直接确定第一目标深度为目标特征点的深度信息。在另一些实施例中，终端可以先根据第一目标深度，确定是否符合双目相机的测量范围，若第一目
标深度符合双目相机的测量范围，则确定第一目标深度为目标特征点的深度信息。
[0213]
其中，双目相机的测量范围为不大于第二预设高度值。相应的，终端确定第一目标深度是否符合双目相机的测量范围的方法有以下两种情况：
[0214]
第一种情况，目标特征点的个数为一个，若第一目标深度不大于第二预设高度值，则终端确定第一目标深度符合双目相机的测量范围。
[0215]
第二种情况，目标特征点的个数为多个，多个目标特征点对应多个第一目标深度，若多个第一目标深度的平均值不大于第二预设高度值，则终端确定第一目标深度符合双目相机的测量范围。
[0216]
例如，第二预设高度值为50m，目标特征点的数量为3个，分别为：目标特征点1、目标特征点2和目标特征点3；其中，目标特征点1的第一目标深度是40m，目标特征点2的第一目标深度是30m，目标特征点3的第一目标深度为20m，终端确定多个第一目标深度的平均值30m不大于第二预设高度值，则终端确定第一目标深度符合双目相机的测量范围。
[0217]
需要说明的一点是，双目相机的测量范围受限于双目相机的基线的长度，也即，左目相机与右目相机之间的距离。其中，基线的长度越大，双目相机的可测量的距离越大。由此可见，在不改变双目相机的基线的条形下，当测量的距离较远时(超过双目相机的测量范围)，通过双目相机的测得的目标深度值的精确度降低。
[0218]
在本技术实施例中，由于当通过双目相机测得的目标深度值较小时，双目相机的精确度较高，此时根据双目相机确定目标特征点的深度信息，当通过双目相机测得的目标深度值较大时，双目相机的精确度降低，则通过单点测距和目标设备的高度信息，确定目标特征点的深度信息，由此可知，本技术能够根据深度信息对应的深度值区间，灵活选取精确性高的方法确定深度信息，所以提高了确定的深度信息的准确性。
[0219]
需要说明的一点是，终端可以通过步骤303中确定的高度信息与第二预设高度值之间的大小，选择精确性高的设备来确定深度信息；终端也可以通过步骤306中确定的第一目标深度与第二预设高度值之间的大小，选择精确性高的设备来确定深度信息。
[0220]
在一些实施例中，终端执行步骤301
‑
302以后，直接执行步骤305
‑
307。若第一目标深度小于第二预设高度值，则确定该第一目标深度为目标特征点的深度信息，此时，不再执行步骤303
‑
304；也即，直接通过双目相机确定目标特征点的深度信息。若第一目标深度大于第二预设高度值，则继续执行步骤303
‑
304，也即，通过单点测距传感器确定目标特征点的深度信息。
[0221]
例如，继续参见图4，第二预设高度值为50m，若第一目标深度大于50m，则通过步骤303
‑
304中的单点测距传感器确定深度信息；若第一目标深度不大于50m，则直接通过双目相机确定目标特征点的深度信息。
[0222]
在本技术实施例中，由于当通过双目相机测得的目标深度值较小时，双目相机的精确度较高，此时根据双目相机确定目标特征点的深度信息，当通过双目相机测得的目标深度值较大时，则通过单点测距传感器和目标设备的高度信息，确定目标特征点的深度信息，由此可知，本技术能够根据深度信息对应的深度值区间，灵活选取精确性高的设备来确定深度信息，所以提高了确定的深度信息的准确性。
[0223]
其中，步骤303与步骤305
‑
307之间没有必要的先后顺序，终端可以先执行步骤303，根据步骤303中确定的高度信息与第二预设高度值之间的大小关系，确定执行步骤304
还是步骤305
‑
307。终端也可以先执行步骤305
‑
307，根据步骤306中确定的第一目标深度与第二预设高度值之间的大小关系，确定是否继续执行步骤303
‑
304。
[0224]
本技术实施例提供了一种深度信息的确定方法，由于通过特征点对的第一坐标信息、目标设备的姿态信息和距离参考面的高度信息，确定目标特征点的深度信息，而第一坐标信息是通过双目相机采集的第一图像和第二图像确定的，在确定深度信息的过程中，第一图像、第二图像、目标设备的姿态信息和高度信息等不会受到外界光线的干扰，而且在远距离场景下不依赖双目相机的基线长度来进行三角化，所以提高了确定的深度信息的精确性。
[0225]
图5是本技术实施例提供的一种深度信息的确定装置的结构示意图。参见图5，该装置包括：
[0226]
第一获取模块501，用于获取第一图像和第二图像，所述第一图像和所述第二图像为安装在目标设备上的双目相机采集的；
[0227]
第一确定模块502，用于基于所述第一图像和所述第二图像，确定特征点对的第一坐标信息，所述特征点对的第一坐标信息用于表示所述特征点对在归一化平面的坐标系下的坐标，所述特征点对包括所述第一图像中的第一特征点和所述第二图像中与所述第一特征点匹配的第二特征点；
[0228]
第二获取模块503，用于获取所述目标设备在世界坐标系下的姿态信息和所述目标设备距离参考面的高度信息；
[0229]
第二确定模块504，用于基于所述特征点对的第一坐标信息、所述高度信息和所述姿态信息，确定目标特征点在所述双目相机对应的坐标系下的深度信息，所述目标特征点为所述特征点对映射到所述参考面的特征点。
[0230]
在一些实施例中，参见图6，第二获取模块503，包括：
[0231]
第一获取单元5031，用于获取单点测距传感器采集的目标设备距离参考面的距离信息，单点测距传感器安装在目标设备上；
[0232]
第一确定单元5032，用于将距离信息确定为目标特征点在单点测距传感器坐标系下的高度值，得到第二坐标信息，第二坐标信息用于表示目标特征点在单点测距传感器坐标系下的坐标；
[0233]
第二确定单元5033，用于根据第二坐标信息和姿态信息，确定目标设备距离参考面的高度信息。
[0234]
在另一些实施例中，第二确定单元5033，用于获取单点测距传感器与双目相机之间的第一旋转参数和第一平移参数，基于第一旋转参数和第一平移参数，将第二坐标信息转换为第三坐标信息，第三坐标信息用于表示目标特征点在双目相机坐标系下的坐标；根据第三坐标信息和姿态信息的乘积，确定目标设备在世界坐标系下的第四坐标信息；基于第四坐标信息，确定目标设备距离参考面的高度信息。
[0235]
在另一些实施例中，第四坐标信息包括目标设备在世界坐标系下的横向参数、纵向参数和第一高度参数；第二确定单元5033，用于从第四坐标信息中确定第一高度参数，响应于第一高度参数的绝对值不大于第一预设高度值，确定第一高度参数为目标设备距离参考面的高度信息；
[0236]
响应于第一高度参数的绝对值大于第一预设高度值，获取目标设备的状态信息，
状态信息包括目标设备当前的第二高度参数，确定第二高度参数为目标设备距离参考面的高度信息。
[0237]
在另一些实施例中，第一获取单元5031，用于获取单点测距传感器在预设时长内采集的多个历史距离，确定多个历史距离的距离中值；响应于单点测距传感器采集的当前距离与距离中值之间的差值小于预设距离阈值，确定当前距离为距离信息；响应于当前距离与距离中值之间的差值大于预设距离阈值，确定距离中值为距离信息。
[0238]
在另一些实施例中，继续参见图6，第二确定模块504，包括：
[0239]
第三确定单元5041，用于从第一坐标信息中确定参考特征点的第一坐标，确定高度信息与第一目标值的比值，将比值作为参考特征点在双目相机对应的坐标系下的目标深度，参考特征点为第一特征点和第二特征点中的至少一个，第一目标值为基于第一坐标和姿态信息的乘积确定的；
[0240]
第四确定单元5042，用于基于目标深度，确定目标特征点在双目相机对应的坐标系下的深度信息。
[0241]
在另一些实施例中，第四确定单元5042，用于参考特征点为第一特征点或者第二特征点时，将目标深度作为深度信息。
[0242]
在另一些实施例中，第一确定模块502，用于从第一图像中提取第一特征点，在第二图像中确定与第一特征点匹配的第二特征点；在第一图像中确定与第二特征点匹配的第三特征点；若第一特征点和第三特征点之间的距离小于第一预设距离，将第一特征点和第二特征点组成特征点对。
[0243]
在另一些实施例中，第一确定模块502，用于从第一图像中提取第一特征点，在第二图像中确定与第一特征点匹配的第二特征点；确定第二特征点对应的极线；响应于第一特征点与极线之间的距离小于第二预设距离，将第一特征点和第二特征点组成特征点对。
[0244]
在另一些实施例中，第一确定模块502，用于获取双目相机中第一相机与第二相机之间的第二旋转参数和第二平移参数；确定第二特征点在归一化平面的坐标系下的第二坐标；根据第二坐标、第二旋转参数和第二平移参数的反对称矩阵的乘积，确定极线方程的参数，得到第二特征点对应的极线。
[0245]
在另一些实施例中，第一特征点的数量为多个，第一确定模块502，用于确定第一图像中的多个图像网格，从每个图像网格中提取至少一个角点，得到多个角点；确定多个角点中任两个角点之间的距离，基于距离，从多个角点中确定距离大于第三预设距离的多个目标角点；将每个目标角点作为一个第一特征点。
[0246]
在另一些实施例中，继续参见图6，该装置还包括：
[0247]
第三获取模块505，用于响应于高度信息小于第二预设高度值，获取双目相机中第一相机与第二相机之间的第二旋转参数和第二平移参数；
[0248]
第三确定模块506，用于根据第二旋转参数、第二平移参数、第一坐标信息和目标关系数据，确定目标特征点在第一相机坐标系下的第一目标深度和目标特征点在第二相机坐标系下的第二目标深度，目标关系数据用于表示第二旋转参数、第二平移参数、第一坐标信息、第一目标深度和第二目标深度之间的关系；
[0249]
第四确定模块507，用于确定第一目标深度为目标特征点的深度信息。
[0250]
本技术实施例提供了一种深度信息的确定装置，由于通过特征点对的第一坐标信
息、目标设备的姿态信息和距离参考面的高度信息，确定目标特征点的深度信息，而第一坐标信息是通过双目相机采集的第一图像和第二图像确定的，在确定深度信息的过程中，第一图像、第二图像、目标设备的姿态信息和高度信息等不会受到外界光线的干扰，所以提高了确定的深度信息的精确性。
[0251]
需要说明的是：上述实施例提供的深度信息的确定装置在进行深度信息的确定时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将终端的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的深度信息的确定装置与深度信息的确定方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0252]
图7示出了本发明一个示例性实施例提供的终端700的结构框图。该终端700可以是：智能手机、平板电脑、mp3播放器(moving picture experts group audio layer iii，动态影像专家压缩标准音频层面3)、mp4(moving picture experts group audio layer iv，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端700还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
[0253]
通常，终端700包括有：处理器701和存储器702。
[0254]
处理器701可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器701可以采用dsp(digital signal processing，数字信号处理)、fpga(field－programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器701可以在集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器701还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
[0255]
存储器702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器701所执行以实现本技术中方法实施例提供的深度信息的确定方法。
[0256]
在一些实施例中，终端700还可选包括有：外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口703相连。具体地，外围设备包括：射频电路704、显示屏705、摄像头706、音频电路707、定位组件708和电源709中的至少一种。
[0257]
外围设备接口703可被用于将i/o(input/output，输入/输出)相关的至少一个外围设备连接到处理器701和存储器702。在一些实施例中，处理器701、存储器702和外围设备接口703被集成在同一芯片或电路板上；在一些其他实施例中，处理器701、存储器702和外围设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
[0258]
射频电路704用于接收和发射rf(radio frequency，射频)信号，也称电磁信号。射频电路704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路704将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路704包括：天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路704可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wireless fidelity，无线保真)网络。在一些实施例中，射频电路704还可以包括nfc(near field communication，近距离无线通信)有关的电路，本技术对此不加以限定。
[0259]
显示屏705用于显示ui(userinterface，用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏705是触摸显示屏时，显示屏705还具有采集在显示屏705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器701进行处理。此时，显示屏705还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏705可以为一个，设置终端700的前面板；在另一些实施例中，显示屏705可以为至少两个，分别设置在终端700的不同表面或呈折叠设计；在再一些实施例中，显示屏705可以是柔性显示屏，设置在终端700的弯曲表面上或折叠面上。甚至，显示屏705还可以设置成非矩形的不规则图形，也即异形屏。显示屏705可以采用lcd(liquid crystal display，液晶显示屏)、oled(organic light
‑
emitting diode,有机发光二极管)等材质制备。
[0260]
摄像头组件706用于采集图像或视频。可选地，摄像头组件706包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtual reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件706还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
[0261]
音频电路707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器701进行处理，或者输入至射频电路704以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端700的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器701或射频电路704的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路707还可以包括耳机插孔。
[0262]
定位组件708用于定位终端700的当前地理位置，以实现导航或lbs(location based service，基于位置的服务)。定位组件708可以是基于美国的gps(global positioning system，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
[0263]
电源709用于为终端700中的各个组件进行供电。电源709可以是交流电、直流电、一次性电池或可充电电池。当电源709包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
[0264]
在一些实施例中，终端700还包括有一个或多个传感器710。该一个或多个传感器710包括但不限于：加速度传感器711、陀螺仪传感器712、压力传感器713、指纹传感器714、光学传感器715以及接近传感器716。
[0265]
加速度传感器711可以检测以终端700建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器711可以用于检测重力加速度在三个坐标轴上的分量。处理器701可以根据加速度传感器711采集的重力加速度信号，控制显示屏705以横向视图或纵向视图进行用户界面的显示。加速度传感器711还可以用于游戏或者用户的运动数据的采集。
[0266]
陀螺仪传感器712可以检测终端700的机体方向及转动角度，陀螺仪传感器712可以与加速度传感器711协同采集用户对终端700的3d动作。处理器701根据陀螺仪传感器712采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。
[0267]
压力传感器713可以设置在终端700的侧边框和/或显示屏705的下层。当压力传感器713设置在终端700的侧边框时，可以检测用户对终端700的握持信号，由处理器701根据压力传感器713采集的握持信号进行左右手识别或快捷操作。当压力传感器713设置在显示屏705的下层时，由处理器701根据用户对显示屏705的压力操作，实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
[0268]
指纹传感器714用于采集用户的指纹，由处理器701根据指纹传感器714采集到的指纹识别用户的身份，或者，由指纹传感器714根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器701授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器714可以被设置终端700的正面、背面或侧面。当终端700上设置有物理按键或厂商logo时，指纹传感器714可以与物理按键或厂商logo集成在一起。
[0269]
光学传感器715用于采集环境光强度。在一个实施例中，处理器701可以根据光学传感器715采集的环境光强度，控制显示屏705的显示亮度。具体地，当环境光强度较高时，调高显示屏705的显示亮度；当环境光强度较低时，调低显示屏705的显示亮度。在另一个实施例中，处理器701还可以根据光学传感器715采集的环境光强度，动态调整摄像头组件706的拍摄参数。
[0270]
接近传感器716，也称距离传感器，通常设置在终端700的前面板。接近传感器716用于采集用户与终端700的正面之间的距离。在一个实施例中，当接近传感器716检测到用户与终端700的正面之间的距离逐渐变小时，由处理器701控制显示屏705从亮屏状态切换为息屏状态；当接近传感器716检测到用户与终端700的正面之间的距离逐渐变大时，由处理器701控制显示屏705从息屏状态切换为亮屏状态。
[0271]
本领域技术人员可以理解，图7中示出的结构并不构成对终端700的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
[0272]
在一些实施例中，还提供了一种计算机可读存储介质，计算机可读存储介质中存
储至少一条程序代码，至少一条程序代码由电子设备加载并执行，以实现上述实施例中深度信息的确定方法。该计算机可读存储介质可以是存储器。例如，该计算机可读存储介质可以是rom(read
‑
only memory，只读存储器)、ram(random access memory，随机存取存储器)、cd
‑
rom(compact disc read
‑
only memory，紧凑型光盘只读储存器)、磁带、软盘和光数据存储设备等。
[0273]
在一些实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序代码，该计算机程序代码存储在计算机可读存储介质中。终端的处理器从计算机可读存储介质读取该计算机程序代码，处理器执行该计算机程序代码，使得该终端执行上述方面的各种可选实现方式中提供的深度信息的确定方法。
[0274]
在一些实施例中，本技术实施例所涉及的计算机程序可被部署在一个计算机设备上执行，或者在位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行，分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链系统
[0275]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0276]
以上所述仅为本技术实施例的可选实施例，并不用以限制本技术实施例，凡在本技术实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。