多目相机和多目机器人的制作方法

1.本技术涉及计算机视觉技术领域，具体而言，涉及一种多目相机和多目机器人。


背景技术：

2.近年来，随着计算机视觉技术的不断成熟，即时定位与地图创建(simultaneous localization and mapping，slam)技术也越来越多的被应用在机器人的定位及导航领域，在目前的视觉slam中，多采用单目摄像头、双目摄像头或360度全景相机实现机器人的定位及导航。
3.但是利用上述摄像设备进行即时定位与地图创建的方案均存在缺乏有效的尺度信息，定位精度较差的问题。


技术实现要素：

4.有鉴于此，本技术提供了一种多目相机和多目机器人，以改善上述问题。
5.第一方面，本技术提供一种多目相机，包括相机支撑结构及多个摄像头；
6.所述相机支撑结构包括多个围板，全部所述围板围合设置，形成容置空间；
7.所述多个摄像头包括一组双目摄像头及至少一个单目摄像头，所述双目摄像头及每个所述单目摄像头分别设置于各所述围板上，且容置于所述容置空间内；
8.所述双目摄像头用于在第一时刻采集第一图像数据，所述第一图像数据用于提供测距尺度数据；
9.每个所述单目摄像头用于在所述第一时刻采集第二图像数据，全部所述第二图像数据用于提供多视野图像数据。
10.在可选的实施方式中，所述多目相机还包括控制器，每个所述摄像头均与所述控制器电连接；
11.所述控制器用于控制每个所述摄像头在同一时刻进行曝光，并在同一时刻采集图像数据，其中，所述图像数据包括所述第一图像数据或所述第二图像数据。
12.在可选的实施方式中，每个所述摄像头均通过同步串行总线连接。
13.在可选的实施方式中，所述多个围板包括盖板、底板、第一侧板及至少一个第二侧板；
14.所述盖板、所述底板、所述第一侧板及至少一个所述第二侧板围合设置，形成所述容置空间；
15.所述双目摄像头固定于所述第一侧板，且容置于所述容置空间；
16.所述盖板及每个所述第二侧板上均设置有一个所述单目摄像头，且，各所述单目摄像头均容置于所述容置空间。
17.在可选的实施方式中，所述底板与所述盖板相对设置，且所述底板的面积大于所述盖板的面积；
18.所述底板相对的至少两个侧边开设有安置孔，所述安置孔用于与其他外部器件连
接。
19.在可选的实施方式中，所述底板还包括定位连接台，所述定位连接台设置于所述底板形成所述容置空间的一侧，所述定位连接台用于定位并固定所述控制器。
20.在可选的实施方式中，所述第一侧板包括两个第一定位件，且开设有两个第一视野孔；
21.各所述第一定位件设置于各所述第一视野孔周侧，且容置于所述容置空间；
22.所述第一定位件用于定位卡合所述双目摄像头，以使所述双目摄像头的镜头嵌合于所述第一视野孔。
23.在可选的实施方式中，所述盖板及每个所述第二侧板均包括第二定位件，且开设有第二视野孔；
24.该第二定位件设置于该第二视野孔周侧，且容置于所述容置空间；
25.该第二定位件用于定位卡合所述单目摄像头，以使所述单目摄像头的镜头嵌合于所述第二视野孔。
26.第二方面，本技术提供一种多目机器人，包括前述实施方式任意一项所述的多目相机。
27.在可选的实施方式中，所述多目机器人还包括处理器，所述处理器与所述多目相机电连接，所述处理器用于实时获取所述多目相机采集的图像数据，根据所述图像数据进行三维地形建模。
28.本技术实施例提供的多目相机和多目机器人，包括相机支撑结构包括多个围板，全部围板围合设置，形成容置空间。多个摄像头包括一组双目摄像头及至少一个单目摄像头，双目摄像头及每个单目摄像头分别设置于各围板上，且容置于容置空间内。双目摄像头用于在第一时刻采集第一图像数据，第一图像数据用于提供测距尺度数据。每个单目摄像头用于在第一时刻采集第二图像数据，全部第二图像数据用于提供多视野图像数据，从而改善了定位与地图创建中缺乏有效的尺度信息，定位精度较差的问题。
29.为使本技术的上述目的、特征和优点能更明显易懂，下文特举一些举例，并配合所附附图，作详细说明。
附图说明
30.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
31.图1为本技术实施例提供的一种多目相机的结构示意图。
32.图2为本技术实施例提供的一种多目相机的内部电路连接示意图。
33.图3为本技术实施例提供的一种多目相机的相机支撑结构的平面展开示意图。
34.图4为本技术实施例提供的一种多目相机的底板的结构示意图。
35.图5为本技术实施例提供的一种多目相机的第一侧板的结构示意图。
36.图6为本技术实施例提供的一种多目相机的第二侧板的结构示意图。
37.图7为本技术实施例提供的一种多目相机的盖板的结构示意图。
38.图标：1
‑
多目相机；10
‑
相机支撑结构；11
‑
盖板；111
‑
第二定位件；112
‑
第二视野孔；12
‑
底板；121
‑
安置孔；122
‑
定位连接台；13
‑
第一侧板；131
‑
第一定位件；132
‑
第一视野孔；14
‑
第二侧板；21
‑
双目摄像头；22
‑
单目摄像头；30
‑
控制器。
具体实施方式
39.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。
40.因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
41.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
42.此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
43.需要说明的是，在不冲突的情况下，本技术的实施例中的特征可以相互结合。
44.如背景技术所介绍，近年来，随着计算机视觉技术的不断成熟，即时定位与地图创建(simultaneous localization and mapping，slam)技术也越来越多的被应用在机器人的定位及导航领域，目前，多采用单目摄像头、双目摄像头或360度全景相机实现机器人的定位及导航。
45.基于单目摄像头的视觉slam方案可以进行小场景的建图、定位，但由于其缺乏有效的尺度信息，其定位精度较差，在视觉避障时，无法精确的测出障碍物的距离，同时受到单目的视场角限制，无法实现360度视场的特征提取，导致其在剧烈旋转时容易丢失位置。
46.基于双目摄像头的视觉slam方案除了可以进行建图、定位外，还可以基于双目视图几何原理进行精确的测距，为建图、定位及避障提供了相对精确的尺度信息，因此，其定位、建图及避障的精度要比单目摄像头更高，但还是存在单目摄像头视场角度小的问题，也无法解决在剧烈旋转时位置丢失的问题。
47.360度全景的视觉slam方案考虑了视场的完整性，可实现360度场景的视觉特征提取，有效解决了剧烈旋转时位置丢失的问题，但其和单目相机一样，缺乏有效的尺度信息，无法保障高精度的定位和避障。
48.也就是说，利用上述摄像设备进行即时定位与地图创建的方案均存在缺乏有效的尺度信息，定位精度较差的问题。
49.有鉴于此，本技术实施例提供了一种多目相机和多目机器人，该多目相机通过一组双目摄像头以及多个单目摄像头共同进行图像采集，如此，可利用双目相机提供测距尺度数据，利用多个单目摄像头提供多视野图像数据，从而改善了上述问题。下面对上述方案进行详细阐述。
50.以上现有技术中的方案所存在的缺陷，均是申请人在经过实践并仔细研究后得出
的结果，因此，上述问题的发现过程以及下文中本技术实施例针对上述问题所提出的解决方案，都应该是申请人在本技术过程中对本技术做出的贡献。
51.下面结合附图，对本技术的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的关键可以相互组合。
52.请参阅图1，图1为本技术实施例提供的多目相机1的结构示意图。
53.本技术实施例提供的多目相机1包括相机支撑结构10及多个摄像头。
54.相机支撑结构10包括多个围板，全部围板围合设置，形成容置空间。多个摄像头包括一组双目摄像头21及至少一个单目摄像头22，双目摄像头21及每个单目摄像头22分别设置于各围板上，且容置于容置空间内。
55.双目摄像头21用于在第一时刻采集第一图像数据，第一图像数据用于提供测距尺度数据。
56.每个单目摄像头22用于在第一时刻采集第二图像数据，全部第二图像数据用于提供多视野图像数据。
57.其中，双目摄像头21及单目摄像头22可以是利用ccd传感器或者cmos传感器进行图像采集的摄像头。同时，每个摄像头的视场角不低于90
°
，也就是说本技术实施例中采用的摄像头为视场角大于或等于90
°
的广角镜头。以收集更多的图像数据。
58.双目摄像头21包括两个摄像头，两个摄像头平行设置于一个围板上，同时为了便于根据第一图像数据计算得到测距尺寸数据，两个摄像头之间间隔有预设距离，利用该预设距离，并基于双目视觉原理可根据第一图像数据计算得到测距尺寸数据，即，该预设距离为两个摄像头之间的基线距离。
59.双目视觉原理是基于视差原理，由多幅图像获取物体三维几何信息的方法。如此基于本技术实施例提供的多目摄像头，可通过双目摄像头21从不同角度同时获取周围景物的两幅数字图像，以获取物体距离多目相机1的深度信息，即测距尺度数据，同时通过设置于不同围板上的单目摄像头22分别获取不同视野的图像数据，从而并基于视差原理即可恢复出物体三维几何信息，重建周围景物的三维形状与位置。本技术实施例提供的多目相机1通过一组双目摄像头21以及多个单目摄像头22共同进行图像采集，如此，可利用双目相机提供测距尺度数据，利用多个单目摄像头22提供多视野图像数据，从而改善了定位与地图创建中缺乏有效的尺度信息，定位精度较差的问题。
60.目前通常采用多个独立相机组合的形式进行图像数据采集，由于每个相机的曝光时间和帧率不同，无法保障多个相机数据的同步性，使得定位精度较差。因此，本技术实施例可通过以下方式改善此问题。
61.请结合参阅图2，图2为本技术实施例提供的一种多目相机1的内部电路连接示意图。在可选的实施方式中，多目相机1还包括控制器30，每个摄像头均与控制器30电连接。
62.控制器30用于控制每个摄像头在同一时刻进行曝光，并在同一时刻采集图像数据，其中，图像数据包括第一图像数据或第二图像数据。
63.其中，控制器30可以为fpga(field programmable gate array，现场可编程逻辑门阵列)或者其他嵌入式控制器30。
64.每个摄像头均通过同步串行总线(i2c)连接。该同步串行总线包括一条双向串行数据线(sda)以及一条串行时钟线(scl)。当需要控制每个摄像头在同一时刻进行曝光时，
则利用串行时钟线与双向串行数据线以及控制器30内的其他寄存器的配置配合共同完成数据发送，使得每个摄像头在同一时刻进行曝光，并在同一时刻采集图像数据。
65.当需要读取数据时，可同样利用串行时钟线与双向串行数据线以及控制器30内的其他寄存器的配置配合共同完成数据的读取，从而获取到所有摄像头采集到的图像数据。
66.可选地，控制器30还可以与上位机连接。控制器30可接收上位机发送的控制指令，以利用同步串行总线控制每个摄像头在同一时刻曝光，在同一时刻采集图像数据。同时控制器30还可以将所有摄像头采集到的图像数据发送至上位机，以使上位机对图像数据进行处理，完成周围景物的三维形状与位置的重建。通过组合前、左、右、后及上侧的相机又可形成360度视场的图像提取，可有效避免多目相机1运动过程中剧烈旋转带来的位置丢失问题。
67.其中，上位机可以是平板电脑、个人电脑等具有处理功能的设备。
68.如此，本技术实施例通过同步串行总线将控制器30与摄像头连接，使得控制器30可以控制所有摄像头在同一时刻采集图像数据，从而避免了因时差导致后续测距数据出现偏差，保障了多个相机数据的同步性，提高了定位精度，有效避免多目相机1运动过程中剧烈旋转带来的位置丢失问题。
69.请结合参阅图3，图3为本技术实施例提供的一种多目相机的相机支撑结构10的平面展开示意图。
70.在可选的实施方式中，多个围板包括盖板11、底板12、第一侧板13及至少一个第二侧板14。
71.盖板11、底板12、第一侧板13及至少一个第二侧板14围合设置，形成容置空间。
72.在另一种可选的实施方式中，相机支撑结构10还可以包括壳体，该壳体可以是空心的球形壳体，每个摄像头均容置于该球形壳体包括的容置空间内部，且固定于该球形壳体上。
73.以多个围板包括盖板11、底板12、第一侧板13及至少一个第二侧板14为例，摄像头可以按照如下方式固定，以形成“六目相机”。
74.双目摄像头21固定于第一侧板13，且容置于容置空间。
75.盖板11及每个第二侧板14上均设置有一个单目摄像头22，且各单目摄像头22均容置于容置空间。
76.可选地，上述盖板11、底板12、第一侧板13及至少一个第二侧板14可围合设置形成一个立方体，每个摄像头均容置在立方体包括的容置空间内部，且固定于不同的围板或盖板11上。从而可以同时采集到多目相机1前、左、右、后及上侧的图像数据。通过组合前、左、右、后及上侧的相机又可形成360度视场的图像提取，可有效避免多目相机1运动过程中剧烈旋转带来的位置丢失问题。作为一种可选的实施方式，如图中所示出的，底板12与盖板11相对设置，且底板12的面积大于盖板11的面积。
77.底板12相对的至少两个侧边开设有安置孔121，安置孔121用于与其他外部器件连接。
78.例如，可将多目相机1通过该安置孔121与可自行运动的设备进行连接，使得多目相机1可以在可自行运动的设备的带动下，按照行进速度，依次采集行进路程中的图像数据，从而完成周围场景的定位与重建。
79.请结合参阅图4，图4为本技术实施例提供的一种多目相机的底板12的结构示意图。
80.在可选的实施方式中，底板12还包括定位连接台122，定位连接台122设置于底板12形成容置空间的一侧，定位连接台122用于定位并固定控制器30。
81.请结合参阅图5、图6及图7，图5为本技术实施例提供的一种多目相机1的第一侧板13的结构示意图。图6为本技术实施例提供的一种多目相机1的第二侧板14的结构示意图。图7为本技术实施例提供的一种多目相机1的盖板11的结构示意图。
82.在可选的实施方式中，第一侧板13包括两个第一定位件131，且开设有两个第一视野孔132。
83.各第一定位件131设置于各第一视野孔132周侧，且容置于容置空间。
84.第一定位件131用于定位卡合双目摄像头21，以使双目摄像头21的镜头嵌合于第一视野孔132。
85.可选地，第一定位件131定位卡合双目摄像头21后，还可以通过铆钉将双目摄像头21铆接固定于第一侧板13上，也就是说，双目摄像头21四周均被第一定位件131卡合，且铆接固定在第一侧板13上。在第一定位件131的定位作用下，双目摄像头21的镜头恰好嵌合于第一视野孔132，使得双目摄像头21可透过第一视野孔132采集图像数据。
86.进一步地，在可选的实施方式中，盖板11及每个第二侧板14均包括第二定位件111，且开设有第二视野孔112。
87.该第二定位件111设置于该第二视野孔112周侧，且容置于容置空间。
88.该第二定位件111用于定位卡合单目摄像头22，以使单目摄像头22的镜头嵌合于第二视野孔112。
89.同样地，各第二定位件111定位卡合各单目摄像头22后，还可以通过铆钉将单目摄像头22铆接固定于第二侧板14或者盖板11上，也就是说，单目摄像头22四周均被第二定位件111卡合，且铆接固定在第二侧板14或者盖板11上。在第二定位件111的定位作用下，每个单目摄像头22的镜头恰好嵌合于第二视野孔112，使得单目摄像头22可透过第二视野孔112采集图像数据。
90.可选地，任意一个第二侧板还可以开设有至少一个通孔(如图6中所示出的两个矩形通孔)，该通孔可用于连接容置于容置空间中的控制器，以便于与外部进行通信或利用外部电源为多目相机提供电能。
91.如此，本技术实施例中的多目相机1通过定位件与视野孔之间的配合，可以将各个摄像头牢固地固定在不同的围板上进行图像采集，避免各摄像头在运动过程中因剧烈旋转或颠簸造成的器件脱落问题。
92.第二方面，本技术提供一种多目机器人，包括前述实施方式任意一项的多目相机1。
93.在可选的实施方式中，多目机器人还包括处理器，处理器与多目相机1电连接，处理器用于实时获取多目相机1采集的图像数据，根据图像数据进行三维地形建模。
94.可选地，该多目机器人还包括运动装置，该运动装置可以通过多目相机1中的安置孔121与多目相机1固定连接，通过运动装置带动多目相机1运动，从而在运动行径中不断采集周围场景的图像数据。
95.由于本技术实施例中的多目机器人解决问题的原理与本技术实施例上述多目相机1相似，因此多目机器人的实施原理可以参见多目相机1的实施原理，重复之处不再赘述。
96.综上所述，本技术实施例提供的一种多目相机和多目机器人，包括相机支撑结构包括多个围板，全部围板围合设置，形成容置空间。多个摄像头包括一组双目摄像头及至少一个单目摄像头，双目摄像头及每个单目摄像头分别设置于各围板上，且容置于容置空间内。双目摄像头用于在第一时刻采集第一图像数据，第一图像数据用于提供测距尺度数据。每个单目摄像头用于在第一时刻采集第二图像数据，全部第二图像数据用于提供多视野图像数据，从而改善了定位与地图创建中缺乏有效的尺度信息，定位精度较差的问题。同时本技术实施例通过同步串行总线将控制器与摄像头连接，使得控制器可以控制所有摄像头在同一时刻采集图像数据，从而避免了因时差导致后续测距数据出现偏差，保障了多个相机数据的同步性，提高了定位精度，有效避免多目相机运动过程中剧烈旋转带来的位置丢失问题。
97.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。