图像采集和处理装置

1.本实用新型涉及图像采集领域，具体涉及一种图像采集和处理装置。


背景技术：

2.目前，激光雷达(light detection and range，lidar或laser detection and range，ladar)已经被广泛应用于资源开发、环境监测、交通通讯等领域。然而，基于激光的图像采集和处理装置存在以下问题：1)目标检测严重依赖与3d点的准确性，位置和检测需要近似物体形貌；2)不能够检测到远处的目标，由于车和人在图像中只占10％，受激光范围限制，训练的时候会忽略远处的物体当前伪激光雷达存在的问题；3)没有实现端到端的深度预测和目标检测联合训练。车载雷达图像中，90％的像素对应于背景。与汽车和人相关的10％像素(《1％的人)主要在20米的深度内。
3.可靠、准确的三维物体检测是安全自主驾驶的必要条件。尽管激光图像采集和处理装置可以提供精确的三维点云环境估计值，但在许多情况下，它们的成本也高得让人望而却步。最近，伪激光雷达(pl)的引入使得基于lidar传感器的方法与基于廉价立体相机的方法之间的精度差距大大缩小。因此，亟需一种低成本、高频、快速的图像方式的图像采集和处理装置。


技术实现要素：

4.本实用新型的目的在于提供一种依靠图像处理进行高频率、快响应目标识别、跟踪的高频图像采集及处理装置。
5.为了解决上述问题，根据本实用新型的一个方面，提供了一种图像采集和处理装置，其特征在于，所述图像采集和处理装置包括：
6.大视场图像采集单元，所述大视场图像采集单元包括至少两个第一摄像头，所述至少两个第一摄像头间隔布置，
7.小视场图像采集单元，所述小视场图像采集单元包括至少一个第二摄像头，所述至少一个第二摄像头布置在所述至少两个第一摄像头之间，以及
8.信息处理单元，所述信息处理单元与所述大视场采集单元和所述小视场采集单元信号连通，其中
9.所述大视场图像采集单元用于采集实时图像，并将该图像信息传递给信息处理单元进行处理，所述信息处理单元将处理后的信息发送至小视场图像采集单元，所述小视场图像采集单元根据从信息处理单元接收到的信息进行图像采集。
10.在一个实施例中，所述至少两个第一摄像头的摄像视场大于所述第二摄像头的摄像视场。
11.在一个实施例中，所述至少两个第一摄像头的视场和焦距固定，以及所述至少一个第二摄像头的视场和焦距可调节。
12.在一个实施例中，所述信息处理单元设置成对所述大视场图像采集单元传来的信
息进行处理后，向所述小视场图像采集单元输出目标物的距离和方位信息，以及所述小视场图像采集单元设置成根据所述信息处理单元传来的目标的方位信息转动摄像头并根据所述信息处理单元传来的目标的距离信息选择变焦参数。
13.在一个实施例中，所述至少一个第二摄像头布置在所述至少两个第一摄像头之间的中间位置。
14.在一个实施例中，所述至少两个第一摄像头的规格和型号相同。
15.在一个实施例中，所述小视场图像采集单元还包括用于驱动所述第二摄像头的转动机构，所述转动机构与所述信息处理单元信号连通并根据所述信息处理单元的信息驱动所述第二摄像头转动。
16.在一个实施例中，所述小视场图像采集单元还包括运动机构，所述运动机构安装有光学元件并与所述信息处理单元信号连通并设置成根据所述信息处理单元传来的信息运动使得所述目标通过所述光学元件的作用进入所述第二摄像头；较佳地，所述光学元件为反射镜。
17.根据本实用新型的另一方面，还提供了一种图像采集和处理方法，所述方法包括以下步骤：
18.步骤一、利用大视场图像采集单元采集实时图像，并将该图像信息传递给信息处理单元，
19.步骤二、所述信息处理单元对所述大视场图像采集单元传利的信息进行处理并将处理后的信息发送至小视场图像采集单元，
20.步骤三、所述小视场图像采集单元根据从信息处理单元接收到的信息对目标进行图像采集。
21.在一个实施例中，在所述步骤二中，所述信息处理单元对大视场图像采集单元传来的信息进行处理，并向小视场图像采集单元输出目标物的距离和方位信息；以及在所述步骤三中，所述小视场图像采集单元根据所述信息处理单元传来的目标的方位信息转动摄像头并根据所述信息处理单元传来的目标的距离信息选择变焦参数。
22.在一个实施例中，所述大视场图像采集单元包括至少两个第一摄像头，以及所述小视场图像采集单元包括至少一个第二摄像头，其中所述信息处理单元根据所述目标与所述至少两个第一摄像头之间的距离差计算目标物与所述第二摄像头之间的距离和方位信息。
23.本实用新型采用大视场与小视场镜头的组合使得图像采集的频率大幅提高，依靠目前已经成熟的图像处理硬件，有效降低了传感器的成本。
附图说明
24.图1是本实用新型一个实施例的图像采集和处理装置的初始状态示意图。
25.图2是图1的图像采集和处理装置的运行状态示意图。
26.图3是本实用新型另一实施例的图像采集和处理装置的布置示意图。
具体实施方式
27.以下将结合附图对本实用新型的较佳实施例进行详细说明，以便更清楚理解本实
用新型的目的、特点和优点。应理解的是，附图所示的实施例并不是对本实用新型范围的限制，而只是为了说明本实用新型技术方案的实质精神。
28.在下文的描述中，出于说明各种公开的实施例的目的阐述了某些具体细节以提供对各种公开实施例的透彻理解。但是，相关领域技术人员将认识到可在无这些具体细节中的一个或多个细节的情况下来实践实施例。在其它情形下，与本技术相关联的熟知的装置、结构和技术可能并未详细地示出或描述从而避免不必要地混淆实施例的描述。
29.在整个说明书中对“一个实施例”或“一实施例”的提及表示结合实施例所描述的特定特点、结构或特征包括于至少一个实施例中。因此，在整个说明书的各个位置“在一个实施例中”或“在一实施例”中的出现无需全都指相同实施例。另外，特定特点、结构或特征可在一个或多个实施例中以任何方式组合。
30.在以下描述中，为了清楚展示本实用新型的结构及工作方式，将借助诸多方向性词语进行描述，但是应当将“前”、“后”、“左”、“右”、“外”、“内”、“向外”、“向内”、“上”、“下”等词语理解为方便用语，而不应当理解为限定性词语。
31.实用新型的目的在于提供一种依靠图像处理进行高频率、快响应目标识别、跟踪的高频图像采集及处理装置。相比于激光雷达的线性扫描，图像识别的方式提高了目标识别速度。本实用新型采用大视场与小视场镜头的组合使得图像采集的频率大幅提高，依靠目前已经成熟的图像处理硬件，有效降低了传感器的成本。
32.图1是本实用新型一个实施例的图像采集和处理装置100的初始状态示意图，图2是图1的图像采集和处理装置100的运行状态示意图。如图1-2所示，本实用新型的图像采集和处理装置100总体上包括大视场图像采集单元11、小视场图像采集单元12以及信息处理单元13。大视场图像采集单元11包括至少两个第一摄像头11a，至少两个第一摄像头11a间隔布置。小视场图像采集单元12包括至少一个第二摄像头12a，至少一个第二摄像头12a布置在至少两个第一摄像头11a之间。信息处理单元13与大视场图像采集单元11和小视场图像采集单元信号连通，大视场图像采集单元11用于采集实时图像，并将该图像信息传递给信息处理单元13进行处理，信息处理单元13将处理后的信息发送至小视场图像采集单元12，小视场图像采集单元12根据从信息处理单元13接收到的信息进行图像采集。
33.大视场图像采集单元11的至少两个第一摄像头11a对视场范围内的特定目标q成像，由于目标q在两个第一摄像头11a的图像传感器上的成像坐标位置不同，根据此坐标差值可算出目标q与第二摄像头12a之间的距离和方位。
34.需要注意的是，本实用新型的大视场图像采集单元11包括至少两个第一摄像头11a的含义是，大视场图像采集单元11可以仅仅包括两个摄像头，也可以包括两个以上的第一摄像头11a，还可以包括除了第一摄像头11a之外的其他元件。此外，两个第一摄像头11a可以是完全相同的摄像头，即相同规格和型号的摄像头，也可以是不同型号和规格的摄像头，在此不进行限定。
35.小视场图像采集单元12包括至少一个第二摄像头12a的含义是，小视场图像采集单元12可以仅仅包括一个第二摄像头12a，也可以包括多个第二摄像头12a，还可以包括除了第二摄像头12a之外的其他元件，例如转动机构和活动机构等，下文还会进一步描述。
36.如图1所示，特定目标q在左边的第一摄像头11a的图像传感器c中位于传感器的左边，在右边的第一摄像头11a的图像传感器d中位于传感器的右边，根据特定目标q在图像传
感器c和图像传感器d上获得的图像的坐标差值可算出目标q与第二摄像头12a间的距离h，同时也可算出特定目标q相对于第二摄像头12a的偏移角ω。信息处理单元13根据距离h、角度ω确定第二摄像头12a的最佳变焦参数，同时将偏移角ω的信息给到第二摄像头12a的转动机构(图未示)，转动机构驱动第二摄像头转动，使得目标q能以最佳角度处于第三摄像头12a的成像范围内。小视场图像采集单元12根据信息处理单元13的最佳变焦参数，完成变焦，并调整第三摄像头12a的空间位置，使得目标q处于的第三摄像头12a的最佳成像位置，并根据信息处理单元13的后续信号完成针对目标q的轨迹跟踪。
37.在本实用新型中，信息处理单元13主要根据双目测距原理，由于两个第一摄像头11a对同一个目标呈现的图像存在“视差”。物体距离越远，视差越小；反之，视差越大。两个第一摄像头11a采集实时图像，图中的目标数据，经过深度学习计算处理，给出前方目标的距离和方位信息，信息处理单元将信息给到小视场图像采集单元12后，小视场图像采集单元12的根据信息发生变动，转动第二摄像头12a指向目标方位，同时根据距离信息，选择最佳的变焦参数，以便第二摄像头12a能以最佳的光学指标对目标进行摄像，供后续图像处理、图像识别、图像利用等需求。
38.需要注意的是，信息处理单元13不仅能获取距离h和角度ω信息，计算并传输给小视场图像采集单元12的第三摄像头12a的变焦和角度变化信号，还可依靠图像深度学习，更加准确地确定目标q。在其他实施例中，信息处理单元13不仅能获得上述信息，还可将这些信息提供给其它关联机构。
39.由于大视场图像采集单元用于大范围采集图像信息，而小视场图像采集单元主要用于对经过大视场图像采集单元筛选过的特定目标的图像采集，因此，优选地，大视场图像采集单元11的两个第一摄像头11a的摄像视场大于小视场图像采集单元12的第二摄像头12a的摄像视场，从而有利于降低摄像头成本。当然，本领域的技术人员可以理解，大视场图像采集单元11的两个第一摄像头11a的摄像也可以等于或小于小视场图像采集单元12的第二摄像头12a的摄像视场。
40.可选地，大视场图像采集单元11的两个第一摄像头11a的视场和焦距固定，小视场图像采集单元12的至少一个第二摄像头12a的视场和焦距可调节，如此根据功能选用对应的摄像头，可以使得摄像头的选用和使用场景匹配，进一步提高图像采集质量并减少成本。
41.在一个实施例中，信息处理单元设置成对大视场图像采集单元传来的信息进行处理后，向小视场图像采集单元输出目标物的距离和方位信息，以及小视场图像采集单元设置成根据信息处理单元传来的目标的方位信息转动摄像头并根据信息处理单元传来的目标的距离信息选择变焦参数。
42.继续参照图1，可选地，第二摄像头12a布置在两个第一摄像头11a中间位置，这样可以最大程度减小第二摄像头12a的转动角度，并能够以最佳效果对于视场范围内的目标进行成像。
43.工作时，如图1-2所示，大视场图像采集单元11的两个第一摄像头11a对视场范围进行拍摄，由于目标成像在两个第一摄像头11a的传感器上的坐标位置不同，根据此坐标差值可算出目标与摄像头间的距离和方位，并将该距离和方位信息发送给信息处理单元12。具体地，目前q在c传感器中位于传感器的左边，在d传感器中位于传感器的右边，根据目标q在c、d传感器上获得的图像的坐标差值可算出目标q与摄像头间的中间h，同时也可算出ω
角。信息处理单元根据距离h、角度ω确定摄像头c的最佳变焦参数，同时将偏移角ω传送给第二摄像头12a的转动机构，使得目标q能以最佳角度处于第二摄像头12a的成像范围内。小视场变焦图像采集单元中的第二摄像头12a根据信息处理单元的最佳变焦参数，完成变焦，并调整第二摄像头12a的空间位置，使得目标q处于第二摄像头12a的最佳成像位置，根据信息处理单元的后续信号完成针对目标q的轨迹跟踪。
44.图3是本实用新型另一实施例的图像采集和处理装置的示意图。下面参照图3描述本实用新型的另一实施例，本实施例与图1-2所示的实施例的区别在于，本实施例的小视场图像采集单元12还包括独立的转动机构，该独立的转动机构上安装诸如棱镜的反射镜12b，该转动机构设置在第一摄像头11a和第二摄像头11b之间并使得目标q的图像以最佳的角度入射到第三摄像头12a上。
45.通过以上描述可以看出，本实用新型还提供了一种图像采集和处理方法，该方法包括以下步骤：
46.步骤一、利用大视场图像采集单元采集实时图像，并将该图像信息传递给信息处理单元，
47.步骤二、上述信息处理单元对上述大视场图像采集单元传利的信息进行处理并将处理后的信息发送至小视场图像采集单元，
48.步骤三、上述小视场图像采集单元根据从信息处理单元接收到的信息对目标进行图像采集。
49.可选地，在步骤二中，上述信息处理单元对大视场图像采集单元传来的信息进行处理，并向小视场图像采集单元输出目标物的距离和方位信息；以在步骤三中，上述小视场图像采集单元根据上述信息处理单元传来的目标的方位信息转动摄像头并根据上述信息处理单元传来的目标的距离信息选择变焦参数。
50.以上已详细描述了本实用新型的较佳实施例，但应理解到，在阅读了本实用新型的上述讲授内容之后，本领域技术人员可以对本实用新型作各种改动或修改。这些等价形式同样落于本技术所附权利要求书所限定的范围。