一种基于双焦视觉的云台辅助定位方法、系统及设备与流程

本发明涉及计算机视觉与视觉测量，特别涉及一种基于双焦视觉的云台辅助定位方法、系统及设备，可应用于安防监控、工业检测、辅助驾驶、机器人视觉导航等场景。

背景技术：

1、在安防监控、工业检测和机器人导航等领域，获取视野中目标物体的空间距离信息是实现自动跟踪、定位和决策的关键需求。经检索，与本发明最相近的现有技术如下：

2、方向一：双摄像头视差测距；

3、专利号为cn111524176a的视距测量定位的方法、装置和计算机设备，该专利利用双摄像头重叠成像区域，对目标测试点进行双摄像头测距得到摄像头坐标系内的坐标；再结合移动终端在大地坐标系的位置及两坐标系夹角，计算目标测试点的经纬度数据。该方法基于传统双目视差原理，依赖两个摄像头之间的空间基线产生位置偏移量（disparity）来推算距离；用于移动终端（手机）对室外目标点的经纬度测量。

4、但该方案存在以下局限性：（1）依赖两个摄像头的空间基线距离，基线越大设备体积越大，不适合紧凑型云台；（2）核心仍是传统双目视差法，利用目标在左右图中的像素位置偏移而非像素尺寸差进行测距；（3）需要获取移动终端的经纬度坐标，应用场景受限。

5、专利号为cn110044322a的一种虚拟现实终端的显示方法、装置及移动终端，该专利利用预设的双摄像头测距算法计算虚拟现实终端与障碍物的距离，在距离小于阈值时生成提示信息。该方法使用双摄测距算法基于传统视差原理，用于vr场景下的障碍物检测与避障；用于vr终端的环境感知与障碍物避障提醒。

6、但该方案存在以下局限性：（1）双摄测距算法依赖基线距离，设备厚度限制基线长度进而限制精度；（2）仅提供近距离障碍物检测（阈值告警），不涉及精确空间定位。

7、方向二：不同焦距/可变焦双目测距；

8、专利号为wo2016183723a1的一种测量的方法及终端，该专利支持两个摄像头使用不同焦距，通过像素点尺寸常量统一单位，将像素位置差转换为实际距离。核心公式，其中为焦距与像素尺寸之比，为两摄像头中心间距（基线），、为目标在两图像中的位置偏移分量。该方法虽支持不同焦距，但测距仍依赖基线距离和位置偏移量；用于手机双摄近距测量。

9、但该方案存在以下局限性：（1）测距公式中分子含基线，本质上仍为基线依赖型方法；（2）利用目标在图像中的位置偏移（disparity）而非像素尺寸差（scale difference）计算距离；（3）基线受手机厚度限制，远距离精度下降。

10、学术文献：可变焦双目视觉测距方法，该技术方案当两个可变焦相机焦距不一致时，先用已知长度的标准杆分别标定两个相机的等效焦距、，然后利用三角形相似原理分别计算物距并取均值。该方法使用标准杆标定每台相机的焦距参数，但测距仍依赖双目基线。

11、存在以下局限性：（1）需要标准杆分别标定两台相机焦距，流程复杂；（2）核心测距仍为基线视差法，未利用焦距差带来的像素尺寸差异；（3）两路独立计算后取均值，非真正的双焦信息融合。

12、方向三：单基线移动测距；

13、专利号为cn107687841a的一种测距方法及装置通过改变单个摄像设备的两个拍摄位置（增大基线），当像素位置差与拍摄位置差的比值达到阈值时，利用像素差、拍摄位置差和焦距计算距离。本质上是通过移动单摄像头来模拟双目基线；用于移动设备灵活测距。

14、存在以下局限性：（1）需要设备物理移动，不适用于固定式云台；（2）利用像素位置差（disparity），非像素尺寸差；（3）移动过程中的震动和姿态变化引入额外误差。

15、方向四：a4纸辅助计算机视觉标定（非测距）；

16、专利号为cn121956275a的一种镜头倾斜校对方法，该方案利用待校对镜头拍摄a4纸，将图片导入以镜头为原点的三维坐标系，模拟镜头和a4纸的位置关系，通过成像公式迭代判断成像平面是否与坐标轴垂直，从而计算镜头倾斜角度。a4纸在此仅作为平面参照物用于镜头的倾斜校对；用于摄像模组生产过程中的镜头倾斜校正。

17、该方案以下局限性：（1）a4纸用于倾斜角度计算而非距离测量标定；（2）仅涉及单摄像头的光轴校准，不涉及双焦测距系统标定；（3）与本发明技术领域（视觉测距）和目的均不同。

18、综上所述，现有技术方案存在以下缺点：

19、1.双目方案依赖空间基线，体积与精度矛盾：传统双目立体视觉及上述相关专利均依赖两个摄像头之间的物理间距（基线）产生视差信号。基线越长精度越高，但设备体积越大；基线越短设备越紧凑，但远距离精度急剧下降。这一根本矛盾限制了紧凑型云台的测距能力。

20、2.测距原理依赖位置偏移（disparity），非尺寸差异（scale difference）：上述所有双摄方案均基于同一目标在左右图像中的像素位置偏移量计算深度。

21、3.校准依赖专业设备，现场部署门槛高：现有方案校准需专业棋格标定板（双目方案）、标准杆（可变焦方案）或多角度拍摄流程，普通用户无法在现场快速完成。未见将日常标准尺寸物品（如a4纸）用于双焦测距综合常数标定的方案。

22、4.主动测距方案受环境光限制：结构光、tof和激光在室外强光下性能显著下降，且成本高、功耗大，不适合长时间室外部署。

23、因此，如何提供一种紧凑型云台设备上，以低成本、易校准的方式实现对目标的距离测量与空间定位，对于紧凑型视觉测距问题，如何在不依赖大基线双目布置的前提下，利用同轴或近轴双摄像头实现有效的深度感知，使设备保持紧凑体积；对于快速现场校准问题，如何摆脱对专业标定板和复杂标定流程的依赖，使普通用户使用日常物品（如a4纸）即可完成测距系统的校准；对于未知目标尺寸适应问题，如何在目标真实尺寸未知的情况下，仍能获取可靠的距离信息，或至少获取相对距离变化量；对于云台-视觉联合定位问题，如何将视觉测距结果与云台的俯仰/水平角度信息融合，实现目标在三维空间中的完整定位，是目前亟待解决的问题。

技术实现思路

1、本发明实施例提供了一种基于双焦视觉的云台辅助定位方法、系统及设备，以解决现有技术中的上述技术的问题。

2、根据本发明实施例的第一方面，提供了一种基于双焦视觉的云台辅助定位方法。

3、在一个实施例中，所述基于双焦视觉的云台辅助定位方法，包括：

4、s1、基于第一摄像头和第二摄像头，分别获取已知标准尺寸的校准靶标的第一靶标图像和第二靶标图像；基于已知校准距离、已知标准尺寸以及第一靶标图像和第二靶标图像中的像素尺寸，计算获得综合常数；

5、s2、基于第一摄像头和第二摄像头，分别获取待测目标的第一采集图像和第二采集图像；提取第一采集图像和第二采集图像的像素尺寸，并计算获取像素尺寸差；基于像素尺寸差、综合常数以及目标真实尺寸，计算得出目标距离；

6、s3、基于云台当前的俯仰角和水平角，结合所述目标距离将目标位置计算转换为以云台为原点的三维直角坐标，以实现云台辅助定位。

7、在一个实施例中，所述方法还包括：s4、利用所述第一摄像头持续监测待测目标的运动，基于目标在第一摄像头画面中的像素偏移，计算云台角度修正量并驱动云台将待测目标保持在画面中央；在跟踪过程中持续执行步骤s2和s3，实时更新目标三维坐标，形成闭环跟踪定位。

8、根据本发明实施例的第二方面，提供了一种基于双焦视觉的云台辅助定位系统。

9、在一个实施例中，基于双焦视觉的云台辅助定位系统包括：

10、标准化校准模块，用于基于第一摄像头和第二摄像头，分别获取已知标准尺寸的校准靶标的第一靶标图像和第二靶标图像；基于已知校准距离、已知标准尺寸以及第一靶标图像和第二靶标图像中的像素尺寸，计算获得综合常数；

11、双焦测距模块，用于基于第一摄像头和第二摄像头，分别获取待测目标的第一采集图像和第二采集图像；提取第一采集图像和第二采集图像的像素尺寸，并计算获取像素尺寸差；基于像素尺寸差、综合常数以及目标真实尺寸，计算得出目标距离；

12、云台-视觉联合定位模块，用于基于云台当前的俯仰角和水平角，结合所述目标距离将目标位置计算转换为以云台为原点的三维直角坐标，以实现云台辅助定位。

13、根据本发明实施例的第三方面，提供了一种基于双焦视觉的云台辅助定位设备。

14、在一些实施例中，基于双焦视觉的云台辅助定位设备包括：

15、云台机构，用于支持第一摄像头和第二摄像头水平旋转和俯仰运动；

16、第一摄像头，安装于云台机构上且光轴平行，用于采集图像；

17、第二摄像头，安装于云台机构上且光轴平行，用于采集图像；

18、图像处理单元，用于实现校准计算、目标检测和距离计算；

19、云台控制单元，用于接收图像处理单元输出的目标位置信息，驱动云台电机调整姿态，实现目标跟踪。

20、本发明实施例提供的技术方案可以包括以下有益效果：

21、1.本发明将不同焦距双摄像头像素尺寸差测距、标准尺寸物体现场快速校准与云台角度联合三维定位相结合，用焦距差替代空间基线差产生测距信号（像素尺寸差而非位置偏移），用日常标准尺寸物体替代专业标定板完成现场校准，并与云台角度融合实现三维空间定位。

22、2.本发明通过紧凑体积下的可靠测距，利用两个摄像头的焦距差而非空间基线差产生视差信号，两个摄像头可紧密并排或同轴布置，设备体积大幅缩小。相比传统双目基线方案（通常需基线距离），本发明中摄像头间距可缩至30mm以下（同轴方案可缩至0mm）。在米范围内测距相对误差可控制在5%以内（受限于像素尺寸提取精度）。

23、3.本发明通过现场快速校准，部署门槛低，仅需一张a4纸和皮尺即可完成校准，耗时不超过1分钟。无需专业标定板、无需棋格板多角度拍摄、无需繁琐的立体标定流程。

24、4.本发明成本优势显著，相比激光测距模块（数百元），仅增加一个常规摄像头（十余元）即可实现视觉测距功能。硬件bom成本增加不超过典型云台设备总成本的5%。

25、5.本发明纯被动测量，环境适应性好，不发射任何主动光源，在室外强光和远距离场景下性能稳定，无功耗增加。

26、6.本发明通过与云台机构天然融合，测距结果直接结合云台角度信息输出三维空间坐标，实现检测、测距、定位、跟踪的闭环，无需额外的坐标变换或传感器融合。

27、7.本发明则利用不同焦距摄像头对同一目标成像的像素尺寸差异（scaledifference）计算距离，使两个摄像头可以紧贴甚至同轴布置，彻底解耦体积与精度之间的矛盾。

28、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。