一种双镜头立体视觉系统优化方法、装置、记录媒体及系统与流程

1.本发明涉及视觉系统优化领域，具体公开了一种双镜头立体视觉系统优化方法、装置、记录媒体及系统。


背景技术：

2.人机交互是现代技术的一个重要研究领域，近年来受到越来越多的关注。为了更好的进行人机交互，国内外学者对人机交互系统进行了大量的研究。人机交互的一种方法是提供用户运动的3d数据，从而可以在不佩戴或手持任何设备的情况下与计算机进行交互处理。但在该方法中，为了更快、更舒适的进行人机交互，还需要提供一个宽视野视觉系统(field ofview,fov).提供宽视野视觉系统的一种方法是使用两个广角相机(如鱼眼镜头或折反射全向相机)组成立体视觉系统，用于捕捉应用环境中的视觉信息。
3.如果两台全域摄像机靠得很近，则连接两台摄像机的线段l(即基线)的长度就会变小，求出的3-d数据的精度会相应降低.
4.如果基线非常大，则相机前的空间点位置相对于l来讲，会变得非常接近，将导致得到的3-d数据的精度会很低。
5.由于全景相机拍摄的图像失真较大，因此所拍摄的图像的分辨率也存在较大差异，因此，如果特征点位于分辨率较高的区域，则计算的3-d数据的精度会更高，反之亦然。由此可知，系统的最优配置是存在的,但如何才能找到最优配置，这是本专业的技术人员正在致力研究的问题，在没有获得理想方法的情况下，当前还多半依据经验进行相机配置，像素坐标相对于实际位置存在较大的系统误差。


技术实现要素：

6.针对现有技术的不足，本发明提供了一种双镜头立体视觉系统优化方法，包括以下步骤；
7.s1，确定双镜头立体视觉系统的测量区域和双镜头基线位置；
8.s2，构建自变量包括光轴方向、双镜头距离及反射镜偏心率的测量误差函数；
9.s3，求出测量误差最小时对应的所述自变量的集合；
10.s4，按s3中所述集合包含的参数配置立体视觉系统的镜头。
11.优选的，双镜头立体视觉系统选用透镜组和双曲面镜组合成的光学模块。
12.本发明还提供一种双镜头立体视觉系统优化装置，包括：
13.初始化模块，用于确定双镜头立体视觉系统的测量区域和双镜头基线位置；
14.建模模块，用于构建自变量包括光轴方向、双镜头距离及反射镜偏心率的测量误差函数；
15.计算模块，用于求出测量误差最小时对应的所述自变量的集合；
16.配置模块，用于依据所述计算模块算出的集合所包含的参数配置立体视觉系统的镜头；
17.所述初始化模块、建模模块、计算模块和配置模块间建立有通信连接。
18.优选的，所述双镜头立体视觉系统选用透镜组和双曲面镜组合成的光学模块。
19.本发明的另一方案为一种非暂态可读记录媒体，用以存储包含多个指令的一个或多个程序，所述程序被处理器执行时实现上述双镜头立体视觉系统优化方法的步骤。
20.本发明的又一方案为一种电网分布式故障定位系统，包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被处理器执行时实现上述双镜头立体视觉系统优化方法的步骤。
21.与现有技术相比，本发明具备以下有益效果：
22.仿真和实际应用案例的实验结果表明了本发明所提出方法、装置或系统可有效提高双镜头立体视觉系统测距的准确性与可靠性，且运行速度较快。
附图说明
23.图1是本发明实施例方案双全景摄像机立体视觉系统；
24.其中：(a)视觉系统示意；(b)系统应用场景；
25.图2为本发明实施例的程序运行流程示意图；
26.图3为本发明实施例的镜头结构示意图；
27.图4为本发明实施例的各参数间几何关系示意图；
28.图5为本发明实施例的提出的优化过程得出的一般情况下的最佳系统配置；
29.其中：(a)最佳系统配置示意；(b)和(c)为两个摄像机拍摄的模拟图像在三维测量区域绘制成棋盘立方体；
30.图6为本发明测试导出的最佳系统配置的三维测量精度图；
31.其中：(a)和(b)将棋盘放在y＝0处的结果；(c)为各点的三维测量误差。
具体实施方式
32.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
33.首先，指定一个3-d数据测量区域，称为三维测量区域；同时，指定一个可以放置摄像机的区域，称为摄像机放置区域.然后，根据提出的系统优化算法推导出两个全向相机的最佳位置、光轴和固有参数。最后，根据所求出的最佳配置对双目视觉系统进行设计，提高3-d数据的重建精度。
34.摄像机坐标系(x-y-z)和图像坐标系(u-v)的定义方式是:x轴和y轴分别平行于uu轴和v轴，镜面的两个焦点分别在o(0,0,0)和oc(0,0,2c)处.这样，镜面形状可以表示为21.[0035][0036]
镜面偏心率定义为
[0037]
描述空间点p的补仰角φ与投影像素p的图像坐标(u,v)对应关系的投影方程[22]
upper
dx
，并取作为输出。
[0061]
选用两个配置相同的全景相机，对称放置，它们的焦距f1和f2都等于f，视角2τ
max1
和2τ
max2
都等于2τ
max
，两个光轴a1和a2共面，可以由两个角度α1和α2定义，则系统配置可以定义为参数集(d
x
,dy,α1,α2,ε1,ε2)系统满足的条件如下：
[0062]
1)从顶部看，全向相机放置在o1(-d
x
,-dy)和o2(d
x
,-dy)；
[0063]
2)它们的光轴方向分别由α1和α2定义；3)反射镜的偏心率分别为ε1和ε2. 所以，双目视觉系统优化配置问题就是找到最优参数集使其满足优化公式：
[0064]
由于希望捕获的图像被3-d测量区域完全填满，相机的方向应面向3-d 测量区域。
[0065]
在图3中，可以算出光学轴a1和a2是张成的角的平分线,也即光轴a1是o1w1和o1w2形成的视角的平分线,光轴a2是o2w1和o2w2形成的视角的平分线。由以上分析可知，可以通过d
x
和dy计算出角φ
max
和光轴角α1和α2。α2＝π-α1，由 o1,w2,q2组成的三角形，可得到dy＝(d
x
1)
·
tan(α
1-φ
max
)。同理，由o1,w1和q1组成的三角形，可得到dy＝(d
x-1)
·
tan(α1 φ
max
)。据此，可分别求解出两个未知数α1和φ
max
为：
[0066][0067]
可知ε1和ε2为
[0068][0069]
其中2τ
max
为透视相机的视角。
[0070]
综上所述，优化公式(26)可简化为如下形式：
[0071][0072]
考虑一个尺寸为10m
×
2.5m
×
3m的房间，如图5(a)所示，实验目的是计算用户身体在三维测量区域内移动的三维数据，全景摄像头放置在图中的相机放置区域。实验中，首先使用本文所提出的方法推导出该模拟案例的最佳系统配置。然后，对最佳系统配置和一些非最佳系统配置产生的三维测量精度进行了对比分析。
[0073]
为了找到最佳系统配置，首先定义坐标系如图5(a)所示，地板被设为平面z＝0，透视相机的视角2τ
max
选择为60
°
。接下来，在三维测量区域中产生大约100个均匀分布的点，并且在照相机放置区域中产生大约1000个类似分布的点。然后，提出的优化配置求解模型计算系统的最佳配置s
1*
，s
1*
使该系统具有最小三维测量误差。最佳系统配置求解，s
1*
包括:1)两个摄像机的位置，分别为(
±
3.92m,-0.5m,2.5m)；2)定向光轴a1和a2分别由向量(
±
0.093,0.996,0)确定； 3)反射镜的偏心率ε1和ε2均为1.8967。两个摄像机拍摄的图像由光线跟踪程序pov-ray模拟，如图5(b)和(c)所示。
[0074]
图5提出的优化过程得出的一般情况下的最佳系统配置。(a)最佳系统配置说明。(b)和(c)为两个摄像机拍摄的模拟图像在三维测量区域绘制成棋盘立方体。
[0075]
为了比较本方法求出的最佳系统配置s
1*
的三维测量精度，随机选择了四种系统配置s1、s2、s3和s4进行对比分析。对于所选择的四种方案，方案s1中两个摄像机的位置配置为(
±
2.5m,-0.5m,2.5m)，方案s2中两个摄像机的位置配置为(
±
1.67m,-0.5m,2.5m)，方案s3中两个摄像机的位置配置为(
±
3.33m,-0.5m,2.5m)，方案s4中两个摄像机的位置配置为(
±
2.87m,-0.5m,2.5m)。方案s1、s2、s3和s4中。
[0076]
在每种配置的实验中，三维测量区域中均匀地生成大约1000个点。首先将生成的每个点投影到坐标为(u1,v1)和(u2,v2)的两幅全景图像上。然后，对四个坐标值添加均值为零且标准差为1.0(像素)的高斯噪声，并通过中点三角剖分相应地求出三维坐标点的估计，以真实三维坐标点和估计三维坐标点之间的距离作为每种方案的三维测量误差。
[0077]
每种方案对1000个点进行测量时的最小误差、最大误差和标准差如表1 所示。同时，利用提出的准则函数ew对四种随机选择方案三维测量误差的最小值、最大致和标准差进行估计，计算结果也列于表1中。
[0078]
表1三维测量误差比较
[0079][0080]
最大三维测量误差越小表面系统配置的效果越好(见表1中第三列)，可以看出，与四种随机配置相比，通过本文提出的优化模型求出的配置具有更好的测量精度。在所提出的双目视觉系统优化配置模型中，系统测量误差ew被作为优化准则函数，优化模型通过估计ew的最大值从而寻找最佳系统配置，因此模型估计误差ew的取值也可以反映优化模型的有效性。从表1第三列中的最大值max与第六列中的最大值maxe的相似性可以看出本文所提方法有效性。
[0081]
与现有优化配置算法的比较，本发明所提出的优化模型中，通过误差传播分析来评估三维测量误差，目前经典的优化算法中通常是通过协方差矩阵来评估三维测量误差。本发明选择了4种基于协方差矩阵估计测量误差的算法,通过实验与本发明提出的模型进行对比分析。
[0082]
当使用协方差矩阵来评估由双目视觉系统产生的三维测量误差时，假设p 是空间中的特征点，p
l
是点p在左摄像机图像中对应的像素点，记p
l
的坐标为(u1,v1)；pr是点p在右摄像机图像中对应的像素点，记pr的坐标为(u2,v2)。设点p的三维位置坐标计算函数为f(u1,v1,u2,v2)，则点p的三维位置数据的协方差矩阵∑
p
计算公式为
[0083]
[0084]
式中，r表示向量r＝(u1,v1,u2,v2)，∑r是r的协方差矩阵，t表示矩阵的转置。协方差矩阵∑r通过数值法进行估计，函数f的一阶导数通过有限差分法进行计算，差分步长取为10-10
.计算出协方差矩阵∑r后，分别采用以下4 种经典算法估计双目视觉系统的三维测量误差：1)通过协方差矩阵行列式估计测量误差；2)通过协方差矩阵的迹估计测量误差；3)通过协方差矩阵的最大特征值估计测量误差；4)通过协方差矩阵(covariance matrix,cm)的对角线元素最大值估计测量误差。将这四种方法分别被命名为协方差行列式、协方差迹、cm最大特征值和cm对角线最大值。
[0085]
模拟实验环境下5种配置优化模型测量误差的比较：
[0086]
在仿真实验中，三维测量区域被设置为矩形区域，矩形区域的两个对角顶点分别为(-1,0,-1)和(1,0,1)，在区域内选择了大约4000个等距的实验点作为三维测量位置。两个全景相机的放置位置为(
±
0.7，-0.1，0)，透视相机的视角为 60
°
，采集图像的分辨率为600
×
600。在每次实验中，首先拍摄两幅全景图像，在左右全景图像中分别提取测量位置pi的投影像素li和ri。为了模拟特征检测过程中的不确定性，将[-1.0,1.0]内均匀分布的噪声干扰添加到像素li和 ri的坐标值中，然后利用li和ri添加噪声后的坐标值对pi的三维位置测量值进行估计，设估计值为pi′
。由于坐标值受到噪声的干扰，计算出的三维位置pi′
与地面真实值pi有一定的不同。经多次实验后，分别计算本发明方法和另外4 种经典算法的平均峰值信噪比(psnr)和运行时间，结果如表2所示。从表2 可以看出，本发明方法具有更高的测量精度，psnr最大，明显优于另外四种算法，而且算法运行时间也有较大的优势。协方差迹模型是另外四种算法种精度最高的，与协方差迹模型相比，本文方法的psnr约提高了而运行时间大约减小了倍。
[0087]
表2仿真中的psnr值和运行时间
[0088][0089]
真实实验环境下5种配置优化模型测量误差的比较：
[0090]
在真实实验环境下分析本文所提视觉系统优化配置模型的性能。在实验中，两个全景相机被放置在指定的放置区域，实验人员允许在指定的三维测量区域中自由移动，利用本发明方法和协方差行列式、协方差迹、cm最大特征值、cm对角线最大值方法，分别计算两个相机的最佳位置和方向。地板平面设为x-y平面，三维测量区域为长方体区域，长方体
的两个对角顶点为(5.0， 2.0，2.0)和(5.0，0.0，0.0)；摄像机放置区域为z＝0平面上的矩形区域，两对角顶点为(5.0，2.0，1.0)和(-5.0，-0.5，1.0)。优化算法的目标是找到两个全景摄像机的最佳位置o1和o2以及它们的光轴方向a1和a2，确保位于测量区域内的物体的三维测量尽可能精确。两台相机均为双曲面折反射相机，偏心率ε为 1.6571，透视相机视角为2τ
max
＝38
°
，全像尺寸为600
×
600。
[0091]
首先，在三维测量区域内以10厘米的固定间隔对三维测量位置进行点采样，同时，在摄像机放置区域内以1cm的固定间隔摄像机放置位置进行点采样。然后，对于摄像机o1和o2的每个可能位置，按照光轴方向计算方法求出光轴的方向。最后，三维测量误差最小时的两个全景相机的姿态被认为是最佳系统配置参数。利用本发明方法进行优化计算后表明，两个摄像机的最佳放置位置分别为(3.78,-0.5,1.0)和(-3.78,-0.5,1.0)，最佳光轴方向分别为 (-0.14,0.99,0.0)和(0.14,0.99,0.0)。在双目视觉系统配置完成后，利用该系统进行三维位置测量精度实验，在三维测量区域的y＝0.0、1.0和2.0处分别放置棋盘。从拍摄的全景图中提取出所有交叉点对应的图像像素点，并对提取的像素点坐标添加幅度在[-5,5]范围内的加性噪声干扰，以模拟特征检测过程引入的误差。然后，根据本发明所提出的方法，计算交叉点的三维测量数据，并根据地面真实数据计算三维测量误差。可以看出，测量误差和真实误差的形状基本保持一致，从而证明了本发明方法具有较高的测量精度。利用另外四种方法分别对交叉点的位置值进行计算，并与本发明方法的实验结果进行比较，测量误差和运行时间的实验结果如表3所示。从表3可以看出，本发明方法具有更好的测量精度，与精度最高的tr方法相比，最大测量误差减小了约(28.119-23.311)/28.119≈17.1％，运行速度提高了约208.124/12.437≈16.7倍。
[0092]
表3真实实验环境下5种优化配置算法的实验结果
[0093][0094][0095]
本发明研究了具有两个折反射全景相机的立体双面视觉系统的优化配置问题，以三维坐标数据测量误差最小为目标函数，计算全景相机位置、方向和镜面形态等参数的最优取值。根通过模拟实验环境对所提方法进行了实验分析，实验结果表明了本文方法的可行性及实质性进步。
[0096]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机、
可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0097]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0098]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0099]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0100]
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。