一种单相机球面镜反射成像投影装置的制作方法

1.本发明属于视觉成像技术领域，涉及一种单相机球面镜反射成像投影装置。


背景技术：

2.随着视觉测量的应用需求不断提升，测量场景复杂化，对立体视觉传感器提出了低成本、小型化、轻量化、大视场、快速测量等要求。而目前的双目视觉测量方法，主要针对光照均匀、无遮挡或较少反射的强约束场景，仅适用于特定条件下的三维测量需求，如室内环境。单相机镜像双目视觉测量模式融合了传统双目视觉测量的优点，对比传统双目测量模式，具有系统构成简单、组件配置灵活、可控参数多、结构易小型化、可集成等优点，双目图像左右视图的采集具有天然的同步性，避免了传统双目相机难以同步采集的弊端。同时，由于镜像双目视觉测量模式易于集成，逐渐出现单相机镜像双目传感器的相关研究。镜像双目传感器由单个工业相机与光学折反射元件组合构成，大大降低了成本，提高了视觉传感器在受限空间及复杂场景的适用性。
3.传统的双目立体视觉系统通常由两相机构成，体积大、操作复杂、测量速度慢，且难以保证图像采集的同时性，为解决这些问题，可采用单相机与光学折反射元件组合的方式构建镜像双目立体视觉系统，缩小了测量系统体积，提高了测量速度。但由于平面折反射镜像双目系统在相同尺寸图像上呈现两个像，导致测量视场减半，使得平面镜的系统视场范围较小，难以满足宽视场测量需求。针对这种弊端，国内外研究人员对宽视场成像技术、基于曲面折反射原理的镜像双目展开研究，基于镜像立体视觉原理，进一步研究单相机凸面镜新型镜像立体视觉测量系统，旨在使小型视觉传感器具有更宽的视场范围。利用特殊镜头，或将测量系统中的光学折反射元件由平面镜替换为凸曲面镜，对空间场景进行成像，视场范围显著扩大。典型的曲面镜类型有：抛物面镜、双曲面镜、椭球面镜、锥面镜、球面镜等。
4.国内外许多研究机构和学者对折反射相机成像进行了研究，建立了各种单相机折反射成像模型。1999年baker和nayar为解决传统摄像机视场范围受限的问题，采用折反射元件与摄像机组合扩展视场范围，分析了不同面型的折反射投影成像，推导了不同面型折反射结构的单视点限制，建立了单视点成像模型；2001年geyer分析了折反射透视几何，针对折反射相机建立了透视投影模型，证明了折反射投影中点与线存在对偶关系，并采用抛物面镜从任意位置的单视点直线估计了焦距和图像中心；2004年mei提出了一种利用平面网格标定单视点全向传感器的方法，通过标准圆和标准平面建立统一成像模型。以上研究均针对单相机折反射结构建立了投影模型，但缺陷在于，模型中要求摄像机与折反射镜共轴，然而在实际装配中难以保证，从而产生成像偏差，同时，中心折反射结构存在应用局限性，在成像方向和视场范围方面难以灵活应用于不同场景。


技术实现要素：

5.本发明所要解决的技术问题是：克服现有技术的不足，提供一种单相机球面镜反
射成像投影装置，采用离轴非中心对称的单相机球面镜结构可以在获得更大视场范围的同时，有效提高应用灵活性；同时建立离轴非中心式球面镜反射成像模型，实现空间中三维点经球面镜反射至单相机成像面二维图像点的投影映射，适用于复杂场景及受限空间。
6.本发明的技术解决方案是：一种单相机球面镜反射成像投影装置，其特征在于：由空间点p(4)、球面反射镜(1)、摄像机(2)、数据传输线(8)和计算机(9)组成；
7.摄像机(2)与球面反射镜(1)离轴非中心对称放置，距离为200～500mm；
8.三维空间点p(4)处于摄像机(2)经球面反射镜(1)反射的视场范围内，三维空间点p(4)经球面反射镜(1)反射后进入摄像机(2)中，在摄像机(2)的二维图像平面(3)上成像，形成二维图像点(7)，成像所得二维图像数据经数据传输线(8)存储至计算机(9)中。建立单相机球面镜反射成像投影模型为，通过三维空间点p(4)经球面反射镜(1)至摄像机(2)的二维图像平面(3)映射的数学关系，计算得到二维图像坐标，完成球面镜反射成像投影过程。模型通过仿真实验进行验证，设定仿真实验点为三维空间点阵列，阵列点三维坐标经模型映射后得到二维图像坐标。
9.所述建立单相机球面镜反射成像投影模型过程为：三维空间点p(4)经球面镜反射成像时，可以看成摄像机(2)对其经球面镜反射后所形成的镜像虚拟点p’(6)进行拍摄，具体步骤是：
10.1、建立球面镜反射成像投影模型坐标系；
11.1.1、在球面反射镜(1)上建立三维世界坐标系o
w-x
wywzw
，原点ow为球面表面的中心点，xw轴和yw轴相互垂直，xw轴与球面反射镜(1)中心对称轴重合且指向球心；
12.1.2、建立摄像机坐标系o
c-xcyczc，原点oc为摄像机光学中心，xc轴与摄像机镜头光轴重合且指向摄像机拍摄方向，在摄像机的二维图像平面(3)上建立二维图像坐标系o
u-x
uyu
；
13.1.3、定义摄像机(2)的内部参数矩阵为a，位置和拍摄角度为o
c-xcyczc坐标系到o
w-x
wywzw
坐标系的平移矢量t和旋转矩阵r；
14.2、建立单相机球面镜反射成像投影模型，并与平面镜反射成像对比；
15.2.1、离轴三维空间点p(4)经球面反射镜(1)反射所成镜像虚拟点为p’(6)，经相同位置的平面镜反射所成镜像虚拟点为p”(5)，由平面镜像虚拟点p”(5)作为真值对比；
16.2.2、球面反射镜像虚拟点p’(6)由光路反向追迹获得，三维空间点向球面镜球心正向入射的光线沿原路返回，反射光线的反向延长线为l
pc
，平行于球面镜中心对称轴入射的光线反向延长线l
pf
过焦点f，l
pc
和l
pf
的交点即为球面镜像虚拟点p’(6)；平面镜像虚拟点p”(5)与空间点关于yw轴成对称分布；
17.2.3、根据三维空间点p(4)、球心c和焦点f的齐次坐标计算上述两条直线的向量表示，由二维平面内直线相交计算球面镜像虚拟点p’(6)的齐次坐标，由三维空间点p(4)镜像对称计算平面镜像虚拟点p”(5)的齐次坐标，并将二者扩展为o
w-x
wywzw
坐标系下的三维坐标齐次表示；
18.2.4、根据r,t将球面镜像虚拟点p’(6)和平面镜像虚拟点p”(5)的三维坐标转换至摄像机坐标系下，并由摄像机内部参数进行透视投影变换，计算图像点(7)和平面镜像虚拟点p”(5)对应图像点的二维图像坐标，完成球面镜反射成像投影过程。
19.使用如上面所述的单相机球面镜反射成像投影模型进行仿真实验，验证其成像效
果，其特征在于，由平面镜像虚拟点作为真值对比，具体步骤如下：
20.1、仿真实验初始参数设定；
21.1.1、设定单相机球面镜反射成像投影装置的参数，包括设定球面镜曲率半径r，摄像机的内部参数矩阵a；
22.1.2、设定仿真三维空间点阵列的初始三维坐标，使三维空间点阵列在o
w-x
wywzw
坐标系下zw轴坐标为0；
23.2、仿真三维空间点阵列镜像虚拟点计算；
24.2.1、计算球面镜像虚拟点p’(6)和平面镜像虚拟点p”(5)；
25.2.2、将球面镜像虚拟点坐标扩展为三维齐次坐标，同时将平面镜像虚拟点扩展为三维齐次坐标；
26.3、镜像虚拟点经摄像机进行透视投影计算；
27.3.1、设定摄像机的位置和拍摄角度，即旋转矩阵r和平移矢量t；
28.3.2、将球面镜像虚拟点三维坐标转换至摄像机坐标系下，并同时将平面镜像虚拟点三维坐标转换至摄像机坐标系下；
29.3.3、设定仿真图像分辨率，并将球面和平面镜像三维虚拟点投影至仿真图像上，得到球面虚拟图像点和平面虚拟图像点；
30.3.4、判断是否大部分球面和平面镜像虚点的图像点均在仿真图像范围内；若是，则进行下一步；若否，则调整仿真点的位置和阵列间隔，重新设定仿真点阵列初始坐标，并回到步骤3.1.2重新进行；
31.3.5、判断是否有足够的位姿观察规律；若是，则进行下一步；若否，则调整摄像机的位置和拍摄角度，重新设定o
c-xcyczc坐标系到o
w-x
wywzw
坐标系的转换关系，并回到步骤3.3.1重新进行；
32.3.6、绘制球面和平面镜像虚点分别在球面镜坐标系和摄像机坐标系下的三维图，绘制平面和球面虚拟图像点二维分布图；
33.3.7、判断是否有不同曲率半径的实验结果；若是，则进行下一步；若否，则调整球面镜曲率，重新设定球面镜曲率半径，并回到步骤3.1.1重新进行，重复1.1～3.7步，进行下一次实验；
34.3.8、对比不同曲率半径及不同位姿下的三维图和二维图，分析成像规律，归纳球面镜反射成像机理。
35.本发明与现有技术相比的优点在于：
36.(1)本发明包括单摄像机球面反射镜，摄像机与球面镜离轴非中心对称放置，实施过程分为球面镜反射成像投影模型建立和仿真实验。经初始参数设定后实施仿真实验验证。模型建立时，由摄像机对球面镜像虚拟点拍摄，仿真实验中仿真点为三维空间中的二维阵列点。本发明的模型解决了空间三维点经球面镜反射至摄像机图像平面二维点的映射关系，实现了球面镜反射成像投影过程的定量数学表达，有效增大了折反射相机的视场范围，扩展了适用性；
37.(2)本发明装置中提出了离轴非中心式的单相机球面镜反射成像，实现了摄像机从任意角度经球面镜反射对空间场景成像，扩大了折反射相机的视场范围，并缩小了系统体积；
38.(3)建立了一种通用单相机球面镜反射成像投影模型，实现了空间点经球面镜反射至摄像机图像平面的映射，同时以平面反射镜作为基准，可用于后续对球面反射成像畸变的校正；
39.(4)本发明的单相机球面镜反射成像装置结构简单、成本低、适用性强，不受共轴安装限制，扩展了折反射相机的应用范围，可用于受限空间及复杂场景的成像及测量。
附图说明
40.图1为本发明的单相机球面镜反射成像装置示意图；
41.图2为本发明的单相机球面镜反射成像模型示意图；
42.图3为本发明中单相机球面镜反射成像模型仿真实验流程图；
43.图4为仿真实验空间点阵列及其球面和平面镜像虚拟点分布图；
44.图5为仿真实验空间点经球面镜和平面镜反射至摄像机成像面的图像点。
具体实施方式
45.下面对本发明做进一步详细说明。本发明基于多视几何和图像处理技术，建立单相机球面镜反射成像模型，实现三维空间点经球面镜反射至二维图像平面的映射。
46.如图1所示，本发明的单相机球面镜反射成像装置，由三维空间点4即点p、球面反射镜1、摄像机2、数据传输线8和计算机9组成；摄像机2与球面反射镜1离轴非中心对称放置，距离为200～500mm；三维空间点p处于摄像机2经球面反射镜1反射的视场范围内，三维空间点p经球面反射镜1反射后，进入摄像机2内，在摄像机图像平面上成像7；拍摄所得图像数据经数据传输线8存储至计算机9进行处理。
47.单相机球面镜反射成像投影模型为，三维空间点p经球面反射镜1至摄像机2的二维图像平面3映射的数学关系,模型通过仿真实验进行验证，设定仿真实验点为三维空间点阵列，阵列点三维坐标经模型映射后得到二维图像坐标。
48.本发明球面镜反射成像投影模型用于定量描述三维空间点经球面镜反射至二维图像平面点的映射关系，可用于球面反射成像畸变校正。
49.本发明的单相机球面镜反射成像投影模型的数学原理为：物体经球面反射镜反射成像时，可以看成对真实空间被测点经球面镜反射后的镜像虚拟点的观察，虚拟点在摄像机平面内的成像可由摄像机模型透视投影变换实现。
50.如图2所示，在球面反射镜1上建立三维世界坐标系o
w-x
wywzw
，原点ow为球面表面的中心点，xw轴和yw轴相互垂直，xw轴与球面镜中心对称轴重合且指向球心，建立摄像机坐标系o
c-xcyczc，原点oc为摄像机光学中心，xc轴与摄像机镜头光轴重合且指向摄像机拍摄方向，在摄像机的二维图像平面3上建立二维图像坐标系o
u-x
uyu
，定义摄像机2的内部参数矩阵为a，位置和拍摄角度为o
c-xcyczc坐标系到o
w-x
wywzw
坐标系的平移矢量t和旋转矩阵r。
51.建立球面镜反射成像投影模型，并与平面镜反射成像对比。采用几何光路计算的方法，推导球面镜反射成像公式。单球面反射成像公式为：
[0052][0053]
焦点为f，球心为c，焦距与半径存在二倍关系，即f＝r/2。离轴三维空间点p经球面
镜所成虚像点位置的示意图，利用光路反向追迹分析，三维空间点直接向c点入射的光线，沿原路返回，平行于图中x轴入射的光线，射线反向延长线过焦点f，由此两条反射延长线的交点p’即为三维空间点p的虚像。坐标原点建立在球面与轴线的交点处，则p’点坐标(a,b)，p点二维齐次坐标为x
p
＝[a,b,1]
t
，经过o点的平面镜反射所成虚像p’u点的坐标为(-a,-b)，球面半径为球心c点齐次坐标为xc＝[r,0,1]
t
，则直线pc的向量表示为：
[0054][0055]
对于p点平行于光轴入射的光线与球面镜相交于a点，图中所示sag为矢高，则那么a点齐次坐标为xa＝[sag,b,1]
t
，又由球面镜焦点坐标xf＝[f,0,1]
t
，则直线af的向量表示为：
[0056][0057]
p点经球面镜反射所呈的虚像点p’为直线pc和直线af的交点，则p’的齐次坐标为：
[0058][0059]
上式为p’点在球面镜坐标系下的二维齐次坐标，若扩展至三维，增加一z轴，则x
p’的齐次表示为：
[0060][0061]
p”在球面镜坐标系下的三维坐标与p点关于yw轴成对称分布，将p”点坐标扩展至三维，则x
p”的齐次表示为：
[0062][0063]
对三维空间点的球面和平面镜像虚拟点进行透视投影映射：
[0064]
x＝a[r t]x
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0065]
其中，x表示三维空间点对应镜像虚拟点的三维坐标，x表示镜像虚拟点经摄像机透视投影模型在二维图像平面上的像素坐标。
[0066]
根据的上述单相机球面镜反射成像投影模型和本发明的基本原理，进行球面镜反射成像前向投影仿真实验，即将三维空间点经球面镜反射后的虚点，映射至摄像机的二维
图像平面上，得到图像点坐标并观察其分布情况。
[0067]
如图3所示，前向投影仿真实验的具体步骤如下：
[0068]
1、设定单相机球面镜反射成像投影装置的参数，包括设定球面镜曲率半径r，摄像机的内部参数矩阵a；
[0069]
2、设定仿真三维空间点的初始三维坐标，使三维空间点在o
w-x
wywzw
坐标系下zw轴坐标为0，给定a,b值，作为仿真三维空间点p在球面镜下真实点的三维坐标(a,b,0)。
[0070]
3、根据球面镜反射成像映射模型，计算球面镜像虚拟点p’(a’,b’,0)，同时计算对应的平面镜镜像虚拟点p”(-a,b,0)，作为对比；
[0071]
4、将球面镜像虚拟点坐标扩展为三维齐次坐标并同时将平面镜像虚拟点扩展为三维齐次坐标
[0072]
5、设定摄像机的位置和拍摄角度，即o
c-xcyczc坐标系到o
w-x
wywzw
坐标系的转换关系r,t；
[0073]
6、将球面镜像虚拟点三维坐标转换至摄像机坐标系下，得到x
cp’，并同时将平面镜像虚拟点三维坐标转换至摄像机坐标系下，得到x
cp”；
[0074]
7、设定仿真图像分辨率l
×
h，并将球面和平面镜像三维虚拟点投影至仿真图像上，得到球面虚拟图像点x
p’(u,v)和平面虚拟图像点x
p”(u
p
,v
p
)；
[0075]
8、判断是否大部分球面和平面镜像虚拟点的图像点均在仿真图像范围内；若是，则进行下一步；若否，则调整仿真点的位置和阵列间隔，重新设定仿真点阵列初始坐标，并回到步骤2重新进行；
[0076]
9、判断是否有足够的位姿观察规律；若是，则进行下一步；若否，则调整摄像机的位置和拍摄角度，重新设定o
c-xcyczc坐标系到o
w-x
wywzw
坐标系的转换关系，并回到步骤5重新进行；
[0077]
10、绘制球面和平面镜像虚拟点分别在球面镜坐标系和摄像机坐标系下的三维图，绘制平面和球面虚拟图像点二维分布图；
[0078]
11、判断是否有不同曲率半径的实验结果；若是，则进行下一步；若否，则调整球面镜曲率，重新设定球面镜曲率半径，并回到步骤1重新进行，重复1～10步，进行下一次实验；
[0079]
12、对比不同曲率半径及不同位姿下的三维图和二维图，分析成像规律，归纳球面镜反射成像机理。
[0080]
实施例
[0081]
根据本发明提出成像装置和反射投影模型，设计了前向投影仿真实验，对三维空间点经球面镜反射至摄像机成像的过程进行了测试。
[0082]
实验设备为dell台式计算机optiplex 7020，实验平台为matlab r2019a，实验参数设置：球面镜曲率半径r＝1000mm；摄像机内部参数矩阵为：
[0083][0084]
球面镜坐标系到摄像机坐标系的转换关系：
[0085][0086]
(旋转矩阵可分解为三个方向的旋转向量，旋转角度为15
°
、75
°
、-30
°
，m矩阵第四列为平移矢量)
[0087]
参与球面镜反射成像映射模型仿真实验的一组阵列点数量为：7
×
7＝49个。设置7
×
7仿真点阵列在球面镜坐标系下的坐标a的范围为[-180mm,-60mm]，间隔为20mm，b的范围为[20mm,140mm]，间隔为20mm。
[0088]
根据摄像机内参设置，图像分辨率大小为2400
×
1800像素，仿真实验设定摄像机不变，则内参矩阵不变。图4为r＝1000mm时仿真实验三维空间点阵列及其平面和球面反射虚点的二维显示，其中，圆点阵列为初始仿真点，方形阵列为平面镜像虚拟点，菱形阵列为球面镜像虚拟点，图5为在此位姿下仿真实验平面和球面反射虚点的图像点，其中，圆点阵列为球面镜反射成像点，方形阵列为平面镜反射成像点，箭头为球面镜反射产生的图像畸变。由图4可以看出三维空间点经球面镜反射后形成的镜像虚拟点阵列比平面镜反射镜像虚拟点阵列的分布更加聚集，所占的空间范围显著减小，从而使摄像机经球面镜反射捕捉的空间场景范围更大；对应在图5中，可以看到球面反射镜像虚拟点的二维图像点阵列比平面反射镜像虚拟点的二维图像点阵列的分布更加聚集，所占的图像范围显著减小，因此本发明采用的单相机球面镜反射成像装置能够有效扩大视场范围，阐释了球面镜反射成像机理，同时所提出的成像投影模型实现了三维空间点经球面镜反射至二维图像平面的映射。