一种基于双目视觉的起立定位装置的制作方法

1.本发明涉及机器视觉领域，特别涉及基于双目视觉的起立定位装置。


背景技术：

2.随着信息通信网络的持续快速建设，视频会议业务越来越表现出良好的发展势头。在视频会议中，参会者可以听到其它会场的声音、看到其它会场现场参会人的形象、动作和表情，还可以发送电子演示内容，使与会者有身临其境的感觉。其中视频会议的一个重要的应用需求是摄像头可以聚焦在起立发言的人员，并给予近景特写等。同样地，在教育录播系统中，也存在类似的应用需求，即摄像头可以定位在起立发言的学生或者老师。
3.目前一般的人员起立定位装置是通过单目摄像头来实现的，通过分析运动矢量或者采用背景差的方式对起立人员进行定位。单目摄像头方式虽然简单，但由于缺乏三维空间数据，当在大范围内进行人员定位时，例如：对教室内多排的学生进行起立检测，且前后排的学生相距较大的距离。这时候无论分析运动矢量或者背景差检测，其中的检测阈值的设置相当困难，这造成了单目摄像头方式的定位错误较高。
4.有鉴于此，本发明提出了一种基于双目视觉的起立定位装置来克服上述问题。


技术实现要素：

5.本发明解决的问题是提供一种基于双目视觉的起立定位装置，解决单目视觉定位错误较高、设置困难、适应性差等问题，从而可靠准确地定位起立人员。
6.为了解决上述问题，本发明提出了一种基于双目视觉的起立人员的定位装置，其包括：
7.双目相机：固定双目相机在目标场所的上方，同步采集左右目图像；
8.计算单元：计算空间三维信息，分析定位目标场所中的起立人员。
9.优选的，双目相机安装在目标场所的上方，其视野覆盖目标场所范围。
10.优选的，所述的计算单元包括：
11.离线双目标定模块，获得的标定数据；
12.离线变换确定模块，计算的变换公式将相机坐标系中的空间坐标数据；
13.三维数据计算模块，从双目相机同步获取双目左右图像，分别对双目图像预处理，根据离线双目标定模块得到的标定数据，计算相机坐标系中的空间坐标数据；
14.坐标转换模块，根据离线变换确定模块所计算的变换公式将相机坐标系中的空间坐标数据转换为世界坐标系坐标；
15.数据有效检测模块，根据预先设定的有效空间区域确定空间点的有效性；
16.起立目标分析模块，分析有效空间区域内的有效空间点，定位起立人员。
17.优选的，所述有效空间区域的上下两面均平行于场所地面所在平面，其他面则垂直于场所地面所在平面，所述有效空间区域在场所地面所在平面上的投影区域即是场所地面范围，且与场所地面所在平面的距离为h，距离h控制起立人员目标的检测高度。
18.因此，本发明通过采用双目相机，其视野覆盖所需检测的场所，计算在相机坐标系的三维坐标，然后分析在有效空间区域的目标，从而确定起立人员位置。采用空间三维信息，容易设置检测阈值，从而实现可靠准确地定位，且装置调整灵活，适应于不同范围的场所应用。
附图说明
19.图1显示为本发明的基于双目视觉的起立定位装置的一个实施例。
20.图2显示为本发明的双目相机的安装位置示意图。
21.图3显示为本发明的计算单元的结构示意图。
22.图4显示为本发明的空间有效区域a的示意图。
具体实施方式
23.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
24.请参阅图1至图4。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
25.图1示出了本发明的基于双目视觉的起立定位装置的一个实施例。一种基于双目视觉的起立定位装置的实施例10，包括：
26.双目相机单元101：同步采集左右图像，作为待处理双目图像；
27.计算单元102：计算空间三维信息，分析定位在有效空间区域内的起立人员目标；
28.起立目标103：起立的人员。
29.双目相机单元101安装在目标场所的上方位置，视野覆盖目标场所范围。计算单元102控制双目相机单元101同步采集左右目图像，计算在相机空间坐标系的空间三维信息，并将相机空间坐标系的空间三维信息变换为世界坐标系坐标。如果起立目标103站立起来，这时起立目标103进入预先设定的有效空间范围a内，这时预先设定的有效空间范围a内存在有效的空间点，计算单元102对有效空间范围a内的空间点三维数据进行分析，从而定位起立目标103。
30.双目相机单元101安装在目标场所的一个上方位置，并保证视野覆盖目标场所范围。优选地，双目相机单元101安装在目标场所的前方的斜上方或者后方的斜上方，如图2所示。
31.根据本发明，其计算处理主要是通过处理单元102来完成。图3示出了处理单元102示意图。三维数据计算模块201同步获取双目左右图像，分别对双目图像进行降噪处理，例如高斯滤波，这样可以减少噪声的影响。根据离线双目标定205得到的标定数据，对降噪后的双目图像进行重映射(re-map)，消除镜头畸变等。然后三维数据计算模块201计算双目图像的视差，根据离线双目标定205得到的标定数据和三角测量原理计算得到空间点在相机
坐标系中的空间坐标数据。坐标转换模块202根据离线变换确定模块206所计算的变换公式将相机坐标系中的空间坐标数据转换为世界坐标系坐标。数据有效检测模块203根据预先设定的有效空间区域a确定空间点的有效性，即检测是否有目标进入了有效的检测区域。起立目标分析模块204分析有效空间区域a内的空间点，根据连通性和体积从而定位起立人员。
32.三维数据计算模块201根据三角测量原理计算三维坐标(x,y,z)：
[0033][0034]
其中，(u,v)为特征点在左图中的像素坐标，f为双目相机的焦距，由于双目相机经过了离线标定模块205的立体标定，因此左右相机的焦距相同；t为双目相机的光心距离，f和t通过相机的立体标定获得；d为目标中心点在左右图中的视差，由于双目图像进行了重映射(re-map)，故视差d＝u-ur，这里ur为目标中心点在右图中的像素横坐标。
[0035]
坐标转换模块202根据下式将相机坐标系中的空间坐标数据转换为世界坐标系坐标，
[0036][0037]
其中(x,y,z)
t
为世界坐标系中的坐标，r为旋转矩阵，(t
x
,ty,tz)
t
为平移矩阵。矩阵r和(t
x
,ty,tz)
t
通过离线变换确定模块206计算。离线变换确定模块206通过选择空间的若干个点，这些点具有明确的相机坐标系下的坐标，以及对应的世界坐标系下的坐标，通过这些点既可以确定矩阵r和(t
x
,ty,tz)
t
。如果选择的点较多，则通过最小二乘法计算得到矩阵r和(t
x
,ty,tz)
t
。值得注意的是，如果矩阵r为单位矩阵，(t
x
,ty,tz)
t
为0矩阵，则后续计算是在相机坐标系中进行，相应地，预定义的有效空间区域也是定义在相机坐标系中。
[0038]
预先设定的空间有效区域a的上下两面均平行于场所地面所在平面，其他面则垂直于场所地面所在平面。空间有效区域a的上下两面的距离为d,即空间有效区域a的厚度。空间有效区域a在场所地面所在平面上的投影区域即是场所地面范围，且与场所地面所在平面的距离为h。不失一般性，场所地面范围为矩形，则空间有效区域a为厚度为d的长方体区域,如图4所示。距离h控制检测的高度,用户可以根据需要设置恰当值。
[0039]
起立目标分析模块204对空间有效区域a内的空间目标区域进行分析，定位起立人员区域。起立目标分析模块204根据图像上相邻点的空间距离判断是否属于同一目标区域。如果相邻点的空间距离小于阈值s，则这两个点属于同一个空间目标区域，这样根据连通性得到空间有效区域a内一个或者多个空间目标区域。如果这些检测到的空间目标区域的体积大于一定的体积阈值c，则该目标区域被检测为起立人员区域。值得注意的是，如果空间目标区域是一个空间平面，这时候上述的体积则为区域面积，后面的阈值c为面积阈值。然后起立目标分析模块204计算每个起立人员区域的中心点，从而实现起立人员的定位。
[0040]
综上所述，本发明的基于双目视觉的起立定位装置通过双目相机同步获取图像,并计算有效空间区域内的起立人员区域，从而实现起立人员的定位。由于采用空间三维信
息，人员距离相机的远近不会影响到人员的空间实际高度，尽管在图像上成像的大小会变，因此利用双目视觉的起立定位准确可靠。此外，本发明阈值设置简单，能够灵活地调整装置，从而适应于不同范围的场所。由于采用了双目立体视觉，因此本发明所计算的三维信息能够为系统的功能扩充提供比二维信息更有力的支持。
[0041]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人员都可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。