一种基于多摄像头协同跟踪的金鱼移动轨迹提取方法

1.本发明涉及图像处理技术领域，尤其是一种基于多摄像头协同跟踪的金鱼移动轨迹提取方法。


背景技术：

2.金鱼是生活在水中的一种脊椎动物，其已日渐成为了许多家庭、事业单位放置于屋内养殖的一种观赏性动物。金鱼的运动是由三种方式交替结合进行的，通过肌肉的交替伸缩来上下、左右摆动身体，这是鱼类游行的主要动力。鱼的鳍在游动时起着平衡和稳定的作用，鳍的摆动对鱼类游动起着相当重要的辅助及推力作用。因此，金鱼在鱼缸内会以多种姿态、多种移动方式并且以快慢相间的速度进行移动。有研究表明，金鱼的移动在日间的不同时间段，不同的光照条件下的方式以及距离长短都不同，但是他们的研究都是通过长时间对着鱼缸内的金鱼进行人眼观测。
3.目前，并未能有很好的办法长时间，连续不间断地记录金鱼的移动轨迹的方法及其相关技术内容的公开报道。


技术实现要素：

4.本发明的目的是针对现有技术不足而设计的一种基于多摄像头协同跟踪的金鱼移动轨迹提取方法，采用深度学习的方法从视频中提取金鱼的像素坐标，利用透视投影将像素坐标映射至鱼缸各个面的坐标系中，计算各个坐标轴方向均值的方式计算定位结果，获得金鱼的移动轨迹，方法简便，定位精准，省时省力、经济、高效，能够精准地还原出金鱼在一段时间内在鱼缸内的移动情况，为需要对金鱼移动轨迹进行研究的相关人员提供便捷的获取基础数据的方式。
5.实现本发明目的具体技术方案是：一种基于多摄像头协同跟踪的金鱼移动轨迹提取方法，其特点是采用深度学习的方法从视频中提取金鱼的像素坐标，利用透视投影的方法将像素坐标映射至鱼缸各个面的坐标系中，最后结合金鱼在鱼缸各个面中的坐标，精准地定位出金鱼位于鱼缸中的三维坐标，所述金鱼移动轨迹的提取具体包括下述步骤：
6.步骤1：移动轨迹采集设备的搭建
7.将需要提取移动轨迹的金鱼放置于鱼缸中进行喂养，在鱼缸四周架设四个摄像头，从鱼缸的四个面对金鱼进行观测，保证无死角、精确地定位出金鱼的空间位置。
8.步骤2：摄像头径向畸变去除
9.实验所涉及的摄像头存在径向畸变，使用张正友相机标定法，标定相机的径向畸变参数，去除摄像头所存在的径向畸变。
10.步骤3：模型训练与金鱼识别
11.从视频影像中抽取1500帧影像作为训练样本，使用labelimg工具对金鱼进行标注，并制作标准的pascal voc数据集，然后采用vgg16网络作为卷积网络计算原始图像的特征图，利用faster r-cnn网络对数据集进行模型训练以及金鱼检测，假设金鱼检测结果为
bndbox(x1,y1,x2,y2)，则以bndbox的中心点((x1 y1)/2,(x2 y2)/2)代表该金鱼，其中，(x1,y1)代表bndbox左上角的坐标；(x2,y2)代表bndbox右下角的坐标。
12.步骤4：构建像素坐标系和鱼缸平面坐标系的映射模型
13.将四个摄像头中捕获到的影像采用透视变换的方法转换到鱼缸四个面的平面视图中，实现几何校正，构建像素坐标系和鱼缸平面坐标系的映射模型的具体步骤如下：
14.4-1：假设摄像头图像中某点的像素坐标为[u,v]，鱼缸某个平面坐标系中的某一点坐标为[x,y]；
[0015]
4-2：从摄像头拍摄的鱼缸某个面中分别寻找四个控制点，并假设这四个控制点的像素坐标分别为[u1,v1],[u2,v2],[u3,v3],[u4,v4]，在鱼缸平面坐标系中量测它们的坐标为[x1,y1],[x2,y2],[x3,y3],[x4,y4]，获得四组同名点坐标，所述控制点的选择原则为选取鱼缸平面矩形的四个顶点；
[0016]
4-3：根据四组同名点坐标，按下述(a)式计算透视变换矩阵：
[0017][0018]
式中：u和v为变换前的图像中的像素坐标；x
′
/w
′
为透视变换后的x坐标；y
′
/w
′
为透视变换后的y坐标；h
11
和h
21
为x方向上线性变换的参数；h
12
和h
22
为y方向上线性变换的参数；h
31
和h
32
分别为x方向和y方向平移的参数；h
13
和h
23
为透视的参数；
[0019]
4-4：将上述(a)式的矩阵展开，得到下述(b)式表达形式的矩阵：
[0020][0021]
4-5：将获取的四组同名点的像素坐标[u1,v1],[u2,v2],[u3,v3],[u4,v4]以及对应的鱼缸平面坐标[x1,y1],[x2,y2],[x3,y3],[x4,y4]分别带入(b)式，即可获得关于h
11
、h
21
、h
12
、h
22
、h
31
、h
32
、h
13
、h
23
和h
33
的非线性相关的八个方程，求解得到九个参数，其中h
33
恒定为1。
[0022]
步骤5：金鱼空间位置定位
[0023]
多摄像头协同定位金鱼，即计算金鱼在鱼缸中的空间坐标，设某一刻金鱼f基于各个摄像头进行透视变化后的鱼缸平面坐标系坐标为a(xa,za)、b(xb,zb)、c(yc,zc)、d(yd,zd)，通过取平均的方式计算作为金鱼位于鱼缸中的空间坐标，即金鱼的空间坐标为：f((xa xb)/2,(yc yd)/2,(za zb zc zd)/4)。
[0024]
步骤6：金鱼移动轨迹实时可视化及轨迹分析
[0025]
对金鱼的移动轨迹进行实时的可视化，记录金鱼移动的空间坐标，并对金鱼在某段时间内的总移动距离，平均移动速度和最大移动速度进行统计，所述总移动距离为金鱼所有相邻轨迹点的欧式距离的总和；所述平均移动速度为金鱼每一时刻的移动速度的平均值；所述移动速度是以金鱼相邻轨迹点的欧氏距离除以0.04计算而得；所述最大移动速度为金鱼每一时刻的移动速度的最大值；所述移动速度是以金鱼相邻轨迹点的欧氏距离除以0.04计算而得。本发明与现有技术相比具有方法简便、省时省力、经济、高效并且能够精准
地还原出金鱼在一段时间内在鱼缸内的移动情况，可为需要对金鱼移动轨迹进行研究的相关人员提供便捷的获取基础数据的方式。
附图说明
[0026]
图1为本发明流程图；
[0027]
图2为本发明具体应用示意图；
[0028]
图3为去除摄像头畸变的示意图(图3a为原始影像，图3b为去除畸变后的影像)；
[0029]
图4为金鱼识别效果示意图；
[0030]
图5为构建映射模型的示意图(图5a为去除畸变后的影像，图5b为去除畸变并进行透视变化后的影像)；
[0031]
图6为协同定位金鱼的示意图(图6a为金鱼在鱼缸四个面的平面坐标，图6b展示了金鱼定位的结果)；
[0032]
图7为轨迹提取结果图。
具体实施方式
[0033]
参阅图1，本发明具体包括下述步骤：
[0034]
步骤1：在提取移动轨迹的金鱼四周架设四个摄像头，从鱼缸的四个面对金鱼进行观测，以精确地定位出金鱼的空间位置；
[0035]
步骤2：使用张正友相机标定法，标定相机的径向畸变参数，去除摄像头所存在的径向畸变；
[0036]
步骤3：从视频影像中抽取1500帧影像作为训练样本，使用labelimg工具对金鱼进行标注，并制作标准的pascal voc数据集，然后采用vgg16网络作为卷积网络计算原始图像的特征图，利用faster r-cnn网络对数据集进行模型训练以及金鱼识别；
[0037]
步骤4：将四个摄像头中捕获到的影像采用透视变换的方法，转换到鱼缸四个面的平面视图中，实现几何校正，构建像素坐标系和鱼缸平面坐标系的映射模型；
[0038]
步骤5：通过取平均的方式计算作为金鱼位于鱼缸中的空间坐标；
[0039]
步骤6：对金鱼的移动轨迹进行实时的可视化，并记录金鱼移动的空间坐标，进行金鱼移动轨迹的分析。
[0040]
通过以下具体实施为例对本发明作进一步的详细说明。
[0041]
实施例1
[0042]
参阅图2，将提取移动轨迹的金鱼放置于鱼缸中进行喂养，按下述步骤进行金鱼移动轨迹的提取：
[0043]
步骤1：移动轨迹采集设备的搭建
[0044]
在鱼缸四周架设四个摄像头，这四个摄像头分别从鱼缸的四个面对金鱼进行观测，保证无死角、精确地定位出金鱼的空间位置，以此为基础，建立一个空间数据模型，以鱼缸某一个顶点为原点，建立一个右手坐标系，以1cm为单位长度。
[0045]
步骤2：摄像头径向畸变去除
[0046]
参阅图3，实验所涉及的摄像头存在径向畸变，使用张正友相机标定法，标定摄像头的径向畸变参数，去除摄像头所存在的径向畸变，所述摄像头径向畸变由下式(c)式表达
为：
[0047][0048]
其中：分别为理想的无畸变的归一化图像坐标、畸变后的归一化图像坐标；r为图像像素点到图像中心点的距离，即r2＝x2 y2；k1,k2,k3为相机畸变的参数。
[0049]
参阅图3a，原始影像由于相机镜头的径向畸变，造成所拍摄的图片存在变形。
[0050]
参阅图3b，原始影像经畸变处理，其影像更接近所摄的物像，图片变形大为改观，相机标定的目的是获得相机畸变的参数，即(c)中的k1,k2,k3，进而对拍摄的图片进行去畸变处理。
[0051]
步骤3：模型训练与金鱼识别
[0052]
参阅图4，从视频影像中抽取1500帧影像作为训练样本，使用labelimg工具对金鱼进行标注，并制作标准的pascal voc数据集，然后采用vgg16网络作为卷积网络计算原始图像的特征图，利用faster r-cnn网络对数据集进行模型训练以及金鱼检测，假设金鱼检测结果为bndbox(x1,y1,x2,y2)，则以bndbox的中心点((x1 y1)/2,(x2 y2)/2)代表该金鱼，其中：(x1,y1)代表bndbox左上角的坐标；(x2,y2)代表bndbox右下角的坐标。将四个摄像头拍摄到的影像合并成一幅图像进行识别，用于提升识别效率。每秒钟对捕获到的图像识别一次，并对中间缺失部分进行线性插值，使得识别结果在时间上与视觉上更为连贯。
[0053]
步骤4：构建像素坐标系和鱼缸平面坐标系的映射模型
[0054]
将四个摄像头中捕获到的影像采用透视变换的方法转换到鱼缸四个面的平面视图中，实现几何校正。
[0055]
参阅图5，构建像素坐标系和鱼缸平面坐标系的映射模型的具体步骤如下：
[0056]
4-1：假设摄像头图像中某点的像素坐标为[u,v]，鱼缸某个平面坐标系中的某一点坐标为[x,y]；
[0057]
4-2：从摄像头拍摄的鱼缸某个面中分别寻找四个控制点，并假设这四个控制点的像素坐标分别为[u1,v1],[u2,v2],[u3,v3],[u4,v4]，在鱼缸平面坐标系中量测它们的坐标为[x1,y1],[x2,y2],[x3,y3],[x4,y4]，获得四组同名点坐标，所述控制点的选择原则为选取鱼缸平面矩形的四个顶点；
[0058]
4-3：根据四组同名点坐标，按下述(a)式计算透视变换矩阵：
[0059][0060]
式中：u和v为变换前的图像中的像素坐标；x
′
/w
′
为透视变换后的x坐标；y
′
/w
′
为透视变换后的y坐标；h
11
和h
21
为x方向上线性变换的参数；h
12
和h
22
为y方向上线性变换的参数；h
31
和h
32
分别为x方向和y方向平移的参数；h
13
和h
23
为透视的参数。
[0061]
4-4：将上述(a)式的矩阵展开，得到下述(b)式表达形式的矩阵：
[0062][0063]
4-5：将获取的四组同名点的像素坐标[u1,v1],[u2,v2],[u3,v3],[u4,v4]以及对应的鱼缸平面坐标[x1,y1],[x2,y2],[x3,y3],[x4,y4]分别带入(b)式，即可获得关于h
11
、h
21
、h
12
、h
22
、h
31
、h
32
、h
13
、h
23
和h
33
的非线性相关的八个方程，求解该方程得到九个参数，其中h
33
恒定为1。
[0064]
参阅图5a，去除径向畸变后的影像虽然大为改观，但是影像的几何变形还是有所存在。将去除径向畸变后的影像通过构建的映射模型进行透视变化，其影像的几何变形有了直观的改变，较好的还原了物像，取得了良好的视觉效果，如图5b所示。
[0065]
步骤5：金鱼空间位置的定位
[0066]
多摄像头协同定位金鱼，即计算金鱼在鱼缸中的空间坐标，设某一时刻金鱼f基于各个摄像头进行透视变化后的鱼缸平面坐标系坐标为a(xa,za)、b(xb,zb)、c(yc,zc)、d(yd,zd)，
[0067]
参阅图6，通过取平均的方式计算作为金鱼位于鱼缸中的空间坐标，即金鱼的空间坐标为：f((xa xb)/2,(yc yd)/2,(za zb zc zd)/4)。
[0068]
参阅图6a，从四个摄像头中分别计算得到某一时刻金鱼f在鱼缸四个面的平面坐标。
[0069]
参阅图6b，展示的金鱼定位结果：为某一时刻金鱼f的空间坐标。
[0070]
步骤6：金鱼移动轨迹实时可视化及轨迹分析
[0071]
对金鱼的移动轨迹进行实时的可视化，并记录金鱼移动的空间坐标，对金鱼在某段时间内的总移动距离，平均移动速度和最大移动速度进行统计，所述总移动距离为金鱼所有相邻轨迹点的欧式距离的总和；所述平均移动速度为金鱼每一时刻的移动速度的平均值；所述移动速度是以金鱼相邻轨迹点的欧氏距离除以0.04计算而得；所述最大移动速度为金鱼每一时刻的移动速度的最大值；所述移动速度是以金鱼相邻轨迹点的欧氏距离除以0.04计算而得。
[0072]
参阅图7，轨迹提取结果图，其中颜色较深的面对应摄像头a所拍摄的面。
[0073]
以上只是本发明的较佳实现而已，并非对本发明做任何形式上的限制，故凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实现方法所做的任何的简单修改、等同变化与修饰，凡为本发明等效实施，均应包含于本专利的权利要求范围之内。