一种基于多摄像头协同跟踪的金鱼移动轨迹提取方法

技术特征：
1.一种基于多摄像头协同跟踪的金鱼移动轨迹提取方法，其特征在于采用深度学习的方法从视频中提取金鱼的像素坐标，利用透视投影的方法将像素坐标映射至鱼缸各个面的坐标系中计算定位结果，金鱼移动轨迹的提取具体包括下述步骤：步骤1：移动轨迹采集设备的搭建在鱼缸四周架设四个摄像头，从鱼缸的四个面对金鱼进行观测，并定位出金鱼的空间位置；步骤2：去除摄像头径向畸变使用张正友相机标定法，标定相机的径向畸变参数，去除摄像头所存在的径向畸变；步骤3：模型训练与金鱼识别从视频影像中抽取1500帧影像作为训练样本，使用labelimg工具对金鱼进行标注，并制作标准的pascal voc数据集，然后采用vgg16网络作为卷积网络计算原始图像的特征图，利用faster r-cnn网络对数据集进行模型训练以及金鱼识别；步骤4：构建像素坐标系和鱼缸平面坐标系的映射模型将四个摄像头中捕获到的影像采用透视变换的方法，将其转换到鱼缸四个面的平面视图中，实现几何校正；步骤5：金鱼空间位置的定位设某一时刻金鱼f基于各个摄像头进行透视变化后的鱼缸平面坐标系坐标为a(x
a
，z
a
)、b(x
b
，z
b
)、c(y
c
，z
c
)、d(y
d
，z
d
)，通过取平均的方式计算作为金鱼位于鱼缸中的空间坐标，即金鱼的空间坐标为：f((x
a
x
b
)/2，(y
c
y
d
)/2，(z
a
z
b
z
c
z
d
)/4)；步骤6：金鱼移动轨迹的分析对金鱼的移动轨迹进行实时的可视化，记录金鱼移动的空间坐标，并对金鱼在某时段内的总移动距离、平均移动速度和最大移动速度进行统计和分析，以此获取金鱼的移动轨迹。2.根据权利要求1所述基于多摄像头协同跟踪的金鱼移动轨迹提取方法，其特征在于所述构建像素坐标系和鱼缸平面坐标系的映射模型的具体步骤如下：4-1：假设摄像头图像中某点的像素坐标为[u，v]，鱼缸某个平面坐标系中的某一点坐标为[x，y]；4-2：从摄像头拍摄的鱼缸某个面中分别寻找四个控制点，并假设这四个控制点的像素坐标分别为[u1，v1]，[u2，v2]，[u3，v3]，[u4，v4]，在鱼缸平面坐标系中量测它们的坐标为[x1，y1]，[x2，y2]，[x3，y3]，[x4，y4]，获得四组同名点坐标；4-3：根据四组同名点坐标，按下述(a)式计算透视变换矩阵：式中：u和v为变换前的图像中的像素坐标；x
′
/w
′
为透视变换后的x坐标；y
′
/w
′
为透视变换后的y坐标；h
11
和h
21
为x方向上线性变换的参数；h
12
和h
22
为y方向上线性变换的参数；h
31
和h
32
分别为x方向和y方向平移的参数；h
13
和h
23
为透视的参数；4-4：将上述(a)式的矩阵展开，得到下述(b)式表达形式的矩阵：
4-5：将获取的四组同名点的像素坐标[u1，v1]，[u2，v2]，[u3，v3]，[u4，v4]以及对应的鱼缸平面坐标[x1，y1]，[x2，y2]，[x3，y3]，[x4，y4]分别带入上述(b)式，获得关于h
11
、h
21
、h
12
、h
22
、h
31
、h
32
、h
13
、h
23
和h
33
的非线性相关的八个方程，求解得到九个参数，其中h
33
恒定为1。3.根据权利要求1所述基于多摄像头协同跟踪的金鱼移动轨迹提取方法，其特征在于所述去除摄像头所存在的径向畸变由下式(c)式表达为：其中：(x，y)，分别为理想的无畸变的归一化图像坐标、畸变后的归一化图像坐标；r为图像像素点到图像中心点的距离，即r2＝x2 y2；k1，k2，k3为相机畸变的参数。4.根据权利要求1所述基于多摄像头协同跟踪的金鱼移动轨迹提取方法，其特征在于所述总移动距离为金鱼所有相邻轨迹点的欧式距离的总和。5.根据权利要求1所述基于多摄像头协同跟踪的金鱼移动轨迹提取方法，其特征在于所述平均移动速度为金鱼每一时刻的移动速度的平均值，所述移动速度是以金鱼相邻轨迹点的欧氏距离除以0.04计算而得。6.根据权利要求1所述基于多摄像头协同跟踪的金鱼移动轨迹提取方法，其特征在于所述最大移动速度为金鱼每一时刻的移动速度的最大值，所述移动速度是以金鱼相邻轨迹点的欧氏距离除以0.04计算而得。7.根据权利要求1所述基于多摄像头协同跟踪的金鱼移动轨迹提取方法，其特征在于所述控制点的选择原则为选取鱼缸平面矩形的四个顶点。

技术总结
本发明公开了一种基于多摄像头协同跟踪的金鱼移动轨迹提取方法，其特点是该方法具体包括：1）采集移动轨迹设备搭建与空间数据模型构建；2）利用Faster R-CNN进行模型训练与金鱼识别；3）构建像素坐标系和鱼缸平面坐标系的映射模型；4）多摄像头协同定位金鱼；5）轨迹统计及可视化等步骤。本发明与现有技术相比具有方法简便、省时省力、经济、高效并且能够精准地还原出金鱼在一段时间内在鱼缸内的移动情况，可为需要对金鱼移动轨迹进行研究的相关人员提供便捷的获取基础数据的方式。供便捷的获取基础数据的方式。供便捷的获取基础数据的方式。


技术研发人员：罗嘉贝 李响
受保护的技术使用者：华东师范大学
技术研发日：2022.03.17
技术公布日：2022/12/1