一种鲤形目鱼体尺测量方法及系统

本发明涉及人工智能与深度学习，具体涉及一种鲤形目鱼体尺测量方法及系统。

背景技术：

1、鲤形目鱼类，如草鱼、鲤鱼和鲫鱼等，是我国淡水养殖中的重要经济鱼类。体长、体宽和体厚等体尺参数是反映鱼体生长发育状况的重要形态指标，也是遗传育种、养殖管理、营养评价及渔业资源评估的重要基础数据。目前，鱼类体尺测量主要采用人工测量、彩色相机测量和深度相机测量等方法。人工测量方法通常需要捕捞、固定甚至麻醉鱼体，操作繁琐、效率较低，易引起鱼体应激或损伤，且人工操作和读数容易产生误差；彩色相机测量方法受二维成像和单一视角限制，难以同时获取多维体尺信息，并易受鱼体偏转、倾斜和弯曲等姿态变化影响；深度相机测量方法虽可获取鱼体3d空间信息，但单一视角易受视场范围和自身遮挡影响，在鱼体弯曲、局部遮挡或相互重叠时可能出现关键区域点云缺失，影响测量精度和稳定性，这成为当前亟待解决的技术问题。

技术实现思路

1、本发明的目的是提供一种鲤形目鱼体尺测量方法及系统，以解决传统技术中的不足。它能够解决现有鱼类体尺测量过程中操作繁琐、测量效率较低、易引起鱼体应激或损伤以及单视角测量信息不充分、易受鱼体姿态变化和遮挡影响、测量精度与稳定性不足等问题，实现鱼体体长、体宽和体厚等多维体尺参数的非接触、自动化、快速且准确测量。

2、本申请的一个实施例提供了一种鲤形目鱼体尺测量方法，所述方法包括：

3、获取待测量鲤形目鱼体多视角图像；

4、基于所述待测量鲤形目鱼体多视角图像，构建双视角鱼体多模态数据集；

5、执行对所述双视角鱼体多模态数据集的预处理及3d点云融合操作，构建并训练鱼体关键点检测初始模型和3d点云处理初始模型；

6、利用训练完成的鱼体关键点检测目标模型和训练完成的3d点云处理目标模型，提取纯净鱼体点云并确定3d关键点；

7、根据所述纯净鱼体点云以及所述3d关键点，确定待测量鲤形目鱼体3d中心骨架，并计算待测量鲤形目鱼体体尺及形态参数。

8、可选的，所述获取待测量鲤形目鱼体多视角图像之前，所述方法还包括：

9、构建双3d相机鱼体体尺测量系统，所述系统包括俯视3d相机、侧视3d相机、测量平台、led面光源、计算单元及硬件同步触发装置；其中，

10、所述俯视3d相机设置于所述测量平台上方，所述俯视3d相机用于采集待测量鲤形目鱼体背部方向的彩色图像和深度图像；

11、所述侧视3d相机设置于所述测量平台侧方，所述侧视3d相机用于采集待测量鲤形目鱼体侧面方向的彩色图像和深度图像；

12、所述测量平台用于承载待测量鲤形目鱼体，所述测量平台的顶部和侧部设置led面光源。

13、可选的，所述获取待测量鲤形目鱼体多视角图像，包括：

14、执行对所述俯视3d相机和所述侧视3d相机的联合标定，分别获取所述俯视3d相机和所述侧视3d相机的内参、外参及双视角坐标变换关系；

15、利用所述硬件同步触发装置采集待测量鲤形目鱼体在同一时刻的俯视和侧视彩色图像及深度图像，生成待测量鲤形目鱼体多视角图像。

16、可选的，所述基于所述待测量鲤形目鱼体多视角图像，构建双视角鱼体多模态数据集，包括：

17、通过所述待测量鲤形目鱼体多视角图像，建立各视角图像之间的时间和空间对应关系；

18、根据所述对应关系，执行对所述待测量鲤形目鱼体的筛选和标注，并获取待测量鲤形目鱼体体尺参数参考真值，以生成双视角鱼体多模态数据集。

19、可选的，所述执行对所述双视角鱼体多模态数据集的预处理及3d点云融合操作，包括：

20、根据所述俯视3d相机和所述侧视3d相机的内参，将俯视和侧视深度图像分别反投影生成3d点云；

21、根据所述俯视3d相机和所述侧视3d相机的外参及及双视角坐标变换关系，执行双视角点云初始对齐；

22、采用迭代最近点算法对双视角点云进行配准，并对配准后的点云进行融合，以获得表征待测量鲤形目鱼体多视角3d形态的融合点云。

23、可选的，所述构建并训练鱼体关键点检测初始模型和3d点云处理初始模型，包括：

24、基于待测量鲤形目鱼体多视角图像，构建yolov8-pose关键点检测初始模型；

25、以所述多视角3d形态的融合点云作为输入，构建基于pointnet++的3d点云分割及特征提取的初始模型。

26、可选的，所述根据所述纯净鱼体点云以及所述3d关键点，确定待测量鲤形目鱼体3d中心骨架，并计算待测量鲤形目鱼体体尺及形态参数，包括：

27、根据所述纯净鱼体点云，采用基于laplacian收缩的骨架提取方法构建待测量鲤形目鱼体3d中心骨架；

28、利用所述待测量鲤形目鱼体3d中心骨架、所述3d关键点及所述纯净鱼体点云，确定待测量鲤形目鱼体体尺及形态参数。

29、本申请的又一实施例提供了一种鲤形目鱼体尺测量系统，所述系统包括：

30、获取模块，用于获取待测量鲤形目鱼体多视角图像；

31、构建模块，用于基于所述待测量鲤形目鱼体多视角图像，构建双视角鱼体多模态数据集；

32、执行模块，用于执行对所述双视角鱼体多模态数据集的预处理及3d点云融合操作，构建并训练鱼体关键点检测初始模型和3d点云处理初始模型；

33、提取模块，用于利用训练完成的鱼体关键点检测目标模型和训练完成的3d点云处理目标模型，提取纯净鱼体点云并确定3d关键点；

34、确定模块，用于根据所述纯净鱼体点云以及所述3d关键点，确定待测量鲤形目鱼体3d中心骨架，并计算待测量鲤形目鱼体体尺及形态参数。

35、本申请的又一实施例提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时实现上述任一项所述的方法。

36、本申请的又一实施例提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以实现上述任一项所述的方法。

37、与现有技术相比，本发明首先获取待测量鲤形目鱼体多视角图像；基于待测量鲤形目鱼体多视角图像，构建双视角鱼体多模态数据集；执行对双视角鱼体多模态数据集的预处理及3d点云融合操作，构建并训练鱼体关键点检测初始模型和3d点云处理初始模型；利用训练完成的鱼体关键点检测目标模型和训练完成的3d点云处理目标模型，提取纯净鱼体点云并确定3d关键点；最后根据纯净鱼体点云以及3d关键点，确定待测量鲤形目鱼体3d中心骨架，并计算待测量鲤形目鱼体体尺及形态参数。它能够解决现有鱼类体尺测量过程中操作繁琐、测量效率较低、易引起鱼体应激或损伤以及单视角测量信息不充分、易受鱼体姿态变化和遮挡影响、测量精度与稳定性不足等问题，实现鱼体体长、体宽和体厚等多维体尺参数的非接触、自动化、快速且准确测量。

1.一种鲤形目鱼体尺测量方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获取待测量鲤形目鱼体多视角图像之前，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，所述获取待测量鲤形目鱼体多视角图像，包括：

4.根据权利要求3所述的方法，其特征在于，所述基于所述待测量鲤形目鱼体多视角图像，构建双视角鱼体多模态数据集，包括：

5.根据权利要求4所述的方法，其特征在于，所述执行对所述双视角鱼体多模态数据集的预处理及3d点云融合操作，包括：

6.根据权利要求5所述的方法，其特征在于，所述构建并训练鱼体关键点检测初始模型和3d点云处理初始模型，包括：

7.根据权利要求6所述的方法，其特征在于，所述根据所述纯净鱼体点云以及所述3d关键点，确定待测量鲤形目鱼体3d中心骨架，并计算待测量鲤形目鱼体体尺及形态参数，包括：

8.一种鲤形目鱼体尺测量系统，其特征在于，所述系统包括：

9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时实现所述权利要求1至7中任一项所述的方法。

10.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以实现所述权利要求1至7中任一项所述的方法。