一种小型鱼类求偶行为识别方法、系统、设备、介质及产品

摘要: 本技术涉及鱼类行为识别领域,特别是涉及一种小型鱼类求偶行为识别方法、系统、设备、介质及产品。背景技术:1、小型鱼类(如斑马鱼、青鳉鱼等)作为模式生物,在遗传学、...
一种小型鱼类求偶行为识别方法、系统、设备、介质及产品

本技术涉及鱼类行为识别领域,特别是涉及一种小型鱼类求偶行为识别方法、系统、设备、介质及产品。

背景技术:

1、小型鱼类(如斑马鱼、青鳉鱼等)作为模式生物,在遗传学、发育生物学、神经科学和药物筛选中具有重要地位。鱼类的求偶行为是其繁殖过程中的关键环节,直接反映了鱼类的健康状况、内分泌状态和繁殖能力,因此,对小型鱼类的求偶行为进行自动识别和实时监测,对于生物学研究、药物筛选和水产养殖等领域具有重要的应用价值。

2、目前,鱼类的行为分析主要依赖人工观察和手工记录,存在主观性强、效率低、无法长时间连续监测等问题。已有的视频分析方法主要用于鱼类游动轨迹的追踪,但缺乏对鱼体姿态的精确定量描述,难以区分不同的求偶行为类别,导致求偶行为的自动识别精度低、可靠性差。

3、因此,亟需一种小型鱼类求偶行为识别方法,以解决无法基于鱼体姿态与运动轨迹的组合特征对养殖容器内小型鱼类雌雄个体进行实时区分并准确识别各自求偶行为的问题,从而提高小型鱼类求偶行为识别的准确性和自动化水平。

技术实现思路

1、本技术的目的是提供一种小型鱼类求偶行为识别方法、系统、设备、介质及产品,可实现对养殖容器内小型鱼类雌雄个体的实时区分,并基于鱼体姿态描述子与轨迹特征的融合分析,对雄鱼和雌鱼的多种求偶行为进行自动、准确识别,从而提高鱼类求偶行为识别的准确性和自动化水平。

2、为实现上述目的,本技术提供了如下方案:

3、第一方面,本技术提供了一种小型鱼类求偶行为识别方法包括:

4、获取养殖容器内目标鱼类的当前帧图像,并提取当前帧图像中的感兴趣区域图像;

5、基于所述感兴趣区域图像,通过背景建模与帧间差分相结合的方法进行运动目标提取,得到当前帧的候选运动目标集合;

6、基于候选运动目标集合,通过几何特征过滤方法进行干扰目标滤除,得到当前帧的初始运动目标集合;

7、将当前帧的初始运动目标集合中各初始运动目标分别输入预训练的多任务深度学习分类网络,输出当前帧各初始运动目标的性别类别;所述性别类别包括非鱼类、雄鱼和雌鱼;

8、将初始运动目标集合中性别类别为非鱼类的初始运动目标删除,得到当前帧的有效运动目标集合;

9、将当前帧的有效运动目标集合中各有效运动目标分别输入预训练的深度学习回归网络,输出当前帧各有效运动目标的关键特征点的位置坐标集合;所述关键特征点包括鱼头、背鳍、尾鳍、臀鳍、腹鳍;

10、基于当前帧各有效运动目标的关键特征点的位置坐标集合,计算关键特征点之间的距离、方向、夹角、归一化投影分量以及弧直比,得到当前帧各有效运动目标的姿态描述子;

11、通过稀疏光流跟踪方法确定当前帧各有效运动目标的轨迹特征;

12、根据当前帧各有效运动目标的性别类别、姿态描述子和轨迹特征,确定当前帧各有效运动目标的求偶行为判定结果;所述求偶行为判定结果包括雄鱼求偶行为判定结果和雌鱼求偶行为判定结果;所述雄鱼求偶行为判定结果包括追逐、追尾、环绕、8字形游泳或颤抖;所述雌鱼求偶行为判定结果包括接近、护送、展示、引领或产卵。

13、第二方面,本技术提供了一种小型鱼类求偶行为识别系统包括:

14、图像获取模块,用于获取养殖容器内目标鱼类的当前帧图像,并提取当前帧图像中的感兴趣区域图像;

15、运动目标提取模块,用于基于所述感兴趣区域图像,通过背景建模与帧间差分相结合的方法进行运动目标提取,得到当前帧的候选运动目标集合;

16、干扰目标滤除模块,用于基于候选运动目标集合,通过几何特征过滤方法进行干扰目标滤除,得到当前帧的初始运动目标集合;

17、多任务分类模块,用于将当前帧的初始运动目标集合中各初始运动目标分别输入预训练的多任务深度学习分类网络,输出当前帧各初始运动目标的性别类别;所述性别类别包括非鱼类、雄鱼和雌鱼;

18、有效目标筛选模块,用于将初始运动目标集合中性别类别为非鱼类的初始运动目标删除,得到当前帧的有效运动目标集合;

19、关键点回归模块,用于将当前帧的有效运动目标集合中各有效运动目标分别输入预训练的深度学习回归网络,输出当前帧各有效运动目标的关键特征点的位置坐标集合;所述关键特征点包括鱼头、背鳍、尾鳍、臀鳍、腹鳍;

20、姿态量化模块,用于基于当前帧各有效运动目标的关键特征点的位置坐标集合,计算关键特征点之间的距离、方向、夹角、归一化投影分量以及弧直比,得到当前帧各有效运动目标的姿态描述子;

21、轨迹跟踪模块,用于通过稀疏光流跟踪方法确定当前帧各有效运动目标的轨迹特征;

22、行为判定模块,用于根据当前帧各有效运动目标的性别类别、姿态描述子和轨迹特征,确定当前帧各有效运动目标的求偶行为判定结果;所述求偶行为判定结果包括雄鱼求偶行为判定结果和雌鱼求偶行为判定结果;所述雄鱼求偶行为判定结果包括追逐、追尾、环绕、8字形游泳或颤抖;所述雌鱼求偶行为判定结果包括接近、护送、展示、引领或产卵。

23、第三方面,本技术提供了一种计算机设备,包括:存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序以实现上述中所述的小型鱼类求偶行为识别方法的步骤。

24、第四方面,本技术提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述中所述的小型鱼类求偶行为识别方法的步骤。

25、第五方面,本技术提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述中所述的小型鱼类求偶行为识别方法的步骤。

26、根据本技术提供的具体实施例,本技术具有了以下技术效果:

27、本技术提供了一种小型鱼类求偶行为识别方法、系统、设备、介质及产品,通过获取养殖容器内目标鱼类的当前帧图像并提取感兴趣区域图像,解决了视频图像中养殖容器外干扰区域影响处理效率和精度的问题,实现了对目标鱼类所在区域的快速定位,提高了后续处理的计算效率和准确性;通过基于感兴趣区域图像进行运动目标提取并对候选运动目标进行几何特征过滤,解决了养殖环境中水纹、光线和噪声等干扰目标影响检测准确性的问题,实现了对候选运动目标中干扰目标的有效滤除,提高了初始运动目标检测的可靠性;通过将初始运动目标集合输入预训练的多任务深度学习分类网络进行性别类别识别并删除非鱼类目标,解决了无法同时区分鱼类与非鱼类以及精准区分雌雄个体的问题,实现了对雄鱼和雌鱼的有效分流以及非鱼类目标的自动剔除,为后续姿态识别和行为判定提供了准确的性别类别基础;通过将有效运动目标输入预训练的深度学习回归网络提取关键特征点位置坐标并计算姿态描述子,解决了缺乏对鱼体姿态精确定量描述的问题,实现了基于鱼头、背鳍、尾鳍、臀鳍和腹鳍关键特征点的鱼体姿态量化,为求偶行为识别提供了精细的姿态信息;通过稀疏光流跟踪方法确定有效运动目标的轨迹特征,解决了仅依赖单帧图像无法获取连续运动信息的问题,实现了对雄鱼和雌鱼游动轨迹的实时跟踪及轨迹特征的准确提取;通过根据性别类别、姿态描述子和轨迹特征确定求偶行为判定结果,解决了无法基于鱼体姿态与运动轨迹的组合特征对养殖容器内小型鱼类雌雄个体进行实时区分并准确识别各自求偶行为的问题,实现了对雄鱼追逐、追尾、环绕、8字形游泳、颤抖以及雌鱼接近、护送、展示、引领、产卵共10类求偶行为的自动、准确识别。