养殖动物个体行为精准管理的方法

摘要: 本发明涉及计算机视觉,特别是涉及一种养殖动物个体行为精准管理的方法。背景技术:1、随着智能养殖技术的发展,视觉监测系统广泛应用于畜禽行为识别、健康状态监测、水产...
养殖动物个体行为精准管理的方法

本发明涉及计算机视觉,特别是涉及一种养殖动物个体行为精准管理的方法。

背景技术:

1、随着智能养殖技术的发展,视觉监测系统广泛应用于畜禽行为识别、健康状态监测、水产群体密度分析等。

2、然而养殖环境中存在若干问题,比如猪群挤压、水产动物高密度游动、禽类堆叠等造成可见区域不足;光照变化、浑水环境、围栏遮挡、设备遮挡;并且关键行为发生瞬间可见性低,如猪打斗、踩踏、母猪翻身压仔、鱼群抢食等;传统实例分割方法只能预测可见区域掩膜(modal mask),无法推断被遮挡部分,只能在简单遮挡场景下使用,在复杂的养殖环境中的行为感知能力较差。

技术实现思路

1、基于此,有必要针对上述问题,提供一种基于养殖动物个体行为精准管理的方法,提高了在复杂的养殖环境中的行为感知能力。

2、本申请提供了一种养殖动物个体行为精准管理的方法,所述方法包括:

3、获取从目标区域采集到的图像数据以及声音数据;

4、对所述图像数据进行处理,获得分割特征;所述分割特征包括目标区域的可见边界框、可见区域掩膜、视觉特征以及场景背景特征;

5、对所述声音数据进行特征提取,获得声音特征;所述声音特征包括声纹向量、声音事件类别以及时间窗频谱特征;

6、将所述声音特征以及所述分割特征进行融合,构建条件向量;

7、基于所述条件向量,通过扩散模型生成非模态掩膜,其中,所述非模态掩膜用于表征目标对象的完整区域;所述扩散模型用于在生成所述非模态掩膜的过程中,对可见区域的掩膜施加一致性约束,使得在可见区域的所述非模态掩膜与所述可见区域掩膜保持一致;

8、将所述非模态掩膜输入行为识别模型进行处理,获取所述行为感知结果;所述行为感知结果用于对养殖动物进行管理。

9、本申请还提供了一种基于养殖动物个体行为精准管理的系统,所述系统包括:

10、数据获取模块,用于获取从目标区域采集到的图像数据以及声音数据;

11、图像分割模块,用于对所述图像数据进行处理,获得分割特征;所述分割特征包括目标区域的可见边界框、可见区域掩膜、视觉特征以及场景背景特征;

12、声音提取模块,用于对所述声音数据进行特征提取,获得声音特征;所述声音特征包括声纹向量、声音事件类别以及时间窗频谱特征;

13、特征融合模块,用于将所述声音特征以及所述分割特征进行融合,构建条件向量;

14、掩膜扩散模块,用于基于所述条件向量,通过扩散模型生成非模态掩膜,其中,所述非模态掩膜用于表征目标对象的完整区域;所述扩散模型用于在生成所述非模态掩膜的过程中,对可见区域的掩膜施加一致性约束,使得在可见区域的所述非模态掩膜与所述可见区域掩膜保持一致;

15、行为感知模块,用于将所述非模态掩膜输入行为识别模型进行处理,获取所述行为感知结果;所述行为感知结果用于对养殖动物进行管理。

16、又一方面,本申请还提供了一种电子设备,包括:存储器和处理器,所述存储器和所述处理器之间互相通信连接,所述存储器中存储有计算机指令,所述处理器通过执行所述计算机指令,从而执行上述基于养殖动物个体行为精准管理的方法。

17、本申请还提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现上述的养殖动物个体行为精准管理的方法。

18、采用本申请提供的技术方案,与现有技术相比,具有如下有益效果:

19、本申请在从目标区域采集到图像数据以及声音数据后,可以对图像数据进行处理获得分割特征,从而确定目标区域的可见边界框、可见区域掩膜、视觉特征以及场景背景特征;然后再对声音数据进行特征提取,获得声音特征,从而获取到声音向量、声音事件类型以及时间窗频谱特征;然后再将上述特征进行融合得到多模态的条件向量,此时基于多模态的条件向量通过扩散模型生成非模态掩膜,并且在生成非模态掩膜的过程中,扩散模型会一直施加一致性约束,从而使得在可见区域的所述非模态掩膜与所述可见区域掩膜保持一致;最后再将非模态掩膜输入行为识别模型进行处理,得到行为感知结果。上述方案引入多模态条件信息并结合扩散模型进行非模态掩膜生成,在保证可见区域一致性的基础上,实现对遮挡区域的合理补全,并利用声音信息对生成过程进行行为级引导,从而提高了在复杂的养殖环境中的行为感知能力。

1.一种养殖动物个体行为精准管理的方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述条件向量还包括时间阶段、空间位置以及场景文本提示。

3.根据权利要求2所述的方法,其特征在于,所述基于所述条件向量,通过扩散模型生成非模态掩膜,包括:

4.根据权利要求3所述的方法,其特征在于,所述通过条件网络将所述条件向量与当前噪声信息进行融合,包括:

5.根据权利要求3所述的方法,其特征在于,所述基于所述条件向量,通过扩散模型生成非模态掩膜之前,还包括:

6.根据权利要求1至5任一所述的方法,其特征在于,所述方法还包括:

7.根据权利要求6所述的方法,其特征在于,所述根据所述样本感知结果以及所述样本标注,对所述扩散模型、行为识别模型、声纹编码器以及检测器中的至少一者进行参数更新,包括:

8.一种养殖动物个体行为精准管理的系统,其特征在于,所述系统包括:

9.一种电子设备,其特征在于,包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机指令,所述计算机指令用于使计算机执行权利要求1至7任一所述的养殖动物个体行为精准管理的方法。