一种林麝行为检测方法及系统

摘要: 本发明涉及动物行为检测,具体地,涉及一种林麝行为检测方法及系统。背景技术:1、林麝作为国家一级保护动物,其分泌的麝香蕴含极高的药用与经济价值。随着人工养殖规模的...
一种林麝行为检测方法及系统

本发明涉及动物行为检测,具体地,涉及一种林麝行为检测方法及系统。

背景技术:

1、林麝作为国家一级保护动物,其分泌的麝香蕴含极高的药用与经济价值。随着人工养殖规模的日益扩大,对林麝进行全天候的健康监测与精细化管理,已成为提升其存活率与麝香产量的核心关键。然而,现有的监测技术在实际应用中仍面临多重严峻的技术瓶颈,具体表现在以下四个方面:其一,传统接触式与人工监测手段存在严重的应激风险与效率缺陷:目前的养殖管理主要依赖人工巡检,不仅效率低下且难以实现全天候覆盖;更为关键的是,林麝生性胆小怯懦,对外界刺激具有极强的敏感性,人工近距离观察或为林麝佩戴接触式传感器(如项圈、脚环)等侵入式手段,极易诱发林麝惊恐撞栏、绝食甚至死亡等剧烈应激反应。其二,通用计算机视觉算法难以适配林麝特殊的体型特征与复杂养殖环境:尽管基于深度学习的视觉技术已广泛应用于猪、牛等大型家畜监测,但将其直接迁移至林麝场景效果不佳,一方面,林麝四肢极度纤细,蹄部与耳部像素占比极小,主流姿态估计网络(如基于resnet的simplebaselines或openpose)多采用下采样-上采样的串行架构,在下采样过程中极易导致微小肢体的高频特征丢失,引发关键点定位漂移或漏检;另一方面,养殖舍通常光线昏暗且设有密集的防逃逸金属围栏,传统算法难以区分林麝深褐色皮毛与阴影背景,且在围栏遮挡干扰下,极易发生骨架检测断裂。其三,为了满足养殖场低延迟报警的实际业务需求,算法通常需部署在本地边缘设备上,然而,现有的高精度姿态估计模型普遍存在参数量大、计算复杂度高的问题,难以在算力受限的嵌入式设备上流畅运行,导致视频处理卡顿、异常报警滞后,无法满足实时性要求。最后,现有技术缺乏对连续行为的时空深度建模能力:当前的监测手段多停留在静态的目标检测与计数或简单的站/卧姿态分类层面,缺乏对连续骨架序列的时空建模能力,对于能够反映林麝早期健康隐患的复杂动态行为(如微小跛行的步态异常、反刍节律的变化或刻板绕圈等心理应激行为),尚缺乏有效的量化分析手段。

技术实现思路

1、本发明的目的在于提供一种林麝行为检测方法及系统,以解决上述背景技术中提出的现有检测方法易丢失林麝微小肢体特征,难以识别林麝复杂动态行为状态的问题。

2、为实现上述目的,本发明提供如下技术方案:

3、一种林麝行为检测方法,包括以下步骤:

4、s1:从林麝圈舍监控视频中提取若干单帧图像,预处理所述单帧图像获得待测图像;

5、s2:将所述待测图像输入预训练的目标检测模型,获得林麝躯体边框,扩充所述林麝躯体边框,基于扩充后的林麝躯体边框裁剪所述待测图像,获得林麝躯体图像;

6、s3:从所述林麝躯体图像中提取出林麝解剖学关键点,获得目标林麝的关键点坐标集以及各关键点坐标对应的置信度得分;

7、s4:将连续多帧所述关键点坐标集、所述置信度得分和扩充后的林麝躯体边框输入改进bytetrack模型,获得不同目标林麝各自的运动轨迹序列;所述改进bytetrack模型采用自适应无迹卡尔曼滤波器替换原生卡尔曼滤波器,所述自适应无迹卡尔曼滤波器引入恒定加速度状态转移方程、自适应噪声修正机制以及生物学约束修正机制;

8、s5:基于所述运动轨迹序列计算目标林麝的生物物理参数,按照各帧的时间戳,将所述运动轨迹序列和所述生物物理参数重采样为预设固定采样频率的等间隔序列;将重采样后的运动轨迹序列和生物物理参数输入预训练的多阶段时序卷积网络,识别目标林麝的行为状态。

9、本发明一种林麝行为检测方法的原理为:首先对获取的监控视频单帧图像进行预处理优化图像质量,得到标准化的待测图像;再通过目标检测方式定位林麝躯体目标,并通过扩充边框进行适应性放大裁剪,以完整保留林麝躯体边缘、微小肢体以及特殊部位特征,避免丢失关键细节;然后从裁剪后的林麝躯体图像中提取林麝解剖学关键点坐标及对应的置信度信息,获取能够表征林麝体态特征的骨架关键点数据;在此基础上,利用改进bytetrack模型完成各目标林麝的跨帧关联匹配,形成连续、独立的个体运动轨迹序列,其中本发明采用引入了恒定加速度状态转移方程、自适应噪声修正机制以及生物学约束修正机制的自适应无迹卡尔曼滤波器替换bytetrack的原生卡尔曼滤波器,自适应无迹卡尔曼滤波器可结合关键点置信度信息对各运动轨迹序列中的各关键点坐标进行时序平滑矫正,消除单帧检测抖动与偏差,获得稳定且平滑的运动轨迹序列;最后基于稳定的长运动轨迹序列解算能够表征林麝运动规律的生物物理参数,并按照各帧的时间戳将所述运动轨迹序列和所述生物物理参数重采样为预设固定采样频率的等间隔序列,将重采样后的运动轨迹序列和生物物理参数输入多阶段时序卷积网络,利用时序卷积网络对动态时序特征的建模能力,挖掘林麝姿态变化与运动节律规律,最终实现对林麝复杂动态行为状态的精准识别,有效解决传统检测方式易丢失林麝微小肢体特征、难以识别复杂动态行为的技术缺陷。

10、优选的,为减少冗余帧的产生以节约算力,同时兼顾保留林麝低速运动时的微弱行为变化帧,基于自适应动态采样机制从林麝圈舍监控视频中提取若干所述单帧图像,所述自适应动态采样机制包括:将林麝圈舍监控视频转化为图像帧,为每一图像帧划定感兴趣区域,基于帧间差分法和预设窗口长度计算每一图像帧中所述感兴趣区域的运动能量累计值,选取所述运动能量累计值大于或等于预设能量阈值的图像帧作为所述单帧图像;若所述运动能量累计值小于预设能量阈值的连续图像帧的数量大于或等于预设帧数,则基于预设行为保真采样频率选取连续图像帧中的若干帧分别作为所述单帧图像;所述预设行为保真采样频率不低于待识别林麝行为最高特征频率的2倍;

11、通常圈养林麝的活动范围较固定,在固定监控摄像头的拍摄范围内,林麝仅出现在地面活动区域内,因此可预先将各监控摄像头拍摄的图像帧中的林麝活动区域划定为感兴趣区域,同一固定摄像头的感兴趣区域基本不变,通过计算预设窗口长度内各帧与其前一帧之间感兴趣区域的像素帧差,累加即可得到当前帧在预设窗口长度内的运动能量累计值,通过与预设能量阈值相比,即可过滤单帧噪声、草料抖动或飞虫掠过干扰,保留真实林麝运动帧,同时区分林麝运动帧与林麝静止帧,针对林麝活跃度高的视频流保留更多单帧图像以保障行为识别的准确性,针对林麝活跃度低的视频流适当降低采样频率,以避免产生大量冗余帧,造成算力浪费。

12、优选的,由于林麝圈舍光照不均以及摄像头噪声干扰易影响图像质量,为提升图像帧的可见性,降低噪声干扰,同时尽量保留预处理后林麝微小的耳部与蹄部边缘特征,所述预处理所述单帧图像获得待测图像的具体步骤包括:

13、基于所述单帧图像生成灰度引导图,并将所述单帧图像作为待滤波彩色图像;基于引导滤波算法,将所述灰度引导图对所述待滤波彩色图像执行引导滤波,得到滤波后彩色图像;利用所述灰度引导图的局部结构信息指导滤波过程,在平滑滤除摄像头因高感光度引入的高斯噪声的同时,利用引导图的梯度约束特性强制保留林麝肢体末端的边缘梯度信息,可有效抑制传统滤波易产生的伪影,提升滤波后林麝骨架边缘的锐度与清晰度;

14、基于多尺度retinex算法对所述滤波后彩色图像的各颜色通道进行光照分量剥离,将经光照分量剥离处理后的各颜色通道合成,得到自然光照彩色图像;多尺度retinex算法将图像在物理层面建模为环境光照与物体内禀反射的乘积,通过不同尺度的高斯核估计并剥离光照分量,从而在对数域中还原出仅反映林麝本体材质属性的反射率分量,可有效抑制圈舍内不规则阴影对林麝本体特征的干扰,提升算法在复杂光照场景下的鲁棒性;

15、基于预设仿射变换矩阵,将所述自然光照彩色图像从原始像素坐标系映射至预设尺寸画布的图像中心,对预设尺寸画布上未被映射后的自然光照彩色图像覆盖的剩余画布区域进行标准化处理,获得所述待测图像;为适配神经网络的输入维度要求,同时避免因图像拉伸导致林麝结构失真,采用仿射变换矩阵计算变换后图片保持原始长宽比的缩放系数,确保输入目标检测模型的图像数据的生物结构不发生非线性形变,从数据源头上消除了因几何失真可能引发的关节角度计算误差。

16、优选的,基于预设的边框自适应扩充策略扩充所述林麝躯体边框,所述边框自适应扩充策略具体包括:计算所述林麝躯体边框的宽高比,若宽高比大于预设比例阈值,则基于第一扩充系数扩充所述林麝躯体边框,否则,则基于第二扩充系数扩充所述林麝躯体边框;传统目标检测模型的检测框往往紧贴目标边缘,极易切断林麝纤细的蹄部或耳尖,导致后续关键点提取因信息缺失而失败,通过引入基于宽高比的边界框自适应扩充策略,考虑林麝在不同姿态下肢体朝向与冗余量的差异,可兼顾肢体保留度与环境裁剪率,极大地保留林麝纤细肢体的同时减少在检测框内引入过多无关环境信息。

17、优选的,为提升模型对林麝极度纤细的四肢以及微小的蹄部形态特征的提取完整度与准确度,本发明基于la-hrnet模型从所述林麝躯体图像中提取出所述林麝解剖学关键点,获得目标林麝的所述关键点坐标集以及各关键点坐标对应的所述置信度得分,所述la-hrnet模型的构建方法包括:将原始hrnet网络中的残差单元替换为ghost bottleneck单元,得到ghost-hrnet网络;在ghost-hrnet网络中最高分辨率分支最后一个stage的ghostbottleneck单元内嵌入dcnv2可变形卷积,得到ghost-dc-hrnet网络;在ghost-dc-hrnet网络多尺度特征融合单元的输出端嵌入cbam注意力模块,获得所述la-hrnet模型;

18、ghost bottleneck单元采用内在特征映射结合线性变换的生成策略,仅通过少量卷积核生成核心特征图,进而利用低成本的线性运算生成互补的ghost特征图。这种策略在保证对林麝皮毛纹理表征能力不下降的前提下,相较于对照模型可极大地降低模型计算量,进而显著提升推理效率;考虑到林麝肢体细长且非刚性形变复杂的特点,在hrnet网络高分辨率分支的深层阶段引入可变形卷积单元(dcnv2),dcnv2通过学习额外的偏移量与调制标量,赋予卷积核自适应调整采样网格的能力,使得网络能够主动贴合林麝的骨骼走向进行随形采样,有效减少模型对方形栅栏、草地等背景噪声的无效提取;通过在多尺度特征融合单元的输出端嵌入cbam双重注意力模块,可提升模型对蹄尖等像素占比极小的关键点的检出率。

19、优选的,步骤s3中获得目标林麝的关键点坐标集以及各关键点坐标对应的置信度得分之后,还包括:基于所述预设仿射变换矩阵的逆矩阵,对所述关键点坐标集执行逆仿射映射,将所述关键点坐标集从所述预设尺寸画布的坐标系映射至原始像素坐标系,得到原始关键点坐标集;将所述关键点坐标集更新为所述原始关键点坐标集后依次执行步骤s4和步骤s5;由于步骤s3提取的关键点位于归一化的画布空间,为保障后续基于关键点坐标计算的生物物理参数具备生物力学意义,通过空间逆仿射映射将关键点坐标映射回原始视频流的全局像素坐标系,从而消除图像缩放与填充带来的尺寸偏差,恢复林麝在真实监控视场中的绝对位置与比例信息。

20、优选的,所述恒定加速度状态转移方程用于基于恒定加速度离散状态转移方程,预测各轨迹点的运动趋势;所述自适应噪声修正机制用于基于各轨迹点坐标对应的置信度得分,动态调节观测噪声协方差矩阵;所述生物学约束修正机制用于基于预设林麝骨长比例,修正不符合林麝解剖学逻辑的轨迹点坐标;

21、针对林麝受惊时产生的瞬时跳跃与急转等爆发性动作,通过恒定加速度状态转移方程描述林麝关键点的运动趋势,能够显著提升对高速机动状态下关键点的位置预测精度;针对林麝养殖圈舍内护栏、食槽及个体交互导致的遮挡问题,自适应噪声修正机制可根据各关键点的置信度得分动态调节观测噪声协方差矩阵,当林麝关键点由于遮挡导致显著降低时,系统会自动调大,利用卡尔曼增益的反馈机制,当增大时,系统会自动降低对单帧不连贯观测值的信任,转而赋予基于运动规律的预测值更高的权重,从而减少由于遮挡或阴影引起的骨架瞬移和高频闪烁现象;为了确保平滑后的轨迹符合生物物理特征,本发明还引入生物学约束修正机制,在无迹卡尔曼滤波器计算出最优估计值后,计算相邻骨骼段的长度比例,并在所述长度比例超出预设比例阈值区间时,对不符合林麝解剖学逻辑的关键点进行比例约束修正,使相邻骨骼段的长度比例落入所述预设比例阈值区间;该约束层用于保证林麝在运动过程中骨架结构的相对稳定性,可减少视频流中常见的缩腿或断肢现象,为后续分析步幅、步频等高精度指标提供具备物理意义的数据源。

22、优选的,所述林麝解剖学关键点包括:鼻子、头顶、颈根、脊柱中点、尾根、左/右肩、左/右肘、左/右前球节、左/右前蹄尖、左/右髋、左/右膝、左/右后踝、左/右后蹄尖;当目标林麝为雄性时,还包括香囊关键点,共计22个关键点。本发明构建了一套包含21个基础解剖学标志点及雄性香囊标志点的林麝专用拓扑结构,该拓扑结构不仅涵盖了常规的运动学关节,更针对林麝的物种特异性进行了设计:一方面,针对林麝微小蹄部的解剖特征,本发明摒弃了通用模型仅标注脚掌中心的粗糙方式,创新性地在前肢设置前球节与前蹄尖,在后肢设置后踝与后蹄尖,通过上述双点约束机制精确捕捉林麝特有的踮行步态特征,并确保在蹄尖被草丛遮挡时能利用球节位置进行几何推断,显著提升着地相位的判别精度;另一方面,针对雄性林麝的泌香生理特征,在其下腹部、脐部与包皮之间的区域增设了香囊关键点,该点的引入不仅辅助判断性别,更通过监测其与后肢内侧的相对距离变化,为识别雄麝在发情期的擦香行为提供了直接的视觉量化指标。

23、优选的,所述生物物理参数包括:质心瞬时速度和加速度、髋-膝-踝动力链的关节角度和关节角速度、左右对称肢体的步态占空比以及头部振动频率;林麝的所述行为状态包括:跛行行为、反刍行为和刻板行为;通过计算林麝的多类生物物理参数并以其作为强先验知识,使得多阶段时序卷积网络能够以极低的计算代价快速过滤并识别基础行为,例如:通过关节角度、关节角速度以及左右对称肢体的步态占空比差异,可识别林麝的跛行行为,通过质心速度和头部振动频率可识别反刍行为,通过统计反刍行为的持续时间与周期频率,可作为评价林麝消化系统健康的关键指标,通过对质心运动轨迹的自相关性分析,可识别高频往复跑动或定型绕圈轨迹,从而判断林麝的刻板行为状态。

24、本发明还提供一种林麝行为检测系统,包括:

25、图像帧获取模块,用于从林麝圈舍监控视频中提取若干单帧图像,预处理所述单帧图像获得待测图像;

26、目标筛选模块,用于基于预训练的目标检测模型获得所述待测图像中的林麝躯体边框,扩充所述林麝躯体边框,基于扩充后的林麝躯体边框裁剪所述待测图像,获得林麝躯体图像;

27、骨架提取模块,用于从所述林麝躯体图像中提取出林麝解剖学关键点,获得目标林麝的关键点坐标集以及各关键点坐标对应的置信度得分;

28、时空轨迹生成模块,用于基于连续多帧所述关键点坐标集、所述置信度得分、扩充后的林麝躯体边框和改进bytetrack模型,获得不同目标林麝各自的运动轨迹序列;所述改进bytetrack模型采用自适应无迹卡尔曼滤波器替换原生卡尔曼滤波器,所述自适应无迹卡尔曼滤波器引入恒定加速度状态转移方程、自适应噪声修正机制以及生物学约束修正机制;

29、行为识别模块,用于基于所述运动轨迹序列计算目标林麝的生物物理参数,按照各帧的时间戳将所述运动轨迹序列和所述生物物理参数重采样为预设固定采样频率的等间隔序列,将重采样后的运动轨迹序列和生物物理参数输入预训练的多阶段时序卷积网络,识别目标林麝的行为状态。

30、本发明一种林麝行为检测系统的原理与林麝行为检测方法的原理相同,此处不再赘述。

31、本发明提供的一个或多个技术方案,至少具有如下技术效果或优点:

32、1.通过引入恒定加速度状态转移方程、自适应噪声修正机制以及生物学约束修正机制的自适应无迹卡尔曼滤波器替换bytetrack的原生卡尔曼滤波器,获得改进bytetrack模型,实现基于关键点置信度以及林麝固有生物学约束对各林麝轨迹序列的识别、平滑与跟踪,极大地提升了对林麝爆发性动作的跟踪预测能力,同时减少了由于遮挡或阴影引起的骨架瞬移和高频闪烁现象,并保障了平滑后的轨迹符合生物物理特征,从而减少视频流中常见的缩腿或断肢现象;

33、2.通过构建包含林麝蹄尖与相邻关节双点约束的21点基础专用拓扑结构,并在雄性林麝中增设香囊关键点形成22点专用拓扑结构,提升了对林麝生物力学特征的覆盖范围;采用始终保持高分辨率的并行感知架构la-hrnet,配合dcnv2可变形卷积对肢体非刚性形变的自适应贴合,以及cbam双重注意力机制对微小关键点的特征聚焦,能够有效锁定被部分遮挡的蹄尖等部位,解决了通用模型易发生的骨架断裂问题;

34、3.结合自适应采样、引导滤波算法降噪、多尺度retinex光照均衡、防截断边框扩充以及坐标仿射与逆仿射还原,通过多重设计补偿圈舍复杂光照、阴影遮挡带来的图像与骨架误差,提升图像处理过程中对林麝微小肢体特征和耳部特征的保留完整度,进而为行为状态识别提供了更多真实信息,保障了行为状态识别结果的可靠度与准确度。