基于关键点识别与深度信息的小鼠旷场实验行为分析方法

摘要: 本发明涉及动物行为分析的,具体而言,涉及基于关键点识别与深度信息的小鼠旷场实验行为分析方法。背景技术:1、旷场实验(openfieldtest)是神经科学、药理...
基于关键点识别与深度信息的小鼠旷场实验行为分析方法

本发明涉及动物行为分析的,具体而言,涉及基于关键点识别与深度信息的小鼠旷场实验行为分析方法。

背景技术:

1、旷场实验(open field test)是神经科学、药理学及精神疾病模型研究中最基础且应用最广泛的动物行为学检测方法之一。该实验通过将小鼠置于一个开放的箱体环境中,利用小鼠在陌生环境中自发的探索行为和趋避性,评价其自主活动能力、探索欲望及焦虑样情绪状态。实验中,小鼠在中央区域的探索时间、进入中央区域的次数、在边缘区域的停留时间以及站立(rearing)行为次数等均是评价药物抗焦虑效果或基因修饰动物表型的关键指标。

2、目前,对旷场实验的数据采集和分析主要有以下两类方式:

3、第一类为传统人工观察与手动记录法。实验人员需全程紧盯实验视频,使用秒表和计数器手动记录小鼠的各项行为事件。此类方法存在明显的技术缺陷:(1)效率低下且易疲劳:完成一次标准旷场实验(通常为5-10分钟)的数据记录需要耗费实验人员数倍的实时分析时间,难以满足药物筛选阶段大批量实验样本的处理需求;(2)主观性强、重复性差:不同实验人员对小鼠“站立”行为的起止时刻、边缘区域是否“进入”等事件的定义和判断标准难以统一,导致同一实验视频在不同分析者之间得出的数据差异显著,严重影响实验结果的客观性和可重复性。

4、第二类为基于二维图像处理或深度学习姿态估计的自动分析方法。近年来,随着计算机视觉技术的发展,部分研究开始采用普通rgb相机采集旷场实验俯视视频,并利用目标检测或姿态估计算法(如deeplabcut等)识别小鼠的身体关键点,进而计算运动轨迹、区域停留时间等参数。然而,该类纯二维分析方法仍存在难以克服的技术障碍:(1)站立行为识别准确率低:由于rgb相机仅能提供俯视视角的二维平面信息,当小鼠站立时,其身体在垂直方向上的抬高在俯视图像中仅表现为身体投影形状的细微变化或头部关键点位置的轻微偏移,极易与小鼠趴卧、梳理毛发或嗅探时的俯卧姿态相混淆,导致站立行为的误判率极高;(2)缺乏高度量化能力:现有二维方法无法获取小鼠身体各部位相对于实验箱底面的绝对高度或相对高度差,难以对“站立程度”这一连续行为学参数进行精细化量化分析。

5、此外,现有的深度学习行为分析系统通常依赖高性能图形处理器(gpu)服务器进行离线视频分析,其实施方式存在以下不足:(1)实验过程中无法实时获取分析结果,研究者无法根据小鼠的即时行为表现调整实验方案;(2)大量原始实验视频需传输至远程服务器或云端进行处理,存在数据传输延迟和实验数据安全风险,不适用于涉及保密性动物实验或实时交互式行为学研究的场景。

6、针对上述现有技术的不足,本发明提供了基于关键点识别与深度信息的小鼠旷场实验行为分析方法,通过引入深度相机获取小鼠的深度信息,并结合嵌入式设备进行本地化实时处理,旨在解决现有技术中站立行为识别准确率低、主观性强、无法本地实时处理以及缺乏精细化行为指标量化能力的技术问题,从而实现小鼠旷场实验行为学数据的自动化、本地化和智能化分析。

技术实现思路

1、本发明要解决的技术问题是如何实现小鼠旷场实验行为学数据的自动化、本地化和智能化分析,为克服以上现有技术(或相关技术)的缺陷,本发明提供基于关键点识别与深度信息的小鼠旷场实验行为分析方法。

2、本发明提供基于关键点识别与深度信息的小鼠旷场实验行为分析方法,包括以下步骤:

3、步骤s1,采集小鼠旷场实验过程中的二维图像和深度图像并进行预处理和空间配准操作得到预处理后二维图像和预处理后深度图像;

4、步骤s2,基于所述预处理后二维图像识别旷场实验箱的底面边界,并根据所述底面边界构建边缘区域;

5、步骤s3,通过部署于嵌入式设备中的关键点识别模型识别所述预处理后二维图像中预设的小鼠身体关键点的二维坐标,并根据所述预处理后二维图像和所述预处理后深度图像的空间配准关系得到所述小鼠身体关键点对应的深度信息;

6、步骤s4,根据所述二维坐标和所述边缘区域的位置关系判断小鼠是否处于边缘状态得到对应的边缘分析结果;

7、步骤s5,根据所述深度信息计算小鼠的身体高度与体长比值以量化小鼠的站立程度;

8、步骤s6,根据所述站立程度和所述边缘分析结果计算小鼠旷场实验的行为学指标。

9、本发明基于关键点识别与深度信息的小鼠旷场实验行为分析方法与现有技术相比,具有以下优点:

10、本发明中通过整合图像采集、边界识别、关键点检测、深度融合及行为判定,构建了端到端的自动化分析流程,彻底替代传统人工肉眼观察和手动记录方式,消除了不同实验人员之间的主观判断差异,大幅提升了实验数据的客观性和可重复性;而通过计算小鼠身体高度与体长比值来量化站立程度,能够准确区分站立与趴卧/嗅探,有效解决了俯视二维图像中因视角重叠或遮挡导致站立行为误判的技术难题,将关键点识别模型部署于嵌入式设备中,使得图像采集、处理和分析均在实验现场完成,无需将大量视频数据上传至云端或高性能服务器,避免了网络传输延迟和数据泄露风险,满足了实验数据实时反馈和隐私保护的需求;同时通过融合边缘分析结果和站立程度,不仅能统计常规的运动轨迹,还能精细化地输出与焦虑样行为密切相关的边缘站立指标,为神经科学和药理学评价提供了更丰富更立体的数据支撑,实现小鼠旷场实验行为学数据的自动化、本地化和智能化分析。

11、在一种可能的实施方式中,所述步骤s1中采用的预处理方式包括图像尺寸归一化处理、图像去噪处理、亮度补偿处理、畸变校正处理、深度值滤波处理、深度空洞填补处理和图像时间同步处理。

12、与现有技术相比,采用上述技术方案后,一方面,消除了深度相机自身噪声、环境光照变化和镜头畸变带来的干扰,确保了深度信息的连续性和精确性;另一方面,严格的图像时间同步处理保证了二维图像与深度图像在时间维度上的严格对齐,为后续小鼠身体关键点坐标精准映射至深度图中提供了数据质量保障,从而降低了误检率。

13、在一种可能的实施方式中,所述步骤s2中基于所述预处理后二维图像识别旷场实验箱的底面边界的过程包括:

14、步骤a1,对多帧所述预处理后二维图像进行预处理以提取得到候选箱体底面区域;

15、步骤a2,对所述候选箱体底面区域进行轮廓提取、凸包计算和多边形近似以筛选出候选四边形轮廓;

16、步骤a3,针对每个所述候选四边形轮廓,基于所述候选四边形轮廓相关的面积占比、边长一致性、对角线一致性、中心位置偏差、像素尺度合理性中的一种或多种几何尺度得分进行加权计算得到对应的置信度;

17、步骤a4,从多帧所述预处理后二维图像中保留置信度达到预设阈值的所述候选四边形轮廓,并对各所述候选四边形轮廓的四个角点进行统计滤波处理得到稳定的箱体底面角点,以及根据所述箱体底面角点计算得到透视变换矩阵,基于所述透视变换矩阵确定箱体底面深度参考值。

18、与现有技术相比,采用上述技术方案能够通过多帧预处理后二维图像提取和加权置信度计算,即使在单帧预处理后二维图像因小鼠遮挡或局部反光导致边界模糊的情况下,也能依靠多帧统计信息筛选出最优的候选四边形轮廓,最终确定的透视变换矩阵和箱体底面深度参考值为后续小鼠位置归一化和绝对高度计算提供了精准的空间基准,大幅提升了在不同实验环境下的自适应能力和稳定性。

19、在一种可能的实施方式中,所述步骤a4中对各所述候选四边形轮廓的四个角点进行统计滤波处理的过程包括:

20、针对每个所述角点,收集所述角点在多帧所述预处理后二维图像中识别出的坐标集合,并分别对所述坐标集合中的横坐标和纵坐标进行中值滤波处理得到所述角点对应的稳定估计坐标以供计算所述箱体底面深度参考值。

21、与现有技术相比,采用上述技术方案能够通过中值滤波处理对角点坐标集合进行统计平滑处理,有效消除因小鼠瞬时跑动遮挡箱体角落而产生的角点位置跳变,确保旷场实验箱的底面边界在时序上的平滑性和稳定性,从而保证了后续边缘区域判定的一致性和可靠性。

22、在一种可能的实施方式中,所述步骤a4中,根据各所述箱体底面角点构建得到箱底区域,在各所述预处理后深度图像中提取出所述箱底区域内所有的有效深度像素值并计算各所述有效深度像素值的中位数作为所述箱体底面深度参考值。

23、与现有技术相比,采用上述技术方案能够通过限定箱体底面深度参考值取自箱底区域内所有有效深度像素的中位数,相较于均值滤波处理方式,中位数统计不受箱底局部微小异物或深度图边缘噪点的影响,能够稳定地表征真实的地面基准深度,这一精确的零平面标定,直接决定了后续小鼠鼻尖高度计算的绝对准确性,是从箱体底面深度参考值转换为物理高度的关键环节,为站立程度的精确计算奠定了坚实基础。

24、在一种可能的实施方式中,所述步骤s4中判断小鼠是否处于边缘状态的标准包括以下至少一个:

25、基于各所述二维坐标绘制得到小鼠的身体曲线并判断所述身体曲线与所述边缘区域是否存在交叉或重叠;

26、基于各所述二维坐标绘制得到小鼠的身体曲线并判断所述身体曲线上是否存在至少一个所述身体关键点位于所述边缘区域内;

27、基于各所述二维坐标绘制得到小鼠的身体曲线并判断所述身体曲线是否与所述旷场实验箱的边界轮廓或预设的边缘判定线之间存在交点。

28、与现有技术相比,采用上述技术方案能够提供多种互补性的边缘状态判定标准,这种多维度判定标准能够适应小鼠不同姿态下的贴边行为,通过设定满足至少一项即判定处于边缘状态,极大提高了边缘行为检测的灵敏度和召回率,避免因单一判定标准过于严苛导致的漏检,确保了行为学指标的准确性。

29、在一种可能的实施方式中,所述步骤s5包括:

30、步骤s51,于所述深度信息中提取得到小鼠鼻尖关键点的深度值,并结合所述箱体底面深度参考值计算得到小鼠的鼻尖高度;

31、步骤s52,根据所述旷场实验箱的底边真实长度和对应的所述预处理后深度图像中的底边像素长度得到长度比值;

32、步骤s53,于所述深度信息中提取小鼠鼻尖至尾根之间的像素距离,并结合所述长度比值计算得到小鼠的代表体长;

33、步骤s54,根据所述鼻尖高度和所述代表体长计算得到站立程度指数以表征小鼠的站立程度。

34、与现有技术相比,采用上述技术方案能够通过将绝对的鼻尖高度除以小鼠的代表体长进行归一化处理,使得该站立程度指数在不同周龄、不同品系的小鼠之间具有可比性。

35、在一种可能的实施方式中,所述步骤s6中计算的所述行为学指标包括边缘进入次数、边缘区域停留时间、贴边程度、边缘站立次数、边缘站立频率、每次边缘站立持续时间、边缘站立累计时间、边缘站立程度均值、边缘站立最大程度、边缘站立程度方差中的至少一种。

36、与现有技术相比,采用上述技术方案能够通过多维度的精细数据全面反映小鼠的自主活动能力、空间探索策略、焦虑水平以及行为模式的稳定性,为抗焦虑药物筛选、神经退行性疾病模型评估提供了极具价值的深层分析参数,极大地提升了旷场实验的数据利用效率和分析深度。