一种基于边缘计算的儿童-物体交互行为识别方法及装置
本发明涉及计算机视觉领域,具体为一种基于边缘计算的儿童-物体交互行为识别方法及装置。
背景技术:
1、随着计算机视觉技术的发展,基于视频流的人-物交互行为识别在智能看护和安防监控等场景中得到了应用。在识别儿童与周边物体的交互行为时,现有的技术方案通常依靠目标检测算法提取图像中的相关实体,并根据二维目标边界框的空间位置关系来推断其交互状态。
2、在实际监控场景中,儿童的活动轨迹相对复杂,且容易被环境中的成年人或家具遮挡。现有的识别方法多基于单帧图像的边界框重叠度进行直接判定,当目标发生短时的局部遮挡或由于环境光照导致检测框在帧间出现抖动时,容易造成原本连续的交互事件被判定为中断。由于缺乏时序维度的状态缓冲和校验机制,这类系统无法区分儿童是正在进行持续的交互行为,还是仅仅偶然路过发生短暂的身体重叠,进而产生大量的误报或无效数据记录。
3、在空间判定层面,儿童接触的物体尺寸差异较大,涵盖大型家具至小型玩具。传统的判定逻辑多依赖单一的交并比作为空间靠近的衡量标准,在面对尺寸悬殊的物体组合时,交并比数值往往偏低,导致小目标交互识别失效。同时,受限于监控摄像头的安装高度与俯仰角差异,二维图像画面固有的透视畸变会导致近大远小的现象,采用固定不变的空间重叠阈值难以适应不同视角的距离估算,容易引入空间判定误差。
4、另外,目前的行为分析算法通常采用复杂的时空特征网络或全局关联匹配逻辑,在处理视频画面中的多目标跟踪时会产生大量的运算开销与数据冗余。将这类高负载的分析方法直接部署于算力与存储空间均有限的边缘计算设备上,容易造成内存过载和处理延迟,难以满足局部场景下实时监测与长周期稳定运行的硬件工程要求。
5、因此,本发明提出一种基于边缘计算的儿童-物体交互行为识别方法及装置,来解决现有技术的不足。
技术实现思路
1、针对现有技术的不足,本发明提供了一种基于边缘计算的儿童-物体交互行为识别方法及装置,解决了现有视频分析技术在识别儿童与物体交互行为时,易受目标遮挡或成人干扰,且基于单帧空间判定难以区分持续交互与偶然接触,导致识别结果偏离真实行为且边缘计算设备开销过大的问题。
2、为实现以上目的,本发明通过以下技术方案予以实现:
3、一种基于边缘计算的儿童-物体交互行为识别方法,包括:
4、对视频帧进行尺寸缩放与归一化,生成标准化图像数据;
5、将标准化图像数据输入目标检测模型,分类生成儿童列表与物体列表,获取目标边界框坐标;
6、采用多目标跟踪算法对儿童列表与物体列表进行跟踪,生成包含帧时间戳的运动轨迹;
7、针对儿童列表与物体列表构成的目标对,若基于目标边界框坐标确定的空间交互判定指标大于或等于预设的第一阈值,判定目标对处于候选空间交互状态;
8、基于候选空间交互状态与帧时间戳,更新目标对的连续非重叠帧数与累计交互时长;
9、若连续非重叠帧数大于或等于预设的第二阈值触发交互结束判定,触发时若累计交互时长大于或等于预设的第三阈值,生成结构化交互事件数据。
10、上述方案通过空间交叠判定与时序帧数自增机制建立行为判定的时序依赖,滤除未达时长阈值的瞬时接触动作,解决单帧检测容易误判的技术问题。
11、优选的,在将标准化图像数据输入目标检测模型,分类生成儿童列表与物体列表,获取目标边界框坐标的步骤中:将标准化图像数据输入目标检测模型,获取图像中各个目标的类别信息、检测置信度以及目标边界框坐标;
12、解析各项数据对应的类别标签;
13、当识别到类别标签指定为儿童类目标时,将儿童类目标包含的目标边界框坐标、置信度及类别信息归入独立的儿童列表;
14、当识别到类别标签指定为玩具、家具或宠物时,将类别标签对应的数据归入独立的物体列表。本特征在检测阶段直接过滤无关目标数据,降低边缘设备的计算开销。
15、优选的,采用多目标跟踪算法对儿童列表与物体列表进行跟踪,生成包含帧时间戳的运动轨迹的步骤包括:采用基于卡尔曼滤波与匈牙利算法的多目标跟踪算法,分别对儿童列表与物体列表中的目标执行跨帧跟踪,为每个目标分配唯一标识符并建立对应目标的跟踪器,以生成对应目标的运动轨迹;
16、利用内置的卡尔曼滤波预测单元推算当前视频帧中每个跟踪器的预测边界框;
17、计算预测边界框与当前列表中检测框的空间交并比;
18、采用匈牙利算法基于空间交并比求解二分图最优匹配关系。本特征建立目标在视频帧序列中的身份对应关系,维持跨帧状态判定。
19、优选的,若基于目标边界框坐标确定的空间交互判定指标大于或等于预设的第一阈值,判定目标对处于候选空间交互状态的步骤包括:依次计算每一儿童目标边界框与每一物体目标边界框之间的交并比;
20、同步计算交叠区域占物体目标边界框面积的比例;
21、根据两个边界框的交并比以及交叠区域占物体目标边界框面积的比例确定空间交互判定指标;
22、通过空间交互判定指标与预设的第一阈值比对,本特征将交叠区域面积比例作为补充判定依据,降低目标尺寸差异对单一交并比指标计算的影响。
23、优选的,在判定目标对处于候选空间交互状态之前,还包括:通过参数设置界面输入摄像头安装高度和俯仰角;
24、自适应调整模块根据预先存储的阈值映射表选择对应的第一阈值;
25、摄像头安装高度数值越大时选择的第一阈值越小。本特征结合摄像头安装参数调整空间判定阈值,补偿二维图像中的透视距离误差。
26、优选的,基于候选空间交互状态与帧时间戳,更新目标对的连续非重叠帧数与累计交互时长的步骤包括:对于处于候选空间交互状态的目标对,将对应的连续非重叠帧数重置归零;
27、根据当前帧时间戳与上一处于候选空间交互状态的视频帧时间戳之间的帧间时间,累加累计交互时长。
28、优选的,针对未处于候选空间交互状态的目标对,若存在目标对的交互时间戳记录,则将交互时间戳记录对应的连续非重叠帧数执行自增加一操作;
29、若连续非重叠帧数大于或等于第二阈值,触发交互结束判定。本特征设定连续非重叠帧数的容错区间,防止因局部检测失败导致交互判定时序断裂。
30、优选的,生成结构化交互事件数据的步骤包括:调用预设的分类规则表进行逻辑匹配,分类规则按照物体类别和互不重叠的时长区间设置;
31、结合目标对应的物体类别与计算得到的交互时长区间,为当前满足第三阈值条件的结构化交互事件数据分配对应的事件类型标签,进行数据封装生成结构化交互事件数据。
32、优选的,触发交互结束判定时,若累计交互时长小于第三阈值,判定交互为无效交互事件;
33、在对视频帧进行尺寸缩放与归一化,生成标准化图像数据的步骤中记录缩放比例和填充量;
34、结构化交互事件数据中的运动轨迹依据缩放比例和填充量还原至1920×1080像素的原始视频坐标系,本特征清理未达时长的无效记录以释放内存空间,并统一输出数据的坐标基准。
35、优选的,本发明还提供一种基于边缘计算的儿童-物体交互行为识别装置,用于执行上述的方法,包括:
36、图像采集模块,用于对视频帧进行尺寸缩放与归一化,生成标准化图像数据;
37、目标检测模块,用于将标准化图像数据输入目标检测模型,分类生成儿童列表与物体列表,获取目标边界框坐标;
38、多目标跟踪模块,用于采用多目标跟踪算法对儿童列表与物体列表进行跟踪,生成包含帧时间戳的运动轨迹;
39、交互判定模块,用于针对儿童列表与物体列表构成的目标对,若基于目标边界框坐标确定的空间交互判定指标大于或等于预设的第一阈值,判定目标对处于候选空间交互状态;
40、基于候选空间交互状态与帧时间戳,更新目标对的连续非重叠帧数与累计交互时长;
41、若连续非重叠帧数大于或等于预设的第二阈值触发交互结束判定;
42、事件生成模块,用于触发时若累计交互时长大于或等于预设的第三阈值,生成结构化交互事件数据。
43、本发明提供了一种基于边缘计算的儿童-物体交互行为识别方法及装置。具备以下有益效果:
44、1.本发明通过引入连续非重叠帧数与累计交互时长的双重时序判定机制,在空间判定基础上构建了时间维度的容错区间。当单帧图像因目标局部遮挡导致检测失败时,连续非重叠帧数的自增累加机制能够提供断帧缓冲,维持判定状态的连续性,同时系统通过比对累计交互时长与预设阈值,能够直接剔除未达到判定条件的偶然接触或短暂停留动作,解决了传统单帧判定极易出现的交互中断与误报问题,提高了行为识别的客观准确率。
45、2.本发明在判定目标空间交互状态时,同步结合了边界框交并比与交叠区域占物体面积比例两个维度,并依托摄像头安装高度和俯仰角参数动态选择第一阈值。采用交叠面积比例作为补充判定依据,克服了儿童与小尺寸物体接触时单一交并比数值偏低的技术缺陷,配合自适应阈值调整机制,补偿了二维图像中透视畸变造成的空间距离估算误差,保证了算法在不同安装环境和交互尺寸条件下的空间判定可靠性。
46、3.本发明针对边缘计算设备算力受限条件,在目标检测阶段即对类别标签进行解析,通过过滤成年人等无关目标并分类建立独立的儿童列表与物体列表,缩减了多目标跟踪及二分图匹配阶段的计算基数,系统在触发交互结束判定时主动剔除无效交互事件记录以释放内存空间,这种数据前置修剪与动态资源回收策略降低了运行过程中的计算和存储开销,确保了算法在边缘硬件环境下的长期稳定运行。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com