基于多模型姿态融合与异常行为确认的安播方法及系统与流程
本发明涉及视觉处理,具体而言,涉及基于多模型姿态融合与异常行为确认的安播方法及系统。
背景技术:
1、在会议录制、在线课堂、培训直播和公共空间视频巡检中,人员打瞌睡、趴桌、交头接耳、站立离位、画面模糊等情况,则会影响课堂纪律、会议秩序和直播画面质量,传统方式则依靠人工值守和事后回看,工作人员需要长时间盯看多路视频,易出现疲劳,且难以及时发现短时异常,而异常行为识别则通常使用单一人体检测、单一姿态模型或单帧规则判断。单一人体检测只能得到人体框,无法理解手部、脸部和身体姿态关系,单一姿态模型在远距离、遮挡、侧身或多人交错时易出现关键点缺失,单帧规则易把瞬间转头、自然伸手、嘴部轻微张开或镜头抖动误判为异常,并且,画面模糊和多人交头接耳还具有目标尺度小、状态持续短和相互关系复杂的特点,直接进行判断会造成漏检或误报。
2、因此,有必要设计基于多模型姿态融合与异常行为确认的安播方法及系统用以解决当前技术中存在的问题。
技术实现思路
1、鉴于此,本发明提出了基于多模型姿态融合与异常行为确认的安播方法及系统,旨在解决上述存在的问题。
2、本发明提出了基于多模型姿态融合与异常行为确认的安播方法,包括:
3、采集视频帧,并对所述视频帧进行人体检测,确定dwpose关键点和rtmw关键点,并基于各关键点确定人体框;
4、基于所述人体框分别执行第一姿态模型推理和第二姿态模型推理,确定第一关键点集合和第二关键点集合,基于所述第一关键点集合中的关键点将所述第二关键点集合中的关键点覆盖至对应索引,确定统一关键点集合;
5、基于所述统一关键点集合构建脸部框、左手框和右手框,并基于所述人体框的位置和重叠关系确定人员排序标识,基于所述排序标识确定对应人员位置的异常行为判定规则;
6、基于所述统一关键点集合、所述脸部框、所述左手框、所述右手框和所述异常行为判定规则对各排序标识的人员进行异常行为判定,并根据判定后的异常行为绘制异常目标红色框选。
7、进一步的,在采集视频帧时,包括:
8、对所述视频帧进行画面模糊检测,计算所述视频帧灰度图的方差;
9、当存在连续的方差低于模糊阈值,且达到触发帧数时,则输出画面模糊状态;
10、当存在连续的方差高于模糊阈值,且达到恢复帧数时,则解除画面模糊状态。
11、进一步的,所述dwpose关键点用于生成脸部、嘴部和左手以及右手区域,所述rtmw关键点用于补充所述dwpose关键点生成区域的关键点。
12、进一步的,所述的基于多模型姿态融合与异常行为确认的安播方法,还包括:
13、获取关键点数量并基于各姿态模型推理模型进行解析,且各关键点包含横坐标、纵坐标和置信度,所述第一姿态模型提供脸部、嘴部和手部关键点,并构建第一关键点集合,所述第二姿态模型提供肩部、鼻子、耳朵、肘部、眼部、手部、髋部、膝部和踝部关键点,并构建第二关键点集合。
14、进一步的,在确定统一关键点集合时,包括:
15、基于所述第一关键点集合中的关键点,将所述第二关键点集合中的髋部、膝,部和踝部关键点覆盖至统一的索引中,左右髋分别写入索引编号11和12,左右膝和左右踝分别写入索引编号57至60,双眼细粒度点写入索引编号66至77;
16、当存在索引重合时,将第二关键点集合中的肩部、鼻子、耳朵、肘部、眼部和手部关键点映射至扩展编号,且不覆盖原有索引编号,确定统一关键点集合。
17、进一步的,在确定人员排序标识以及异常行为判定规则时,包括:
18、所述人员排序标识基于所述人体框的底边位置以及人体框间的重叠关系确定;
19、若所述排序标识为近排人员,则确定异常行为判定规则为伸懒腰、双手抱胸、摸头、打哈欠、站立、交头接耳和张嘴;
20、若所述排序标识为后排人员,则确定异常行为判定规则为伸懒腰、摸头、站立、交头接耳和张嘴;
21、若所述排序标识为远处人员,则确定异常行为判定规则为伸懒腰、站立和张嘴。
22、进一步的,在进行异常行为判定时,包括:
23、所述脸部框由脸部关键点和嘴部关键点生成,所述左手框和所述右手框由对应手部关键点生成;
24、所述伸懒腰的判定包括:根据鼻子、眼睛或耳朵关键点确定头部参考线,统计左手或右手的位于头部参考线上方的手部关键点,当任意一只手满足有效手部点数量阈值时,则判定为伸懒腰;
25、所述双手抱胸的判定包括:根据左右肘关键点和左右手部关键点生成左右手锚点,当左手锚点靠近右肘、右手锚点靠近左肘,且左手锚点和右手锚点均未低于肘部中心线时,则判定为双手抱胸;
26、所述摸头的判定包括:当所述左手框或所述右手框与所述脸部框存在重叠、手腕位于所述脸部框内或肘部高于肩部参考线时,则判定为摸头。
27、进一步的,在进行异常行为判定时,还包括:
28、所述打哈欠的判定包括:根据鼻子、眼睛或耳朵关键点确定头部参考线,统计左手或右手的位于头部参考线上方的手部关键点,当任意一只手满足有效手部点数量阈值时,则判定为伸懒腰;
29、所述站立的判定包括:当所述鼻子、左右肩、左右髋、左右膝或左右踝的关键点满足置信度条件时,则判定为站立;
30、所述交头接耳的判定包括:基于鼻子到双肩连线的高度比例过滤姿态,并基于鼻子、肩部和耳部的关键点判断是否存在偏头,若存在,则判定为交头接耳;
31、所述张嘴的判定包括:获取嘴部上下关键点的第一距离以及嘴部左右关键点的第二距离,获取所述第一距离和所述第二距离的距离比值,当距离比值大于张嘴阈值时,则判定存在张嘴,否则,判定不存在张嘴;
32、所述打哈欠的判定包括:若存在张嘴,则基于候选框iou匹配人员嘴部,并累计命中次数,基于双眼六点计算眼部纵横比,当所述眼部纵横比低于纵横比阈值,且命中次数达到次数阈值时,则判定为打哈欠。
33、进一步的,在绘制异常目标红色框选时,包括:
34、若存在异常行为,则在所述视频帧绘制异常目标红色框选,并生成中文顶部字幕。
35、与现有技术相比,本发明的有益效果在于:通过对同一视频帧执行人体检测以及双姿态模型推理,能够同时取得脸部、嘴部、手部、肩部、肘部、眼部、髋部、膝部和踝部等关键点,改善单一姿态模型在人员遮挡、距离变化或局部关键点缺失时信息不完整的问题。对关键点进行索引覆盖,并将其余重合关键点映射至扩展编号,在保留dwpose原有脸部、嘴部和手部细节的同时引入rtmw关键点,减少了不同模型索引冲突。构建脸部框和左右手框,能够将单点位置转换为局部区域关系,提高摸头等手脸交互行为的判断准确性。基于人体框底边位置和重叠关系划分近排、后排和远处人员,并分别配置异常行为规则,减少了远距离小目标关键点波动引起的误判,且基于头部参考线、异侧肘部靠近关系、肘部中心线、关键点置信度、鼻肩耳位置和嘴部距离比值,分别确认伸懒腰、双手抱胸、摸头、站立、交头接耳及张嘴,并通过方差对画面进行判断,避免了单帧变化造成状态频繁切换,最终基于异常目标红色框选和中文顶部字幕同步标明异常对象及行为类型,提高了多人安播画面的异常定位效率和识别的可靠性。
36、另一方面,本技术还提供了基于多模型姿态融合与异常行为确认的安播系统,用于应用上述基于多模型姿态融合与异常行为确认的安播方法,包括:
37、视频采集模块,被配置为采集视频帧,并对所述视频帧进行人体检测,确定dwpose关键点和rtmw关键点,并基于各关键点确定人体框;
38、姿态推理模块,被配置为基于所述人体框分别执行第一姿态模型推理和第二姿态模型推理,确定第一关键点集合和第二关键点集合,基于所述第一关键点集合中的关键点将所述第二关键点集合中的关键点覆盖至对应索引,确定统一关键点集合;
39、人员排序模块,被配置为基于所述统一关键点集合构建脸部框、左手框和右手框,并基于所述人体框的位置和重叠关系确定人员排序标识,基于所述排序标识确定对应人员位置的异常行为判定规则;
40、异常判定模块,被配置为基于所述统一关键点集合、所述脸部框、所述左手框、所述右手框和所述异常行为判定规则对各排序标识的人员进行异常行为判定,并根据判定后的异常行为绘制异常目标红色框选。
41、可以理解的是,上述基于多模型姿态融合与异常行为确认的安播方法及系统具备相同的有益效果,在此不再赘述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com