一种基于视觉智能的直播违规行为识别方法与流程
本发明涉及视频行为识别领域,尤其涉及一种基于视觉智能的直播违规行为识别方法。
背景技术:
1、随着直播业务的发展,直播内容审核通常采用图像分类、目标检测、人体姿态识别和规则匹配等方式,对视频帧中的人员动作、物品入镜、画面遮挡和画面切换进行识别,从而判断直播过程中是否存在违规行为。现有方法多以单帧图像或短时片段为判断对象,能够识别明显的敏感物品展示、异常动作或遮挡画面。
2、但是,在商品展示类直播中,违规行为常由手部动作、物品入镜、画面快速切换和遮挡动作连续触发形成。现有方法缺少对不同视觉事件之间前后激发关系的建模,难以确定违规行为的起始事件、被激发事件和触发链路,容易将正常展示动作误判为违规,也容易遗漏短时入镜、切换遮挡等隐蔽连续违规过程,导致风险强度判断不够稳定。
3、因此,如何提供一种基于视觉智能的直播违规行为识别方法是本领域技术人员亟需解决的问题。
技术实现思路
1、本发明的一个目的在于提出一种基于视觉智能的直播违规行为识别方法,本发明利用视觉事件序列建模和触发关系分析,识别直播违规行为链路,具备准确性高、漏检率低和可追溯性强的优点。
2、根据本发明实施例的一种基于视觉智能的直播违规行为识别方法,包括如下步骤:
3、获取直播视频流数据并对连续视频帧进行预处理,生成直播视觉基础数据;
4、对直播视觉基础数据进行人体姿态识别、手部动作识别、物品入镜识别、遮挡变化识别和画面切换识别,生成直播视觉特征数据;
5、基于直播视觉特征数据识别违规行为线索,并对违规行为线索进行事件参数编排,生成候选违规视觉事件数据;
6、按照发生时间、事件类型、画面区域和持续时长对候选违规视觉事件数据进行连续编排、事件间隔计算和前驱事件标记,生成多类型视觉事件序列;
7、基于多类型视觉事件序列拟合多元hawkes过程,对候选违规视觉事件之间的自激发关系和互激发关系进行建模,生成视觉事件触发关系;
8、将多元hawkes过程中的事件触发函数置于再生核希尔伯特空间中进行核函数展开、系数求解和正则化约束,生成视觉事件触发函数;
9、基于视觉事件触发关系和视觉事件触发函数确定候选违规视觉事件的激发归属、触发链路和风险强度,生成直播违规行为识别结果。
10、可选的,所述预处理包括视频帧抽取、时间戳对齐、画面尺寸归一、低质量帧剔除、重复帧去除、画面区域划分和帧序号标记。
11、可选的,所述直播视觉特征数据的生成具体包括:
12、读取直播视觉基础数据中的帧序号和画面区域编号,按帧序号调取相邻有效视频帧并在人体区域内执行人体检测和关键点定位,生成人体姿态特征;
13、将人体姿态特征中的腕部位置与画面区域编号进行匹配,确定手部区域并对连续有效视频帧中的手部位置变化进行识别,生成手部动作特征;
14、在物品展示区域内检测入镜物品边界,将入镜物品边界与手部区域和人体区域进行空间邻接判断,提取物品出现状态,生成物品入镜特征;
15、调取同一画面区域编号下的相邻有效视频帧,对遮挡候选区域的面积变化、位置变化和边界变化进行连续比较,生成遮挡变化特征;
16、按照帧序号调取相邻有效视频帧并比较背景区域、人体区域和物品展示区域的画面内容变化,提取画面突变状态,生成画面切换特征;
17、将人体姿态特征、手部动作特征、物品入镜特征、遮挡变化特征和画面切换特征按照帧序号、时间戳和画面区域编号进行归集,生成直播视觉特征数据。
18、可选的,所述候选违规视觉事件数据的生成具体包括:
19、对直播视觉特征数据中的遮挡变化特征和人体姿态特征进行联合判定,将满足遮挡动作判定条件的连续帧段标记为遮挡动作线索,所述遮挡动作判定条件包括遮挡持续时长形成连续帧时长、遮挡区域与人体区域形成重合关系、遮挡面积变化呈连续增大状态以及遮挡边界变化与人体姿态变化具有同步关系;
20、对直播视觉特征数据中的画面切换特征进行连续判定,将满足画面快速切换判定条件的相邻帧段标记为画面快速切换线索,所述画面快速切换判定条件包括整体画面差异处于画面切换候选状态、主体位置跳变超出相邻帧主体稳定区间以及亮度跳变幅度处于相邻帧亮度突变区间;
21、对直播视觉特征数据中的手部动作特征、人体姿态特征和物品入镜特征进行联合判定,将满足异常动作判定条件的连续帧段标记为异常手部动作线索,所述异常动作判定条件包括手部动作幅度处于异常动作状态、手部停留时长形成连续停留状态、手部与人体区域形成异常相对位置以及手部区域与入镜物品边界形成邻接关系;
22、对直播视觉特征数据中的物品入镜特征和手部动作特征进行关联判定,将满足敏感入镜判定条件的连续帧段标记为敏感物品入镜线索,所述敏感入镜判定条件包括物品类别标记属于敏感类别、物品停留时长形成连续入镜状态、物品面积占比处于展示状态、物品与手部区域形成邻接关系以及物品与人体区域形成关联关系;
23、将遮挡动作线索、画面快速切换线索、异常手部动作线索和敏感物品入镜线索进行事件参数编排,生成候选违规视觉事件数据。
24、可选的,所述多类型视觉事件序列的生成具体包括:
25、对候选违规视觉事件数据按照发生时间进行升序排列,并为排列后的候选违规视觉事件配置事件顺序号,生成候选事件时序排列数据;
26、按照事件类型和画面区域编号对候选事件时序排列数据进行分组,将同一分组内时间连续的候选违规视觉事件进行区段编排,生成分组事件连续区段数据;
27、按照发生时间顺序,对当前候选违规视觉事件与其前序候选违规视觉事件进行多类型、多区域范围内的事件间隔计算,生成事件间隔数据;
28、依据事件间隔数据对每一候选违规视觉事件进行前驱关系标注,生成前驱事件标识,并将候选事件时序排列数据、分组事件连续区段数据、事件间隔数据和前驱事件标识进行关联,生成多类型视觉事件序列。
29、可选的,所述视觉事件触发关系的生成具体包括:
30、对多类型视觉事件序列按照事件类型和画面区域编号进行事件维度划分,并对各候选违规视觉事件进行维度归属和事件维度标识配置,生成多维事件观测数据;
31、基于多维事件观测数据为各事件维度构建随发生时间递增的事件计数过程,并统一配置观测起始时间、观测结束时间和事件观测时段,生成多维视觉事件计数数据;
32、以每一当前候选违规视觉事件的发生时间为观测时点,对事件间隔数据中与当前候选违规视觉事件关联的前序候选违规视觉事件进行事件维度归集,生成多维历史事件集合;
33、基于多维视觉事件计数数据统计各事件维度在事件观测时段内的候选违规视觉事件数量,并结合事件观测时段配置各事件维度的基础发生强度;
34、按照前序事件维度指向当前事件维度的有向顺序,对多维历史事件集合中的事件关系进行维度配对和关系分类,生成自激发关系和互激发关系,并为各维度关系位置配置事件触发函数索引;
35、基于自激发关系和互激发关系,将各维度关系位置对应的事件间隔时长配置为事件触发函数的时间输入,并建立各事件触发函数的触发贡献与当前事件维度基础发生强度之间的累加关系,生成条件发生强度构成数据;
36、按照起始事件维度与终止事件维度的配对结果,对条件发生强度构成数据、自激发关系和互激发关系以及各维度关系位置的事件触发函数索引进行关联归集,生成视觉事件触发关系。
37、可选的,所述视觉事件触发函数的生成具体包括:
38、对视觉事件触发关系按照事件触发函数索引进行分组,并对同一事件触发函数索引下的事件间隔时长进行顺序编排,生成触发函数样本序列;
39、将触发函数样本序列中的事件间隔时长作为函数输入对象,确定再生核希尔伯特空间的核函数基准点和核宽度,生成核函数参数;
40、基于再生核希尔伯特空间中的核函数参数,将触发函数样本序列中的事件间隔时长逐一代入核函数参数,计算各事件间隔时长相对于各核函数基准点的核函数值,生成核函数展开矩阵;
41、将核函数展开矩阵写入条件发生强度构成数据中对应事件触发函数索引的位置,并结合多维视觉事件计数数据求解核函数展开系数,生成初始触发函数系数,所述初始触发函数系数包括事件触发函数索引、展开系数顺序号、核函数基准点和初始系数值;
42、对初始触发函数系数中的初始系数值执行非负约束、平滑约束和关系稀疏约束,并将约束后的系数值作为正则化系数值;
43、将核函数参数中的核函数基准点和核宽度,与正则化系数值进行组合,重构各事件触发函数索引对应的视觉事件触发函数。
44、可选的,所述直播违规行为识别结果的生成具体包括:
45、将视觉事件触发关系中的事件间隔时长代入对应视觉事件触发函数,确定前序候选违规视觉事件对当前候选违规视觉事件的触发贡献值;
46、根据触发贡献值对各候选违规视觉事件进行触发来源判定,分别配置起始事件标记和被激发事件标记,并确定被激发事件对应的主触发事件,生成事件激发标记数据,所述事件激发标记数据包括事件顺序号、起始事件标记、被激发事件标记和主触发事件顺序号;
47、按照事件激发标记数据中的主触发事件顺序号与配置有被激发事件标记的候选违规视觉事件的事件顺序号之间的有向顺序,对候选违规视觉事件进行连续连接和链路归集,生成触发链路;
48、对触发链路中的候选违规视觉事件按照链路连接顺序进行节点编排,并依据节点位置归集起始事件和被激发事件,生成链路事件归集结果,所述链路事件归集结果包括起始事件顺序号和被激发事件顺序号序列;
49、根据触发贡献值、触发链路和链路事件归集结果计算风险强度,并将链路事件归集结果、触发链路和风险强度进行封装,生成直播违规行为识别结果。
50、本发明的有益效果是:
51、本发明通过对直播视频流中的连续视频帧进行预处理,并对人体姿态、手部动作、物品入镜、遮挡变化和画面切换进行联合识别,能够将直播过程中的视觉变化由单帧判断转化为连续事件分析。相比仅依据单帧画面或短时片段进行违规判定的方式,本发明能够把遮挡动作、画面快速切换、异常手部动作和敏感物品入镜编排为候选违规视觉事件,并按照发生时间、事件类型、画面区域和持续时长形成多类型视觉事件序列,从而减少正常展示动作被误判为违规的情况,也降低短时入镜、切换遮挡等隐蔽连续违规过程被遗漏的风险。
52、本发明进一步基于多类型视觉事件序列拟合多元hawkes过程,对候选违规视觉事件之间的自激发关系和互激发关系进行建模,并将事件触发函数置于再生核希尔伯特空间中进行核函数展开、系数求解和正则化约束,使不同类型、不同区域的视觉事件之间能够形成可计算的触发贡献关系。通过这种方式,系统不仅能够判断某一画面是否异常,还能够识别前序事件对当前事件的诱发作用,进而确定起始事件、被激发事件和主触发事件顺序号,提高直播违规行为识别的连续性和稳定性。
53、本发明根据视觉事件触发关系和视觉事件触发函数生成触发链路,并结合触发贡献累计值、被激发事件密度值和事件持续占比值计算风险强度,使直播违规行为识别结果不仅包括是否存在违规,还包括违规行为从起始事件到后续被激发事件的发展过程。该结果便于审核系统对违规过程进行追溯和复核,有助于提高直播内容审核的准确性、降低误报和漏检,并增强对隐蔽连续违规行为的风险识别能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com