用于视频监控的异常样本生成方法和装置与流程

摘要: 本技术涉及视频监控领域,特别是涉及用于视频监控的异常样本生成方法和装置。背景技术:1、城市治理视频监控通常部署于道路、社区、园区、工地、消防通道、电动车棚、垃圾...
用于视频监控的异常样本生成方法和装置与流程

本技术涉及视频监控领域,特别是涉及用于视频监控的异常样本生成方法和装置。

背景技术:

1、城市治理视频监控通常部署于道路、社区、园区、工地、消防通道、电动车棚、垃圾投放点等固定场景。从监控视频中抽取的图像中,井盖破损、渣土堆放、未密闭渣土车、垃圾桶未盖盖等真实异常样本发生频率低、采集周期长、标注成本高,在数据分布上呈现明显的长尾特性。

2、在视频监控管理平台中,每一监控设备通常具有唯一设备标识,并关联设备点位信息。该设备点位信息例如包括设备类型、安装位置、安装高度和朝向、镜头或视场参数、分辨率、成像模式、场景标签、场景区域配置、历史告警记录、告警复核结果和成像质量特征等。

3、在相关技术中,异常样本生成方法通常仅以单帧图像和通用文本提示为输入,所生成的异常样本可能存在业务语义不合理、目标悬浮、背景突变和跨点位风格失配等问题,难以满足城市治理场景下异常样本生成的可用性要求。

4、针对相关技术中存在异常样本生成难以满足城市治理场景下的可用性要求的问题,目前还没有提出有效的解决方案。

技术实现思路

1、在本实施例中提供了一种用于视频监控的异常样本生成方法和装置,以解决相关技术中异常样本生成难以满足城市治理场景下的可用性要求的问题。

2、第一个方面,在本实施例中提供了一种用于视频监控的异常样本生成方法,包括:

3、在当前轮次的异常样本生成过程中,为目标设备点位读取所述当前轮次的点位信息状态;所述点位信息状态至少包括设备基础信息和点位业务先验信息;

4、对所述目标设备点位的监控区域进行语义区域分割,得到分割结果;

5、根据所述分割结果,确定允许编辑区域;并且,基于编辑适配度指标,从所述允许编辑区域中各候选区域中确定目标编辑区域;并且,根据所述点位信息状态确定所述目标编辑区域的编辑操作类型和编辑区域对象关系信息;

6、根据所述点位信息状态生成样本约束;根据所述目标编辑区域、所述编辑操作类型以及所述编辑区域对象关系信息,按照所述样本约束,生成异常样本图像;

7、基于所述点位信息状态确定多源掩码校正信息;根据所述多源掩码校正信息生成所述异常样本图像的目标可见掩码;

8、对所述异常样本图像与所述目标可见掩码进行多维质量校验,得到质量校验指标;

9、基于所述质量校验指标从所述当前轮次所生成的所有异常样本图像中,筛选出目标样本图像与对应的所述目标可见掩码进行样本入库。

10、在其中的一些实施例中,根据所述分割结果,确定允许编辑区域,包括:

11、根据所述分割结果,确定事件作用语义区域、禁止语义区域以及保持语义区域;

12、根据所述事件作用语义区域、禁止语义区域以及保持语义区域,确定所述允许编辑区域。

13、在其中的一些实施例中,所述点位业务先验信息包括场景语义信息、事件类别先验、空间位置先验、成像风格参数以及误告警信息。

14、在其中的一些实施例中,所述编辑适配度指标包括语义匹配度、接触程度、透视关系一致性、可见度、背景影响程度、所述事件类别先验、所述空间位置先验以及误告警区域惩罚;基于编辑适配度指标,从所述允许编辑区域中各候选区域中确定目标编辑区域,包括:

15、确定所述候选区域的语义匹配度、接触程度、透视关系一致性、可见度、背景影响程度以及误告警区域惩罚;

16、对所述语义匹配度、所述接触程度、所述透视关系一致性、所述可见度、所述背景影响程度、所述事件类别先验、所述空间位置先验以及所述误告警区域惩罚进行加权,得到所述允许编辑区域中各候选区域对应的候选区域指标;

17、将所述候选区域指标高于预设指标阈值的候选区域,确定为所述目标编辑区域。

18、在其中的一些实施例中,所述样本约束包括事件提示、空间关系约束、背景保持约束、点位风格约束以及负向约束;根据所述点位信息状态生成样本约束,包括:

19、根据所述事件类别先验,生成事件提示;

20、根据所述空间位置先验,生成空间关系约束和背景保持约束;

21、根据所述成像风格参数,生成点位风格约束;

22、生成负向约束。

23、在其中的一些实施例中,根据所述目标编辑区域、所述编辑操作类型以及所述编辑区域对象关系信息,按照所述样本约束,生成异常样本图像,包括:

24、在所述事件提示、所述空间关系约束、所述背景保持约束、所述点位风格约束以及所述负向约束的结合约束下,根据所述目标编辑区域、所述编辑操作类型以及所述编辑区域对象关系信息,生成异常样本图像。

25、在其中的一些实施例中,所述多源掩码校正信息包括局部编辑掩码、生成前后差异区域、目标语义区域、空间位置先验和易误报区域;根据所述多源掩码校正信息生成所述异常样本图像的目标可见掩码,包括:

26、结合所述局部编辑掩码、生成前后差异区域、目标语义区域、空间位置先验和易误报区域对所述异常样本图像进行预标注联合校正,生成所述异常样本图像的目标可见掩码。

27、在其中的一些实施例中,对所述异常样本图像与所述目标可见掩码进行多维质量校验,得到质量校验指标,包括:

28、对所述异常样本图像与所述目标可见掩码进行背景保持性校验、语义与几何关系校验、成像风格一致性校验以及预标注一致性校验,得到所述质量校验指标。

29、在其中的一些实施例中,所述方法还包括:

30、根据所述质量校验指标生成点位信息更新证据,根据所述点位信息更新证据对所述当前轮次的点位信息状态进行更新,作为下一轮次的点位信息状态。

31、第二个方面,在本实施例中提供了一种用于视频监控的异常样本生成装置,包括:获取模块、分割模块、编辑区域确定模块、样本生成模块、标注校正模块、质量校验模块以及样本筛选模块;其中:

32、所述获取模块,用于在当前轮次的异常样本生成过程中,为目标设备点位读取所述当前轮次的点位信息状态;所述点位信息状态至少包括设备基础信息和点位业务先验信息;

33、所述分割模块,用于对所述目标设备点位的监控区域进行语义区域分割,得到分割结果;

34、所述编辑区域确定模块,用于根据所述分割结果,确定允许编辑区域;并且,基于编辑适配度指标,从所述允许编辑区域中各候选区域中确定目标编辑区域;并且,根据所述点位信息状态确定所述目标编辑区域的编辑操作类型和编辑区域对象关系信息;

35、所述样本生成模块,用于根据所述点位信息状态生成样本约束;根据所述目标编辑区域、所述编辑操作类型以及所述编辑区域对象关系信息,按照所述样本约束,生成异常样本图像;

36、所述标注校正模块,用于基于所述点位信息状态确定多源掩码校正信息;根据所述多源掩码校正信息生成所述异常样本图像的目标可见掩码;

37、所述质量校验模块,用于对所述异常样本图像与所述目标可见掩码进行多维质量校验,得到质量校验指标;

38、所述样本筛选模块,用于基于所述质量校验指标从所述当前轮次所生成的所有异常样本图像中,筛选出目标样本图像与对应的所述目标可见掩码进行样本入库。

39、与相关技术相比,在本实施例中提供了用于视频监控的异常样本生成方法和装置。其中的异常样本生成方法,在当前轮次的异常样本生成过程中,为目标设备点位读取当前轮次的点位信息状态;点位信息状态至少包括设备基础信息和点位业务先验信息;对目标设备点位的监控区域进行语义区域分割,得到分割结果;根据分割结果,确定允许编辑区域;并且,基于编辑适配度指标,从允许编辑区域中各候选区域中确定目标编辑区域;并且,根据点位信息状态确定目标编辑区域的编辑操作类型和编辑区域对象关系信息;根据点位信息状态生成样本约束;根据目标编辑区域、编辑操作类型以及编辑区域对象关系信息,按照样本约束,生成异常样本图像;基于点位信息状态确定多源掩码校正信息;根据多源掩码校正信息生成异常样本图像的目标可见掩码;对异常样本图像与目标可见掩码进行多维质量校验,得到质量校验指标;基于质量校验指标从当前轮次所生成的所有异常样本图像中,筛选出目标样本图像与对应的目标可见掩码进行样本入库。其能够提高异常样本的质量、使生成的异常样本在对应场景的可用性更高,满足城市治理场景下的可用性要求。

40、本技术的一个或多个实施例的细节在以下附图和描述中提出,以使本技术的其他特征、目的和优点更加简明易懂。