基于计算机视觉的安防监控异常识别方法及系统与流程

本发明涉及智能安防，尤其涉及基于计算机视觉的安防监控异常识别方法及系统。

背景技术：

1、随着城市公共安全管理和视频监控基础设施的发展，计算机视觉技术逐渐应用于人员聚集、异常移动、目标徘徊、追逐冲突及区域入侵的自动识别。现有安防监控异常识别方法通常先对连续监控视频进行目标检测和轨迹跟踪，再从目标位置、速度、运动方向、目标间距离及局部时序变化中提取行为特征，并利用分类模型、时序模型或图结构模型判断监控场景是否发生异常。部分动态图分析方法还会将目标及目标之间的交互关系组织为动态图，通过图结构变化或编码代价变化识别行为状态切换，从而减少人工持续查看监控视频产生的工作量。

2、然而，安防监控场景中的目标交互具有明显的方向性，同一监控目标既可能作为交互发起方，也可能作为交互承受方，单纯依据目标节点连接变化进行动态图分区，难以同时保留同一目标在双侧交互角色中的身份关联及交互非对称变化。当人流密度、运动方向或场景活动周期发生改变时，曾经出现的正常行为状态还可能再次出现，现有动态图分段方法容易将状态复现误判为新的异常状态，进而增加正常场景变化引起的异常误报。

3、另外，现有异常图结构识别通常以整段图结构变化或整体异常评分作为判断依据，在少量局部异常交互嵌入大范围正常视觉关系时，难以准确确定真正导致状态变化的最小局部结构，异常部分还可能反过来影响正常背景关系的分区结果。

4、因此，如何提供基于计算机视觉的安防监控异常识别方法及系统是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出基于计算机视觉的安防监控异常识别方法及系统，本发明通过引入角色镜像关系、graphscope状态归属编码竞争及最小失配块识别，使动态监控场景中的稳定行为与异常交互得到有效区分，降低正常行为变化造成的误判，并提升复杂安防场景下异常视觉交互的识别准确性、局部异常定位精度及异常行为判定可靠性。

2、根据本发明实施例的基于计算机视觉的安防监控异常识别方法，包括如下步骤：

3、采集连续监控视频，对监控目标进行视觉定位和跟踪，建立视觉交互关系，得到连续视觉交互状态序列；

4、将连续视觉交互状态序列转换为具有双侧角色对应关系的视觉关系结构，构建双角色视觉关系图序列；

5、基于双角色视觉关系图序列调用graphscope动态图挖掘算法，建立角色镜像对应，将图结构编码变化与镜像残差编码变化共同纳入分区搜索，生成镜像编码状态序列；

6、针对镜像编码状态序列执行graphscope状态归属编码竞争，根据视觉交互描述成本确定行为状态归属，得到图段解释状态；

7、依据图段解释状态中的新行为状态执行局部交互结构剥离，以剥离后复归编码取得优势且继续缩减后失去优势为条件，确定最小失配块状态；

8、依据最小失配块状态恢复背景视觉关系至稳定行为状态，将最小失配块保留于新行为状态，反向调整角色分区与镜像残差编码关系，生成异常视觉交互状态；

9、将异常视觉交互状态回映至连续监控视频，确定异常监控行为，输出安防监控异常识别结果。

10、可选的，所述连续视觉交互状态序列的得到具体包括：

11、按照视频时间进程对连续监控视频中的监控目标进行视觉定位和连续跟踪，关联同一监控目标在连续监控时刻的空间位置及运动变化，得到目标视觉运动状态序列；

12、针对目标视觉运动状态序列中的监控目标建立目标间运动关联，连续分析目标之间的相对位置变化、运动指向及关系保持情况，确定具有持续运动关联的视觉交互关系，得到视觉交互关系序列；

13、按照视频时间进程对视觉交互关系序列进行状态承接，记录视觉交互关系的建立、保持、方向变化和解除，将具有相同目标身份对应的交互状态连续组织，得到连续视觉交互状态序列。

14、可选的，所述双角色视觉关系图序列的得到具体包括：

15、读取连续视觉交互状态序列，逐时刻确定视觉交互关系中的作用方向，按照视觉交互关系的起始位置和指向位置对同一监控目标建立双侧角色映射，并保持双侧角色与监控目标身份之间的固定对应，得到双侧角色状态；

16、针对双侧角色状态，将连续视觉交互状态序列中的视觉交互关系按照作用方向转换为交互发起角色指向交互承受角色的角色交互关系，分别组织交互发起侧和交互承受侧的角色节点，并按照角色交互关系连接对应角色节点，构建各监控时刻的双角色视觉关系图；

17、按照连续视觉交互状态序列的时间次序对各监控时刻的双角色视觉关系图进行身份连续组织，在相邻监控时刻保持同一监控目标对应双侧角色的身份索引连续，根据视觉交互状态变化更新双侧角色之间的角色交互关系，并将连续监控时刻的双角色视觉关系图依次关联，得到双角色视觉关系图序列。

18、可选的，所述镜像编码状态序列的得到具体包括：

19、读取双角色视觉关系图序列，按照交互发起侧和交互承受侧分别建立源端角色集合与目的端角色集合，调用graphscope动态图挖掘算法对源端角色集合和目的端角色集合执行初始分区，依据同一监控目标在双侧角色中的身份对应建立角色镜像对应，按照源端分区与目的端分区之间具有相同监控目标身份的角色重合关系建立镜像分区对应，得到角色镜像分区状态；

20、针对角色镜像分区状态确定双侧分区的图结构编码变化，并将角色分区调整前后的图结构编码差异作为graphscope分区搜索的结构编码依据，得到图结构编码状态；

21、基于图结构编码状态和角色镜像分区状态，比较同一监控目标双侧角色在镜像分区对应下的视觉交互差异，确定镜像残差编码变化，将图结构编码变化与镜像残差编码变化共同纳入graphscope分区评价，得到联合分区编码状态；

22、针对联合分区编码状态交替调整双侧角色分区，在一侧角色分区调整后依据角色镜像对应更新另一侧角色的镜像残差编码评价，以联合编码成本下降约束双侧角色分区调整，得到镜像编码状态序列。

23、可选的，所述图段解释状态的得到具体包括：

24、读取镜像编码状态序列，按照监控时间次序比较连续镜像编码状态中的双侧角色分区、角色镜像对应、镜像分区对应及镜像残差编码关系，将连续保持镜像分区对应稳定且未发生持续角色迁移的分区结构提取为稳定分区骨架，并将稳定分区骨架与对应行为状态关联，得到稳定行为编码状态；

25、针对稳定行为编码状态与当前镜像编码状态执行分区继承，依据角色镜像对应将稳定分区骨架映射至当前双角色视觉关系图，对镜像分区对应保持一致的角色，延续稳定分区骨架中的所在分区，对镜像分区对应发生改变的角色，解除分区继承并参与graphscope重新分区，得到分区继承状态；

26、针对分区继承状态执行graphscope状态归属编码竞争，通过稳定分区骨架约束角色分区搜索，并依据不同状态归属所对应的视觉交互描述成本确定行为状态归属，在新状态建立所对应的视觉交互描述成本最低时建立新行为状态，同时记录复归阻断关系；

27、依据行为状态归属确定当前镜像编码状态的图段归属，并在建立新行为状态时保留复归阻断关系，得到图段解释状态。

28、可选的，所述最小失配块状态的得到具体包括：

29、读取图段解释状态，在当前双角色视觉关系图中定位复归阻断关系涉及的角色及视觉交互连接，以复归阻断关系为起始位置沿直接相连的视觉交互连接扩展局部结构边界，确定局部交互结构剥离范围；

30、针对局部交互结构剥离范围执行复归导向剥离，从复归阻断关系涉及的视觉交互连接开始逐步移除局部交互结构，以稳定状态复归的视觉交互描述成本首次低于保持新行为状态的视觉交互描述成本为停止条件，得到可复归剥离块；

31、针对可复归剥离块执行逆向结构缩减，逐步恢复可复归剥离块边界的视觉交互连接，以剥离后复归编码取得优势且继续缩减后失去优势为条件，确定最小失配块；

32、将最小失配块恢复至当前双角色视觉关系图中的原结构位置，保持最小失配块与新行为状态之间的关联，并记录最小失配块与能够由稳定行为状态解释的背景视觉关系之间的结构边界，得到最小失配块状态。

33、可选的，所述异常视觉交互状态的得到具体包括：

34、读取最小失配块状态，在当前双角色视觉关系图中保持最小失配块的结构位置，将最小失配块之外的视觉交互关系按照稳定分区骨架恢复至稳定行为状态；

35、将最小失配块保持于新行为状态，并保持最小失配块与背景视觉关系之间原有的视觉交互连接；

36、针对保持于新行为状态的最小失配块，以最小失配块涉及的角色及与背景视觉关系直接相连的视觉交互关系限定调整范围，重新将图结构编码变化与镜像残差编码变化共同纳入graphscope分区评价，反向调整双侧角色分区与镜像残差编码关系；

37、根据调整后的双侧角色分区和镜像残差编码关系重新确定最小失配块与行为状态归属，并迭代执行反向调整，直至背景视觉关系保持稳定行为状态且最小失配块保持新行为状态，生成异常视觉交互状态。

38、可选的，所述安防监控异常识别结果的得到具体包括：

39、读取异常视觉交互状态，依据最小失配块所对应的监控目标身份及时间位置回映连续监控视频，确定异常视觉交互视频范围；

40、针对异常视觉交互视频范围恢复监控目标及视觉交互关系，关联监控目标的连续运动过程和视觉交互方向，确定异常监控行为；

41、依据异常监控行为的发生时段、监控目标及视觉交互范围组织识别信息，输出安防监控异常识别结果。

42、根据本发明实施例的基于计算机视觉的安防监控异常识别系统，包括：

43、视觉交互构建模块，用于采集连续监控视频，对监控目标进行视觉定位和跟踪，建立视觉交互关系，得到连续视觉交互状态序列；

44、双角色构图模块，用于将连续视觉交互状态序列转换为具有双侧角色对应关系的视觉关系结构，构建双角色视觉关系图序列；

45、镜像编码分区模块，用于基于双角色视觉关系图序列调用graphscope动态图挖掘算法，建立角色镜像对应，将图结构编码变化与镜像残差编码变化共同纳入分区搜索，生成镜像编码状态序列；

46、状态归属竞争模块，用于针对镜像编码状态序列执行graphscope状态归属编码竞争，根据视觉交互描述成本确定行为状态归属，得到图段解释状态；

47、最小失配识别模块，用于依据图段解释状态中的新行为状态执行局部交互结构剥离，以剥离后复归编码取得优势且继续缩减后失去优势为条件，确定最小失配块状态；

48、异常交互生成模块，用于依据最小失配块状态恢复背景视觉关系至稳定行为状态，将最小失配块保留于新行为状态，反向调整角色分区与镜像残差编码关系，生成异常视觉交互状态；

49、异常行为输出模块，用于将异常视觉交互状态回映至连续监控视频，确定异常监控行为，输出安防监控异常识别结果。

50、本发明的有益效果是：

51、本发明利用graphscope动态图挖掘算法对连续监控视频中的视觉交互关系进行动态图结构分析，是因为安防监控场景中的异常行为并非只表现为单一目标的位置变化，而是往往伴随目标之间交互关系随时间持续建立、保持、转向及解除，采用graphscope能够将连续变化的视觉交互关系组织为动态图并通过分区结构与编码成本变化刻画行为状态演化，相比仅依据单帧目标特征或固定时间窗口进行异常判断，更适合处理监控场景中持续变化的目标交互过程。

52、本发明针对安防视觉交互具有明显方向性的特点，将同一监控目标区分为交互发起角色和交互承受角色，并建立角色镜像对应，使graphscope原有源端与目的端分区能够与监控目标的双侧行为角色建立联系，同时将图结构编码变化与镜像残差编码变化共同纳入分区评价，从而使角色分区调整不仅反映视觉关系结构的压缩程度，还能够反映同一监控目标双侧交互之间的非对称变化，提高复杂交互场景下行为结构表达的准确性。

53、本发明针对graphscope原有动态图分段主要依据当前图结构变化进行状态切换判断、难以识别正常行为状态再次出现的问题，引入稳定分区骨架和graphscope状态归属编码竞争，通过当前状态延续、稳定状态复归和新状态建立之间的编码竞争确定行为状态归属，使历史已经形成稳定解释能力的正常视觉交互状态能够在再次出现时重新被识别，而不是直接作为新的异常状态处理，从而降低人员流量变化、周期性通行模式变化及正常交互结构恢复造成的误判。

54、本发明针对整体图结构异常判断难以精确定位局部异常来源的问题，在新行为状态中引入局部交互结构剥离，并以剥离后稳定状态复归取得编码优势且继续缩减后失去编码优势作为最小失配块的确定条件，使异常识别不再停留于整段图结构或整体异常分值，而能够定位真正导致稳定行为状态失效的最小局部视觉交互结构。

55、本发明将背景视觉关系恢复至稳定行为状态，将最小失配块保留于新行为状态，并利用最小失配块反向调整角色分区与镜像残差编码关系，使异常局部结构的确定结果继续参与graphscope分区搜索，形成异常定位与图结构重构之间的闭环修正过程，从而减少局部异常对正常背景关系的干扰，提升复杂动态安防场景下异常视觉交互的识别准确性、异常局部结构定位精度以及异常监控行为判定的稳定性。