基于时空图神经网络数据融合园区异常行为预警方法与流程
本发明涉及智能感知领域,特别涉及基于时空图神经网络数据融合园区异常行为预警方法。
背景技术:
1、随着智慧园区建设的不断推进,园区内通常设置有门禁系统、视频监控系统、人员定位系统以及设备运行管理系统,用于采集人员通行、区域移动、设备操作和环境状态等信息。现有园区异常行为预警方法大多基于单一视频数据识别人员动作,或者将门禁、视频、定位等多源数据进行特征拼接或加权融合,再通过预设规则或神经网络判断人员是否存在未授权进入、尾随通行、异常滞留或违规操作等行为。由于不同监测系统在采样频率、识别精度、覆盖范围和时间基准等方面存在差异,容易出现门禁记录与视频轨迹不一致、定位结果与实际位置偏离、设备操作记录与现场人员不对应等情况。
2、现有多源数据融合方法通常侧重于对已经采集到的观测结果进行综合分析,对于依据一个数据源中的事件应当在另一数据源中出现、但实际未出现的观测信息,通常仅作为数据缺失处理,未能将其转换为具有明确业务含义的异常证据。同时,当预期观测信息与实际观测信息不一致时,现有方法难以区分该不一致是由人员尾随、身份冒用、未授权进入等异常行为引起,还是由摄像机遮挡、定位漂移、通信延迟或数据源离线等故障引起,容易产生误报警或漏报警。此外,不同数据源之间的支持、冲突、缺失和时延关系会随人员移动和设备状态变化而不断演化,采用静态规则或普通特征融合模型难以有效表达多源证据之间的空间关联及时间变化过程。
3、为此,提出基于时空图神经网络数据融合园区异常行为预警方法。
技术实现思路
1、本发明的主要目的在于提供基于时空图神经网络数据融合园区异常行为预警方法,可以有效解决背景技术中的问题。
2、为实现上述目的,本发明采取的技术方案为,
3、基于时空图神经网络数据融合园区异常行为预警方法,包括以下步骤:
4、s1、获取园区内的多源监测数据以及园区基础数据,所述多源监测数据至少包括门禁事件数据、视频监测数据、人员定位数据、设备操作数据和数据源运行状态数据,所述园区基础数据至少包括人员权限信息和园区空间拓扑信息;
5、s2、对所述多源监测数据进行时间校正和实体关联,将属于同一人员、区域或设备的不同来源数据转换为标准事件记录;
6、s3、根据一个或多个触发数据源对应的标准事件记录以及预设的跨数据源观测规则,生成一个或多个验证数据源对应的预期观测信息,所述验证数据源不同于生成对应标准事件记录的触发数据源,所述预期观测信息至少包括预期观测主体、预期事件类型、预期发生区域和预期时间窗;
7、s4、在所述预期时间窗以及所述预期时间窗之后的延迟时间窗内,查询所述验证数据源的实际观测信息,根据所述实际观测信息与所述预期观测信息的对应情况,生成支持证据、冲突证据、缺失证据或时延证据,并根据所述触发数据源和验证数据源的数据质量、所述跨数据源观测规则的规则可靠度以及所述对应情况,确定各证据的证据可信度;
8、s5、以所述标准事件记录对应的人员、区域、设备以及数据源作为图节点,以所述支持证据、冲突证据、缺失证据和时延证据作为具有不同边类型的证据关系边,构建按照时间顺序排列的多个时序证据图;
9、s6、将所述多个时序证据图输入时空图神经网络,根据各证据关系边的边类型和证据可信度提取证据关系随时间变化的时空演化特征,得到人员异常概率、数据源故障概率以及证据归因结果;
10、s7、将所述证据归因结果表明与人员异常相关的冲突证据、缺失证据或时延证据确定为异常证据,根据所述人员异常概率、数据源故障概率、异常证据的证据可信度以及异常证据的持续时长,确定异常行为风险等级,并输出与所述异常行为风险等级对应的园区异常行为预警信息。
11、进一步的,步骤s2中:根据门禁卡标识、视频人员特征、人员定位标签和设备操作账号,建立不同数据源与人员实体之间的对应关系;对于无法直接建立对应关系的多源监测数据,根据事件发生时间、事件发生位置、人员移动方向以及园区空间拓扑信息确定候选对应关系,并根据所述候选对应关系生成所述标准事件记录。
12、进一步的,步骤s3中,所述跨数据源观测规则包括以下至少一种:根据门禁通行事件生成对应的视频人员轨迹和人员定位区域变化的预期观测信息;根据视频人员通行事件生成对应的门禁通行记录和人员定位区域变化的预期观测信息;根据人员定位区域变化事件生成对应的门禁通行记录和视频人员轨迹的预期观测信息;根据设备操作事件以及设备操作账号与人员身份的关联结果,生成对应人员位于设备所在区域的视频人员轨迹或人员定位信息的预期观测信息。
13、进一步的,步骤s4中:当所述实际观测信息与所述预期观测信息相匹配时,生成所述支持证据;当所述实际观测信息存在且与所述预期观测信息不一致时,生成所述冲突证据;当在所述预期时间窗内未获得与所述预期观测信息对应的实际观测信息时,生成所述缺失证据;当与所述预期观测信息对应的实际观测信息在所述预期时间窗之后的延迟时间窗内出现时,生成所述时延证据,以替代先前生成的对应缺失证据。
14、进一步的,按照下式确定时刻连接图节点和图节点的第类证据关系边的证据可信度:
15、
16、其中,表示时刻连接图节点和图节点的第类证据关系边的证据可信度;和分别表示触发数据源和验证数据源在时刻的数据质量系数;表示生成所述证据关系边所依据的第类跨数据源观测规则的规则可靠度;表示所述第类证据关系边的证据对应系数;
17、所述数据质量系数根据对应数据源的在线状态、数据完整度和历史观测准确率确定,所述规则可靠度根据对应跨数据源观测规则的历史验证结果或者预设标定值确定;
18、对于支持证据、冲突证据和时延证据,所述证据对应系数根据实际观测信息与预期观测信息在观测主体、发生时间和发生区域上的对应程度以及差异程度确定;对于缺失证据,所述证据对应系数根据验证数据源的有效覆盖状态以及在所述预期时间窗内未获得对应实际观测信息的持续程度确定;
19、所述数据质量系数、规则可靠度和证据对应系数均归一化至区间[0,1]。
20、进一步的,步骤s5中:按照预设图快照间隔构建所述多个时序证据图;所述图节点的节点特征至少包括人员权限状态、人员所在区域、人员移动状态、设备运行状态、区域安全等级和数据源运行状态;所述证据关系边的边特征至少包括边类型、证据可信度、生成时刻和持续时长;所述边类型至少包括支持证据边、冲突证据边、缺失证据边和时延证据边。
21、进一步的,步骤s6中,所述时空图神经网络按照下式确定图节点在时刻的空间聚合特征和时空状态特征:
22、
23、其中,表示图节点在时刻的空间聚合特征;表示图节点在时刻的时空状态特征;表示图节点在前一时刻的时空状态特征;和分别表示图节点和相邻图节点在时刻的节点特征;表示证据关系边的边类型集合;表示通过第类证据关系边与图节点连接的相邻图节点集合;表示对应证据关系边的证据可信度;和表示网络参数;表示非线性激活函数;表示门控循环单元;
24、针对待进行异常行为评估的目标人员以及与所述目标人员相关联的目标数据源,根据与所述目标人员相关联的图节点的时空状态特征获得第一聚合特征,根据与所述目标数据源相关联的图节点的时空状态特征获得第二聚合特征,并按照下式生成所述人员异常概率和数据源故障概率:
25、
26、其中,表示所述人员异常概率,表示所述数据源故障概率,、、和表示所述时空图神经网络的输出层参数,表示逻辑映射函数。
27、进一步的,步骤s7中:根据所述人员异常概率、异常证据的证据可信度、异常证据的持续时长以及异常涉及区域或设备的安全等级,确定初始异常风险;根据所述数据源故障概率对所述初始异常风险进行修正,其中,当所述数据源故障概率增大时,降低由对应数据源的单一缺失证据产生的初始异常风险;当多个相邻数据源形成相互支持的冲突证据或缺失证据时,提高对应的初始异常风险;根据修正后的初始异常风险确定所述异常行为风险等级以及异常行为类型,所述异常行为类型至少包括未授权进入、尾随通行、身份冒用、异常滞留和非授权设备操作中的一种。
28、基于时空图神经网络数据融合园区异常行为预警系统,包括数据接口、存储器和处理器,所述存储器存储有计算机程序以及跨数据源观测规则,所述处理器配置有:
29、数据获取模块,用于通过所述数据接口获取园区内的多源监测数据以及园区基础数据;
30、事件标准化模块,用于对所述多源监测数据进行时间校正和实体关联,生成标准事件记录;
31、预期观测生成模块,用于根据一个或多个触发数据源对应的标准事件记录以及所述跨数据源观测规则,生成不同于所述触发数据源的验证数据源对应的预期观测信息;
32、证据关系生成模块,用于根据所述验证数据源的实际观测信息与所述预期观测信息的对应情况,生成支持证据、冲突证据、缺失证据或时延证据,并确定各证据的证据可信度;
33、时序证据图构建模块,用于以人员、区域、设备以及数据源状态作为图节点,以各证据作为具有不同边类型的证据关系边,构建多个时序证据图;
34、时空分析模块,用于通过时空图神经网络对所述多个时序证据图进行处理,得到人员异常概率、数据源故障概率以及证据归因结果;
35、预警输出模块,用于将所述证据归因结果表明与人员异常相关的冲突证据、缺失证据或时延证据确定为异常证据,并根据所述人员异常概率、数据源故障概率以及所述异常证据的证据可信度,确定异常行为风险等级并输出园区异常行为预警信息。
36、一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现上述的方法步骤。
37、与现有技术相比,本发明具有如下有益效果,
38、1、本发明根据触发数据源中的标准事件记录生成不同验证数据源对应的预期观测信息,并将预期观测信息与实际观测信息之间的对应情况转换为支持证据、冲突证据、缺失证据或时延证据,使原本未被有效利用的数据缺失和数据不一致情况能够形成具有明确语义的证据关系,为园区异常行为判断提供更全面的数据基础。
39、2、本发明以人员、区域、设备和数据源作为图节点,以不同类型的证据作为证据关系边构建连续的时序证据图,并通过时空图神经网络提取证据关系的空间关联特征和时间演化特征,能够综合分析门禁、视频、定位和设备操作数据之间的动态对应关系,提高对尾随通行、身份冒用、未授权进入、异常滞留和非授权设备操作等异常行为的识别能力。
40、3、本发明同时得到人员异常概率和数据源故障概率,并根据证据归因结果区分与人员异常相关的证据和由数据源故障引起的异常观测,在摄像机遮挡、定位漂移、通信延迟或数据源离线时能够降低相应缺失证据对人员异常风险的影响,从而减少因监测设备故障造成的误报警。
41、4、本发明根据证据可信度、证据持续时长、数据源故障概率以及异常涉及区域或设备的安全等级确定异常行为风险等级,能够对不同来源、不同持续程度和不同影响范围的异常行为实施差异化预警,为园区安全管理人员提供异常类型、异常位置和风险等级等预警信息,提高园区异常事件的处置效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com