多源时空数据自适应风险评价方法、装置及设备与流程
本技术涉及数据处理,尤其涉及一种多源时空数据自适应风险评价方法、装置及设备。
背景技术:
1、在边防大数据挖掘领域,需整合交通、医疗及出入境等多源异构数据,这些数据具有高并发写入、多源异构、时空关联性强等特点。因此,如何通过多源异构数据进行多源时空数据自适应风险评价,就显得尤为重要了。
2、现有技术中,传统的多源时空数据自适应风险评价方法,通过定时任务,将关系型数据库中用户的多源数据加载至中心库,并利用关联键拼接整合技术,实现多源数据的跨表关联分析,以得到用户的风险评价。
3、然而,现有技术中,通过定时任务,将关系型数据库中用户的多源数据加载至中心库,并利用关联键拼接整合技术,实现多源数据的跨表关联分析的方式,容易出现多源数据分析滞后的情况,无法满足实时风险预警的需求。
技术实现思路
1、本技术提供一种多源时空数据自适应风险评价方法、装置及设备,用以解决通过定时任务,将关系型数据库中用户的多源数据加载至中心库,并利用关联键拼接整合技术,实现多源数据的跨表关联分析的方式,容易出现多源数据分析滞后的情况,无法满足实时风险预警的需求的技术问题。
2、第一方面,本技术提供一种多源时空数据自适应风险评价方法,应用于电子设备,包括:
3、获取任一用户的多个实体的时空原始数据文件,将各实体的时空原始数据文件存储至数据湖的对应存储分区,并获取每个实体在预设时间内的所有行为向量;
4、根据所有行为向量及当前窗口的行为向量,计算每个实体的行为状态;
5、根据各实体的实体参数构建异构图,并将所述异构图输入预设图神经网络模型中进行数据识别,以得到邻居数据;
6、根据所述邻居数据确定对应的事件触发节点,并对所述事件触发节点进行多轮风险传播评价,以得到最终风险评价值;
7、根据每个行为状态及最终风险评价值,确定对应合并请求的优先级,所述合并请求,用于将邻居数据及最终风险评价值合并至对应实体的存储分区;
8、根据所述多个实体、各行为状态、所述邻居数据、所述最终风险评价值及各合并请求的优先级,生成所述用户的风险报告。
9、可选地,所述根据所有行为向量及当前窗口的行为向量,计算每个实体的行为状态,包括:根据所述所有行为向量计算均值向量,其中所述均值向量作为历史基线向量;根据当前窗口的行为向量及所述历史基线向量计算对应的散度;将所述散度与预设偏移阈值进行对比,以得到每个实体的行为状态。
10、上述技术方案,通过根据所有行为向量及当前窗口的行为向量,计算每个实体的行为状态,避免了单一维度判断的偏差,使得行为状态的刻画更全面。
11、可选地,所述预设图神经网络模型包括隐藏层及输出层;所述将所述异构图输入预设图神经网络模型中进行数据识别,以得到邻居数据,包括:将所述异构图输入所述隐藏层中进行数据采样处理,以得到初始邻居数据;将所述初始邻居数据输入所述输出层中进行数据采样处理,以得到邻居数据。
12、上述技术方案,通过将异构图输入预设图神经网络模型中进行数据识别,以得到邻居数据,相比传统独立样本建模方式,显著提升了邻居数据识别的准确性。
13、可选地,所述对所述事件触发节点进行多轮风险传播评价,以得到最终风险评价值,包括:按照多级关联节点传播的方式,对所述事件触发节点进行风险传播评价,以得到多个初始风险评价值;根据预设衰减因子,对各初始风险评价值进行风险衰减处理,以得到各处理后的风险评价值;从各处理后的风险评价值中确定最终风险评价值。
14、上述技术方案,通过对事件触发节点进行多轮风险传播评价,以得到最终风险评价值,消除单次传播评价的局部偏差,使得最终风险评价值的确定更加准确。
15、可选地,所述根据所述多个实体、各行为状态、所述邻居数据、所述最终风险评价值及各合并请求的优先级,生成所述用户的风险报告,包括:获取所述用户的关联实体列表;根据所述多个实体、各行为状态、所述邻居数据、所述最终风险评价值、所述关联实体列表及各合并请求的优先级,生成所述用户的风险报告。
16、上述技术方案,通过根据多个实体、各行为状态、邻居数据、最终风险评价值及各合并请求的优先级,生成并输出用户的风险报告,使得风险报告生成的更加完整,从而提高了后续用户研读风险报告的体验。
17、可选地,所述行为向量的确定过程,包括:通过分布式事件流平台,构建数据接入通道,并通过所述数据接入通道接收传感器单元发送每个实体的时空原始数据;通过数据同步策略,同步业务库中每个实体的标签数据;对所述时空原始数据及所述标签数据进行预处理,以得到时空特征向量;将所述时空特征向量输入预设神经网络中进行处理,以得到每个实体的行为向量。
18、上述技术方案,通过确定实体的行为向量,可以精准刻画对应实体的动态行为变化。
19、可选地,所述对所述时空原始数据及所述标签数据进行预处理,以得到时空特征向量,包括:对所述标签数据进行匿名化及敏感字段屏蔽处理,得到处理后的时空数据;对所述时空原始数据进行精度控制处理,以得到处理后的标签数据;对所述处理后的时空数据及所述处理后的标签数据,进行标准化与数据元挂接处理,以得到时空特征向量。
20、上述技术方案,通过对时空原始数据及标签数据进行预处理,以得到时空特征向量,不仅使得时空特征向量的确定更加准确,还保护了用户的隐私。
21、可选地,所述预设神经网络为长短期记忆网络,所述长短期记忆网络包括输入层、第一层双向长短期记忆网络、第二层双向长短期记忆网络、第三层双向长短期记忆网络、注意力层及全连接输出层;所述将所述时空特征向量输入预设神经网络中进行处理,以得到每个实体的行为向量,包括:按照预设输入形状,将所述时空特征向量输入所述输入层,并通过所述第一层双向长短期记忆网络、所述第二层双向长短期记忆网络及所述第三层双向长短期记忆网络对所述时空特征向量进行处理,以得到多个时间步的隐藏状态;通过所述注意力层,根据各隐藏状态计算对应时间步的权重,并根据各隐藏状态及各权重计算每个实体的全局上下文语义向量;通过所述全连接输出层,对所述全局上下文语义向量进行处理,以得到每个实体的行为向量。
22、上述技术方案,将时空特征向量输入预设神经网络中进行处理,以得到每个实体的行为向量,使得进一步提高了实体的行为向量确定的准确性。
23、第二方面,本技术提供一种多源时空数据自适应风险评价装置,应用于电子设备,包括:
24、获取模块,用于获取任一用户的多个实体的时空原始数据文件,将各实体的时空原始数据文件存储至数据湖的对应存储分区,并获取每个实体在预设时间内的所有行为向量;
25、计算模块,用于根据所有行为向量及当前窗口的行为向量,计算每个实体的行为状态;
26、第一输入模块,用于根据各实体的实体参数构建异构图,并将异构图输入预设图神经网络模型中进行数据识别,以得到邻居数据;
27、评价模块,用于根据邻居数据确定对应的事件触发节点,并对事件触发节点进行多轮风险传播评价,以得到最终风险评价值;
28、确定模块,用于根据每个行为状态及最终风险评价值,确定对应合并请求的优先级,所述合并请求,用于将邻居数据及最终风险评价值合并至对应实体的存储分区;
29、生成模块,用于根据所述多个实体、各行为状态、所述邻居数据、所述最终风险评价值及各合并请求的优先级,生成所述用户的风险报告。
30、第三方面,本技术提供一种电子设备,包括:至少一个处理器和存储器;
31、所述存储器存储计算机执行指令;
32、所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的方法。
33、本技术提供的多源时空数据自适应风险评价方法、装置及设备,通过获取任一用户的多个实体的时空原始数据文件,将各实体的时空原始数据文件存储至数据湖的对应存储分区,并获取每个实体在预设时间内的所有行为向量;根据所有行为向量及当前窗口的行为向量,计算每个实体的行为状态;根据各实体的实体参数构建异构图,并将异构图输入预设图神经网络模型中进行数据识别,以得到邻居数据;根据邻居数据确定对应的事件触发节点,并对事件触发节点进行多轮风险传播评价,以得到最终风险评价值;根据每个行为状态及最终风险评价值,确定对应合并请求的优先级,合并请求,用于将邻居数据及最终风险评价值合并至对应实体的存储分区;根据多个实体、各行为状态、邻居数据、最终风险评价值及各合并请求的优先级,生成用户的风险报告,通过上述步骤避免了出现多源数据分析滞后的情况,可以满足实时风险预警的需求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com