一种基于大数据分析的多系统集成风险预警系统的制作方法

摘要: 本发明涉及多系统集成运行监测与智能预警,尤其涉及一种基于大数据分析的多系统集成风险预警系统。背景技术:1、随着企业信息系统架构持续向多业务系统、多数据库、多中间...
一种基于大数据分析的多系统集成风险预警系统的制作方法

本发明涉及多系统集成运行监测与智能预警,尤其涉及一种基于大数据分析的多系统集成风险预警系统。

背景技术:

1、随着企业信息系统架构持续向多业务系统、多数据库、多中间件和多网络环境协同运行方向发展,面向复杂异构运行环境的多系统集成风险预警技术受到广泛关注。现有的风险监测与预警系统主要依赖单一系统指标阈值告警、日志规则匹配或基于静态特征的异常检测进行风险识别,但是在实际应用中普遍存在以下问题:

2、多系统运行数据来源复杂、语义异构且对象标识不统一,业务系统、数据库系统、中间件系统、网络系统和安全系统之间缺乏跨系统一致的数据关联基础,现有技术通常仅进行简单清洗或格式转换,难以完成同一业务链路下不同对象的数据归并与统一挂接,导致后续风险分析存在数据割裂和关联失真问题;多系统风险通常具有连续演化和逐步积聚特征,传统预警方法大多基于单时刻观测值或静态异常分数进行判别,难以刻画风险在连续时间窗内的状态递进过程,导致慢性积聚型风险、渐进失稳型风险和延迟爆发型风险难以及时发现;在复杂依赖传播场景下,上游对象异常会沿业务链路向下游对象传导并形成联动波动,现有方法难以区分传播导致的可解释变化与对象本地真实异常,容易将根因异常与伴生异常混淆,进而造成误报率高、主风险源定位困难和关键影响链路识别不准确;此外,现有预警结果大多停留在风险分值输出或简单等级划分层面,缺乏对风险来源、贡献构成、扩散方向和处置优先级的系统化裁决能力,难以满足多系统集成场景下风险预警的准确性、可解释性和可处置性要求。

3、因此,如何提供一种基于大数据分析的多系统集成风险预警系统是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于大数据分析的多系统集成风险预警系统,本发明充分利用多源异构数据重构、连续时间窗状态建模、改进型deep-svdd风险预警、全局风险融合以及因果贡献分解裁决技术,详细描述了多系统集成场景下风险识别、联动分析、预警生成与自适应更新的实现过程,具备风险识别精度高、联动预警能力强、扩散路径可解释性好和系统自适应优化能力突出的优点。

2、根据本发明实施例的一种基于大数据分析的多系统集成风险预警系统,包括如下模块:

3、数据采集模块,用于采集多系统集成运行过程中的异构运行数据,并建立跨系统统一对象标识;

4、数据重构模块,用于对异构运行数据执行面向风险预警的数据重构处理,形成预警导向标准化数据集;

5、状态构建模块,用于基于预警导向标准化数据集构建连续时间窗状态序列以及系统间关联关系表示;

6、风险预警模块,用于将连续时间窗状态序列输入改进型deep-svdd风险预警模型,所述改进型deep-svdd风险预警模型包括多源时序特征编码模块、双分支风险表征模块、deep-svdd边界学习主干和风险输出模块,输出轨迹偏离度、传播残差偏离度和子系统风险值;

7、全局风险融合模块,用于基于各子系统的轨迹偏离度、传播残差偏离度、子系统风险值以及系统间耦合关联强度进行全局风险融合进行全局风险融合,得到联动风险值、全局风险值、主风险源候选对象和关键影响链路;

8、预警裁决模块,用于构建基于因果归因的风险贡献分解与主导贡献判定相结合的因果贡献分解式预警裁决器,并对联动风险值、全局风险值、主风险源候选对象和关键影响链路进行预警裁决,生成预警类型、预警等级、风险扩散方向和建议处置优先级;

9、自适应更新模块,用于根据人工确认结果、故障结果、处置结果和恢复结果,对数据重构参数、改进型deep-svdd风险预警模型参数和因果贡献分解式预警裁决器参数进行自适应更新。

10、可选的,所述异构运行数据包括业务系统产生的业务处理记录和接口访问记录、数据库系统产生的连接占用记录和查询执行记录、中间件系统产生的消息发送记录和消息消费记录、网络系统产生的链路传输记录和通信状态记录以及安全系统产生的访问审计记录和安全事件记录;

11、将主机、服务、接口、数据库实例、消息队列、网络链路和安全事件确定为基础对象;

12、依据各基础对象所属系统类型、对象名称、对象部署位置、对象连接关系和对象所在业务链位置生成对象原始标识,并对不同系统中的对象原始标识进行归并和关联校正,形成跨系统统一对象标识,并将异构运行数据按照跨系统统一对象标识进行挂接。

13、可选的,所述数据重构处理包括时间一致性重构、语义同源绑定、风险敏感片段增强、异常保真去噪、依赖传播可解释项标注和双路特征准备:

14、所述时间一致性重构将异构运行数据中的各条数据记录进行时间校正与时间切分,形成对应各跨系统统一对象标识的对象级时间片数据;

15、所述语义同源绑定将具有相同跨系统统一对象标识或者位于同一业务链路中的对象级时间片数据进行对应关联,形成对象级关联时间片数据;

16、所述风险敏感片段增强将对象级关联时间片数据中与接口访问异常、查询执行异常、消息收发异常、链路传输异常、通信状态异常、访问审计异常和安全事件触发相关的数据片段确定为风险敏感片段,并对风险敏感片段进行独立标记;

17、所述异常保真去噪删除完成风险敏感片段增强后的对象级关联时间片数据中的重复采集记录、无效空值记录和字段冲突记录,保留具有连续变化特征的风险敏感片段及对应的原始数据值;

18、所述依赖传播可解释项标注依据跨系统统一对象标识之间的对象连接关系和业务链路位置,确定由上游对象状态变化传导形成的数据变化部分,并将数据变化部分标记为依赖传播可解释项;

19、所述双路特征准备对完成依赖传播可解释项标注的对象级关联时间片数据按照连续时间窗状态序列构建需求提取状态演化特征,按照传播残差分析需求提取传播可解释项特征,并将状态演化特征和传播可解释项特征组合形成预警导向标准化数据集。

20、可选的,所述状态构建模块具体包括:

21、将预警导向标准化数据集按照跨系统统一对象标识进行对象归集:将具有相同跨系统统一对象标识的数据记录归并形成对应同一跨系统统一对象标识的对象级数据;

22、依据预设连续时间窗对对象级数据进行时间排序,形成对应各跨系统统一对象标识的连续时间窗状态序列;

23、依据跨系统统一对象标识之间的业务链路对应关系和对象连接关系,对不同跨系统统一对象标识之间的关联关系进行映射,形成系统间关联关系表示。

24、可选的,所述多源时序特征编码模块对连续时间窗状态序列中的对象级数据按照跨系统统一对象标识进行顺序排列,并通过统一维度映射形成对应各跨系统统一对象标识的多源时序特征;

25、将多源时序特征输入双分支风险表征模块,所述双分支风险表征模块包括状态演化分支、传播残差分支和融合层:

26、所述状态演化分支将同一跨系统统一对象标识在多个相邻时间窗内的多源时序特征按时间顺序连接形成连续时序输入,对连续时序输入进行一维时序卷积,提取局部演化特征,对局部演化特征进行差分映射,提取相邻时间窗之间的递进变化特征,对递进变化特征进行门控加权,并进行线性映射,生成状态演化表示,依据历史正常运行阶段的状态演化表示构建正常状态包络边界;

27、所述传播残差分支依据系统间关联关系表示提取当前跨系统统一对象标识对应的上游对象特征,对不同上游对象对应的传播影响进行关联加权,对加权后的传播影响特征进行聚合形成传播影响表示,对当前对象在当前时间窗内的状态特征进行线性映射形成当前状态表示,将传播影响表示从当前状态表示中扣除,并对扣除后的剩余特征进行relu非线性映射,形成异常残差表示;

28、所述融合层将状态演化表示和异常残差表示进行拼接融合,并通过线性映射形成联合风险表征;

29、将联合风险表征输入deep-svdd边界学习主干,进行统一映射,依据历史正常运行阶段的联合风险表征建立正常边界,计算当前联合风险表征相对于正常边界的偏离程度,形成边界偏离结果;

30、所述风险输出模块对边界偏离结果进行分路解析,将状态演化表示对应的边界偏离结果与正常状态包络边界进行对应比较,生成轨迹偏离度,将异常残差表示对应的边界偏离结果与正常边界进行对应比较,生成传播残差偏离度,按照跨系统统一对象标识所属子系统对边界偏离结果进行对象归集和偏离汇总,生成子系统风险值。

31、可选的,所述全局风险融合模块具体包括:

32、接收轨迹偏离度、传播残差偏离度和子系统风险值,并按照跨系统统一对象标识与系统间关联关系表示构建对象级风险关联集合;

33、依据系统间关联关系表示中的业务链路对应关系和对象连接关系,对对象级风险关联集合中不同跨系统统一对象标识之间的风险传导方向进行映射,形成对象级风险传导关系;

34、依据对象级风险传导关系对轨迹偏离度和传播残差偏离度进行关联加权,对处于上游位置的跨系统统一对象标识对应的传播残差偏离度赋予高于下游位置跨系统统一对象标识的关联权重,对同时具有业务链路对应关系和对象连接关系的跨系统统一对象标识赋予高于仅具有单一关联关系的关联权重,生成对象级关联风险值;

35、将同一子系统内各跨系统统一对象标识对应的对象级关联风险值进行归集,生成子系统联动风险值;

36、对各子系统联动风险值进行跨系统汇总,并结合系统间耦合关联强度进行整体加权,生成全局风险值;

37、依据各跨系统统一对象标识对应的对象级关联风险值在对象级风险传导关系中的数值大小和传导位置,生成主风险源候选对象,并依据对象级风险传导关系,将前后存在风险传导映射的跨系统统一对象标识按照传导方向首尾连接形成对象级风险传导序列,再从对象级风险传导序列中提取传导方向连续一致且对象级关联风险值连续传递的连续对象序列,生成关键影响链路。

38、可选的,所述预警裁决模块具体包括:

39、将联动风险值、全局风险值、主风险源候选对象和关键影响链路按照同一预警对象、同一关键影响链路和同一时间窗位置进行对应关联,形成预警裁决输入集合;

40、依据关键影响链路中的风险传导方向以及主风险源候选对象在关键影响链路中的位置,对预警裁决输入集合中的风险来源进行归因映射,形成风险来源关联结果;

41、基于风险来源关联结果,对预警裁决输入集合中的风险信息进行贡献分解,得到根因异常贡献、传播放大贡献、趋势积聚贡献和全局耦合失稳贡献;

42、对趋势积聚贡献、根因异常贡献、传播放大贡献和全局耦合失稳贡献进行数值比较和范围比较,形成主导贡献结果,所述数值比较为比较各类贡献对应的风险值大小,所述范围比较为比较各类贡献对应的对象覆盖范围和链路覆盖范围;

43、依据主导贡献结果进行预警类型映射,主导贡献结果对应趋势积聚贡献时生成慢性积聚风险预警,主导贡献结果对应根因异常贡献时生成根因型异常预警,主导贡献结果对应传播放大贡献时生成伴生型联动异常预警,主导贡献结果对应全局耦合失稳贡献时生成全局失稳风险预警;

44、依据联动风险值、全局风险值和主导贡献结果进行预警等级映射,并依据关键影响链路中各跨系统统一对象标识的首尾连接顺序生成风险扩散方向,再依据主风险源候选对象在关键影响链路中的上游位置、联动风险值在关键影响链路中的连续传递范围以及全局风险值对应的系统覆盖范围形成建议处置优先级。

45、可选的,所述自适应更新模块具体包括:

46、将预警类型、预警等级、风险扩散方向和建议处置优先级与实际运行过程中的人工校核结果、故障发生结果、处置结果和恢复反馈结果进行对应关联,形成反馈校核数据集;

47、依据反馈校核数据集中预警结果与人工校核结果之间的一致情况,对步骤二中的数据重构参数进行自适应更新;

48、依据反馈校核数据集中故障发生结果与处置结果之间的对应情况,对改进型deep-svdd风险预警模型参数进行自适应更新;

49、依据反馈校核数据集中恢复反馈结果与预警结果之间的对应情况,对因果贡献分解式预警裁决器参数进行自适应更新;

50、将完成参数修正后的数据重构参数、改进型deep-svdd风险预警模型参数和因果贡献分解式预警裁决器参数写回系统参数集合。

51、本发明的有益效果是:

52、本发明通过数据重构模块对异构运行数据执行时间一致性重构、语义同源绑定、风险敏感片段增强、异常保真去噪、依赖传播可解释项标注和双路特征准备,针对现有技术中多系统数据割裂、对象难统一、风险信号易被弱化的问题,实现了跨系统对象级数据的统一挂接与风险导向重组,从而提高了输入数据的一致性和可关联性;通过改进型deep-svdd风险预警模型中的状态演化分支和传播残差分支,分别构建正常状态包络边界并剥离传播可解释部分,针对现有方法难以识别风险连续积聚且难以区分根因异常与伴生异常的问题,实现了对渐进失稳风险的提前识别和对主风险源的准确定位,从而提高了预警的前瞻性和准确性;通过全局风险融合模块与预警裁决模块,针对现有技术仅能输出局部告警和简单等级、缺乏扩散分析与处置依据的问题,实现了联动风险值、全局风险值、关键影响链路、预警类型及处置优先级的联合生成,从而提升了多系统集成场景下风险预警的可解释性、可处置性和工程应用价值。