一种基于大数据的企业信息技术服务咨询系统的制作方法

摘要: 本发明涉及大数据分析,尤其涉及一种基于大数据的企业信息技术服务咨询系统。背景技术:1、企业信息技术环境通常由服务器、网络设备、数据库、中间件、容器平台、业务应用...
一种基于大数据的企业信息技术服务咨询系统的制作方法

本发明涉及大数据分析,尤其涉及一种基于大数据的企业信息技术服务咨询系统。

背景技术:

1、企业信息技术环境通常由服务器、网络设备、数据库、中间件、容器平台、业务应用、云资源和安全设备构成。不同组件的配置数据、性能指标、日志、工单、调用链以及变更记录分散在多个系统中,并具有数据结构异构、更新频率不同、时间有效性不同和相互冲突等特点。

2、现有在线咨询或推荐系统多根据关键词、用户画像或静态知识库返回咨询内容,难以把咨询结论与企业信息技术环境中的实时拓扑、运行负载和故障状态建立可验证的对应关系。当数据量增大时,全量同步和全量重计算还会导致网络传输开销、存储占用及推理时延增加。

3、此外,企业在咨询过程中往往缺少部分关键运行证据。现有系统通常一次性要求采集大量数据,或者直接在不完整数据上给出方案,前者会对生产系统造成采集扰动并增加数据传输量,后者会降低方案可靠性。仅依据历史相似案例生成的方案也缺少在目标企业环境中的运行验证,可能违反服务等级目标或引入新的资源瓶颈。

4、因此,需要一种面向企业信息技术组件和运行数据的技术方案,能够在多源异构数据持续变化的情况下减少冗余传输和重复计算,按对结果不确定性的贡献选择性补充证据,并通过隔离沙箱验证技术变更对运行指标的影响,从而提高咨询结果的可追溯性、可验证性和预测可靠性。

技术实现思路

1、针对现有技术的不足,本发明提供了一种基于大数据的企业信息技术服务咨询系统,以解决多源信息技术数据状态不一致、全量计算资源消耗高、关键证据缺失以及咨询方案缺乏目标环境验证的问题。

2、为了实现上述目的,本发明采用了如下技术方案:

3、一种基于大数据的企业信息技术服务咨询系统,所述系统包括:

4、多源数据采集网关,用于从企业信息技术环境中的配置管理数据库、监控平台、日志平台、工单平台、网络拓扑平台以及外部技术基准数据源采集多源异构数据,并为采集记录附加来源标识、时间有效区间、采集成本、传输数据量和对被采集系统的扰动等级;

5、差分状态图引擎,用于将所述多源异构数据映射为表示信息技术组件、组件属性、组件依赖关系和运行事件的时态节点或时态边,并维护基准状态图和相对于基准状态图的增量子图,对相互冲突的记录建立冲突边并计算记录可信度,并将与当前咨询请求相关的活动子图装载至高速存储器;

6、咨询任务子图生成器,用于将所述咨询请求分解为技术目标节点、技术约束节点、可观测指标节点和证据需求节点,并将分解所得节点与所述活动子图进行关联以形成咨询任务子图;

7、自适应证据采集调度器,用于针对所述咨询任务子图中的缺失证据项,按照该缺失证据项对候选技术方案不确定性的预期降低量与由采集成本、传输数据量及扰动等级确定的综合代价之间的比值计算采集价值,选择采集价值满足预设条件的缺失证据项,并控制所述多源数据采集网关按照限定的数据源、时间窗和采样率执行补充采集;

8、候选方案生成器,用于根据更新后的咨询任务子图生成作用于所述企业信息技术环境中的组件配置、资源分配、网络路由、缓存策略、数据索引、服务部署或故障恢复策略的候选技术方案,并为每一候选技术方案建立由原始采集记录、时态节点或时态边以及推理关系构成的证据路径;

9、沙箱验证引擎,用于根据所述咨询任务子图重建与候选技术方案所影响组件对应的局部数字孪生环境,在隔离沙箱中执行候选技术方案并采集仿真运行指标,依据所述技术约束节点和所述可观测指标节点剔除不满足约束的候选技术方案;

10、资源编排器,用于根据所述活动子图的节点数量和增量子图的变更密度,在单节点增量计算模式与分布式并行计算模式之间进行选择,并在计算过程中复用所述基准状态图中未发生变化的节点特征;

11、咨询输出与反馈模块,用于输出经所述沙箱验证引擎保留的候选技术方案对应的技术变更步骤、证据路径、置信度、预测运行指标、风险边界和回滚计划,并在候选技术方案实施后采集实际运行指标以更新所述记录可信度及候选方案生成参数。

12、优选地,所述多源异构数据至少包括处理器利用率、内存利用率、存储输入输出时延、网络时延、丢包率、服务调用链、应用日志、数据库慢查询、故障告警、变更记录、服务等级目标、信息技术组件版本和组件依赖关系中的两种以上。

13、优选地,所述差分状态图引擎针对同一组件属性的多个冲突记录,根据数据源可信权重、时间新鲜度、跨源一致度和冲突度计算记录可信度,并将可信度低于阈值的记录标记为待验证记录;

14、所述自适应证据采集调度器优先选择能够验证所述待验证记录的缺失证据项。

15、优选地,所述差分状态图引擎将每一增量子图与对应的版本标识、起始有效时间和结束有效时间关联存储,仅针对新增、删除或属性变化的节点生成增量记录,并利用内容哈希引用所述基准状态图中的未变化数据块。

16、优选地,所述采集价值按照以下关系确定:,使系统在采集收益与生产风险间定量权衡;

17、其中,为第个缺失证据项,为候选技术方案的运行指标结果,为当前证据集合,为不确定性度量,为采集成本,为预计传输数据量,为扰动等级,、和为非负权重。

18、优选地,所述沙箱验证引擎从咨询任务子图中提取受影响组件、上游依赖组件、下游依赖组件、历史负载分布和故障注入条件,生成局部数字孪生环境;

19、在所述局部数字孪生环境中依次执行基线回放、候选技术方案执行、峰值负载测试和故障恢复测试,并输出端到端时延、吞吐量、可用性、资源消耗和恢复时间。

20、优选地,所述候选方案生成器根据证据完整度、沙箱仿真指标改善量、风险值和资源消耗确定候选技术方案评分,并对具有相同技术目标但证据路径不相交的候选技术方案保留至少两个备选方案。

21、优选地,所述咨询输出与反馈模块计算实际运行指标与预测运行指标之间的偏差,当所述偏差连续超过漂移阈值时,降低对应证据路径中数据源的可信权重,触发所述自适应证据采集调度器重新采集,并对候选方案生成参数进行增量校准。

22、本发明的有益效果为:

23、本发明利用基准状态图与增量子图的差分存储和特征复用,减少多源数据全量同步、图重建和重复推理所需的传输量、存储量和计算量;本发明利用基于预期不确定性降低量与综合代价的自适应证据采集,在控制生产系统扰动的同时提高关键数据完整性;本发明通过证据路径和内容哈希实现咨询结论的来源追溯与完整性校验;本发明通过局部数字孪生沙箱验证技术变更对运行指标的影响,降低直接在生产环境试错的风险;本发明通过上线后的实际指标反馈持续校准数据可信度和方案参数。

1.一种基于大数据的企业信息技术服务咨询系统,其特征在于,所述系统包括:

2.根据权利要求1所述的一种基于大数据的企业信息技术服务咨询系统,其特征在于,所述多源异构数据包括处理器利用率、内存利用率、存储输入输出时延、网络时延、丢包率、服务调用链、应用日志、数据库慢查询、故障告警、变更记录、服务等级目标、信息技术组件版本和组件依赖关系中的至少两种。

3.根据权利要求1所述的一种基于大数据的企业信息技术服务咨询系统,其特征在于,所述差分状态图引擎(102)针对同一组件属性的多个冲突记录,根据数据源可信权重、时间新鲜度、跨源一致度和冲突度计算记录可信度,并将可信度低于阈值的记录标记为待验证记录;

4.根据权利要求1所述的一种基于大数据的企业信息技术服务咨询系统,其特征在于,所述差分状态图引擎(102)将每一增量子图与对应的版本标识、起始有效时间和结束有效时间关联存储,仅针对新增、删除或属性变化的节点生成增量记录,并利用内容哈希引用所述基准状态图中的未变化数据块。

5.根据权利要求1所述的一种基于大数据的企业信息技术服务咨询系统,其特征在于,所述采集价值按照以下关系确定:;

6.根据权利要求1所述的一种基于大数据的企业信息技术服务咨询系统,其特征在于,所述沙箱验证引擎(106)从咨询任务子图中提取受影响组件、上游依赖组件、下游依赖组件、历史负载分布和故障注入条件,生成局部数字孪生环境;

7.根据权利要求1所述的一种基于大数据的企业信息技术服务咨询系统,其特征在于,所述候选方案生成器(105)根据证据完整度、沙箱仿真指标改善量、风险值和资源消耗确定候选技术方案评分,并对具有相同技术目标但证据路径不相交的候选技术方案保留至少两个备选方案。

8.根据权利要求1所述的一种基于大数据的企业信息技术服务咨询系统,其特征在于,所述咨询输出与反馈模块(108)计算实际运行指标与预测运行指标之间的偏差,当所述偏差连续超过漂移阈值时,降低对应证据路径中数据源的可信权重,触发所述自适应证据采集调度器(104)重新采集,并对候选方案生成参数进行增量校准。

9.一种基于大数据的企业信息技术服务咨询方法,应用于权利要求1-8任一项所述系统,其特征在于,包括以下步骤: