一种多源异构项目数据的聚合预警方法及系统与流程

本技术涉及敏捷开发管理，具体涉及一种多源异构项目数据的聚合预警方法及系统。

背景技术：

1、随着敏捷开发模式的普及，企业项目管理中涉及的数据源日益多样化，典型的项目管理平台包括jira、vocs、玄武平台以及各类自研平台等。管理人员需要通过统一看板实时掌握项目进度及潜在风险。然而，现有项目数据聚合与预警技术存在以下缺陷：

2、（1）不同项目管理平台的字段命名、阶段标识不统一，现有系统通常采用硬编码方式适配特定平台，当新平台接入时需开发人员修改代码进行人工映射和调试，接入周期长达数天，效率低下且容易出错。

3、（2）现有数据同步方案要么采用全量同步，造成api资源浪费和带宽占用；要么采用定时全量拉取，无法兼顾数据新鲜度与系统性能，难以满足项目对数据的实时性要求。

4、（3）现有看板缺乏对数据状态的自动监测与同步机制。一方面，中间存储层与异构数据源之间缺乏有效的状态同步，当异构数据源发生字段调整或数据删除时，中间存储层难以及时更新对应记录的状态，导致后续判断所依据的数据状态不准确；另一方面，风险识别本身依赖管理人员的主观判断和经验，无法及时发现数据异常或项目偏差，风险感知存在严重滞后性。

5、因此，现有系统在异构数据源的接入适配、变更数据的增量同步、中间存储层的状态管理以及基于状态的自动预警等环节之间缺乏系统化的联动处理机制，各环节相互割裂，导致任一环节的偏差均会逐级传导并放大，最终造成从数据接入到风险识别的全链路效率低下且准确性不足。

技术实现思路

1、本技术提供一种多源异构项目数据的聚合预警方法及系统，可以解决现有技术中存在的在异构数据源的接入适配、变更数据的增量同步、中间存储层的状态管理以及基于状态的自动预警等环节缺乏系统化的统一处理机制，导致从数据接入到风险识别的全链路效率低下且准确性不足技术问题。

2、第一方面，本技术实施例提供一种多源异构项目数据的聚合预警方法，其包括：

3、获取映射配置信息；所述映射配置信息包含各异构数据源与统一数据模型之间的字段映射关系；

4、基于增量同步机制从多个异构数据源中获取变更数据，并根据所述映射配置信息将所述变更数据转换为符合所述统一数据模型的标准格式数据；

5、将所述标准格式数据写入中间存储层；所述中间存储层用于存储与多个所述异构数据源解耦对应的标准格式数据及其状态信息；基于所述标准格式数据及所述状态信息，并结合预设预警规则生成相应的预警信息。

6、优选的，获取映射配置信息，包括：

7、接收用户配置的字段对应关系及数据类型转换规则；

8、将所述字段对应关系及数据类型转换规则存储为配置信息；

9、通过动态映射规则引擎读取所述配置信息，并在数据转换过程中执行字段名称替换及数据格式转换。

10、优选的，基于增量同步机制从多个异构数据源中获取变更数据，包括：

11、获取本地存储的上一次同步操作完成时的同步水位线；所述同步水位线包括时间戳或数据版本号；

12、向所述异构数据源发送携带所述同步水位线的查询请求；

13、接收所述异构数据源返回的变更数据；所述变更数据为创建时间、更新时间不早于所述同步水位线的记录或版本号大于所述同步水位线的记录；

14、将本次同步操作完成时的时间戳或数据版本号作为更新后的同步水位线；

15、在检测到所述异构数据源存在数据删除操作的情况下，将所述中间存储层中对应记录的状态更新为无效。

16、优选的，所述中间存储层包括聚合数据表和明细数据表；

17、将所述标准格式数据写入中间存储层，包括：

18、将所述标准格式数据写入所述明细数据表，并为每条写入的明细数据生成对应的明细数据标识；

19、按照预设的聚合维度对所述明细数据表中的标准格式数据进行分组计算，得到对应于各聚合维度的汇总指标值；

20、根据各聚合维度下包含的明细数据所对应的明细数据标识，分别构建与各聚合维度对应的明细数据标识列表；

21、将所述汇总指标值及对应的明细数据标识列表存储于所述聚合数据表的同一数据记录中。

22、优选的，基于所述标准格式数据和状态信息，并结合预设预警规则生成相应的预警信息，包括：

23、从所述聚合数据表中获取所述汇总指标值在预设时间窗口内的多个历史数据点，并获取各历史数据点所对应的状态信息；

24、根据所述状态信息对所述多个历史数据点进行有效性筛选，保留状态信息标识为有效的历史数据点；

25、利用趋势检测算法对经有效性筛选后的多个所述历史数据点进行拟合计算，得到趋势变化量；

26、将所述趋势变化量与预设阈值进行比较；

27、在所述趋势变化量超过预设阈值的情况下，根据所述预设预警规则生成预警信息；所述预警信息包含预警类型、预警等级及触发时间。

28、优选的，所述趋势检测算法包括线性回归算法、移动平均算法或指数平滑算法中的至少一种；

29、所述预设时间窗口的大小为可配置参数，其配置单位包括自然日、工作日或自定义小时数。

30、优选的，响应于数据下钻请求，根据所述明细数据标识列表从所述明细数据表中获取目标明细数据；

31、在所述明细数据表中未存储所述目标明细数据的情况下，利用所述明细数据标识生成跳转链接；所述跳转链接指向所述异构数据源中对应的原始数据页面。

32、优选的，在响应于数据下钻请求之前，还包括：

33、响应于用户对展示界面的悬浮操作，异步获取并展示预设数量的明细数据。

34、优选的，基于所述标准格式数据及所述状态信息，并结合预设预警规则生成相应的预警信息之后，还包括：

35、通过消息队列将所述预警信息分发至通知端；

36、所述通知端通过邮件、即时通讯或短消息方式发送所述预警信息，所述预警信息中携带有用于发起数据下钻请求的访问链接。

37、第二方面，提供了一种多源异构项目数据的聚合预警系统，其包括：

38、映射配置模块，其用于获取映射配置信息，所述映射配置信息包含各异构数据源与统一数据模型之间的字段映射关系；

39、数据同步模块，其用于基于增量同步机制从多个异构数据源中获取变更数据，并根据所述映射配置信息将所述变更数据转换为符合所述统一数据模型的标准格式数据；

40、数据存储模块，其用于将所述标准格式数据写入中间存储层，所述中间存储层用于存储与多个所述异构数据源解耦的标准格式数据及其状态信息；

41、智能预警模块，其用于基于所述标准格式数据及所述状态信息，并结合预设预警规则生成相应的预警信息。

42、本技术实施例提供的技术方案带来的有益效果包括：

43、本技术通过建立贯穿数据接入、同步、存储及预警全链路的统一处理机制，将异构数据源的字段映射、变更数据的同步获取、中间存储层的状态管理以及基于状态的预警判断有机整合为协同联动的整体，克服了现有技术中各环节割裂、数据状态无法闭环传递的缺陷。

44、具体而言，本技术通过映射配置信息将异构数据转换为标准格式数据，使后续同步、存储及预警环节均基于统一格式操作，无需重复适配，缩短了新数据源的接入周期，降低了全链路的数据转换开销。

45、本技术通过在中间存储层存储标准格式数据及其状态信息，并在检测到异构数据源发生数据删除时更新记录状态为无效；预警生成时基于该状态信息进行有效性筛选，仅将有效数据纳入趋势计算，排除了已删除或无效数据对预警判断的干扰，提升了预警触发的准确性。本技术还通过在中间存储层设置聚合数据表和明细数据表，将汇总指标值及对应的明细数据标识列表关联存储，使预警触发后能够根据明细数据标识列表快速追溯至目标明细数据，实现了从聚合指标到明细数据的追溯闭。