一种面向数据采集任务的管控方法、电子设备和存储介质与流程

本申请涉及数据采集任务管控，具体提供一种面向数据采集任务的管控方法、电子设备和存储介质。

背景技术：

1、面向数据采集任务的管理是对采集作业开展全生命周期管控，覆盖任务执行、异常处理与验收等流程。随着物联网与人工智能技术的普及，采集场景日趋复杂，传统的粗放式管理模式已难以应对多要素协同作业的挑战。

2、目前，现有技术中的数据采集任务管控方法包括人工管控和自动化调度。其中，人工管控过程中，设备状态、人员安排、任务进度和数据质量等信息分散，采集异常类型多样，需要在多个系统之间确认原因，使得异常检测与协同调度效率较低。自动化调度一般通过引入部分自动化手段进行任务管理，例如，通过设备遥测监控、脚本执行编排及固定阈值质检等自动化手段，能够实现对设备离线、脚本报错或数据格式错误的检测，在一定程度上实现了自动化监控，但是异常检测局限于单一维度，难以对跨维度的复合型异常进行归因，导致异常检测与协同调度效率较低。

3、综上，现有技术中的数据采集任务管控方法的工作效率较低。

4、相应地，本领域需要一种新的面向数据采集任务的管控方案来解决上述问题。

技术实现思路

1、为了克服上述缺陷，提出了本申请，以解决或至少部分地解决以下技术问题：现有技术中的数据采集任务管控方法的工作效率较低。

2、在第一方面，本申请提供一种面向数据采集任务的管控方法，包括：

3、获取目标数据采集任务的多个关联要素，根据各关联要素之间的关联映射关系生成结构化模型；其中，所述关联要素包括采集对象、采集设备、采集人员、脚本版本、数据质量规则、任务优先级及交付约束；

4、基于所述结构化模型，持续采集各所述关联要素的实时状态；

5、根据预设检测条件对所述实时状态进行检测，并识别出异常状态；

6、根据所述结构化模型中多个关联要素之间的关联映射关系，将所述异常状态进行归类，并计算每一类异常状态对应的影响范围和紧急程度；

7、根据每一类异常状态对应的影响范围和紧急程度，结合历史处置策略，根据所述实时状态确定的资源可用性，以及所述任务优先级生成调度决策方案；

8、根据所述调度决策方案的执行结果对所述历史处置策略进行调整。

9、可选的，所述基于所述结构化模型，持续采集各所述关联要素的实时状态，包括：采集所述采集设备的在线状态与运行参数、所述采集人员的反馈信息、所述脚本版本的执行日志、所述采集对象的数据上传状态、基于所述数据质量规则对采集过程进行实时监测得到的进度数据，以及基于所述交付约束确定的剩余时间窗。

10、可选的，所述根据预设检测条件对所述实时状态进行检测，并识别出异常状态，包括：基于所述数据质量规则确定出包括数据采集完整性、时序连续性、数据格式、标注要求、采集覆盖率及数据质量阈值的预设检测条件；根据预设检测条件对所述实时状态进行匹配校验，将不符合所述预设检测条件的状态判定为异常状态。

11、可选的，所述根据所述结构化模型中多个关联要素之间的关联映射关系，将所述异常状态进行归类，并计算每一类异常状态对应的影响范围和紧急程度，包括：基于所述采集对象、采集设备、采集人员及脚本版本之间的任务绑定关系，确定所述异常状态所属的任务单元；根据所述任务单元在所述结构化模型中的关联层级，确定受影响的采集对象范围与任务范围；结合所述任务优先级、所述交付约束中的剩余时间窗与所述影响范围，计算所述异常状态的紧急程度。

12、可选的，所述根据每一类异常状态对应的影响范围和紧急程度，结合历史处置策略，根据所述实时状态确定的资源可用性，以及所述任务优先级生成调度决策方案，包括：根据所述影响范围和所述紧急程度，对所述任务优先级进行动态修正，得到修正后的任务执行序列；基于所述修正后的任务执行序列，结合当前所述采集设备和所述采集人员的可用性状态，以及所述历史处置策略，确定处置动作；根据所述交付约束中的剩余时间窗，对所述处置动作进行时序编排，生成所述调度决策方案。

13、可选的，所述处置动作包括：重试指令、补采指令、任务改派指令、执行时序重排指令、跳过低风险采集节点指令以及转人工确认指令。

14、可选的，所述根据所述调度决策方案的执行结果对所述历史处置策略进行调整，包括：获取所述调度决策方案执行后的补采完成状态与数据质量验收结果；基于所述补采完成状态与所述数据质量验收结果，判断当前所述调度决策方案是否满足预设有效条件；将满足所述预设有效条件的调度决策方案，按异常类型、影响范围与紧急程度的对应关系存储，并作为可调用的处置规则；根据所述可调用的处置规则对所述历史处置策略进行调整。

15、可选的，在所述生成调度决策方案之后，所述方法还包括：将所述调度决策方案和对应的异常证据信息传输至协同终端；基于人工确认后的信息执行所述调度决策方案，或者，基于人工修改后的信息重新生成调度决策方案。

16、在第二方面，提供一种电子设备，该电子设备包括至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器中存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现上述面向数据采集任务的管控方法的技术方案中任一项技术方案所述的方法。

17、在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述面向数据采集任务的管控方法的技术方案中任一项技术方案所述的方法。

18、本申请上述一个或多个技术方案，至少具有如下一种或多种有益效果：

19、在实施本申请提供的面向数据采集任务的管控方法技术方案中，通过获取目标数据采集任务的多个关联要素，根据各关联要素之间的关联映射关系生成结构化模型，基于结构化模型，持续采集各关联要素的实时状态；根据预设检测条件对所述实时状态进行检测，并识别出异常状态；根据结构化模型中多个关联要素之间的关联映射关系，将异常状态进行归类，并计算每一类异常状态对应的影响范围和紧急程度；根据每一类异常状态对应的影响范围和紧急程度，结合历史处置策略，根据实时状态确定的资源可用性，以及任务优先级生成调度决策方案；根据调度决策方案的执行结果对历史处置策略进行调整。其中，通过构建融合多个关联要素的结构化模型，能够将分散的数据采集任务信息通过确定的关联映射关系统一管理，消除任务信息分散割裂问题，实现任务信息标准化集中管控，便于进行联合分析。另外，通过关联映射关系对异常状态进行归类，能够精准量化异常的影响范围与紧急程度，同时结合历史处置策略、实时资源可用性与任务优先级的联合决策，实现多维度信息联动分析，提升异常定位与处置效率。

1.一种面向数据采集任务的管控方法，其特征在于，包括：

2.根据权利要求1所述的面向数据采集任务的管控方法，其特征在于，所述基于所述结构化模型，持续采集各所述关联要素的实时状态，包括：

3.根据权利要求1所述的面向数据采集任务的管控方法，其特征在于，所述根据预设检测条件对所述实时状态进行检测，并识别出异常状态，包括：

4.根据权利要求1所述的面向数据采集任务的管控方法，其特征在于，所述根据所述结构化模型中多个关联要素之间的关联映射关系，将所述异常状态进行归类，并计算每一类异常状态对应的影响范围和紧急程度，包括：

5.根据权利要求1所述的面向数据采集任务的管控方法，其特征在于，所述根据每一类异常状态对应的影响范围和紧急程度，结合历史处置策略，根据所述实时状态确定的资源可用性，以及所述任务优先级生成调度决策方案，包括：

6.根据权利要求5所述的面向数据采集任务的管控方法，其特征在于，所述处置动作包括：重试指令、补采指令、任务改派指令、执行时序重排指令、跳过低风险采集节点指令以及转人工确认指令。

7.根据权利要求1所述的面向数据采集任务的管控方法，其特征在于，所述根据所述调度决策方案的执行结果对所述历史处置策略进行调整，包括：

8.根据权利要求1所述的面向数据采集任务的管控方法，其特征在于，在所述生成调度决策方案之后，所述方法还包括：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至8中任一项所述的面向数据采集任务的管控方法。