基于计算节点负载感知的科技信息采集调度系统的制作方法

本发明属于计算机数据处理与分布式任务调度，具体为基于计算节点负载感知的科技信息采集调度系统。

背景技术：

1、科技信息采集系统通常采用任务队列与计算节点资源监测相结合的方式完成分布式调度。系统按照信息源类型、采集周期、数据页数及解析流程生成采集任务，并周期性读取各计算节点的处理器占用率、内存使用量、输入输出等待时间和队列长度，将上述状态转换为节点负载值。调度器依据轮询、最小负载、加权最小队列或预设优先级等规则，将尚未执行的采集任务分配至负载值较低的计算节点。任务进入节点后，依次完成数据访问、内容获取、字段解析、重复信息比对、关联信息抽取及结果写入等处理。部分系统还会依据任务历史执行时长或数据规模，对任务设置资源需求标签，并在节点选择时进行简单匹配。此类方案以调度时刻的节点状态为主要依据，能够在任务进入执行前避免明显的资源集中，但其负载判断通常停留在静态快照层面，未对任务进入节点后不同执行阶段所形成的资源占用变化、资源释放滞后及队列传播过程进行连续描述。

2、为改善静态负载判断带来的分配偏差，现有技术还采用历史统计模型或预测模型估计任务执行时长和资源消耗，并将预测结果与节点当前剩余资源结合形成调度评分。常见实现方式是按照任务类型汇总历史处理器占用、内存驻留时间、数据读取量和平均完成时间，形成任务特征模板，再根据待调度任务的数据规模选择对应模板，计算任务在不同节点上的预计负载。对于科技信息采集中的高优先级任务，系统通常根据采集周期、信息源等级或人工设定顺序提高调度权重，以缩短等待时间。部分方案还在任务执行结束后更新历史均值，使后续预测逐步接近实际执行情况。上述方法仍将节点当前负载、任务预计消耗和任务优先级作为相互独立的评价量，通过线性加权或顺序比较确定节点，难以区分任务自身引起的资源变化、并发任务竞争引起的耦合变化以及前序阶段延迟引起的传播变化，也难以表示不同科技信息在等待过程中持续累积的时效损失。

3、无法在任务分配前同时刻画采集任务进入候选计算节点后的负载传播轨迹与科技信息继续等待所形成的时效损失，导致节点选择依据与任务实际执行过程脱节。科技信息采集任务包含数据访问、内容解析、重复比对和结果写入等多个阶段，各阶段对处理器、内存、输入输出通道及任务队列的占用方式不同，且同一任务在不同并发组合下可能形成不同的资源释放顺序。某一节点在调度时处于低负载状态，并不表示任务进入后仍能维持可恢复的队列状态；若调度器仅依据当前空闲量分配任务，可能使多个具有连续资源占用特征的任务集中到同一节点，形成队列持续增长和资源释放滞后。同时，固定优先级或单独依据任务轻重排序，不能反映信息源更新间隔、历史变更密度、连续采集失败及下游依赖阻塞共同造成的时效累积，容易使资源消耗较高但时效要求较强的任务持续后移。因此，现有方案难以在避免节点持续拥塞与控制科技信息采集滞后之间形成统一、可校正的调度依据。

技术实现思路

1、本发明的目的在于提供基于计算节点负载感知的科技信息采集调度系统，可以解决上述背景技术中的问题。

2、为实现上述目的，本发明采取的技术方案为：

3、基于计算节点负载感知的科技信息采集调度系统，包括任务状态构建模块、负载因果指纹生成模块、信息时效债务生成模块、候选节点推演模块及调度闭环修正模块；

4、所述任务状态构建模块分阶段记录科技信息采集任务的执行轨迹；

5、所述负载因果指纹生成模块依据所述执行轨迹建立任务进入计算节点后的资源占用增量、资源释放滞后及队列传播关系；

6、所述信息时效债务生成模块依据信息源更新状态与任务等待状态形成时效债务；

7、所述候选节点推演模块将待调度任务映射至候选计算节点，结合节点当前任务组合与负载因果指纹生成资源演化轨迹，删除持续拥塞映射，并依据剩余映射的负载传播代价及时效债务消减量确定任务节点映射；

8、所述调度闭环修正模块根据实际执行轨迹与资源演化轨迹之间的可归因偏差更新所述负载因果指纹。

9、优选的，所述负载因果指纹生成模块将每一科技信息采集任务的执行轨迹划分为多个阶段区段，并针对相邻阶段区段建立资源状态转移记录；

10、所述资源状态转移记录至少包括处理器占用增量、内存驻留增量、输入输出等待增量、任务队列长度变化、缓存命中状态变化及资源释放时间差；

11、所述负载因果指纹生成模块依据同类型任务在不同并发任务组合下的资源状态转移记录，提取由任务自身触发的直接负载路径、由共享资源竞争触发的耦合负载路径及由前序阶段延迟触发的传播负载路径，并按照任务类型、数据规模区间及节点执行环境建立具有阶段连接关系的负载因果指纹集合，供所述候选节点推演模块调用。

12、优选的，所述信息时效债务生成模块针对每一待调度任务建立与科技信息源对应的时效状态序列，所述时效状态序列包括信息源历史更新间隔、最近成功采集时刻、历史内容变更密度、连续采集失败次数、已采信息版本差异及下游任务依赖关系；

13、所述信息时效债务生成模块根据当前等待时长在历史更新间隔中的相对位置确定基础债务段，根据历史内容变更密度与连续采集失败次数修正所述基础债务段的累积速率，并依据下游任务依赖关系将任务债务分解为本体债务与依赖阻塞债务，形成随等待状态变化而更新的时效债务序列，供所述候选节点推演模块在候选映射比较时调用。

14、优选的，所述候选节点推演模块针对每一候选计算节点复制节点当前任务组合的阶段状态，并将待调度任务的初始阶段嵌入阶段状态，按照负载因果指纹中的阶段连接关系逐阶段生成处理器占用、内存驻留、输入输出等待及任务队列长度的预测序列；

15、所述候选节点推演模块根据各资源预测序列的持续增长段、资源释放段与队列回落段构造节点恢复轨迹，并将不存在队列回落段、资源释放时刻晚于预定任务窗口或多个资源预测序列同时保持增长的候选映射标记为持续拥塞映射；

16、所述候选节点推演模块从候选映射集合中删除所述持续拥塞映射后，再形成用于任务节点映射判定的剩余映射集合。

17、优选的，所述调度闭环修正模块按照阶段区段对所述实际执行轨迹与所述资源演化轨迹进行时间对齐，生成处理器占用残差、内存驻留残差、输入输出等待残差及队列变化残差；

18、所述调度闭环修正模块利用同一计算节点上并发任务的阶段起止记录识别与并发任务状态同步变化的竞争残差，利用本次采集数据规模与对应历史数据规模之间的差异识别规模突变残差，并将扣除所述竞争残差及所述规模突变残差后的剩余残差标记为任务可归因残差；

19、所述调度闭环修正模块仅依据所述任务可归因残差修正对应任务类型的直接负载路径，并依据所述竞争残差修正所述耦合负载路径，保持所述传播负载路径与所述阶段连接关系分别更新。

20、优选的，所述信息时效债务生成模块将所述下游任务依赖关系表示为由采集任务节点和依赖边组成的任务依赖图，并在所述依赖边中记录前序采集结果被后序解析、关联抽取或索引写入任务调用的版本标识；

21、当多个待调度任务共同阻塞同一后序任务时，所述信息时效债务生成模块根据各前序任务尚未提供的数据范围将所述依赖阻塞债务划分为互斥债务片段与重叠债务片段，对所述重叠债务片段仅保留一次债务记录，并按照各前序任务的数据覆盖比例建立债务归属关系；

22、所述候选节点推演模块在任一前序任务完成映射后，依据完成任务所释放的数据范围从所述任务依赖图中扣减对应债务片段，并同步更新其余待调度任务的时效债务序列。

23、优选的，所述候选节点推演模块针对所述剩余映射集合分别提取负载传播代价、节点恢复时长、时效债务消减量及依赖阻塞债务释放量，按照所述负载传播代价与所述节点恢复时长构造资源约束维度，按照所述时效债务消减量与所述依赖阻塞债务释放量构造时效收益维度；

24、所述候选节点推演模块先删除在两个维度上同时被另一映射方案支配的候选映射，再根据各候选映射对应的资源预测序列与节点既有任务释放时刻确定可插入执行区间，并在所述可插入执行区间内按照各任务时效债务的增长次序确定任务启动顺序；

25、当多个候选映射具有相同启动次序时，选择负载传播路径与节点既有任务负载路径重叠程度低的任务节点映射。

26、优选的，所述候选节点推演模块对同一调度周期内的多个待调度任务建立任务间负载干扰矩阵，所述任务间负载干扰矩阵的元素由两个任务的资源演化轨迹在阶段重叠期间形成的共享资源占用增量生成；

27、所述候选节点推演模块根据各待调度任务的时效债务建立债务增长顺序，并依据所述债务增长顺序逐个加入任务节点映射，每加入一个任务节点映射即利用所述任务间负载干扰矩阵修正其余候选映射的资源演化轨迹；

28、当修正后的资源演化轨迹被标记为所述持续拥塞映射时，撤销最近加入且所述依赖阻塞债务释放量小的任务节点映射，并将对应任务移入下一可插入执行区间，直至形成不包含所述持续拥塞映射的批次调度序列。

29、优选的，所述调度闭环修正模块为每一直接负载路径、耦合负载路径及传播负载路径分别维护由样本数量、残差方向一致度及节点环境覆盖度构成的更新可信状态；

30、当所述任务可归因残差连续指向同一资源变化方向且对应节点环境覆盖度满足更新条件时，所述调度闭环修正模块将所述任务可归因残差写入候选指纹版本，并利用所述候选指纹版本重新推演最近多个已完成任务的资源演化轨迹；

31、所述候选指纹版本仅在重演轨迹与实际执行轨迹的阶段偏差小于原指纹版本且未新增持续拥塞误判时替换原指纹版本，否则保留原指纹版本并将对应残差转入待复核残差集合，供后续同类型任务执行轨迹进行联合归因。

32、优选的，所述调度闭环修正模块在所述批次调度序列执行期间按照阶段区段接收各计算节点的实际资源状态，并将所述实际资源状态与对应资源演化轨迹连续对齐；

33、当任一计算节点的队列回落时刻后移且未启动任务的时效债务持续增长时，所述调度闭环修正模块冻结尚未进入数据访问阶段且时效债务低的任务节点映射，保持已经进入内容解析阶段的任务继续执行，并将被冻结任务按照更新后的时效债务重新加入所述候选节点推演模块；

34、所述候选节点推演模块以未完成任务的剩余阶段作为初始阶段重新生成资源演化轨迹，并依据更新后的任务间负载干扰矩阵及所述可插入执行区间形成后续批次调度序列。

35、与现有技术相比，本发明的有益效果在于：

36、1.通过对科技信息采集任务的历史执行轨迹进行阶段划分，建立包含资源占用增量、资源释放滞后、队列传播关系及并发耦合关系的负载因果指纹，并在任务分配前将待调度任务分别映射至候选计算节点，生成对应的资源演化轨迹。候选节点的处理器占用、内存驻留、输入输出等待和队列变化由任务阶段连接关系连续推演，节点恢复轨迹中不存在队列回落段、资源释放时刻超出任务窗口或多个资源序列持续增长的映射被排除。与此同时，系统根据信息源历史更新间隔、最近成功采集时刻、内容变更密度、连续失败状态及下游依赖关系形成信息时效债务，并在剩余候选映射中结合负载传播代价与时效债务消减量确定任务节点映射。由此，节点当前处于空闲状态但任务进入后可能形成持续拥塞的分配结果不会进入执行序列，等待时间增长较快且对下游任务形成阻塞的采集任务也不会因资源消耗较高而被长期延后，使节点可恢复性与科技信息时效性在同一调度过程中得到协调。

37、2.任务执行完成后，系统按照执行阶段将实际资源状态与预先生成的资源演化轨迹进行时间对齐，分别识别任务自身造成的残差、并发任务竞争造成的残差及数据规模突变造成的残差，并仅利用具有对应归因关系的残差修正直接负载路径、耦合负载路径和传播负载路径。通过候选指纹版本重演历史任务轨迹，并在阶段偏差减小且未新增持续拥塞误判时完成版本替换，可减少偶发资源波动对后续调度模型的干扰。对于同一调度周期内的多个待调度任务，系统利用任务间负载干扰矩阵持续修正后续候选映射，并结合节点既有任务释放时刻确定可插入执行区间；在执行过程中，当队列回落时刻后移时，尚未进入数据访问阶段且时效债务较低的任务被重新参与候选节点推演，而已进入内容解析阶段的任务保持连续执行。上述处理使批次任务之间的资源竞争关系能够随实际状态更新，并将调度调整限制在尚未形成中间处理状态的任务范围内，减少重复执行、无效迁移及二次拥塞。