基于智能调度的分布式日志采集方法及系统与流程

本发明涉及数据处理，尤其涉及基于智能调度的分布式日志采集方法及系统。

背景技术：

1、在分布式日志采集技术领域，现有常规做法通常采用固定资源配额或基于阈值触发的动态调整策略。系统预先为各采集节点分配静态的计算与存储资源，或根据实时负载与历史均值的偏差执行缩放操作。部分方案引入基于时间序列的预测模型，例如自回归移动平均模型或指数平滑方法，对日志产生量进行短期预估，并据此调整采集线程数或缓存容量。然而，这些方法普遍忽视日志产生量在时域与空域上的多维度耦合特征。

2、常规做法存在两个显著缺陷。一方面，其预测模型多建立在单一时间尺度或全局统计假设之上，难以区分并处理日志产生量中蕴含的周期性波动、突发性突增以及长期趋势变化。例如，夜间流量低谷与促销活动引发的突发高峰具有截然不同的预测需求，现有单一粒度模型往往在捕获此类混合模式时产生较大偏差，导致资源预留过度或不足。另一方面，资源调配机制通常表现为被动响应式，即在负载攀升后触发调整动作，缺乏对峰谷转移的预判能力。这使得采集资源无法在负载峰值抵达前完成迁移部署，也难以及时回收冗余资源，造成采集延迟、数据丢失或资源浪费等现象。此外，现有方案对各采集节点间时空关联性的利用不足，难以形成全局协调的协同调度效果。

技术实现思路

1、本发明实施例提供基于智能调度的分布式日志采集方法及系统，能够解决现有技术中的问题。

2、本发明实施例的第一方面，提供基于智能调度的分布式日志采集方法，包括：

3、对分布式环境中多个日志源的日志产生量数据进行时空锚点定位采样，按照预设时间粒度和空间粒度进行稀疏张量构建，得到历史日志产生量张量；

4、基于所述历史日志产生量张量构建多层级时空热力图模型，通过张量分解与秩约简识别周期性波动模式、突发性波动模式和趋势性变化模式，将各模式通过同胚映射构造至不同粒度层的热力图表征中；

5、基于所述热力图表征进行多粒度并行推演，通过贝叶斯证据整合各粒度层的推演结果得到综合预测日志产生量分布；

6、根据所述综合预测日志产生量分布生成潮汐式资源调配方案，求解使采集资源在负载峰值到来前完成迁移部署且在负载回落后完成资源回收的最优流转路径和流转时刻；

7、按照所述资源调配方案对各采集节点执行资源迁移操作，并持续获取实际日志产生量数据；

8、当所述实际日志产生量数据与所述综合预测日志产生量分布之间的时空偏差度量值超出容忍范围时，通过梯度场追踪时空区域特征，在李雅普诺夫稳定性约束下对所述热力图表征进行参数迭代更新。

9、对分布式环境中多个日志源的日志产生量数据进行时空锚点定位采样，按照预设时间粒度和空间粒度进行稀疏张量构建，得到历史日志产生量张量包括：

10、在预设历史时间窗口内，对各日志源的日志产生量数据按照哈希函数映射至时空网格坐标系，基于所述时空网格坐标系中各网格单元的负载密度梯度识别时空锚点候选集；

11、对所述时空锚点候选集中的候选锚点进行互信息量化评估，计算各候选锚点与其邻域锚点之间的时空依赖强度，保留时空依赖强度超过预设依赖阈值的候选锚点作为有效时空锚点；

12、以所述有效时空锚点为采样中心，按照预设时间粒度在时间维度上构建时间索引序列，按照预设空间粒度在空间维度上构建空间索引序列，将采样获得的日志产生量数值填充至所述时间索引序列和所述空间索引序列对应的张量元素位置；

13、对未被所述有效时空锚点覆盖的张量元素位置进行零值填充或标记删除，通过坐标列表格式存储非零张量元素的索引坐标与数值，构建历史日志产生量张量的稀疏表示。

14、基于所述历史日志产生量张量构建多层级时空热力图模型，通过张量分解与秩约简识别周期性波动模式、突发性波动模式和趋势性变化模式，将各模式通过同胚映射构造至不同粒度层的热力图表征中包括：

15、对历史日志产生量张量进行高阶张量分解，将所述历史日志产生量张量分解为核心张量与时间因子矩阵和空间因子矩阵的张量积形式；

16、对所述核心张量执行秩约简操作，通过奇异值分解提取所述核心张量在时间维度和空间维度上的主导奇异值与对应的奇异向量，根据所述主导奇异值的频谱分布特性将所述奇异向量划分为周期性模式向量集、突发性模式向量集和趋势性模式向量集；

17、将所述周期性模式向量集通过傅里叶基函数的同胚映射构造为日粒度层的周期性热力图表征，将所述突发性模式向量集通过小波基函数的同胚映射构造为小时粒度层的突发性热力图表征，将所述趋势性模式向量集通过多项式基函数的同胚映射构造为分钟粒度层的趋势性热力图表征。

18、基于所述热力图表征进行多粒度并行推演，通过贝叶斯证据整合各粒度层的推演结果得到综合预测日志产生量分布包括：

19、针对目标预测时段，分别提取日粒度层的热力图表征、小时粒度层的热力图表征和分钟粒度层的热力图表征中的时空热力强度场，基于所述时空热力强度场在历史时间窗口内的演化轨迹构建各粒度层的动力学推演方程；

20、利用所述日粒度层的动力学推演方程对所述目标预测时段进行正向迭代计算得到日粒度推演结果，利用所述小时粒度层的动力学推演方程对所述目标预测时段进行正向迭代计算得到小时粒度推演结果，利用所述分钟粒度层的动力学推演方程对所述目标预测时段进行正向迭代计算得到分钟粒度推演结果；

21、计算所述日粒度推演结果、所述小时粒度推演结果和所述分钟粒度推演结果各自在历史验证时段内的后验概率分布，将所述后验概率分布作为贝叶斯证据权重；

22、通过贝叶斯证据加权算子，根据所述日粒度推演结果的贝叶斯证据权重、所述小时粒度推演结果的贝叶斯证据权重和所述分钟粒度推演结果的贝叶斯证据权重，对所述日粒度推演结果、所述小时粒度推演结果和所述分钟粒度推演结果进行概率空间上的凸组合，得到综合预测日志产生量分布。

23、根据所述综合预测日志产生量分布生成潮汐式资源调配方案，求解使采集资源在负载峰值到来前完成迁移部署且在负载回落后完成资源回收的最优流转路径和流转时刻包括：

24、对综合预测日志产生量分布进行时序分段拟合，识别所述综合预测日志产生量分布中日志产生量曲率发生突变的拐点时刻，将所述拐点时刻中曲率由负向正转变的时刻标记为负载峰值到来前时刻，将所述拐点时刻中曲率由正向负转变的时刻标记为负载回落后时刻；

25、基于所述负载峰值到来前时刻与所述负载回落后时刻构建资源流转时间窗口，在所述资源流转时间窗口内建立采集资源在各日志源之间的有向流转拓扑网络；

26、针对所述有向流转拓扑网络，构建使采集资源从当前部署位置迁移至目标部署位置的时间-成本联合约束方程，通过动态规划求解器对所述时间-成本联合约束方程进行多阶段决策求解，在满足所述时间-成本联合约束方程的前提下求得流转成本最小的最优流转路径和流转时刻。

27、通过动态规划求解器对所述时间-成本联合约束方程进行多阶段决策求解，在满足所述时间-成本联合约束方程的前提下求得流转成本最小的最优流转路径和流转时刻包括：

28、将资源流转时间窗口按照有向流转拓扑网络中节点的拓扑层级关系划分为多个决策阶段，各决策阶段对应采集资源在拓扑层级间的一次状态跃迁；

29、针对各决策阶段，构建该决策阶段的状态空间与决策空间，基于所述状态空间与所述决策空间建立阶段间的价值传递函数，所述价值传递函数根据前一决策阶段的最优累积流转成本与当前决策阶段的局部流转成本计算当前决策阶段各部署位置的候选累积流转成本；

30、在所述价值传递函数的计算过程中嵌入时间-成本联合约束方程的可行性检验机制，根据候选累积流转成本对应的流转时刻是否满足所述时间-成本联合约束方程对该候选累积流转成本进行剪枝；

31、通过逆向动态规划迭代从最终决策阶段向初始决策阶段依次更新各决策阶段的最优累积流转成本，在迭代完成后通过正向回溯提取使最终决策阶段的最优累积流转成本达到全局最小的部署位置转移序列作为最优流转路径，提取所述最优流转路径中各决策阶段的状态跃迁时刻作为流转时刻。

32、当所述实际日志产生量数据与所述综合预测日志产生量分布之间的时空偏差度量值超出容忍范围时，通过梯度场追踪时空区域特征，在李雅普诺夫稳定性约束下对所述热力图表征进行参数迭代更新包括：

33、计算实际日志产生量数据与综合预测日志产生量分布在时空网格上的逐点偏差，将所述逐点偏差按照空间维度与时间维度组织为时空偏差场，对所述时空偏差场进行梯度算子运算得到时空偏差梯度场；

34、沿所述时空偏差梯度场的最大梯度方向进行梯度追踪，识别所述时空偏差场中梯度模值超过容忍阈值的时空区域作为偏差聚集区域，提取所述偏差聚集区域对应的热力图表征参数作为待更新参数；

35、构建李雅普诺夫能量函数，通过梯度下降法对所述待更新参数进行迭代调整，在迭代过程中持续验证所述李雅普诺夫能量函数的导数保持负定性以保证参数更新过程的稳定收敛性，将迭代收敛后的待更新参数回填至所述热力图表征中完成参数迭代更新。

36、本发明实施例的第二方面，提供一种基于智能调度的分布式日志采集系统，包括：

37、采样构建单元，用于对分布式环境中多个日志源的日志产生量数据进行时空锚点定位采样，按照预设时间粒度和空间粒度进行稀疏张量构建，得到历史日志产生量张量；

38、热力建模单元，用于基于所述历史日志产生量张量构建多层级时空热力图模型，通过张量分解与秩约简识别周期性波动模式、突发性波动模式和趋势性变化模式，将各模式通过同胚映射构造至不同粒度层的热力图表征中；

39、推演整合单元，用于基于所述热力图表征进行多粒度并行推演，通过贝叶斯证据整合各粒度层的推演结果得到综合预测日志产生量分布；

40、资源调度单元，用于根据所述综合预测日志产生量分布生成潮汐式资源调配方案，求解使采集资源在负载峰值到来前完成迁移部署且在负载回落后完成资源回收的最优流转路径和流转时刻；

41、迁移监测单元，用于按照所述资源调配方案对各采集节点执行资源迁移操作，并持续获取实际日志产生量数据；

42、偏差修正单元，用于当所述实际日志产生量数据与所述综合预测日志产生量分布之间的时空偏差度量值超出容忍范围时，通过梯度场追踪时空区域特征，在李雅普诺夫稳定性约束下对所述热力图表征进行参数迭代更新。

43、本发明实施例的第三方面，提供一种电子设备，包括：

44、处理器；

45、用于存储处理器可执行指令的存储器；

46、其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。

47、本发明实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。

48、基于稀疏张量构建与多层级时空热力图模型，能够充分捕获分布式日志源在时间和空间维度上的动态特征，显著提升日志产生量预测的准确性。通过张量分解与秩约简，有效识别周期性、突发性和趋势性变化模式，并以同胚映射的方式在不同粒度层上统一表征热力信息，使得预测模型对复杂、非平稳的日志生产行为具有更强的鲁棒性。

49、多粒度并行推演结合贝叶斯证据整合，从粗细不同尺度综合评估日志产生量的分布，有效降低单一粒度推演导致的偏差与随机波动影响，形成更为可靠的综合预测结果。该预测体系能够提前感知负载变化趋势，为资源调度提供精准的数据支撑，避免因预测误差造成的资源冗余或不足。

50、依据综合预测分布生成的潮汐式资源调配方案，通过求解最优流转路径与时刻，确保采集资源在负载峰值前完成迁移部署，并在负载回落后及时回收，实现各采集节点计算和存储资源的高效循环利用。该方案显著降低资源总量需求，同时在动态环境中保持采集实时性与数据完整性的平衡。