一种企业数据实时采集与指标计算协同处理方法及系统与流程
本发明涉及数据处理,具体涉及一种企业数据实时采集与指标计算协同处理方法及系统。
背景技术:
1、在企业生产执行、设备运维和业务数据归档过程中,数据采集任务通常按照设定的采集范围和执行周期运行。一次采集任务完成后,会形成用于记录任务完成状态和完成时间的批次数据;采集所得业务内容则以应用层二进制数据包传送至后续处理节点。为掌握采集任务的执行数量和实际数据处理规模,处理节点需要按照时间统计已完成采集批次的数量以及接收数据包的字节数量。该类统计结果可用于表示不同时段的数据采集负载,并为存储、传输及后续计算提供时间维度的基础数据。
2、在需要同时兼顾统计范围和更新频率时,指标统计范围通常大于指标更新间隔,由此形成彼此重叠的时间窗。例如,统计范围为60min、更新间隔为30min时,相邻时间窗具有连续30min的公共时间区间。如果每次更新均重新读取当前时间窗内的全部批次数据和数据包,则公共时间区间内已经完成的标识去重、字节序列读取和字节数量累加会再次执行。采用前一时间窗指标进行增量更新可以减少重复处理,但如果只保存前后时间窗的净变化,移出时间区间与移入时间区间的同量数值会相互抵消。
3、在按照固定周期执行采集任务的场景中,不同时间区间出现相同批次数量或者相近数据规模属于正常情况。例如,前一时间窗移出包含35个采集批次和2.46×104b数据的时间区间,后一时间窗移入另一个具有相同批次数量和数据包字节数的时间区间时,窗口指标及其净变化均保持不变,但移入和移出的批次标识、数据包标识及字节序列可能不同。因此,需要解决的核心技术问题是:如何在复用重叠时间窗公共时间区间已有统计结果的同时,保留移出数据与移入数据的更新方向和非零处理规模,使同量移出与同量移入不会因净变化抵消而在窗口更新过程中被遗漏。
技术实现思路
1、本发明提供了一种企业数据实时采集与指标计算协同处理方法及系统,解决了重叠时间窗递推更新过程中,如何在复用共享统计时段已有计算结果的同时,完整保留等量移出和等量移入所对应的非零窗口边界处理信息这一技术问题。
2、一种企业数据实时采集与指标计算协同处理方法,包括:获取采集批次数据项和采集数据包,按照时间将所述采集批次数据项和所述采集数据包归入连续且持续时间相同的等长统计时段,分别得到时段批次数量和时段数据包字节数;将每一等长统计时段与其后一等长统计时段构成重叠时间窗,将首个重叠时间窗内的同种时段数值相加,得到窗口指标;针对相邻重叠时间窗,从前一重叠时间窗的窗口指标中移除所述前一重叠时间窗具有而后一重叠时间窗不具有的移出统计时段的对应数值,并加入所述后一重叠时间窗新增的移入统计时段的对应数值,得到后一重叠时间窗的窗口指标;以所述移入统计时段的对应数值相对于所述移出统计时段的对应数值确定窗口更新方向差值,并将所述移入统计时段与所述移出统计时段的对应数值相加,得到窗口更新总量。
3、本发明的有益效果体现在:
4、本发明将采集批次数据项和采集数据包按照时间归入连续且持续时间相同的等长统计时段,分别得到时段批次数量和时段数据包字节数,再由每一等长统计时段与其后一等长统计时段组成重叠时间窗。首个重叠时间窗通过所含时段数值相加得到窗口指标;形成后一重叠时间窗时,从前一窗口指标中移除前一窗口具有而后一窗口不再具有的移出统计时段数值,并加入后一窗口新增的移入统计时段数值。共享统计时段的聚合结果随前一窗口指标继续复用,因而不需要在每次窗口移动时重新读取共享统计时段内的批次标识和数据包字节序列;递推所得窗口指标仍与直接累加后一窗口所含时段数值得到的结果一致。
5、本发明还使用同一组移出统计时段数值和移入统计时段数值,分别确定窗口更新方向差值和窗口更新总量。窗口更新方向差值用于表示移入数值相对于移出数值的增减方向,窗口更新总量用于表示两侧非负数值共同形成的窗口边界处理规模。当移入统计时段数值与移出统计时段数值相等且二者不同时为0时,窗口更新方向差值为0,窗口更新总量仍为非零数值。由此,本发明既能够减少共享统计时段数据的重复处理,又能够避免等量移出和等量移入因净变化抵消而丢失其非零处理规模,并为后续分段边界确定和连续更新段提取提供可复核的整数数据。
1.一种企业数据实时采集与指标计算协同处理方法,其特征在于,方法包括:
2.根据权利要求1所述的企业数据实时采集与指标计算协同处理方法,其特征在于,所述采集批次数据项包括数据源标识、批次标识和采集完成时间,所述采集数据包包括数据源标识、数据包标识、接收完成时间和数据包字节序列;
3.根据权利要求1所述的企业数据实时采集与指标计算协同处理方法,其特征在于,以一个已经完成的等长统计时段边界作为计算周期结束时间,从所述计算周期结束时间向前选取连续时间范围作为当前分析期间;
4.根据权利要求2所述的企业数据实时采集与指标计算协同处理方法,其特征在于,将缺少有效必要字段的采集批次数据项或者采集数据包写入待补数据表,并排除在当前计算周期之外;
5.根据权利要求1所述的企业数据实时采集与指标计算协同处理方法,其特征在于,从后一重叠时间窗的同种窗口指标中移除移入统计时段的对应数值,并加入移出统计时段的对应数值,得到反向恢复数值;
6.根据权利要求1所述的企业数据实时采集与指标计算协同处理方法,其特征在于,分别生成批次数量窗口指标和数据包字节数窗口指标,并分别生成所述批次数量窗口指标和所述数据包字节数窗口指标对应的窗口更新方向差值及窗口更新总量;
7.根据权利要求1所述的企业数据实时采集与指标计算协同处理方法,其特征在于,针对每种窗口指标,将同种非零窗口更新总量去重后升序排列;
8.根据权利要求7所述的企业数据实时采集与指标计算协同处理方法,其特征在于,将具有共同窗口更新位置且均已得到恢复点的批次数量连续更新段和数据包字节数连续更新段组成连续更新段对;
9.根据权利要求4所述的企业数据实时采集与指标计算协同处理方法,其特征在于,根据覆盖前记录和覆盖后记录的时间字段确定受影响的等长统计时段,重新计算所述受影响的等长统计时段的时段批次数量或者时段数据包字节数;
10.一种企业数据实时采集与指标计算协同处理系统,其特征在于,系统用于实现如权利要求1至权利要求9中任意一项所述的企业数据实时采集与指标计算协同处理方法,包括处理器、存储器、数据映射模块、窗口更新处理模块和时间协同输出模块;
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com