基于分布式存储的大数据业务管理系统的制作方法

技术特征：
1.一种基于分布式存储的大数据业务管理系统，其特征在于，该系统包括以下模块：时延适宜性获取模块，用于获取每个工单会话在上次同步后至下次同步前的时间段内的时延数据，将所有的时延数据构成数据集，基于数据集获取工单会话的时延适宜性；同步条件稳定性获取模块，用于获取每个工单会话在上次同步时的多个采样时刻的差分数据量，根据所述差分数据量以及所述时延适宜性获取工单会话的同步条件稳定性；分组模块，用于根据每个工单会话的时延适宜性和同步条件稳定性获取任意两个工单会话的差异距离，基于所述差异距离将所有工单会话划分为正常组和异常组；典型度获取模块，用于获取每个工单会话的工单语义描述子，对于正常组和异常组，基于分组内每个工单会话的所述工单语义描述子获取任意两个工单会话的差分数据变化趋势；根据分组内每个工单会话对应的所有差分数据变化趋势之和得到对应工单会话的典型度；同步策略确定模块，用于根据正常组内每个工单会话的典型度获取差分数据量的正常波动区间，根据异常组内每个工单会话的典型度获取差分数据量的异常波动区间；利用lstm预测网络获取工单会话待同步过程的预测差分数据量，基于所述预测差分数据量、所述正常波动区间以及所述异常波动区间确定同步策略。2.根据权利要求1所述的一种基于分布式存储的大数据业务管理系统，其特征在于，所述时延适宜性获取模块中基于数据集获取工单会话的时延适宜性的方法，包括;获取所述数据集中所有时延数据的平均值与方差，计算所述平均值与预设的适宜时延大小之间的差值，基于所述差值和所述方差获取所述时延适宜性；所述时延适宜性与所述差值呈负相关关系，所述时延适宜性与所述方差呈负相关关系。3.根据权利要求1所述的一种基于分布式存储的大数据业务管理系统，其特征在于，所述同步条件稳定性获取模块中根据所述差分数据量以及所述时延适宜性获取工单会话的同步条件稳定性的方法，包括：获取所述工单会话对应的所有差分数据量的变化极差，所述变化极差是指最后一个采样时刻的差分数据量与第一个采样时刻的差分数据量的差值；获取所述工单会话对应的所有差分数据量中每相邻两个采样时刻对应的差分数据量的差值绝对值作为差分值，选取所有差分值中的最大值，计算差分值的最大值与所述变化极差的求和结果；根据所述求和结果与所述时延适宜性获取工单会话的同步条件稳定性，所述同步条件稳定性与所述求和结果呈负相关关系，所述同步条件稳定性与所述时延适宜性呈正相关关系。4.根据权利要求1所述的一种基于分布式存储的大数据业务管理系统，其特征在于，所述分组模块中根据每个工单会话的时延适宜性和同步条件稳定性获取任意两个工单会话的差异距离的方法，包括：获取任意两个工单会话对应的同步条件稳定性之间的差值的平方结果，计算两个工单会话对应的动态时间规整距离；以所述平方结果的负数作为幂指数得到指数函数；根据所述指数函数以及所述动态时间规整距离得到所述差异距离；
所述差异距离与所述指数函数呈正相关关系，所述差异距离与所述动态时间规整距离呈负相关关系。5.根据权利要求3所述的一种基于分布式存储的大数据业务管理系统，其特征在于，所述典型度获取模块中基于分组内每个工单会话的所述工单语义描述子获取任意两个工单会话的差分数据变化趋势的方法，包括：计算分组中每两个工单会话对应差分数据量之间的形态相似距离；将两个工单会话对应的变化极差进行作差并求取绝对值得到差异值；获取两个工单会话对应语义描述子之间的相似性；以所述形态相似距离的负数作为幂指数构建指数函数，将所述指数函数与所述相似性相乘得到乘积结果，所述乘积结果与所述差异值的比值为两个工单会话的差异数据变化趋势。6.根据权利要求1所述的一种基于分布式存储的大数据业务管理系统，其特征在于，所述同步策略确定模块中根据正常组内每个工单会话的典型度获取差分数据量的正常波动区间的方法，包括：将正常组中所有工单会话的典型度进行降序排列，降序排列后的前5个典型度对应的工单会话为参考样本，将参考样本对应的差分数据量构成差分数据量的正常波动区间。7.根据权利要求1所述的一种基于分布式存储的大数据业务管理系统，其特征在于，所述同步策略确定模块中根据异常组内每个工单会话的典型度获取差分数据量的异常波动区间的方法，包括：将异常组中所有工单会话的典型度进行升序排列，升序排列后的前5个典型度对应的工单会话为异常样本，将异常样本对应的差分数据量构成差分数据量的异常波动区间。8.根据权利要求1所述的一种基于分布式存储的大数据业务管理系统，其特征在于，所述同步策略确定模块中lstm预测网络的训练数据为正常组中工单会话对应的差分数据量。

技术总结
本发明涉及电数字数据处理技术领域，具体涉及一种基于分布式存储的大数据业务管理系统，该系统包括：时延适宜性获取模块、同步条件稳定性获取模块、分组模块、典型度获取模块以及同步策略确定模块；时延适宜性获取模块用于获取每个工单会话对应的时延数据进而获取每个工单会话的时延适宜性；同步条件稳定性获取模块用于获取每个工单会话的差分数据量，并结合时延适宜性得到同步条件稳定性；分组模块用于将所有的工单会话进行分组得到正常组和异常组；典型度获取模块用于获取组内每个工单会话的典型度；同步策略确定模块用于获取差分数据量正常和异常的波动区间，结合预测差分数据量进行同步策略的确定，以保证业务能够快捷稳定的运行。定的运行。定的运行。


技术研发人员：陈炯彬 戚升权 王世存
受保护的技术使用者：宁波欣寰网络科技有限公司
技术研发日：2022.10.14
技术公布日：2022/11/11