一种数据处理方法、装置、设备及存储介质与流程

技术特征：
1.一种数据处理方法，其特征在于，包括：获取上一算子传输业务数据的当前流速，根据所述当前流速确定当前算子的常规窗口的当前等待时间阈值；根据所述常规窗口写入业务数据的进度确定当前等待时间，当所述当前等待时间大于所述当前等待时间阈值时，生成临时窗口；将所述常规窗口中的阻塞业务数据写入到所述临时窗口，并基于当前算子对所述临时窗口中的业务数据进行处理，以得到临时处理结果；在确定所述常规窗口满足窗口结束条件时，基于所述当前算子对所述常规窗口中的业务数据进行处理，以得到常规处理结果，且采用所述常规处理结果覆盖所述临时处理结果。2.根据权利要求1所述的方法，其特征在于，所述获取上一算子传输业务数据的当前流速，包括：获取上一算子在当前流速计算周期所传输的业务数据量；根据所述业务数据量与当前流速计算周期的周期时长确定当前流速。3.根据权利要求1所述的方法，其特征在于，所述根据所述当前流速确定当前算子的常规窗口的当前等待时间阈值，包括：计算所述当前流速与设定的最大流速的比值，将所述比值与常规窗口的窗口时长的乘积确定为当前等待时间阈值。4.根据权利要求3所述的方法，其特征在于，还包括：如果所述当前流速大于所述最大流速，根据所述当前流速对所述最大流速进行更新；或者，当满足初始化条件时，对所述最大流速进行初始化更新。5.根据权利要求1所述的方法，其特征在于，所述生成临时窗口之前，还包括：判断所述常规窗口中是否存在阻塞业务数据，若是，则触发临时窗口的生成操作；其中，所述阻塞业务数据为未被所述当前算子处理的业务数据。6.根据权利要求5所述的方法，其特征在于，判断所述常规窗口中是否存在阻塞业务数据包括：判断所述常规窗口中阻塞位置标识是否位于业务数据的末尾，若是，则不存在阻塞业务数据，否则存在阻塞业务数据；相应的，将所述常规窗口中的阻塞业务数据写入到所述临时窗口之后，还包括：将阻塞位置标识更新至所述常规窗口中业务数据的末尾。7.根据权利要求1-6任一项所述的方法，其特征在于，在基于当前算子对所述临时窗口中的业务数据进行处理，以得到临时处理结果之后，还包括：关闭所述临时窗口。8.根据权利要求1所述的方法，其特征在于，确定所述常规窗口满足窗口结束条件，包括：如果所述常规窗口接收到的业务数据的事件时间超过所述常规窗口的窗口结束时间，确定所述常规窗口满足窗口结束条件；或者，如果所述常规窗口为当前业务周期内的最后一个常规窗口且所述常规窗口的当前等待时间大于预设时间阈值，确定所述常规窗口满足窗口结束条件。
9.根据权利要求1所述的方法，其特征在于，所述算子为流式计算引擎中的处理算子，所述处理算子的后续算子为持久化存储算子，所述上一算子为流式计算引擎中的分组算子，则在获取上一算子传输业务数据的当前流速之前，还包括：获取原始业务数据，采用所述分组算子，根据原始业务数据中设定字段内的标识内容，将所述原始业务数据分组为至少两个业务数据流，并将各所述业务数据流写入对应的处理算子的窗口中；其中，所述原始业务数据包括：交易流水数据和/或客户信息数据；所述设定字段包括下述至少一种：日期、机构标识、年龄段和客户级别。10.一种数据处理装置，其特征在于，包括：流速获取模块，用于获取上一算子传输业务数据的当前流速，根据所述当前流速确定当前算子的常规窗口的当前等待时间阈值；窗口生成模块，用于根据所述常规窗口写入业务数据的进度确定当前等待时间，当所述当前等待时间大于所述等待时间阈值时，生成临时窗口；临时窗口数据处理模块，用于将所述常规窗口中的阻塞业务数据写入到所述临时窗口，并基于当前算子对所述临时窗口中的业务数据进行处理，以得到临时处理结果；常规窗口数据处理模块，用于在确定所述常规窗口满足窗口结束条件时，基于所述当前算子对所述常规窗口中的业务数据进行处理，以得到常规处理结果，且采用所述常规处理结果覆盖所述临时处理结果。11.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的数据处理方法。12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-9中任一项所述的数据处理方法。

技术总结
本发明公开了一种数据处理方法、装置、设备及存储介质。该方法包括：获取上一算子传输业务数据的当前流速，根据当前流速确定当前算子的常规窗口的当前等待时间阈值；根据常规窗口写入业务数据的进度确定当前等待时间，当当前等待时间大于所述等待时间阈值时，生成临时窗口；将常规窗口中的阻塞业务数据写入到临时窗口，并基于当前算子对临时窗口中的业务数据进行处理，以得到临时处理结果；在确定常规窗口满足窗口结束条件时，基于当前算子对常规窗口中的业务数据进行处理，以得到常规处理结果，且采用常规处理结果覆盖临时处理结果，解决了数据处理不及时的问题，将常规窗口中的阻塞业务数据写入到临时窗口进行处理，提高了数据处理的时效性。据处理的时效性。据处理的时效性。


技术研发人员：郭昱杉 杨光 刘欣愉 郭妙吉 林时钱 卢斌
受保护的技术使用者：上海浦东发展银行股份有限公司
技术研发日：2022.11.17
技术公布日：2023/3/3