数据处理方法及装置与流程

技术特征：
1.一种数据处理方法，应用于端边云架构中的边缘节点，所述端边云架构包括相互连接的端节点、边缘节点和云节点，所述方法包括：构建特征数据集，所述特征数据集包括至少一个初始特征数据，所述初始特征数据由所述端节点采集后上传至所述边缘节点；将所述特征数据集输入深度学习模型，生成至少一个中间特征数据；将所述至少一个中间特征数据回流至所述端节点和/或所述云节点，以使所述端节点和/或所述云节点根据所述至少一个中间特征数据进行模型推理或模型训练。2.根据权利要求1所述的方法，所述构建特征数据集，包括：确定计算策略，所述计算策略为流式计算策略或批量计算策略；根据所述计算策略，构建所述特征数据集。3.根据权利要求2所述的方法，在所述计算策略为流式计算策略的情况下，所述特征数据集包含一个初始特征数据。4.根据权利要求2所述的方法，在所述计算策略为批量计算策略的情况下，所述根据所述计算策略，构建所述特征数据集，包括：基于时间窗口汇聚所述端节点上传的初始特征数据，所述特征数据集包括所述时间窗口内所述端节点上传的至少一个初始特征数据。5.根据权利要求1所述的方法，所述将所述至少一个中间特征数据回流至所述端节点和/或所述云节点，包括：确定回流策略，所述回流策略包括流式传输策略和批量传输策略中的至少一种；根据所述回流策略，将所述至少一个中间特征数据回流至所述端节点和/或所述云节点。6.根据权利要求5所述的方法，在所述回流策略为流式回流策略的情况下，所述根据所述回流策略，将所述至少一个中间特征数据回流至所述端节点和/或所述云节点，包括：将所述深度学习模型生成的每个中间特征数据实时回流至所述端节点和/或所述云节点。7.根据权利要求5所述的方法，在所述回流策略为批量回流策略的情况下，所述根据所述回流策略，将所述至少一个中间特征数据回流至所述端节点和/或所述云节点，包括：构建批量回流缓存，所述批量回流缓存用于汇聚所述深度学习模型生成的中间特征数据；根据指定时间间隔，将所述批量回流缓存中汇聚到的中间特征数据回流至所述端节点和/或所述云节点。8.根据权利要求1所述的方法，在所述将所述特征数据集输入深度学习模型，得到至少一个中间特征数据之后，所述方法还包括：对所述至少一个中间特征数据进行压缩处理。9.一种数据处理装置，应用于端边云架构中的边缘节点，所述端边云架构包括相互连接的端节点、边缘节点和云节点，所述装置包括：构建模块，用于构建特征数据集，所述特征数据集包括至少一个初始特征数据，所述初始特征数据由所述端节点采集后上传至所述边缘节点；生成模块，用于将所述特征数据集输入深度学习模型，生成至少一个中间特征数据；
回流模块，用于将所述至少一个中间特征数据回流至所述端节点和/或所述云节点，以使所述端节点和/或所述云节点根据所述至少一个中间特征数据进行模型推理或模型训练。10.一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器通过运行所述可执行指令以实现如权利要求1至8中任一项所述的方法。11.一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如权利要求1至8中任一项所述方法的步骤。

技术总结
本说明书实施例提供一种数据处理方法及装置，涉及计算机技术领域。该方法应用于端边云架构中的边缘节点，端边云架构包括相互连接的端节点、边缘节点和云节点。该方法包括：构建特征数据集，特征数据集包括至少一个初始特征数据，初始特征数据由端节点采集后上传至边缘节点；将特征数据集输入深度学习模型，生成至少一个中间特征数据；将至少一个中间特征数据回流至端节点和/或云节点，以使端节点和/或云节点根据至少一个中间特征数据进行模型推理或模型训练。本说明书提供的方案，通过控制深度学习模型中同时输入的初始特征数据的数量，进而使边缘节点上的数据处理链路能够同时兼容流式计算策略和批量计算策略。容流式计算策略和批量计算策略。容流式计算策略和批量计算策略。


技术研发人员：周扬
受保护的技术使用者：支付宝（杭州）信息技术有限公司
技术研发日：2023.07.19
技术公布日：2023/8/24