一种面向边缘智能的高弹性多节点协同模型卸载方法

技术特征：
1.一种面向边缘智能的高弹性多节点协同模型卸载方法，其特征在于，包括：在部署阶段，分布式dnn中部署有多个dnn模型，每个所述dnn模型按层划分为多个dnn分区，每个dnn分区包括一个或多个层，将每个所述dnn分区部署且仅部署在一个边缘节点，各边缘节点进行信息感知，根据感知到的信息确定参与协同计算的边缘节点，构建多边缘节点dnn协同执行图，实现dnn模型的分布式部署；在执行阶段，根据所述协同执行图运行相应的dnn分区，同时利用故障检测机制检测故障，当检测到某个dnn分区发生故障时，将其定义为故障dnn分区，使用基于延迟改进的卸载备份策略，为所述故障dnn分区创建备份分区，将所述备份分区卸载至所述故障dnn分区的最优部署边缘节点，并使用随机调度策略来随机选择执行路径，所述执行路径是任务在各个边缘节点之间的执行顺序。2.根据权利要求1所述面向边缘智能的高弹性多节点协同模型卸载方法，其特征在于，所述边缘节点感知的信息包括网络速度、可用节点和预测文件，所述预测文件记录每个边缘节点上dnn分区的预测执行时间，同时解析dnn模型结构。3.根据权利要求1所述面向边缘智能的高弹性多节点协同模型卸载方法，其特征在于，根据信息确定参与协同计算的边缘节点，构建多边缘节点dnn协同执行图，具体方法如下：根据感知到的信息确定参与协同计算的边缘节点，根据收集到的执行文件获得预计执行时延，然后用dnn分区的大小除以当前网络速度来计算传输时间，以此构建一个多边缘节点dnn协同执行图：其中，是在目标边缘节点上运行dnn分区的延时改进，是在请求边缘节点上运行该dnn分区的执行时间，是在目标边缘节点上运行该dnn分区的总延时，以所述延时改进为基准，生成所述卸载备份策略，即，为所述故障dnn分区创建备份分区，并优先将备份分区卸载到所述故障dnn分区的延时改进最大的边缘节点，所述延时改进最大的边缘节点即所述故障dnn分区的最优部署边缘节点。4.根据权利要求3所述面向边缘智能的高弹性多节点协同模型卸载方法，其特征在于，在执行阶段，将所述故障dnn分区的备份分区通过云中心调用，并将该备份分区添加到所述故障dnn分区的最优部署边缘节点上的dnn分区作为冗余。5.根据权利要求4所述面向边缘智能的高弹性多节点协同模型卸载方法，其特征在于，记录每个边缘节点的可用性统计信息，即，最近发送的请求的响应比率，表示边缘节点可用性的统计结果。6.根据权利要求1或5所述面向边缘智能的高弹性多节点协同模型卸载方法，其特征在于，所述随机调度策略的实现方法如下：构建一个随机网络模型，通过边缘节点之间的连通性概率大于或等于lg(n)/n来实现自适应调整低可用性边缘节点和高可用性边缘节点的备份分区的数量，优先考虑删除部署在低可用性边缘节点上的备份分区，且优先考虑在高可用性边缘节点上添加备份分区，其中n为边缘节点数；所述边缘节点之间的连通性概率即边缘节点的可用性通过心跳机制的包来反映。7.根据权利要求6所述面向边缘智能的高弹性多节点协同模型卸载方法，其特征在于，
所述随机网络模型中，将没有备份分区的dnn分区作为一个单元，该单元的可用性是各dnn分区可用性的乘积，如公式所示：其中是该单元的可用性，是dnn分区可用性，α是dnn分区集；将有备份分区的dnn分区视为一个单元，分区可用性是部署dnn分区及备份分区的边缘节点可用性的总和，如公式所示：其中是部署dnn分区及备份分区的边缘节点集，是相应边缘节点的可用性。8.根据权利要求1所述面向边缘智能的高弹性多节点协同模型卸载方法，其特征在于，当故障恢复后，在所述故障dnn分区和其备份分区中随机选择执行路径。

技术总结
一种面向边缘智能的高弹性多节点协同模型卸载方法。在部署阶段，多边缘节点进行信息感知，构建多边缘节点深度神经网络(Deep Neural Network，DNN)协同执行图，实现神经网络分布式部署；在执行阶段，根据部署阶段生成的执行图运行DNN模型，同时使用故障检测机制检测故障，若检测到发生分区故障，则使用基于延迟改进的策略合理的选择DNN分区的最优部署节点进行卸载备份。并使用随机调度策略来随机选择执行路径。本发明通过提高分布式神经网络的故障弹性，有效规避了边缘节点发生故障对分布式推理的影响。同时，本发明不需要额外的模型重新设计和再训练，保证了执行效率和准确率。率。率。


技术研发人员：许志伟 武茹涛 王永生 刘利民
受保护的技术使用者：内蒙古工业大学
技术研发日：2022.02.11
技术公布日：2022/6/7