一种基于深度学习模型的边缘智能协同推断方法及系统

技术特征：
1.一种基于深度学习模型的边缘智能协同推断方法，其特征在于，包括：获取巡检设备和边缘设备的参数信息，以及所述巡检设备采集的监控图像数据的处理需求；基于所述参数信息和处理需求分别构建第一深度学习模型和第二深度学习模型，其中，所述第一深度学习模型的网络层数以及每层的神经元个数少于所述第二深度学习模型，以所述第二深度学习模型为主干网络，在中间层构建若干退出点，得到所述第二深度学习模型的第三分支模型，并分别将所述第一深度学习模型和第三分支模型经过训练之后部署到所述巡检设备和边缘设备；基于所述第一深度学习模型和处理需求对所述监控图像数据进行任务推断，得到第一推断结果，判断所述第一推断结果的最大置信度值是否达到最佳置信度标准值，若是，将所述第一推断结果发送给控制中心，否则将所述监控图像数据发送给所述边缘设备，由所述第三分支模型进行任务推断，得到第二推断结果，将其发送给所述控制中心。2.如权利要求1所述的一种基于深度学习模型的边缘智能协同推断方法，其特征在于，所述由所述第三分支模型进行任务推断，具体包括：从所述第三分支模型的输入层开始，依次通过每个所述退出点，当其中某一退出点的输出层输出的第三推断结果满足预设的退出条件时，则退出所述第三分支模型的输出结果，将所述第三推断结果作为所述第二推断结果。3.如权利要求2所述的一种基于深度学习模型的边缘智能协同推断方法，其特征在于，所述第三分支模型的每个分支网络退出点的损失函数都采用交叉熵损失函数计算，每个交叉熵损失函数分别乘以权重参数再相加进行联合优化作为所述第三分支模型的整个分支网络的优化目标：；其中，表示退出点的加权系数, 为所有退出点的总数量， 表示单次推断任务所产生的参数量，表示输入样本的标签，表示所述第三分支模型推断结果：，其中表示一个数据集中的不同的标签总数，表示所述第三分支模型推断结果的归一化函数，表示所述第三分支模型输出结果：，表示退出点的推断结果；表示所述第三分支模型的损失函数：，其中表示某一退出点的样本输出信息熵：，的值与是否需要提前退出所述第三分支模型的输出结果呈正相关关系。4.如权利要求3的一种基于深度学习模型的边缘智能协同推断方法，其特征在于，通过
下式确定所述最佳置信度标准值，将推断结果正确率和通信时间延迟归一化后相减求极大值，作为所述最佳置信度标准值：；其中，为在所述第一深度学习模型上进行任务推断的推断结果正确率函数：，为采集的监控图像的总数量；其中，为表示序列为的监控图像推断任务的准确率：，为所述第一推断结果的最大置信度值，为所述最佳置信度标准值，表示所述巡检设备端第次推断任务正确与否，若则表示所述巡检设备端第次推断任务正确，若则表示所述巡检设备端第次推断任务错误；表示所述边缘设备端第次推断任务正确与否，若则表示所述边缘设备端第次推断任务正确，若则表示所述边缘设备端第次推断任务错误；为通信时间延迟函数：；其中，函数为所述巡检设备和边缘设备之间是否需要数据传输的依据，所述巡检设备端的推断值大于等于时，值置为0；所述巡检设备端的推断值小于时，值置为1；表示第次所述巡检设备端向边缘设备端进行数据传输的时间；为通信延迟的权重系数，为所有图像数据均卸载到所述边缘设备端处理的通信时间：。5.如权利要求4所述的一种基于深度学习模型的边缘智能协同推断方法，其特征在于，所述否则将所述监控图像数据发送给所述边缘设备，之前还包括：获取当前环境的网络状态信息，判断当前网络状态是否满足最佳通信标准值，若是，则将所述监控图像数据发送给所述边缘设备；否则将所述监控图像数据输入到第四深度学习模型中进行任务推断，得到第四推断结果，并将其发送给所述控制中心；其中，所述第四深度学习模型的网络层数以及每层的神经元个数大于所述第一深度学习模型且小于所述第二深度学习模型，所述第四深度学习模型部署是基于所述参数信息和处理需求构建并经过训练之后部署到所述巡检设备的。6.如权利要求5所述的一种基于深度学习模型的边缘智能协同推断方法，其特征在于，通过下式确定所述最佳通信标准值，基于归一化后的推断结果正确率、巡检设备额外计算
量和通信时间延迟作为求解函数求极大值，作为所述最佳通信标准值：；其中，表示网络状态检查器的最佳通信标准值，表示在所述第四深度学习模型上进行任务推断的推断结果正确率函数，表示所述巡检设备端的额外计算量与当前网络状态和最佳通信标准值之间的关系，表示通信时间延迟与当前网络状态和最佳通信标准值之间的关系，为采集的监控图像的总数量，是所述巡检设备端的额外计算量的权重系数，是通信时间延迟的权重系数，表示所有监控图像数据均使用所述第四深度学习模型进行推断任务的处理时间的总和，表示所有监控图像数据均卸载到边缘设备端处理的通信时间；；；其中，为系统最佳标准值，表示当前网络环境值，表示使用所述第四深度学习模型对序列为的监控图像数据进行推断任务的准确率，表示所述巡检设备端第次在所述第一深度学习模型上进行推断任务的推断结果，若则表示所述巡检设备端第次在所述第一深度学习模型上推断任务正确，若则表示所述巡检设备端第次在所述第一深度学习模型上推断任务错误；表示所述巡检设备端第次在所述第四深度学习模型上进行推断任务的推断结果，若则表示所述巡检设备端第次在所述第四深度学习模型上推断任务正确，若则表示所述巡检设备端第次在所述第四深度学习模型上推断任务错误；表示所述边缘设备端第次在所述第三分支模型上进行推断任务的推断结果，若则表示所述边缘设备端第次在所述第三分支模型上推断任务正确，若则表示所述边缘设备端第次在所述第三分支模型上推断任务错误；；
其中，表示所述监控图像数据在所述第一深度学习模型中输出的值与最佳标准值之间的关系，表示所述巡检设备所处的当前网络环境值与最佳通信标准值之间的关系；；其中，表示使用第四深度学习模型执行推断任务所耗费的时间成本；表示使用第四深度学习模型执行推断任务所耗费的时间成本；。7.一种基于深度学习模型的边缘智能协同推断系统，包括巡检设备、边缘设备和控制中心，其特征在于，所述巡检设备端部署有第一深度学习模型，所述边缘设备端部署有第三分支模型，其中，所述第三分支模型以第二深度学习模型为主干网络，在中间层构建若干退出点，得到所述第二深度学习模型的第三分支模型，所述第一深度学习模型和第二深度学习模型是基于所述巡检设备和边缘设备的参数信息以及所述巡检设备采集的监控图像数据的处理需求构建的，所述第一深度学习模型的网络层数以及每层的神经元个数少于所述第二深度学习模型，分别将所述第一深度学习模型和第三分支模型经过训练之后部署到所述巡检设备和边缘设备；所述巡检设备端基于所述第一深度学习模型和处理需求对所述监控图像数据进行任务推断，得到第一推断结果，所述巡检设备还包括置信度值判定器，用于判断所述第一推断结果的最大置信度值是否达到最佳置信度标准值，若是，则所述巡检设备将所述第一推断结果发送给所述控制中心，否则将所述监控图像数据发送给所述边缘设备；所述边缘设备端的第三分支模型根据接收的所述监控图像数据进行任务推断，得到第二推断结果，并将其发送给所述控制中心；所述控制中心用于根据推断结果对系统内的设备进行相关的维护工作。8.如权利要求7所述的一种基于深度学习模型的边缘智能协同推断系统，其特征在于，所述边缘设备端的第三分支模型具体用于：从所述第三分支模型的输入层开始，依次通过每个所述退出点，当其中某一退出点的输出层输出的第三推断结果满足预设的退出条件时，则退出所述第三分支模型的输出结果，将所述第三推断结果作为所述第二推断结果。9.如权利要求7或8所述的一种基于深度学习模型的边缘智能协同推断系统，其特征在于，所述巡检设备还包括网络状态检查器，当所述置信度值判定器判断所述第一推断结果的最大置信度值没有达到最佳置信度标准值时，启动所述网络状态检查器，获取当前环境的网络状态信息，判断当前网络状态是否满足最佳通信标准值，若是，则所述巡检设备将所述监控图像数据发送给所述边缘设备；否则将所述监控图像数据输入到第四深度学习模型中进行任务推断，得到第四推断结果，并将其发送给所述控制中心；其中，所述第四深度学习模型的网络层数以及每层的神经元个数大于所述第一深度学习模型且小于所述第二深度学习模型，所述第四深度学习模型部署是基于所述参数信息和处理需求构建并经过训练之后部署到所述巡检设备的。

技术总结
本发明涉及边缘智能技术领域，公开了一种基于深度学习模型的边缘智能协同推断方法及系统，通过获取巡检设备和边缘设备的参数信息以及所述巡检设备采集的监控图像数据的处理需求分别构建适用于巡检设备和边缘设备的简单模型和复杂分支模型；简单模型较复杂分支模型的网络层数和神经元个数更少，神经网络计算会明显减少任务推断时间和自身消耗的能耗；巡检设备端输出结果置信度值判定器以输出结果的置信度最大值作为依据判断监控图像数据是否需要传输到边缘设备端进行处理，从而保证深度学习模型结果准确率的同时，最大程度的利用巡检设备、边缘设备的计算和存储能力，以及降低系统在单边执行任务时的所带来的高时延和高能耗。高能耗。高能耗。


技术研发人员：吴涛 邓宇萍 陈曦 吴锡 周启钊 冯霞
受保护的技术使用者：成都信息工程大学
技术研发日：2022.11.25
技术公布日：2022/12/30