一种基于深度学习模型的边缘智能协同推断方法及系统

1.本发明涉及边缘智能技术领域，尤其涉及一种基于深度学习模型的边缘智能协同推断方法及系统。


背景技术：

2.天气预报、电网和通信网络是当前生活必不可少的要素。天气预报的准确性、电网和通信网络的安全稳定运行始终依赖于各类气象观测设施、电力设施和网络设施的正常运行。目前，通过智能巡检集群对各类设备设施进行长期有效的动态监测以维持其在复杂和动态的环境中连续运行。但由于智能巡检集群在实施监控职能和自动数据处理存在一定的限制，例如巡检设备由于机动性强、体积小、生产成本低等限制，在电池寿命和计算能力方面存在缺陷；随着硬件和互联网技术的发展，巡检设备采集的数据类型呈现多样化趋势，数据处理和存储能力也大幅增强，在面对复杂场景中的监控数据，巡检设备有限的内存和计算能力还远远不够；同时，以云计算为核心的传统监控数据处理模式在传输延迟、能耗、数据安全性等方面也存在局限性。采用边缘智能技术(edge intelligent，ei)将巡检设备部署的图像识别模型无法处理的监控数据传输到边缘服务器进行处理，从而保障智能巡检集群监控数据自动化处理功能。
3.然而，本技术发明人在实现本技术实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：（1）巡检设备端参与计算工作，但是由于巡检设备（例如无人机、智能小车等）的计算资源以及续航能力有限，易造成巡检设备电量的消耗加速，不仅增加智能巡检集群系统的巡检设备的电力成本，且无法保证巡检设备的核心功能（采集监控数据）的运行时间，另外，巡检设备能够搭载的网络推断模型数量有限，导致应对多样化环境表现不佳，且搭载复杂的深度模型会出现运行内存不足从而导致模型推断直接中断等严重影响监控数据处理时延的缺陷，甚至出现中间结果数据丢失或无法到达边缘设备端的情况。
4.（2）由巡检设备将采集到的监控图像数据传输到边缘设备端，再由边缘设备端上部署的深度学习模型对监控图像数据进行运算处理，没有充分利用移动巡检设备端的计算能力，造成资源浪费；同时，由于巡检设备的可移动性，其位置不断变化，出现网络信道的衰落，从而导致巡检设备存在传输能耗高、传输时延长、数据易暴露等严重问题，进而降低智能巡检集群系统的监测实时性，控制中心无法对设备维护情况做出及时反应，增加设备的维修成本。
5.因此，在充分利用巡检设备、边缘设备的计算和存储能力的情况下，如何降低智能巡检集群内的设备的传输能耗、传输时延是目前亟待解决的技术问题。


技术实现要素：

6.为了解决上述技术问题，本发明公开了一种基于深度学习模型的边缘智能协同推断方法及系统，主要应用于大型偏远地区的气象设施的智能巡检集群系统，用于对监控图
像数据的图像分类和目标检测，其目的在于确保运行深度学习模型结果的准确率不下降的同时，最大程度的利用，降低系统在单边执行任务时所带来的高时延和高能耗。
7.主要通过以下技术方案实现上述发明目的：第一方面，一种基于深度学习模型的边缘智能协同推断方法，包括：获取巡检设备和边缘设备的参数信息，以及所述巡检设备采集的监控图像数据的处理需求；基于所述参数信息和处理需求分别构建第一深度学习模型和第二深度学习模型，其中，所述第一深度学习模型的网络层数以及每层的神经元个数少于所述第二深度学习模型，以所述第二深度学习模型为主干网络，在中间层构建若干退出点，得到所述第二深度学习模型的第三分支模型，并分别将所述第一深度学习模型和第三分支模型经过训练之后部署到所述巡检设备和边缘设备；基于所述第一深度学习模型和处理需求对所述监控图像数据进行任务推断，得到第一推断结果，判断所述第一推断结果的最大置信度值是否达到最佳置信度标准值，若是，将所述第一推断结果发送给控制中心，否则将所述监控图像数据发送给所述边缘设备，由所述第三分支模型进行任务推断，得到第二推断结果，将其发送给所述控制中心。
8.第二方面，一种基于深度学习模型的边缘智能协同推断系统，包括巡检设备、边缘设备和控制中心，所述巡检设备端部署有第一深度学习模型，所述边缘设备端部署有第三分支模型，其中，所述第三分支模型以第二深度学习模型为主干网络，在中间层构建若干退出点，得到所述第二深度学习模型的第三分支模型，所述第一深度学习模型和第二深度学习模型是基于所述巡检设备和边缘设备的参数信息以及所述巡检设备采集的监控图像数据的处理需求构建的，所述第一深度学习模型的网络层数以及每层的神经元个数少于所述第二深度学习模型，分别将所述第一深度学习模型和第三分支模型经过训练之后部署到所述巡检设备和边缘设备；所述巡检设备端基于所述第一深度学习模型和处理需求对所述监控图像数据进行任务推断，得到第一推断结果，所述巡检设备还包括置信度值判定器，用于判断所述第一推断结果的最大置信度值是否达到最佳置信度标准值，若是，则所述巡检设备将所述第一推断结果发送给所述控制中心，否则将所述监控图像数据发送给所述边缘设备；所述边缘设备端的第三分支模型根据接收的所述监控图像数据进行任务推断，得到第二推断结果，并将其发送给所述控制中心；所述控制中心用于根据推断结果对系统内的设备进行相关的维护工作。
9.相较于现有技术的有益效果：本发明通过获取巡检设备和边缘设备的参数信息（计算和存储能力），以及所述巡检设备采集的监控图像数据的处理需求（图像分类和目标检测），从而确定适用的基准模型；根据巡检设备和边缘设备的参数信息，以基准模型结构组成为参照，分别构建适用于巡检设备和边缘设备计算和存储能力的第一深度学习模型和第二深度学习模型，然后以第二深度学习模型为主干网络，在中间层构建若干退出点，得到第三分支模型；第一深度学习模型较第三分支模型，网络的层数以及每层的神经元个数更少，因此，巡检设备端在使用神经网络进行计算时，会明显减少任务推断时间和自身消耗的能耗；另外，在巡检设备端引入输出结果置信度值判定器，该判定器是以输出结果的置信度最大值作为依据判断巡检设备采
集的监控图像数据是否需要传输到边缘设备端使用第三分支模型进行处理，从而保证在运行深度学习模型结果的准确率不下降的同时，最大程度的利用巡检设备、边缘设备的计算能力和存储能力，同时降低了系统在单边执行任务时的所带来的高时延和高能耗。
附图说明
10.图1为本发明实施例一提供的一种基于深度学习模型的边缘智能协同推断方法的流程示意图；图2为本发明实施例二提供的一种基于深度学习模型的边缘智能协同推断方法的流程示意图；图3为本发明实施例三提供的一种基于深度学习模型的边缘智能协同推系统的结构示意图。
具体实施方式
11.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
12.实施例一如图1所示，本发明实施例公开了一种基于深度学习模型的边缘智能协同推断方法，包括以下步骤：步骤1：获取巡检设备和边缘设备的参数信息，以及所述巡检设备采集的监控图像数据的处理需求。
13.巡检设备和边缘设备的参数信息包括计算和存储参数信息，据此可获知巡检设备和边缘设备的计算和存储能力；巡检设备采集的监控图像数据的处理需求包括图像分类和目标检测，确定适用的基准模型，例如，适用于图像分类的深度学习模型和目标检测深度学习模型。
14.步骤2：基于所述参数信息和处理需求分别构建第一深度学习模型和第二深度学习模型，其中，所述第一深度学习模型的网络层数以及每层的神经元个数少于所述第二深度学习模型。
15.根据巡检设备和边缘设备的参数信息，以基准模型结构组成为参照，分别构建适用于巡检设备和边缘设备计算和存储能力的第一深度学习模型和第二深度学习模型。
16.步骤3：以所述第二深度学习模型为主干网络，在主干网络的不同位置添加了分支网络，在中间层构建若干退出点，得到所述第二深度学习模型的第三分支模型。
17.第一深度学习模型较第三分支模型，网络的层数以及每层的神经元个数更少，因此，巡检设备端在使用神经网络进行计算时，会明显减少任务推断时间和自身消耗的能耗。
18.步骤4：分别将所述第一深度学习模型和第三分支模型经过训练之后部署到所述巡检设备和边缘设备。
19.模型训练可参照深度学习模型的训练方法，属于现有技术，因此本发明实施例中
此处不再赘述。
20.步骤5：基于所述第一深度学习模型和处理需求对所述监控图像数据进行任务推断，得到第一推断结果，判断所述第一推断结果的最大置信度值是否达到最佳置信度标准值。
21.步骤6：若所述第一推断结果的最大置信度值达到最佳置信度标准值，则将所述第一推断结果发送给控制中心，否则转到步骤7。
22.步骤7：若所述第一推断结果的最大置信度值没有达到最佳置信度标准值，则将所述监控图像数据发送给所述边缘设备。
23.步骤8：所述第三分支模型进行任务推断，得到第二推断结果，将其发送给所述控制中心。
24.举例说明：对于一个图像分类任务而言，如果采用深度学习技术进行处理的话，首先，图像经过预处理之后作为第一深度学习模型的输入，然后经由多个隐藏层提取特征，最后通过不同图像分类任务需求设置激活函数获得输出层结果。如果是二分类任务，输出层结果值为0表示图像不属于目标类别，反之，值为1表示图像属于目标类别；若是多分类任务，模型输出层结果表示图像属于数据集中部分或者全部类别的概率，即置信度，所有的置信度相加和为1。而输出结果代表的类别置信度越大，则表示图像属于该类别的可能性越大，图像分类结果则选取置信度值最大的类别。
25.以输出结果的置信度最大值作为依据，判断使用网络模型进行推断结果的正确度，其中最大置信度值的表示为：。
26.本发明实施例中使用最大置信度值作为模型执行推断任务执行好坏的原理为：若某一项值与输出结果的总和1更加接近，说明图像属于该类；反之值和1之间差值越大，说明该图像属于其他类别的可能性同样也会升高，进而可能导致输出结果错误。
27.通过实验验证，在cifar10公开数据集测试集中，推断结果与标签类别对应正确的值大多数都是大于0.9的样例，而与标签类别对应错误的值很少存在大于0.9的样例，并且值均偏小；模型结构如果更加复杂，大于不同值的正确样例的数量就越多，小于不同值的错误样例的数量就越少。因此，值作为模型进行神经网络推断任务时分类正确与否的判定指标，可以判定图像分类任务推断成功与否。
28.本发明实施例中在巡检设备端引入输出结果置信度值判定器，该判定器是以输出结果的置信度最大值作为依据判断巡检设备采集的监控图像数据是否需要传输到边缘设备端使用第三分支模型进行处理，从而保证在运行深度学习模型结果的准确率不下降的同时，最大程度的利用巡检设备、边缘设备的计算能力和存储能力，同时降低了系统在单边执行任务时的所带来的高时延和高能耗。
29.在一个优选地实施例中，所述由所述第三分支模型进行任务推断，具体包括：从所述第三分支模型的输入层开始，依次通过每个所述退出点，当其中某一退出点的输出层输出的第三推断结果满足预设的退出条件时，则退出所述第三分支模型的输出结果，将所述
第三推断结构作为所述第二推断结果。
30.需要说明的是，当神经网络到达某一个退出点时，其输出数据满足退出条件，就可以提前退出输出结果，减少神经网络的推断，实现神经网络推断任务的提前退出机制，其目的是为了进一步减少推断任务在边缘设备端处理的时延和能耗。
31.在一个优选地实施例中，所述第三分支模型的每个分支网络退出点的损失函数都采用交叉熵损失函数计算，每个交叉熵损失函数分别乘以权重参数再相加进行联合优化作为所述第三分支模型的整个分支网络的优化目标：；所述第三分支模型的优化目标是最小化与多个退出点加权系数相关的损失函数值和。表示退出点的加权系数, 为所有退出点的总数量， 表示单次推断任务所产生的参数量，表示输入样本的标签，表示所述第三分支模型推断结果：，其中表示一个数据集中的不同的标签总数，表示所述第三分支模型推断结果的归一化函数，表示所述第三分支模型输出结果：，表示退出点的推断结果；表示所述第三分支模型的损失函数：。
32.当测试样本在训练好的所述第三分支模型上进行测试时，测试样本从分支网络的输入层开始，逐一通过每个退出点，每一个退出点输出层都会产生一个输出结果，推断结果的归一化函数，则某一个退出点的样本输出信息熵定义如下式所示：。的值与是否需要提前结束推断任务退出所述第三分支模型的输出结果呈正相关关系。
33.在一个优选地实施例中，确定输出结果置信度值判定器的最佳标准值计算方式，最佳标准值是判定巡检设备端所述第一深度学习模型处理的数据是否需要传输到边缘设备执行的判断依据。
34.通过下式确定所述最佳置信度标准值，将推断结果正确率和通信时间延迟归一化后相减求极大值，作为所述最佳置信度标准值：；其中，为在所述第一深度学习模型上进行任务推断的推断结果正确率函
数：，为采集的监控图像的总数量；其中，为表示序列为的监控图像推断任务的准确率：，为所述第一推断结果的最大置信度值，为所述最佳置信度标准值，表示所述巡检设备端第次推断任务正确与否，若则表示所述巡检设备端第次推断任务正确，若则表示所述巡检设备端第次推断任务错误；表示所述边缘设备端第次推断任务正确与否，若则表示所述边缘设备端第次推断任务正确，若则表示所述边缘设备端第次推断任务错误；为通信时间延迟函数：；其中，其中，函数为所述巡检设备和边缘设备之间是否需要数据传输的依据，所述巡检设备端的推断值大于等于时，值置为0；所述巡检设备端的推断值小于时，值置为1；表示第次所述巡检设备端向边缘设备端进行数据传输的时间；为通信延迟的权重系数，为所有图像数据均卸载到所述边缘设备端处理的通信时间：。
35.需要说明的是，最佳标准值计算方法应该充分考虑到应用环境因素。标准值的大小主要影响系统推断结果正确率和通信时间延迟，其目的是找到最佳的标准值作为系统中值判定器（即置信度值判定器）的标准值，从而最大化系统的任务处理效率。因此，标准值选择目标如下：（1）提高系统的推断结果准确率；使用表示标准值，表示输入图像的序列，表示处理图像的总数量。用表示序列为的图像推断任务的准确率，其形式如下式所示:（2）降低系统的通信时间延迟。
36.系统中巡检设备和边缘设备的每一次网络通信，都会加重系统整体的通信压力，
因此系统的整体通信时间延迟函数为：。
37.由于系统的推断结果正确率函数和整体通信时间延迟函数的衡量标准不一致，因此应当对两者分别进行归一化之后将其映射到0~1范围内之后才能进行联合计算。对于系统的推断结果正确率函数，只需要除以系统处理图像的总数量即可完成；对于整体通信时间延迟函数，需要除以所有图像数据均卸载到边缘设备处理的通信时间方可完成归一化：；由于本发明实施例中实现提升系统推断结果正确率和降低整体通信时间延迟两个相反的目标，导致函数和损失函数对标准值的设定也呈高低两种需求的结果。因此将归一化后准确率和通信延迟相减求极大值作为求解系统最佳标准值的函数：；其中为通信延迟的权重系数，目的在于适应要求多变的系统推断任务处理需求，权衡提升推断结果正确率和降低整体通信时间延迟目标之间的关系。
38.实施例二如图2所示，在上述实施例的基础上本发明实施例公开了一种基于深度学习模型的边缘智能协同推断方法，包括以下步骤：步骤1：获取巡检设备和边缘设备的参数信息，以及所述巡检设备采集的监控图像数据的处理需求。
39.步骤2：基于所述参数信息和处理需求分别构建第一深度学习模型、第二深度学习模型、第四深度学习模型，其中，所述第四深度学习模型的网络层数以及每层的神经元个数大于所述第一深度学习模型且小于所述第二深度学习模型。
40.步骤3：以所述第二深度学习模型为主干网络，在主干网络的不同位置添加了分支网络，在中间层构建若干退出点，得到所述第二深度学习模型的第三分支模型。
41.步骤4：将所述第一深度学习模型和第四深度学习模型经过训练之后部署到所述巡检设备，将所述第三分支模型经过训练之后部署到所述边缘设备。
42.模型训练可参照深度学习模型的训练方法，属于现有技术，因此本发明实施例中此处不再赘述。
43.步骤5：基于所述第一深度学习模型和处理需求对所述监控图像数据进行任务推断，得到第一推断结果，判断所述第一推断结果的最大置信度值是否达到最佳置信度标准值。
44.步骤6：若所述第一推断结果的最大置信度值达到最佳置信度标准值，则将所述第一推断结果发送给控制中心，否则转到步骤7。
45.步骤7：若所述第一推断结果的最大置信度值没有达到最佳置信度标准值，则启动网络检查器获取当前环境的网络状态信息，判断当前网络状态是否满足最佳通信标准值；步骤8：若是，则将所述监控图像数据发送给所述边缘设备；否则转到步骤10。
46.步骤9：所述第三分支模型进行任务推断，得到第二推断结果，将其发送给所述控制中心。
47.步骤10：若当前网络状态没有满足最佳通信标准值，则将所述监控图像数据输入到第四深度学习模型中进行任务推断。
48.步骤11：得到第四推断结果，并将其发送给所述控制中心。
49.需要说明的是，上述部分步骤的具体实施方式已在实施例一中进行了详细的说明，可参考，此处不再赘述。
50.本发明实施例的目的在于应对智能巡检集群在实际应用中存在的网络传输状况变换频繁的情况，因此构建了适用于巡检设备使用的第四深度学习模型，其相较于第二深度学习模型和第三分支模型的网络层数更少，但推理时间和准确率优于第一深度学习模型，劣于第三分支模型。
51.巡检设备端的网络检查器需要添加一个通信标准值，其是衡量当前巡检设备第一深度学习模型无法处理的数据是否具备传输到边缘设备进行处理的资格的重要依据。合适的通信标准值的选定是影响系统整体性能的核心要点，是兼顾系统整体对响应速度、准确性和自适应应对网络环境多样化要求的重要手段。
52.针对通信标准值设定，本发明实施例提出一种适用于计算不同模型结构协同推断策略的通信标准值的计算方式，其充分考虑到应用环境因素。通信标准值的设定影响系统推断结果正确率好坏和通信时间延迟高低，该计算方式的目标是找到最佳的通信标准值作为系统中网络状态检查器的被比较值，从而最大化系统的任务处理效率。
53.在一个优选地实施例中，通过下式确定所述最佳通信标准值，基于归一化后的推断结果正确率、巡检设备额外计算量和通信时间延迟作为求解函数求极大值，作为所述最佳通信标准值：；其中，表示网络状态检查器的最佳通信标准值，表示在所述第四深度学习模型上进行任务推断的推断结果正确率函数，表示所述巡检设备端的额外计算量与当前网络状态和最佳通信标准值之间的关系，表示通信时间延迟与当前网络状态和最佳通信标准值之间的关系，为采集的监控图像的总数量，是所述巡检设备端的额外计算量的权重系数，是通信时间延迟的权重系数，表示所有监控图像数据均使用所述第四深度学习模型进行推断任务的处理时间的总和，表示所有监控图像数据均卸载到边缘设备端处理的通信时间；；
；其中，为系统最佳标准值，表示当前网络环境值，表示使用所述第四深度学习模型对序列为的监控图像数据进行推断任务的准确率，表示所述巡检设备端第次在所述第一深度学习模型上进行推断任务的推断结果，若则表示所述巡检设备端第次在所述第一深度学习模型上推断任务正确，若则表示所述巡检设备端第次在所述第一深度学习模型上推断任务错误；表示所述巡检设备端第次在所述第四深度学习模型上进行推断任务的推断结果，若则表示所述巡检设备端第次在所述第四深度学习模型上推断任务正确，若则表示所述巡检设备端第次在所述第四深度学习模型上推断任务错误；表示所述边缘设备端第次在所述第三分支模型上进行推断任务的推断结果，若则表示所述边缘设备端第次在所述第三分支模型上推断任务正确，若则表示所述边缘设备端第次在所述第三分支模型上推断任务错误；；其中，其中，表示所述监控图像数据在所述第一深度学习模型中输出的值与最佳标准值之间的关系，表示所述巡检设备所处的当前网络环境值与最佳通信标准值之间的关系。
54.通信标准值选择目标如下：（1）提高系统的推断结果正确率；用表示序列为的图像推断任务的准确率，其形式如下式所示:由上可知，将系统的推断结果正确率定义如下；
（2）降低系统的通信时间延迟；对于边端多模型协同推断任务而言，若当前网络中上行链路数据传输时间延迟明显增加，巡检设备端会自适应的选择第四深度学习模型进行推断任务，此时该策略的优点是显著减少数据传输时间和传输能耗，缺点是任务处理集中在巡检设备端，占用计算资源（cpu资源、存储资源、耗电量）较多。系统的通信时间延迟计算显然存在于第一深度学习模型输出值低于最佳标准值的情况，此时系统的通信时间延迟与当前网络状态和通信标准值之间的关系如下式所示：。表示系统的当前输入数据在巡检设备端的第一深度学习模型输出值与最佳标准值之间的关系，如果表达式值为真，函数值为1，第四深度学习模型或第三分支模型有再次进行推断任务的可能性；若表达式值为假，函数值为0，第一深度学习模型输出结果即最终结果。
55.表示系统的当前巡检设备所处的网络环境值与通信标准值之间的关系，若表达式为真，函数值为1，当前任务传输至第三分支模型处理等到最终结果；反之，若表达式为假，当前任务在巡检设备端的第四深度学习模型执行获得最终结果。
56.（3）减少巡检设备端的额外计算压力；由（2）分析可知，巡检设备端承担的额外计算负担就是存在第一深度学习模型输出值低于最佳标准值的情况和网络环境不佳状况时使用第四深度学习模型执行推断任务所耗费的时间成本，此时系统中巡检设备端的额外计算压力与当前网络状态和通信标准值之间的关系如下式所示：；其中函数表达式与和函数相反，设计目的是为了更方便的区分系统总体的通信时间延迟和巡检设备端的额外计算压力之间的互斥关系，即针对一次图像推断任务，两者之间必有一个值为0。
57.由于系统的推断结果正确率函数、整体通信时间延迟函数、系统巡检设备额外计算量函数的具有不同的计算尺度，所以三个函数需要分别进行归一化处理之后才能进行联合计算。对于系统的推断结果正确率函数，只需要除以系统处理图像的总数量即可完成；对于整体通信时间延迟函数，需要除以所有图像数据均卸载到边缘设备处理的通信时间方可完成
归一化；对于系统巡检设备额外计算量函数，需要除以所有图像数据均使用第四深度学习模型再次进行推断任务的处理时间总和方可完成归一化。
[0058]058]
由于本方法中实现提升系统推断结果正确率和降低整体通信时间延迟、减少巡检设备端的额外计算压力两个目标方向不一致，导致准确率函数对通信标准值的设定也呈高标准需求，延迟函数和额外计算量函数通信标准值的设定也呈高标准需求。因此将归一化后的准确率和计算量相加之后再减去通信延迟作为求解函数求极大值求解系统最佳通信标准值：其中作为额外计算量的权重系数，作为通信时间延迟的权重系数，设计目的是适应需求多变的系统推断任务处理需求，权衡提升推断结果正确率、降低整体通信时间延迟、减少巡检设备端的额外计算压力三个目标之间的关系。
[0059]
本发明实施例中采用无线网络方式传输数据，但是在无线网络传输环境中，巡检设备面临无法处理，即所述第一推断结果的最大置信度值没有达到最佳置信度标准值的情况，需要将将所述监控图像数据发送给所述边缘设备。若是直接将采集到的监控图像数据传输到边缘设备中，由边缘设备上部署的深度学习模型处理图像数据，系统会因为巡检设备的可移动性，其位置不断变化，网络信道的衰落导致出现移动监控设备（巡检设备）的高传输能耗，传输时间，数据的高暴露危险性等严重问题，从而造成巡检系统的监测实时性降低，监控中心无法对具体情况做出及时反应，增加大型设备的维修成本等问题。因此本发明实施例中采用在巡检设备中设计网络检查器，获取当前环境的网络状态信息，判断当前网络状态是否满足最佳通信标准值，若是，则将所述监控图像数据发送给所述边缘设备；否则将所述监控图像数据输入到第四深度学习模型中进行任务推断，得到第四推断结果，并将其发送给所述控制中心。第四深度学习模型的构建正是为了应对智能巡检集群在实际应用中存在的网络传输状况变换频繁的情况，其相较于第二深度学习模型和第三分支模型的网络层数更少，但推理时间和准确率优于第一深度学习模型，劣于第三分支模型。
[0060]
在巡检设备端的网络检查器添加一个通信标准值，是衡量当前巡检设备第一深度学习模型无法处理的数据是否具备传输到边缘设备进行处理的资格的重要依据，兼顾了系统整体对响应速度、准确性和自适应应对网络环境多样化要求的重要手段。针对通信标准值设定，充分考虑到了应用环境因素。解决了因巡检设备的可移动性，网络信道的衰落导致出现移动监控设备（巡检设备）的高传输能耗，传输时间，数据的高暴露危险性等问题，提升了智能巡检集群的整体性能，提高巡检系统的监测实时性，降低维护成本。
[0061]
实施例三如图3所示，公开了一种基于深度学习模型的边缘智能协同推断系统，包括巡检设备、边缘设备和控制中心，所述巡检设备端部署有第一深度学习模型，所述边缘设备端部署有第三分支模型，其中，所述第三分支模型以第二深度学习模型为主干网络，在中间层构建若干退出点，得到所述第二深度学习模型的第三分支模型，所述第一深度学习模型和第二深度学习模型是基于所述巡检设备和边缘设备的参数信息以及所述巡检设备采集的监控图像数据的处理需求构建的，所述第一深度学习模型的网络层数以及每层的神经元个数少于所述第二深度学习模型，分别将所述第一深度学习模型和第三分支模型经过训练之后部署到所述巡检设备和边缘设备；所述巡检设备端基于所述第一深度学习模型和处理需求对所述监控图像数据进行任务推断，得到第一推断结果，所述巡检设备还包括置信度值判定器，用于判断所述第一推断结果的最大置信度值是否达到最佳置信度标准值，若是，则所述巡检设备将所述第一推断结果发送给所述控制中心，否则将所述监控图像数据发送给所述边缘设备；所述边缘设备端的第三分支模型根据接收的所述监控图像数据进行任务推断，得到第二推断结果，并将其发送给所述控制中心；所述控制中心用于根据推断结果对系统内的设备进行相关的维护工作。
[0062]
在一个优选地实施例中，所述边缘设备端的第三分支模型具体用于：从所述第三分支模型的输入层开始，依次通过每个所述退出点，当其中某一退出点的输出层输出的第三推断结果满足预设的退出条件时，则退出所述第三分支模型的输出结果，将所述第三推断结构作为所述第二推断结果。
[0063]
在一个优选地实施例中，所述巡检设备还包括网络状态检查器，当所述置信度值判定器判断所述第一推断结果的最大置信度值没有达到最佳置信度标准值时，启动所述网络状态检查器，获取当前环境的网络状态信息，判断当前网络状态是否满足最佳通信标准值，若是，则所述巡检设备将所述监控图像数据发送给所述边缘设备；否则将所述监控图像数据输入到第四深度学习模型中进行任务推断，得到第四推断结果，并将其发送给所述控制中心；其中，所述第四深度学习模型的网络层数以及每层的神经元个数大于所述第一深度学习模型且小于所述第二深度学习模型，所述第四深度学习模型部署是基于所述参数信息和处理需求构建并经过训练之后部署到所述巡检设备的。
[0064]
需要说明的是，本发明实施例一种基于深度学习模型的边缘智能协同推断系统是对应上述实施例一种基于深度学习模型的边缘智能协同推断方法，在所述一种基于深度学习模型的边缘智能协同推断系统中还包括若干单元，用于对应上述一种基于深度学习模型的边缘智能协同推断方法的相应步骤，实现相应的功能。由于上述实施例中已经对一种基于深度学习模型的边缘智能协同推断方法的步骤进行了详细的说明，故在此系统中不再赘述。
[0065]
实施例四公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现一种基于深度学习模型的边缘智能协同推断方法的部分或全部步骤。
[0066]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列
的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
[0067]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0068]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
[0069]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0070]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0071]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：u盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0072]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器（英文：read-only memory ，简称：rom）、随机存取器（英文：random access memory，简称：ram）、磁盘或光盘等。
[0073]
以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。