一种基于边缘智能的高低空协同疫情防控系统及方法与流程

1.本发明属于人工智能应用领域，涉及一种基于边缘智能的高低空协同疫情防控系统及方法。


背景技术：

2.疫情的快速传播，对人们的衣食住行造成了巨大的影响。为了有效的遏制疫情的蔓延，需要动用大量的防疫人员来参与疫情的防控工作。高频率、高强度的疫情防控措施给防疫人员带来了十分沉重的工作负担，同时也可能对一线防疫人员造成二次疫情传播，极大的影响了疫情的防控效果，危及防疫人员的生命安全。
3.因此，如何提高疫情防控效率，实现各部门协同工作，科学地防控疫情，成为了社会亟需解决的现实问题。


技术实现要素：

4.本发明的第一个目的在于提供一种基于边缘智能的高低空协同疫情防控系统，该系统由无人热气球和无人机构成，利用无人热气球在高空进行移动边缘计算服务和提供充电服务，利用无人机在低空中进行快速的大范围人群密集度监控、交通疏导和口罩佩戴检测等相关工作。
5.本发明的第二个目的在于提供一种基于边缘智能的任务卸载和资源分配方法，能够将部分的人工智能计算任务(基于该系统中的人工智能任务)从能量受限的无人机卸载到无人热气球上装载的边缘服务器上执行，从而提高无人机的决策响应速度并节省能耗。
6.为了达到上述目的，本发明提供以下技术方案：
7.本发明提供一种基于边缘智能的高低空协同疫情防控系统，该系统包括高空热气球系统、低空无人机系统和地面指挥中心；
8.所述高空热气球系统包括无人热气球、边缘服务器(mec服务器)、太阳能充电模块和无线充电模块，所述太阳能充电模块用于对整个高空热气球系统进行供电，所述无线充电模块用于对低空无人机充电；
9.所述低空无人机系统包括了多架无人机，无人机用于低空监控，包括人群密度监控、口罩佩戴监控、目标识别与追踪、政策宣传和交通疏导，当低空无人机系统发现异常的情况时，将信息传输至地面指挥中心；
10.所述地面指挥中心包含防疫数据库、调度模块和通信模块，防疫数据库用于存储防疫数据，包括健康码信息、人脸信息，所述调度模块用于对无人热气球和无人机进行调度，所述通信模块用于将相关的数据接入远端防疫云平台。
11.由于无人机上需要运行大量的人工智能任务(例如人群密度识别，口罩佩戴识别等)，为了进一步提高任务的执行效率，本发明还提供了一种基于边缘智能的任务卸载和资源分配方法，包括以下步骤：
12.步骤一、无人机将防疫过程中的人工智能任务进行分割，确定任务的卸载形式；
13.每一个任务定义为一个三元组：
[0014][0015]
式(1)中，f
i
是完成任务u
i
所需的cpu周期总数，d
i
是任务u
i
的卸载数据量，t是时间约束或用户的qos要求，为无人机的集合；
[0016]
步骤二、定义移动边缘计算的通信和计算模型；
[0017]
定义无人机上任务的通信速率为：
[0018][0019]
式(2)中，b为通信带宽，是无人机到边缘服务器(mec服务器)的发射功率，σ是噪声功率，是无人机到mec服务器之间的信道增益；
[0020]
其中，h
i
是第i个无人机的高度，r
i
是第i个无人机到mec服务器的水平距离，α是小尺度衰落分量；
[0021]
定义任务的本地计算时间t
local
为：
[0022][0023]
式(3)中，f
il
本地能够分配的计算资源，本地执行所需要的功率为：
[0024][0025]
式(4)中，k
i
＝10
‑
27
是有效开关电容，v
i
＝3是正常数；
[0026]
步骤三、定义移动边缘计算最小能耗的目标函数：
[0027][0028]
式(5)中，a
i
为卸载决策，为发射功率，f
i
为mec服务器分配给第i个无人机的计算资源；c1表示任务只能在本地或者mec服务器上执行，c2表示任务的执行时间需要满足时延约束t，c3表示mec服务器分配给所有无人机的计算资源要满足服务器上的最大资源f
max
限制；
[0029]
步骤四、采用集中训练、分布式决策的强化学习算法：在无人热气球上对智能体进行集中式训练，然后将训练好的智能体下载到各个无人机，并根据智能体在无人机上快速求解a
i
和f
i
。
[0030]
优选的方案，所述步骤四中，具体为：
[0031]
4.1)在无人热气球上设计每个无人机上的强化学习智能体，其中第i个无人机上的智能体策略网络为目标策略网络为评价网络为目标评价网络为s为强化学习的状态，具体表现为每个人工智能任务的u
i
和每个无人机的信道增益和a为强化学习的动作，具体表现为每个无人机的任务卸载决策a
i
，为策略网络的网络参数，为目标策略网络的网络参数，为评价网络的网络参数，为目标评价网络的网络参数；
[0032]
4.2)随机初始化第i个无人机的和初始化相关联的目标网络初始化相关联的目标网络并初始化经验重放数据库
[0033]
4.3)在集中训练阶段，每个时隙t，低空无人机系统收集自己的人工智能识别任务的u
i,t
和每个无人机的信道增益和组成强化学习的状态组成强化学习的状态其中第t时隙第i个无人机的任务u
i,t
＝(f
i,t
,d
i,t
,t),,t),其中f
i,t
是完成任务u
i,t
所需的cpu周期总数，d
i,t
是任务u
i,t
的卸载数据量，t是时间约束或用户的qos要求；
[0034]
4.4)通过使用当前的策略网络和生成的探索噪声δμ来选择一个动作a
i,t
：
[0035]
其中a
i,t
为第t时隙、第i个无人机的卸载决策，为第t时隙、第i个无人机上智能体策略网络；
[0036]
如果a
i,t
＝1，表示第t时隙第i个无人机的任务需要卸载到mec服务器上执行，则根据公式计算mec服务器分配给第i个无人机的计算资源；
[0037]
如果a
i,t
＝0，表示第t时隙第i个无人机的任务在本机执行，f
i，t
＝f
il
；
[0038]
4.5)根据所有无人机的a
i,t
和f
i,t
计算t时刻的移动边缘计算的总目标函数，并将其倒数定义为强化学习的奖励r
t
；
[0039]
4.6)继续收集下一个状态的信息并将元组(s
t
,a
t
,r
t
,s
t 1
)存入经验重放数据库其中s
t
＝{s
i,t
}，a
t
＝{a
i,t
}，s
t 1
＝{s
i,t 1
}，
[0040]
4.7)从经验重放数据库中随机抽取一组样本集合i＝{(s
k
,a
k
,r
k
,s'
k
)}
k＝1
，s'
k
为s
k 1
，并利用抽取的样本集合i最小化损失函数l来更新评价网络
[0041][0042]
其中，为目标评价网络，并利用抽取的样本集合i对累积奖励j的策略梯度来更新策略网络
[0043][0044]
其中表示梯度；
[0045]
4.8)每隔一段时间，通过公式和和更新目标网络的参数，其中τ为混合系数；
[0046]
4.9)以上步骤反复执行直到算法收敛，在无人热气球上的集中训练完成；
[0047]
4.10)每个无人机分别下载自己的策略网络参数并计算通过公式并计算通过公式分别计算各自的卸载策略a
i
；
[0048]
如果a
i
＝1，表示第i个无人机的任务需要卸载到mec服务器上执行，则根据公式计算mec服务器分配给第i个无人机的计算资源；
[0049]
如果a
i
＝0，表示第i个无人机的任务在本机执行，f
i
＝f
il
；
[0050]
最终完成任务的移动边缘计算优化。
[0051]
本发明利用无人热气球和无人机等无人系统来辅助疫情防控，在政策宣传，人员监控，交通疏导，远程识别等工作中发挥作用，实现高低空协同工作，科学防控疫情，具有非常重要的研究意义和应用前景。
[0052]
与现有技术相比，本发明具有以下优点：
[0053]
(1)本发明提供了一种基于边缘智能的高低空协同疫情防控系统，该系统能够协同高空无人热气球和低空无人机进行联合疫情防控，其中无人热气球能够为无人机提供充电服务，并能够通过边缘服务器为无人机提供移动边缘计算服务；无人机能够在空中进行快速的大范围人群密集度监控和交通疏导、口罩佩戴检测等相关工作。同时，为了进一步提高系统的能效，边缘服务器可以协助无人机执行人工智能任务。该方法能够极大的减少疫情防控人员的工作任务，降低工作强度，同时全程无人操作能够避免一线疫情防控人员在疫情防控期间的交叉感染，增强了疫情防控的安全性。
[0054]
(2)本发明针对无人机设备的能量受限问题，提出了最小化无人机能耗的目标函数，该函数包括整数变量a
i
和连续变量f
i
，是一个典型的非线性混合规划问题，传统的优化方法难以有效求解。因此，提供了一种无人热气球上集中式训练，无人机上分布式决策的深度强化学习卸载决策和资源分配方法，该方法通过在无人热气球上集中学习策略函数来加
快学习速度，然后将策略函数下载至无人机上来进行分布式决策，从而实现快速的卸载决策和资源分配优化，进而提高整个系统的能量使用效率，同时减轻无人机上的计算负担。
附图说明
[0055]
图1是本发明基于边缘智能的高低空协同疫情防控系统的功能模块图。
[0056]
图2是本发明基于边缘智能的任务卸载和资源分配方法的流程图。
具体实施方式
[0057]
下面结合具体实施例和附图对本发明进行进一步说明：
[0058]
实施例1
[0059]
如图1～2所示，一种基于边缘智能的高低空协同疫情防控系统，该系统由高空热气球系统，低空无人机系统和地面指挥中心三个部分组成；
[0060]
其中高空热气球系统包括了一个无人热气球、边缘服务器(mec服务器)、太阳能充电模块和无线充电模块。该无人热气球利用太阳能充电模块在高空中完成太阳能充电，并为边缘服务器和低空无人机提供电能，无人热气球利用无线充电模型向低空无人机供电；
[0061]
低空无人机系统包括了多架无人机，利用无人机速度快，视野宽，覆盖广的优势，高效地完成大面积的低空监控，具体可包括人群密度监控，口罩佩戴监控，政策宣传和交通疏导等，当低空无人机系统发现异常的情况时，将信息返回至地面指挥中心；
[0062]
地面指挥中心含有防疫数据库，调度模块和通信模块，其中防疫数据库用来存储防疫数据，例如健康码信息、人脸信息等，调度模块用来对无人热气球和无人机进行调度，同时相关的数据可以通过通信模块接入远端防疫云平台。
[0063]
由于无人机上需要运行大量的人工智能任务(例如人群密度识别，口罩佩戴识别等)，所以本发明还提供了一种基于边缘智能的任务卸载和资源分配方法，用于进一步提高任务的执行效率，包括以下步骤：
[0064]
步骤一、无人机将防疫过程中的人工智能任务进行分割，确定任务的卸载形式；
[0065]
每一个任务定义为一个三元组：
[0066][0067]
式(1)中，f
i
是完成任务u
i
所需的cpu周期总数，d
i
是任务u
i
的卸载数据量，t是时间约束或用户的qos要求，为无人机的集合；
[0068]
步骤二、定义移动边缘计算的通信和计算模型；
[0069]
定义无人机上任务的通信速率为：
[0070][0071]
式(2)中，b为通信带宽，是无人机到边缘服务器(mec服务器)的发射功率，σ是噪声功率，是无人机到mec服务器之间的信道增益；
[0072]
其中，h
i
是第i个无人机的高度，r
i
是第i个无人机到
mec服务器的水平距离，α是小尺度衰落分量；
[0073]
定义任务的本地计算时间t
local
为：
[0074][0075]
式(3)中，f
il
本地能够分配的计算资源，本地执行所需要的功率为：
[0076][0077]
式(4)中，k
i
＝10
‑
27
是有效开关电容，v
i
＝3是正常数；
[0078]
步骤三、定义移动边缘计算最小能耗的目标函数：
[0079][0080][0081]
式(5)中，a
i
为卸载决策，为发射功率，f
i
为mec服务器分配给第i个无人机的计算资源；c1表示任务只能在本地或者mec服务器上执行，c2表示任务的执行时间需要满足时延约束t，c3表示mec服务器分配给所有无人机的计算资源要满足服务器上的最大资源f
max
限制；
[0082]
步骤四、采用集中训练、分布式决策的强化学习算法：在无人热气球上对智能体进行集中式训练，然后将训练好的智能体下载到各个无人机，并根据智能体在无人机上快速求解a
i
和f
i
，具体为：
[0083]
4.1)在无人热气球上设计每个无人机上的强化学习智能体，其中第i个无人机上的智能体策略网络为目标策略网络为评价网络为目标评价网络为s为强化学习的状态，具体表现为每个人工智能任务的u
i
和每个无人机的信道增益和a为强化学习的动作，具体表现为每个无人机的任务卸载决策a
i
，为策略网络的网络参数，为目标策略网络的网络参数，为评价网络的网络参数，为目标评价网络的网络参数；
[0084]
4.2)随机初始化第i个无人机的和初始化相关联的目标网络初始化相关联的目标网络并初始化经验重放数据库
[0085]
4.3)在集中训练阶段，每个时隙t，低空无人机系统收集自己的人工智能识别任务
的u
i,t
和每个无人机的信道增益和组成强化学习的状态组成强化学习的状态其中第t时隙第i个无人机的任务u
i,t
＝(f
i,t
,d
i,t
,t),,t),其中f
i,t
是完成任务u
i,t
所需的cpu周期总数，d
i，t
是任务u
i,t
的卸载数据量，t是时间约束或用户的qos要求；
[0086]
4.4)通过使用当前的策略网络和生成的探索噪声δμ来选择一个动作a
i,t
：
[0087]
其中a
i,t
为第t时隙、第i个无人机的卸载决策，为第t时隙、第i个无人机上智能体策略网络；
[0088]
如果a
i,t
＝1，表示第t时隙第i个无人机的任务需要卸载到mec服务器上执行，则根据公式计算mec服务器分配给第i个无人机的计算资源；
[0089]
如果a
i,t
＝0，表示第t时隙第i个无人机的任务在本机执行，f
i,t
＝f
il
；
[0090]
4.5)根据所有无人机的a
i,t
和f
i,t
计算t时刻的移动边缘计算的总目标函数，并将其倒数定义为强化学习的奖励r
t
；
[0091]
4.6)继续收集下一个状态的信息并将元组(s
t
,a
t
,r
t
,s
t 1
)存入经验重放数据库其中s
t
＝{s
i,t
}，a
t
＝{a
i,t
}，s
t 1
＝{s
i,t 1
}，
[0092]
4.7)从经验重放数据库中随机抽取一组样本集合i＝{(s
k
,a
k
,r
k
,s'
k
)}
k＝1
，s'
k
为s
k 1
，并利用抽取的样本集合i最小化损失函数l来更新评价网络
[0093][0094]
其中，为目标评价网络，并利用抽取的样本集合i对累积奖励j的策略梯度来更新策略网络
[0095][0096]
其中表示梯度；
[0097]
4.8)每隔一段时间，通过公式和和更新目标网络的参数，其中τ为混合系数；
[0098]
4.9)以上步骤反复执行直到算法收敛，在无人热气球上的集中训练完成；
[0099]
4.10)每个无人机分别下载自己的策略网络参数并计算通过公式
分别计算各自的卸载策略a
i
；
[0100]
如果a
i
＝1，表示第i个无人机的任务需要卸载到mec服务器上执行，则根据公式计算mec服务器分配给第i个无人机的计算资源；
[0101]
如果a
i
＝0，表示第i个无人机的任务在本机执行，f
i
＝f
il
；
[0102]
最终完成任务的移动边缘计算优化。
[0103]
实施例2
[0104]
本实施例针对一种基于边缘智能的任务卸载和资源分配方法进行了实验，采用集中训练 分布式决策的强化学习算法，在无人热气球上进行集中式训练，在无人机上进行分布式决策。
[0105]
本实施例将该方法和经典的强化学习方法：actor
‑
critic(ac)，deep deterministic policy gradient(ddpg)以及deep q learning(dqn)进行了比较，实验的结果如下：
[0106]
算法奖励本发明算法0.0373ac0.0328ddpg0.0359dqn0.0280
[0107]
实验表中奖励为目标函数的倒数，值越大，表示系统所消耗的能耗越小。由实验结果可知，本发明算法能够在高低空协同的疫情防控系统中较好的运行，获得了最大的任务奖励和最小的能量消耗。
[0108]
虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。