一种基于路径规划的无人机控制方法及系统与流程

技术特征：
1.一种基于路径规划的无人机控制方法，其特征在于：所述的基于路径规划的无人机控制方法包括以下步骤：步骤1、建立无人机控制模型；建立基于无人机接收目标信号强度的模型，并建立基于玻尔兹曼概率选择的无人机飞行动作选择模型；步骤2、建立无人机路径规划算法；建立基于q-learning算法的无人机路径规划算法；步骤3、对无人机路径规划算法进行优化；基于强化导向原则，对步骤2所建立的无人机路径规划算法进行优化。2.根据权利要求1所述的一种基于路径规划的无人机控制方法，其特征在于：所述的步骤1、建立无人机控制模型；详细步骤如下：步骤1.1、建立基于无人机接收目标信号强度的模型；建立基于传输链路为视距传输模型los还是非视距传输模型nols的无人机u
i
与可疑信号源d之间路径损耗模型：其中、f
c
为载波中心频率，c为光速，为无人机u
i
与可疑信号源d之间的距离；η
los
和η
nlos
为由视距链路和非视距链路决定的衰减因子；los的概率由无人机与信号源之间的环境所决定，可表示为式中：b和c为由环境(乡村、城市等)所决定的参数，为常数，为仰角，知道los的概率时，nlos的概率为由此可得，无人机u
i
与可疑信号源d之间路径损耗为；假设无人机和信号源的天线都是全向天线，基于以上的信道模型，无人机u
i
接收到信号源d的信号强度rss可以表示为：
其中、为接收到的信号强度，为信号源发射功率，为无人机u(x
i
,y
i
,h)信道增益；σ2为噪声功率；步骤1.2、建立基于玻尔兹曼概率选择的无人机飞行动作选择模型；假设无人机所处的状态为s，此时的动作空间为a＝{a1，a2，
…
，a
k
}，k＝1，2，
…
，k，玻尔兹曼概率选择公式为：其中、表示无人机处于状态s时选择动作a
k
∈a；的概率，κ
b
≥0为玻尔兹曼常数，t为温度，z(t)为概率分布的标准化因子：根据上述的动作选择概率公式(6)，无人机在状态s转移到下一个状态s
′
的概率可表示为：假设在状态s执行某个动作a
k
后，依概率1转移到状态s
′
，执行其他动作时，依概率0转移到状态s
′
，即：则，状态s到状态s
′
的转移概率可简化为：3.根据权利要求1所述的一种基于路径规划的无人机控制方法，其特征在于：所述的步骤2、建立无人机路径规划算法；建立基于q-learning算法的无人机路径规划算法；无人机u
i
在状态s获得的信号强度d(s)小于在下一个状态s
′
所获得的信号强度d(s
′
)假设无人机u
i
在状态s实施动作a
k
后到达状态s
′
，则说明无人机的飞行方向趋向目标信号源，且如果越大，说明动作a
k
方向与目标信号源方向的偏离角越小，故将回报函数定义为
式中：α为信号强度差系数，α越大，信号强度差在回报函数中占得比重就越大。4.根据权利要求1所述的一种基于路径规划的无人机控制方法，其特征在于：所述的步骤3、对无人机路径规划算法进行优化；基于强化导向原则，对步骤2所建立的无人机路径规划算法进行优化；在标准q-learning算法的基础上，可以通过方向信息对于无人机动作选择进行优化，称之为具有“导向强化”原则，动作的选择由q值表决定，方向信息对下一个动作的影响可表示为：式中：a
k
为无人机u
i
在状态s时执行的特定动作，a
i
∈a为无人机u
i
在状态s
′
时可选择执行的任意动作；ρ∈[0，1]为折扣因子，控制前一步的方向信息对后一步动作的影响的大小，其值越大，方向的导向性越强。5.一种基于路径规划的无人机控制系统，该系统适用于一种基于路径规划的无人机控制方法，其特征在于：所述的无人机控制系统包括：目标信号接收模块：用于接收目标发射出的信号；远程控制信号收发模块：用于接收远程后台传输来的手动控制信息，以及将无人机的飞行状态和飞行参数实时的传输到远程控制台；红外模块：用于对地进行红外特征扫描，得到目标和飞行过程中的红外参数，用于判断目标的红外特征提供依据；数据处理模块：用于通过路径规划算法，对接收到的目标信号强度进行解析，和计算出无人机控制参数；执行机构：用于执行数据处理模块传输来的控制参数，对无人机的飞行方向进行控制。

技术总结
本发明公开了一种基于路径规划的无人机控制方法及系统，属于无人机控制领域，所述的基于路径规划的无人机控制方法包括以下步骤：步骤1、建立无人机控制模型；步骤2、建立无人机路径规划算法；步骤3、对无人机路径规划算法进行优化。本发明基于信号接收强度的路径规划方法，在结合玻尔兹曼概率选择策略指导无人机自动进行路径规划，同时根据无人机飞行环境的特点，引入“导向强化”原则强化学习Q-Learning算法的学习概率，提高了无人机路径规划的收敛速度，大大减少了控制方法的迭代次数。大大减少了控制方法的迭代次数。大大减少了控制方法的迭代次数。


技术研发人员：杨航 吴碧 王骁飞 轩永波
受保护的技术使用者：中国人民解放军93236部队
技术研发日：2022.09.23
技术公布日：2022/12/1