技术特征:
1.一种基于路径规划的无人机控制方法,其特征在于:所述的基于路径规划的无人机控制方法包括以下步骤:步骤1、建立无人机控制模型;建立基于无人机接收目标信号强度的模型,并建立基于玻尔兹曼概率选择的无人机飞行动作选择模型;步骤2、建立无人机路径规划算法;建立基于q-learning算法的无人机路径规划算法;步骤3、对无人机路径规划算法进行优化;基于强化导向原则,对步骤2所建立的无人机路径规划算法进行优化。2.根据权利要求1所述的一种基于路径规划的无人机控制方法,其特征在于:所述的步骤1、建立无人机控制模型;详细步骤如下:步骤1.1、建立基于无人机接收目标信号强度的模型;建立基于传输链路为视距传输模型los还是非视距传输模型nols的无人机u
i
与可疑信号源d之间路径损耗模型:其中、f
c
为载波中心频率,c为光速,为无人机u
i
与可疑信号源d之间的距离;η
los
和η
nlos
为由视距链路和非视距链路决定的衰减因子;los的概率由无人机与信号源之间的环境所决定,可表示为式中:b和c为由环境(乡村、城市等)所决定的参数,为常数,为仰角,知道los的概率时,nlos的概率为由此可得,无人机u
i
与可疑信号源d之间路径损耗为;假设无人机和信号源的天线都是全向天线,基于以上的信道模型,无人机u
i
接收到信号源d的信号强度rss可以表示为:
其中、为接收到的信号强度,为信号源发射功率,为无人机u(x
i
,y
i
,h)信道增益;σ2为噪声功率;步骤1.2、建立基于玻尔兹曼概率选择的无人机飞行动作选择模型;假设无人机所处的状态为s,此时的动作空间为a={a1,a2,
…
,a
k
},k=1,2,
…
,k,玻尔兹曼概率选择公式为:其中、表示无人机处于状态s时选择动作a
k
∈a;的概率,κ
b
≥0为玻尔兹曼常数,t为温度,z(t)为概率分布的标准化因子:根据上述的动作选择概率公式(6),无人机在状态s转移到下一个状态s
′
的概率可表示为:假设在状态s执行某个动作a
k
后,依概率1转移到状态s
′
,执行其他动作时,依概率0转移到状态s
′
,即:则,状态s到状态s
′
的转移概率可简化为:3.根据权利要求1所述的一种基于路径规划的无人机控制方法,其特征在于:所述的步骤2、建立无人机路径规划算法;建立基于q-learning算法的无人机路径规划算法;无人机u
i
在状态s获得的信号强度d(s)小于在下一个状态s
′
所获得的信号强度d(s
′
)假设无人机u
i
在状态s实施动作a
k
后到达状态s
′
,则说明无人机的飞行方向趋向目标信号源,且如果越大,说明动作a
k
方向与目标信号源方向的偏离角越小,故将回报函数定义为
式中:α为信号强度差系数,α越大,信号强度差在回报函数中占得比重就越大。4.根据权利要求1所述的一种基于路径规划的无人机控制方法,其特征在于:所述的步骤3、对无人机路径规划算法进行优化;基于强化导向原则,对步骤2所建立的无人机路径规划算法进行优化;在标准q-learning算法的基础上,可以通过方向信息对于无人机动作选择进行优化,称之为具有“导向强化”原则,动作的选择由q值表决定,方向信息对下一个动作的影响可表示为:式中:a
k
为无人机u
i
在状态s时执行的特定动作,a
i
∈a为无人机u
i
在状态s
′
时可选择执行的任意动作;ρ∈[0,1]为折扣因子,控制前一步的方向信息对后一步动作的影响的大小,其值越大,方向的导向性越强。5.一种基于路径规划的无人机控制系统,该系统适用于一种基于路径规划的无人机控制方法,其特征在于:所述的无人机控制系统包括:目标信号接收模块:用于接收目标发射出的信号;远程控制信号收发模块:用于接收远程后台传输来的手动控制信息,以及将无人机的飞行状态和飞行参数实时的传输到远程控制台;红外模块:用于对地进行红外特征扫描,得到目标和飞行过程中的红外参数,用于判断目标的红外特征提供依据;数据处理模块:用于通过路径规划算法,对接收到的目标信号强度进行解析,和计算出无人机控制参数;执行机构:用于执行数据处理模块传输来的控制参数,对无人机的飞行方向进行控制。
技术总结
本发明公开了一种基于路径规划的无人机控制方法及系统,属于无人机控制领域,所述的基于路径规划的无人机控制方法包括以下步骤:步骤1、建立无人机控制模型;步骤2、建立无人机路径规划算法;步骤3、对无人机路径规划算法进行优化。本发明基于信号接收强度的路径规划方法,在结合玻尔兹曼概率选择策略指导无人机自动进行路径规划,同时根据无人机飞行环境的特点,引入“导向强化”原则强化学习Q-Learning算法的学习概率,提高了无人机路径规划的收敛速度,大大减少了控制方法的迭代次数。大大减少了控制方法的迭代次数。大大减少了控制方法的迭代次数。
技术研发人员:杨航 吴碧 王骁飞 轩永波
受保护的技术使用者:中国人民解放军93236部队
技术研发日:2022.09.23
技术公布日:2022/12/1
再多了解一些
本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。