一种基于无人机的大尺度火线瞬时定位方法

1.本发明涉及瞬时大尺度火线定位技术领域，具体而言，涉及一种基于无人机的大尺度火线瞬时定位方法。


背景技术：

2.森林火灾预防对于国家生态环境保护有着十分重要的影响。森林火灾具有突发性强、破坏性大的特点，如何有效应对大尺度极端火行为等突发事件，已经成为我国实现森林防火治理体系治理能力现代化的重要体现，因此，构建大尺度森林火灾火线瞬时定位平台、开展林火蔓延研究用于进一步改进防火规范和减少损失已成为国内重要发展需求。
3.当前技术中，针对大尺度火灾主要通过卫星搭建三级定位系统来监测火线。卫星遥感技术覆盖范围广，一景图像即可覆盖完整大尺度火线，执行较为方便，但是其时空分辨率较低，定位精度偏低，无法满足大尺度火线实时精准定位的需求。
4.随着无人机载传感器技术的发展，通过利用无人机载红外相机获取边缘临界处火线数据进行林火蔓延的模拟得到当前时刻大尺度火线情况对于我国森林火灾数据资源的完善具有非常重要的意义。针对大尺度火灾目前需采用多无人机同步监测火线，多无人机低空监测设备可以满足火线定位的实时性和精度要求，但需要考虑多无人机之间的协调关系以及数据之间的拼接，执行过程较为复杂，且设备成本高。针对大尺度火线的定位，必须考虑无人机飞行时间延迟与火线不断蔓延的情况以提高火线定位的精准度，国内外针对相关方向并未开展深入研究，因此，研究大尺度火线瞬时定位技术，已成为亟待攻坚的技术难题。
5.目前，亟需一种执行方便、精度较高且将无人机飞行时间延迟与火线不断蔓延事实情况考虑在内的大尺度火线瞬时定位方法。通过该方法能够较为准确的定位火线上火点范围，为灭火后找出起火原因提供可靠信息，为森林火险和森林纵火等领域的损失评估提供依据，及为刑事案件侦查和预防预报等领域提供帮助。


技术实现要素：

6.本发明要解决的技术问题是：
7.现有技术中由于单无人机监测范围有限只能用于定位小尺度火线，无法定位大尺度火线；而采用多无人机同步监测大尺度火线需要考虑多无人机之间的协调以及数据之间的拼接，执行过程复杂且设备成本高。
8.本发明为解决上述技术问题所采用的技术方案：
9.本发明提供了一种基于无人机的大尺度火线瞬时定位方法，采用单个无人机 林火蔓延模型可实现大尺度火线的精准定位，所述林火蔓延模型主要用于均质大规模、温度上升斜率近似为线性的火场，所述方法包括如下步骤：
10.步骤一、单个无人机以一定速度沿火灾边缘进行巡航监测，利用无人机载红外相机实时获取t0～t
current
时刻大尺度林火边缘区域红外图像，并通过红外相机获取红外图像
上各处的温度，其中t
current
为t1、t2、t3......；
11.步骤二、对大尺度林火边缘区域的红外图像进行处理，以提取图像边缘临界处大尺度火线，再对提取的大尺度火线进行离散化处理，得到离散的火点，并通过坐标变换将火点的像素坐标转换为世界坐标系下的三维坐标；
12.步骤三、构建以温度数据作为驱动因素的林火蔓延模型，将t0时刻世界坐标系下的火点坐标、火点温度以及t0这个时间值代入所述林火蔓延模型进行计算得到t1时刻火点坐标，再将预测得到的t1时刻火点坐标、无人机采集的t1时刻火点坐标、火点温度以及t1这个时间值代入到所述林火蔓延模型中进行计算得到t2时刻火点坐标，依次进行计算，至得到t
current
时刻的火点坐标；
13.步骤四、将得到的t
current
时刻火点坐标进行拟合以得到平滑的t
current
时刻火线；
14.步骤五、构建大尺度火线位置修正模型，对预测得到的t
current
时刻火线位置进行修正；
15.步骤六、通过坐标变换将世界坐标系下的t
current
时刻火线转化为地理坐标系下的gps坐标火线。
16.进一步地，所述步骤二中火线提取的具体过程为：
17.步骤二一，将收集到的红外图像进行直方图均衡化，增强燃烧区域与非燃烧区域的对比度；
18.步骤二二，将直方图均衡化的红外图像转换成灰度图像；
19.步骤二三，通过改变阈值迭代法中参数的比重改进阈值迭代选取方法用于选取灰度图像上最为合适的阈值，使用选取的阈值对转换后的灰度图像进行二值化处理；
20.步骤二四，将步骤二三得到的图像中所有灰度值为1的像素点加入到链表中；
21.步骤二五，分类链表中的所有像素点，为每个连通区域的集合建立一个新的链表；
22.步骤二六，统计连通区域链表中包含的像素点数量，通过改变阈值迭代法中参数的比重来改进阈值迭代选取方法选取合适的阈值对连通区域进行去噪；
23.步骤二七，选取合适的火线轮廓面积作为阈值对火线轮廓进行过滤来消除边缘临界火线内部火线轮廓和火线交叉；
24.步骤二八，采用形态学算子的细化操作进行边缘细化，减少火线边缘毛刺。
25.进一步地，所述步骤二中将火点的像素坐标转换为世界坐标系下的三维坐标的过程为：
26.将无人机的位置定为世界坐标系的原点，令世界坐标系x轴与地理坐标系x轴平行，世界坐标系y轴和地理坐标系y轴平行，使用激光定高可以获取无人机飞行的高度zc；
27.假定已知像素坐标系下火点坐标为(u，v)，可通过从像素坐标系转换至相机坐标系，再由相机坐标系转换至世界坐标系这一顺序变化过程将其转换为世界坐标系下的坐标 (xw，yw，zw)；
28.像素坐标系转换至相机坐标系通过公式(1)进行：
[0029][0030]
其中，f
x
、fy为相机的像素焦距长度，c
x
、cy为图像主点在像素坐标系下的坐标，xc、
yc、zc为相机坐标系下的坐标值，u、v为火点在像素坐标系下的平面二维坐标；
[0031]
相机坐标系转换至世界坐标系通过公式(2)进行：
[0032][0033]
其中，右侧第一个矩阵为相机外参矩阵。
[0034]
进一步地，所述步骤三中的林火蔓延模型的建立过程为：
[0035]
针对两个相邻时刻处于不同瞬时火线上的火点m和n，其中t
i 1
时刻n点是ti时刻m点蔓延传播的结果，m点和n点之间的关系反映了林火蔓延，n点具体位置可通过公式(3)、 (4)和(5)获取：
[0036][0037][0038][0039]
式中i∈n，是ti时刻m点处的温度值，单位为k，xn、yn、zn为t
i 1
时刻n点在世界坐标系下的坐标值，xm、ym、zm为ti时刻m点在世界坐标系下的坐标值，时刻m点在世界坐标系下的坐标值，
[0040]
由式(3)、(4)和(5)分析可得ti时刻在m点处的林火蔓延速度：
[0041][0042]
采用坡度修正系数、风速修正系数和可燃物类型调节因子对火蔓延速度进行修正：
[0043][0044]
其中，为修正后火蔓延速度，λ
wind
为风速修正系数，λ
slope
为坡度修正系数，λi表示第i种可燃物的可燃物调节因子的值；
[0045]
在t
i 1
时刻n点的坐标为(xn，yn，zn)
t
，其对应ti时刻m点的坐标为(xm，ym，zm)
t
；
[0046]
(xn，yn，zn)
t
与(xm，ym，zm)
t
之间的关系为：
[0047][0048]
进一步地，所述步骤四采用三次b样条曲线拟合方法将t
current
时刻火点进行拟合，
为了避免产生过拟合的现象，将数据分为多个部分单独拟合再进行拼接，且曲线拼接时将曲线的边界段转换成贝塞尔曲线进行拼接。
[0049]
进一步地，所述步骤五利用bp神经网络构建大尺度火线位置修正模型，包括如下步骤：
[0050]
步骤五一、收集火线处坡度、坡向、可燃物类型、风速、风向、气温、误差修正系数ξ数据，将数据随机划分为训练集和测试集；
[0051]
所述误差修正系数ξ为一个定义的系数，即令：
[0052][0053][0054][0055]
其中，为未修正的t
current
时刻火线上火点坐标，时刻火线上火点坐标，为修正后的t
current
时刻火线上火点坐标；
[0056]
所述误差修正系数ξ为通过计算多个预测的火线与farsite仿真火线的均方根误差 rmse获得，且其取值范围为
[0057]
步骤五二、构建基于bp神经网络的大尺度火线位置修正模型，以坡度、坡向、可燃物类型、风速、风向以及气温作为模型的输入，误差修正系数ξ作为输出，采用训练集对模型进行训练，得到大尺度火线位置修正模型，并采用测试集对模型性能进行验证；
[0058]
步骤五三、将t
current
时刻火线所处位置的坡度、坡向、可燃物类型、风速、风向以及气温数据输入大尺度火线位置修正模型得到误差修正系数ξ，并采用得到的误差修正系数ξ对 t
current
时刻火线位置进行修正。
[0059]
进一步地，所述步骤五中所述坡度、坡向、可燃物类型、风速、风向以及气温数据可通过查询现有数据获取或者采用无人机在线采集方式获取。
[0060]
进一步地，所述步骤六包括如下步骤：
[0061]
首先要将世界坐标的距离单位换算成经纬度，再通过公式(11)、(12)、(13)和(14) 将世界坐标转化为地理坐标；
[0062][0063][0064][0065][0066]
其中，为火点在地理坐标系下相对世界坐标系原点经度的变化量，为火点在地理坐标系下相对世界坐标系原点纬度的变化量，为火点在地
理坐标系下相对世界坐标系原点高程的变化量，x
gps
、y
gps
、z
gps
表示世界坐标系原点的经度、纬度和高程值，xw、yw、zw表示火线上点在世界坐标系下的坐标值，x
longitude
、y
latitude
、z
elevation
表示火线上点在地理坐标系下的gps坐标值。
[0067]
一种基于无人机的大尺度火线瞬时定位系统，该系统具有与上述技术方案任一项技术方案的步骤对应的程序模块，运行时执行上述的基于无人机的大尺度火线瞬时定位方法中的步骤。
[0068]
一种计算机可读存储介质，其特征在于所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现上述技术方案中任一项所述的基于无人机的大尺度火线瞬时定位方法的步骤。
[0069]
相较于现有技术，本发明的有益效果是：
[0070]
一、本发明为一种基于无人机的大尺度火线瞬时定位方法，采用了以温度数据作为驱动因素的林火蔓延模型，考虑了无人机飞行时间延迟与火线不断蔓延的事实，可实现对当前时刻瞬时大尺度火线的精准定位，减少了无人机飞行时间延迟和火线不断蔓延等因素对火线定位准确性的影响；针对大尺度火线，本发明可采用单个无人机巡航监测收集数据，使火灾监测任务的灵活性和监测效率显著提升，大量减少了人力财力成本，节约资源，且操作方便。
[0071]
二、本发明方法通过大尺度火线位置修正模型，对预测定位的大尺度瞬时火线位置进行及时修正以提高其准确度，保障了定位结果的准确性。
[0072]
三、国内火灾数据库资源有限，需要大量火灾数据的补充，通过本发明方法可以收集到大量的火灾数据，对开展林火蔓延研究和林火预防研究具有十分重要的意义。
附图说明
[0073]
图1为本实施方式中基于无人机的大尺度火线瞬时定位方法的技术路线图；
[0074]
图2为本实施方式中提取火线的技术路线图；
[0075]
图3为本实施方式中预测定位大尺度瞬时火线的技术路线图；
[0076]
图4为本实施方式中使用bp神经网络进行火线位置修正的示意图；
[0077]
图5为本实施方式中预测的火线与对比火线的对比效果图。
具体实施方式
[0078]
在本发明的描述中，应当说明的是，在本发明的实施例中所提到的术语“第一”、“第二”、“第三”仅用于描述目的，并不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者多个该特征。
[0079]
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
[0080]
具体实施方案一：如图1所示，本发明提供一种基于无人机的大尺度火线瞬时定位方法，包括如下步骤：
[0081]
步骤一、单个无人机以一定速度沿火灾边缘进行巡航监测，利用无人机载红外相机实时获取t0～t
current
时刻大尺度林火边缘区域红外图像，并通过红外相机获取红外图像
(xw，yw，zw)；
[0101]
像素坐标系转换至相机坐标系通过公式(1)进行：
[0102][0103]
其中，f
x
、fy为相机的像素焦距长度，c
x
、cy为图像主点在像素坐标系下的坐标，xc、yc、zc为相机坐标系下的坐标值，u、v为火点在像素坐标系下的平面二维坐标；
[0104]
相机坐标系转换至世界坐标系通过公式(2)进行：
[0105][0106]
其中，右侧第一个矩阵为相机外参矩阵。本实施方案其他与具体实施方案一相同。
[0107]
具体实施方案四：所述步骤三中的林火蔓延模型的建立过程为：
[0108]
针对两个相邻时刻处于不同瞬时火线上的火点m和n，其中t
i 1
时刻n点是ti时刻m点蔓延传播的结果，m点和n点之间的关系反映了林火蔓延，n点具体位置可通过公式(3)、 (4)和(5)获取：
[0109][0110][0111][0112]
式中i∈n，是ti时刻m点处的温度值，单位为k，xn、yn、zn为t
i 1
时刻n点在世界坐标系下的坐标值，xm、ym、zm为ti时刻m点在世界坐标系下的坐标值，时刻m点在世界坐标系下的坐标值，
[0113]
由式(3)、(4)和(5)分析可得ti时刻在m点处的林火蔓延速度：
[0114][0115]
采用坡度修正系数、风速修正系数和可燃物类型调节因子对火蔓延速度进行修正：
[0116][0117]
其中，为修正后火蔓延速度，λ
wind
为风速修正系数，λ
slope
为坡度修正系数，λi表示第i种可燃物的可燃物调节因子的值；
[0118]
在t
i 1
时刻n点的坐标为(xn，yn，zn)
t
，其对应ti时刻m点的坐标为(xm，ym，zm)
t
；
[0119]
(xn，yn，zn)
t
与(xm，ym，zm)
t
之间的关系为：
[0120][0120]
本实施方案其他与具体实施方案一相同。
[0121]
如图3所示，本实施方案中通过计算(xn，yn，zn)
t
与(xm，ym，zm)
t
之间关系式便可预测定位t
i 1
时刻火点坐标，再将预测得到的t
i 1
时刻火点坐标、无人机采集的t
i 1
时刻火点的坐标、火点温度以及t
i 1
这个时间值代入到林火蔓延模型预测t
i 2
时刻火线上火点坐标，依次进行计算，至得到t
current
时刻瞬时大尺度火线上火点坐标。
[0122]
可燃物调节因子可以自行设定，因可燃物类型繁多，可根据火场处可燃物种类情况为可燃物调节因子附加参数值。
[0123]
具体实施方案五：所述步骤四采用三次b样条曲线拟合方法将t
current
时刻火点进行拟合，为了避免产生过拟合的现象，将数据分为多个部分单独拟合再进行拼接，且曲线拼接时将曲线的边界段转换成贝塞尔曲线进行拼接。本实施方案其他与具体实施方案一相同。
[0124]
由于火点数据自由度较高，数据量较大，插值拟合难度会有所增加，也有可能产生过拟合的现象，因此本实施方案通过matlab使用三次b样条曲线拟合方法对预测定位的火点坐标进行拟合来获得火线图像，为了避免产生过拟合的现象，将数据分为几部分单独拟合再进行拼接。原理上三次b样条曲线拟合是由贝塞尔曲线拼接组成的，所以在拟合后进行曲线的拼接时为了拼接时操作简易将曲线的边界段转换成贝塞尔曲线进行拼接。
[0125]
具体实施方案六：如图4所示，所述步骤五利用bp神经网络构建大尺度火线位置修正模型，包括如下步骤：
[0126]
步骤五一、收集火线处坡度、坡向、可燃物类型、风速、风向、气温、误差修正系数ξ数据，将数据随机划分为训练集和测试集；
[0127]
所述误差修正系数ξ为一个定义的系数，即令：
[0128][0129][0130][0131]
其中，为未修正的t
current
时刻火线上火点坐标，时刻火线上火点坐标，为修正后的t
current
时刻火线上火点坐标；
[0132]
所述误差修正系数ξ为通过计算多个预测的火线与farsite仿真火线的均方根误差 rmse获得，且其取值范围为
[0133]
步骤五二、构建基于bp神经网络的大尺度火线位置修正模型，以坡度、坡向、可燃物类型、风速、风向以及气温作为模型的输入，误差修正系数ξ作为输出，采用训练集对模型进行训练，得到大尺度火线位置修正模型，并采用测试集对模型性能进行验证；
[0134]
步骤五三、将t
current
时刻火线所处位置的坡度、坡向、可燃物类型、风速、风向以及
气温数据输入大尺度火线位置修正模型得到误差修正系数ξ，并采用得到的误差修正系数ξ对 t
current
时刻火线位置进行修正。本实施方案其他与具体实施方案一相同。
[0135]
具体实施方案七：所述步骤五中所述坡度、坡向、可燃物类型、风速、风向以及气温数据可通过查询现有数据获取或者采用无人机在线采集方式获取。本实施方案其他与具体实施方案六相同。
[0136]
具体实施方案八：所述步骤六包括如下过程：首先要将世界坐标的距离单位换算成经纬度，再通过公式(11)、(12)、(13)和(14)将世界坐标转化为地理坐标；
[0137][0138][0139][0140][0141]
其中，为火点在地理坐标系下相对世界坐标系原点经度的变化量，为火点在地理坐标系下相对世界坐标系原点纬度的变化量，为火点在地理坐标系下相对世界坐标系原点高程的变化量，x
gps
、y
gps
、z
gps
表示世界坐标系原点的经度、纬度和高程值，xw、yw、zw表示火线上点在世界坐标系下的坐标值，x
lengitude
、y
latitude
、z
elevation
表示火线上点在地理坐标系下的gps坐标值。本实施方案其他与具体实施方案一相同。
[0142]
具体实施方案九：一种基于无人机的大尺度火线瞬时定位系统，该系统具有与上述实施方案一至八任一项实施方案的步骤对应的程序模块，运行时执行上述的基于无人机的大尺度火线瞬时定位方法中的步骤。
[0143]
具体实施方案十：一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现上述实施方案一至八中任一项所述的基于无人机的大尺度火线瞬时定位方法的步骤。
[0144]
实施例1
[0145]
在黑龙江省哈尔滨市阿城区柳条村进行的户外燃烧实验并采集数据，由于火场环境较为复杂，热辐射和火灾产生的烟雾都会对无人机飞控系统产生影响，因此需选择抗干扰性强的无人机，此外，考虑到针对大尺度火线进行定位对无人机的飞行高度的要求，选用大疆t16植保无人机。针对红外相机需选择具有较高的分辨率及具备精准测温的功能的红外相机，森林火场的温度范围一般在500至700摄氏度左右，选用x1024b型号红外相机，该红外相机为无人机用测温型热像仪，可通过ip网络将拍摄的时间和火点温度传输至后端监测管理端。红外相机每次可采集5m左右范围火场的红外图像，采样时间间隔为2秒。
[0146]
通过无人机载红外相机飞至火场上空30m处以一定速度沿火场边缘进行巡航监测，利用无人机载红外相机实时获取to～t
current
时刻林火边缘区域红外图像，并通过红外相机获取红外图像上各处的温度。然后对大尺度林火边缘区域的红外图像进行处理，以提取图像边缘临界处大尺度火线，再对提取的大尺度火线进行离散化处理，得到离散的火点，并
通过坐标变换将火点的像素坐标转换为世界坐标系下的三维坐标；
[0147]
将t0时刻无人机采集的火线上火点在世界坐标系下的坐标、火点温度以及t0这个时间值代入林火蔓延模型进行计算得到t1时刻火点坐标，再将预测得到的t1时刻火点坐标、无人机采集的t1时刻火点坐标、火点温度以及t1这个时间值代入到林火蔓延模型中进行计算得到t2时刻火点坐标，依次进行计算，至得到t6时刻的火点坐标；将每次得到的t
current
时刻火点坐标进行拟合以得到平滑的t
current
时刻火线。
[0148]
在本实施例通过无人机采集坡度、坡向、风速、风向以及气温数据，将点火实验可燃物均设置为short grass，分别采用坡度和风速数据对林火蔓延模型中坡度修正系数和风速修正系数进行计算，并利用可燃物相关数据为可燃物类型调节因子进行赋值，以对模型中火蔓延速度进行修正。由于大尺度火场实验较难控制，因此实验过程中仅采集t0～t6时刻火线进行火线预测，得到了35m左右范围的大尺度火线，如表1所示为无人机采集数据。
[0149]
表1
[0150][0151]
通过查询现有数据获取300组坡度、坡向、可燃物类型、风速、风向、气温、火线上火点温度以及各火线时刻数据，将坡度、可燃物类型、风速、火点温度和火线时刻数据通过林火蔓延模型进行火线预测，计算得到的300组预测火线与farsite仿真火线的均方根误差，进一步得到各组数据对应的误差修正系数ξ；将得到的数据中90％随机划分为训练集对大尺度火线位置修正模型进行训练，10％为测试集验证模型性能，当植被类型为多种可燃物混合时，根据可燃物比重设置权重计算最终误差修正系数ξ。
[0152]
如表2所示为查询得到的数据中部分示例性数据。
[0153]
表2
[0154][0155][0156]
将无人机采集的各t
current
时刻火线所处位置的坡度、坡向、可燃物类型、风速、风向以及气温数据输入至大尺度火线位置修正模型得到误差修正系数ξ，并采用得到的误差修正系数ξ对预测的各t
current
时刻火线位置进行修正。
[0157]
通过坐标变换将世界坐标系下的t
current
时刻火线转化为地理坐标系下的gps坐标火线。
[0158]
为了验证本发明方法得到的t
current
时刻火线的准确性，实验过程中同时采用多个无人机监测的方式获取大尺度火线作为对比火线，如图5所示的各时刻预测定位火线、无人机采集火线和对比火线之间的关系。将本发明方法得到的t
current
时刻火线与对比火线进行时域配准以及位置配准，采用matlab对t
current
时刻火线与对比火线进行误差分析；如表3所示为各时刻预测定位火线与对比火线之间的均方根误差(rmse)结果，可以看出，各时刻火线误差结果均未超过5米，完全满足林火监测的精度要求。
[0159]
表3
[0160][0161]
虽然本发明公开披露如上，但本发明公开的保护范围并非仅限于此。本发明领域技术人员在不脱离本发明公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。