一种灾后救援引导系统及方法与流程

1.本发明涉及灾后救援技术领域，尤其涉及一种灾后救援引导系统及方法。


背景技术：

2.自然灾害发生后，救援人员的主要人物是尽量以较快的速度寻找到建筑物并且对建筑物中的人员实施救援。特别是在地震或水灾发生后，信号设备被毁，通讯切断，地形地貌发生变化，与灾前的地形地貌差异较大。救援人员到达灾区后，由于对受灾当地的地理位置不熟悉，因此难以快速有效地寻找到损毁的建筑物，并且不能及时对建筑物内的人员实施快速救援。
3.因此，如何在灾后快速寻找到建筑，并且根据建筑的损毁程度确定救援的紧急程度，引导救援人员以高效的移动路径进行救援，是现有技术当前没有解决的技术问题。
4.因此，本发明希望提供一种能够对灾后建筑物的安全程度进行实时评估，并且能够对进入危险建筑物的救援人员发出实时预警的一种系统。
5.此外，一方面由于对本领域技术人员的理解存在差异；另一方面由于申请人做出本发明时研究了大量文献和专利，但篇幅所限并未详细罗列所有的细节与内容，然而这绝非本发明不具备这些现有技术的特征，相反本发明已经具备现有技术的所有特征，而且申请人保留在背景技术中增加相关现有技术之权利。


技术实现要素：

6.现有技术中，对于灾后救援的引导都是建立在建筑物地理位置、内部结构已知的基础上的，并不能够适用灾后的救援引导。例如，专利文献cn112733711b（g06k9/00）公开了一种基于多尺度场景变化检测的遥感影像损毁建筑物提取方法。该方法包括收集待提取损毁建筑物所在地灾前和灾后的影像并进行数据预处理；提取预处理后的灾前影像的建筑物区域，并对其进行多尺度分割，得到多尺度分割结果；利用多尺度分割结果，基于深度孪生网络进行场景变化检测，得到各分割尺度下的损毁建筑物检测结果；对得到的各分割尺度下的损毁建筑物检测结果进行自动融合，确定分割体的最终类别。虽然该发明解决了传统损毁建筑物检测方法对样本标注要求高和检测结果轮廓保真度差的问题，但是其没有通过建筑物的遥感图像提取出能够为救援人员提供引导信息相关的数据。
7.本发明希望提供一种灾后救援引导系统及方法，通过无人机的遥感影像采集能够快速识别建筑物，并且能够快速检测建筑物的损毁程度，从而根据建筑物的损毁情况、建筑物位置来为救援人员提供引导信息，使得建筑物损毁严重内的人员能够得到及时救援。
8.针对现有技术的不足，本发明提供一种灾后救援引导系统，至少包括：遥感影像采集端，用于以搭载在无人机上的方式采集建筑物的遥感影像；处理器，用于根据所述遥感影像识别建筑物并提取建筑物的立面损毁检测信息；所述遥感影像采集端与所述处理器建立信息传输关系，所述处理器与终端建立信息传输关系，所述处理器基于遥感影像和地理坐标确定建筑物的灾后位置，并且将建筑物的所述灾后位置与所述立面损毁检测信息发送至
终端，所述立面损毁检测信息包括建筑物立面的与时间相关的立面损毁变化信息。本发明的灾后救援引导系统，能够通过遥感影像及时判断建筑物的损毁变化情况，并且将建筑物的损毁变化情况以及建筑物的方位发送至救援人员的终端，使得救援人员能够基于损毁建筑物的方位建立恰当的救援方案，提高救援方案。
9.优选地，在无人机携带所述遥感影像采集端多次采集建筑物的遥感影像的情况下，所述处理器将相邻时间采集的建筑物立面的基尼系数进行比较，按照预设的基尼系数变化值为驱动事件来记录建筑物立面的与时间相关的立面损毁变化信息，形成立面损毁监测曲线。立面损毁检测曲线能够精确地展示建筑物的变化，当救援人员想要针对某个建筑物内人员进行救援时，立面损毁监测曲线能够为救援人员提供建筑物安全程度的评估参考，以减少救援人员的伤亡。
10.优选地，在所述建筑物的基尼系数发生变化时，响应于所述处理器发送的调节巡查周期的指示信息，所述无人机缩短对灾后建筑物的巡查周期。建筑物的损毁变化能够进一步预示建筑物的危险程度。无人机缩短巡查周期有利于进一步提高建筑物的监测数据密度，提高建筑物安全评估的准确性。
11.优选地，在所述建筑物的基尼系数发生变化时，所述处理器按照预设的基尼系数变化值随基尼系数变化量增大而缩小的方式来调节所述基尼系数值，有利于进一步监测建筑物的损毁变化，使得救援人员在建筑物损毁剧烈时配备足够保护设备以进行危险救援，减少伤亡。
12.优选地，所述处理器至少包括数据处理模块和方向引导模块，所述数据处理模块用于计算建筑里面的基尼系数并且生成立面损毁监测曲线；所述方向引导模块用于基于建筑的所述灾后位置和所述终端的定位数据构成建筑物的灾后建筑方位图。建筑物的方位引导，为救援人员提供准确的救援方向，使得救援人员能够快速到达建筑物以实施救援。
13.优选地，所述处理器中的方向引导模块基于由数据处理模块计算的基尼系数变化频率来生成与建筑物相关的救援紧急程度建议，有利于对救援人员进行安全预警，减少救援人员的伤亡。
14.优选地，所述预设的基尼系数变化值按照随着基尼系数变化频率增加的方式变小的方式调节，有利于进一步监测建筑物的损毁变化情况，避免遗漏或者忽略建筑物的危险变化，同时对于安全范围内的建筑物的损毁，减少了大量无效数据的传输。
15.优选地，所述处理器还包括预警模块，在所述终端与建筑物之间的距离小于安全距离阈值的情况下，所述预警模块在建筑物的立面的基尼系数变化时向终端发送危险预警信息，或者所述预警模块在建筑物的立面的基尼系数未变化时向终端发送救援的预警信息。本发明的预警机制，使得救援人员能够及时收到建筑物损毁的预警，以提高救援人员对于建筑物倒塌的警惕性，从而减少救援人员的伤亡。
16.本发明还提供一种灾后救援引导方法，至少包括：采集建筑物的遥感影像，根据所述遥感影像识别建筑物并提取建筑物的立面损毁检测信息，所述遥感影像采集端与所述处理器建立信息传输关系，基于遥感影像和地理坐标确定建筑物的灾后位置，并且向终端发送建筑物的所述灾后位置、所述立面损毁检测信息；和/或
向终端发送基于建筑的所述灾后位置和所述终端的定位数据构成建筑物的灾后建筑方位图。所述立面损毁检测信息包括建筑物立面的与时间相关的立面损毁变化信息。
17.优选地，方法还包括：在所述终端与建筑物之间的距离小于安全距离阈值的情况下，在建筑物的立面的基尼系数变化时向终端发送危险预警信息，或者在建筑物的立面的基尼系数未变化时向终端发送救援预警信息。
18.优选地，方法还包括：在无人机携带所述遥感影像采集端多次采集建筑物的遥感影像的情况下，将相邻时间采集的建筑物立面的基尼系数进行比较，按照预设的基尼系数变化值为驱动事件来记录建筑物立面的与时间相关的立面损毁变化信息，形成立面损毁监测曲线。
19.优选地，方法还包括：在所述建筑物的基尼系数发生变化时，向无人机发送调节巡查周期的指示信息，使得所述无人机缩短对灾后建筑物的巡查周期。
20.优选地，方法还包括：在所述建筑物的基尼系数发生变化时，按照预设的基尼系数变化值随基尼系数变化量增大而缩小的方式来调节所述基尼系数值。
21.优选地，方法还包括：基于基尼系数变化频率来生成与建筑物相关的救援紧急程度建议。
22.优选地，方法还包括：所述预设的基尼系数变化值按照随着基尼系数变化频率增加而变小的方式调节。
23.本发明的灾后救援引导方法，基于建筑物立面的基尼系数变化来进行建筑物损毁的变化预警，使得救援人员能够及时获得最新的建筑物的位置以及损毁程度，从而了解灾区情况，能够快速指定有效的救援方案，及时从危险建筑物救出被困人员。本发明的方法，能够通过监测建筑物损毁的变化预警，减少救援人员的伤亡。
附图说明
24.图1是本发明提供的一种优选实施方式的灾后救援引导系统的通信连接关系示意图；图2是本发明提供的一种优选实施方式的灾后救援引导系统的简化模块连接关系示意图；图3是本发明的建筑物的立面损毁监测曲线的示意图。
25.附图标记列表10：遥感影像采集端；20：处理器；21：数据处理模块；22：方向引导模块；23：预警模块；30：终端。
具体实施方式
26.下面结合附图进行详细说明。
27.针对现有技术不足，本发明提供一种灾后救援引导系统及方法。本发明还能够提供一种灾后救援终端。
28.如图1和图2所示，本发明的灾后救援引导系统至少包括：携带有遥感影像采集端10的无人机和处理器20。灾后救援引导系统用于实施灾后救援引导方法。
29.遥感影像采集端10为遥感相机，被搭载或者安装在无人机上来拍摄灾后区域的遥感影像。利用无人机携带的遥感影像采集端10拍摄多角度的建筑物的遥感影像并发送至处理器20。其中，搭载遥感影像采集端10的无人机以倾斜航空的方式操作遥感影像采集端10拍摄倾斜航空角度的建筑物的遥感影像。
30.处理器20与遥感影像采集端10、终端30均设置有通讯模块。处理器20与遥感影像采集端10、终端30均设置有通讯模块，通过通讯模块分别以有线或无线的方式建立信息传输关系。
31.处理器20用于根据遥感识别建筑物并提取建筑物的立面损毁检测信息，根据建筑物的立面损毁信息的变化来判断建筑物立面是否正在继续发生倒塌、断裂等危险情况。
32.处理器20还用于基于遥感影像和地理坐标确定建筑物的灾后位置，并且将建筑物的灾后位置与立面损毁检测信息发送至终端30。处理器20还能够用于形成导航路线并发送至终端30，以便为携带有终端30的救援人员进行导航。
33.处理器20可以是具有数据处理功能的处理器、专用集成芯片、单片机、逻辑计算器中的一种或几种。终端30可以是具有显示屏幕的计算终端、便携智能设备、服务器或服务器群组中的一种或几种。具有显示屏幕的计算终端、例如是非便携的计算机、服务器等。便携智能设备例如是智能手环、智能眼镜、智能手机、智能手表等能够接收和显示信息的电子设备。通讯模块包括但不限于无线电通讯模块、光通讯模块、wifi通讯模块、zigbee通讯模块、蓝牙通讯模块、红外通讯模块。
34.无人机携带遥感影像采集端10多次采集建筑物的遥感影像。优选地，携带遥感影像采集端10的无人机按照预设的巡查周期来多次采集建筑物的遥感影像，使得遥感影像形成与时间关联的遥感影像。
35.处理器20接收遥感影像采集端10发送的与时间关联的遥感影像。处理器20从遥感影像中识别建筑物并计算建筑物的立面的基尼系数，以检测建筑物立面的损毁情况。
36.处理器20识别建筑物并计算建筑物的立面的基尼系数的方法如下所示。
37.s1：利用基于粗糙集理论的k-means聚类算法对建筑物立面分割，获得建筑物立面的门窗。其中，具体计算步骤为：s110：影像中像素的灰度值为f，其中f＝0、1、2
…
255，利用粗糙集理论得到的k个中心点作为初始分类均值μ1,μ2,μ3,
…
,μk；s120：计算影像中每个像素的灰度值f与上一步初始分类均值μ之间的距离d，将每个像素赋初始类均值距其最近的类，即(1)对(1)式进行迭代，其中p为迭代过程中的中心点，表示中心点的灰度值。
38.s130：对于i＝1,2,
…
,k计算新的聚类中心，更新类均值；式中，ni是中的像素个数，m是迭代次数；表示迭代m次的第个簇。
39.s140：将所有像素逐个考察，如果i＝1,2,
…
k，有，则算法收敛，结束，否则返回s120继续下一次迭代。
40.s2：利用canny算法对建筑物立面的门窗进行边缘检测，获得门窗的边缘特征。获取边缘特征的具体步骤为：s210：利用canny算法对建筑物立面的门窗进行边缘检测，获得建筑物立面的门窗边缘；s220：由于大部分建筑物立面都是垂直于地面，首先统计平行于地面的平行线之间的距离分布，然后计算出距离的直方图，最后获得门窗的边缘特征。流程如下：a)由于建筑物立面可能发生损毁，因此门窗边缘检测得到的轮廓线未必相互平行，因此统计平行于地面的平行线之间的距离分布采用的方法是：沿着水平方向每隔一定步长对建筑物立面向垂直方向进行统计，计算出垂直方向临近两个像素点之间的距离，记为di，整个立面影像可以得到距离向量d＝[d1,d2,d3,..,dk]；b)利用公式直方图统计函数d(di)＝ni统计出距离向量直方图，然后对直方图变量ni进 行升序排序，得到向量n＝[n1,n2,n3,..,nk]，其中n1≤n2≤n2≤...≤nk；向量n为建筑物 立面门窗的边缘特征。
[0041]
s3：利用经济学中的基尼系数对边缘特征进行统计，获得建筑物立面的基尼系数；s4：根据基尼系数判定建筑物立面是否损毁。当基尼系数g大于0.45时，表示建筑物立面完好；反之，当基尼系数g小于0.45时，表示建筑立面发生了损毁。
[0042]
基尼系数的计算方法为：假设影像中的提取的门窗的边缘特征为f，将f的分布统计为直方图，对直方图中的元素进行从小到大排序，得到新的直方图集合为, 那么度量影像规则度的基尼系数公式为：其中，为第一范式，k为直方图统计的类别总数，g的范围是从0到1，g越大，建筑物立面越完整，g越小，建筑物立面损毁严重。
[0043]
将步骤s2中的统计边缘特征向量n作为f带入上式中，得到建筑立面的基尼系数。
[0044]
在地震灾害或者山洪形成的洪灾后，地形发生变化，部分建筑物的方向或者里面会发生移动或者转向，其地理位置坐标与灾前坐标已经发生差异。灾前的建筑物的地理坐标位置信息已经失去了准确性和救援参考性。因此，在处理器20基于遥感影像识别建筑物后，基于无人机采集的当前的地理坐标对建筑物的位置重新进行地理位置标记，以形成建筑物的准确的地理位置信息。
[0045]
在对建筑物建立坐标的基础上，处理器20能够从不同遥感影像中确定同一个建筑物，以实现对同一个建筑物的立面的基尼系数进行比较。
[0046]
在无人机按照预设的巡查周期对建筑物拍摄遥感影像的情况下，处理器能够接收具有时间周期的遥感影像，从而得到与时间周期相关的建筑物的立面的基尼系数。处理器20将相邻时间采集的建筑物立面的基尼系数进行比较，按照预设的基尼系数变化值为驱动事件来记录建筑物立面的与时间相关的立面损毁变化信息，形成立面损毁监测曲线。立面损毁监测曲线如图3所示。
[0047]
例如，预设的基尼系数变化值为a。立面损毁监测曲线的横轴表示基尼系数，纵轴表示与基尼系数对应的时间。当基尼系数的变化为a时，基尼系数及其时间增加并标记在立面损毁监测曲线上。当基尼系数不变化时，立面损毁监测曲线不增加新的标记点。
[0048]
本发明的立面损毁监测曲线，通过以预设基尼系数变化值为驱动时间来判断建筑物是否还在发生持续的损毁，并且能够直观发现建筑物立面的损毁速度。
[0049]
当建筑物处于稳定状态且其立面的基尼系数维持不变时，该建筑物的基尼系数及其时间无法构成立面损毁监测曲线，则该建筑物比较安全。本发明通过立面损毁监测曲线的设置，能够快速筛选并监测危险的建筑物。处理器20将建筑物的坐标位置及其立面损毁监测曲线发送至终端30，通过终端30为救援人员提供建筑物的安全程度的参考信息。
[0050]
在建筑物的基尼系数发生变化时，响应于处理器20向无人机的通讯模块发送的调节巡查周期的指示信息，无人机缩短对灾后建筑物的巡查周期。建筑物的基尼系数发生变化，表示建筑物正在发生继续损毁，说明灾害的影响正在持续，因此需要重点监测建筑物的立面损毁程度以评估其安全程度。无人机缩短巡查周期能够为处理器20提供更多的建筑物的遥感影像，有利于处理器对建筑物的安全分析以及生成新的立面损毁监测曲线。
[0051]
若预设的基尼系数变化值一直不变，其弊端在于，当基尼系数降低至某一个能够导致救援人员伤亡的基尼系数阈值时，由于基尼系数变化值较大而忽略到基尼系数的细微变化，使得建筑物的危险被忽略。为了弥补这一缺陷，在建筑物的基尼系数发生变化时，处理器20按照预设的基尼系数变化值随基尼系数变化量增大而缩小的方式来调节基尼系数值，增大立面损毁监测曲线的曲线数值量，使得立面损毁监测曲线更能够精确地体现建筑物立面的损毁情况。
[0052]
相比于将发生变化的基尼系数全部设置在立面损毁监测曲线上的方式，本发明能够基于建筑物立面的损毁程度来增加遥感影像以及提取的数据量，减少了前期大量无效数据的采集，减少了处理器的数据处理量。本发明仅在监测有需求时才增加数据的提取量和处理量，提高了处理器处理数据的效率，也减少了无效数据的传输量。
[0053]
例如，在基尼系数发生变化时，预设的基尼系数变化值由a调节为b。b小于a，有利于进一步监测建筑物立面的损毁情况，能够在救援人员及时处于建筑物附近时发出预警情况，避免救援人员的伤亡。
[0054]
优选地，本发明的处理器20能够由两个甚至更多个模块组成。例如，处理器20至少包括数据处理模块21和方向引导模块22。
[0055]
数据处理模块21用于从遥感影像中计算建筑物立面的基尼系数，并且构建和生成立面损毁监测曲线。优选地，数据处理模块21针对基尼系数小于0.45的建筑物建立立面损毁监测曲线。
[0056]
方向引导模块22用于基于建筑的灾后位置和终端30的定位数据构成建筑物的灾后建筑方位图，使得救援人员能够确定建筑物与自己的相对方位，从而快速到达建筑物位
置以实施救援。
[0057]
优选地，方向引导模块22能够基于建筑的灾后位置、终端30的定位数据和未损坏道路路线生成能够引导救援人员快速到达的路线轨迹图，以便为救援人员提供救援路径参考。
[0058]
数据处理模块21和方向引导模块22均可以是专用集成芯片、处理器cpu、服务器及其群组中的一种或几种。
[0059]
优选地，处理器20中的方向引导模块22基于由数据处理模块21计算的基尼系数变化频率来生成与建筑物相关的救援紧急程度建议。基尼系数变化频率越高，说明建筑物正在发生持续的损毁，灾情还在继续发生，该区域的人员逃生困难大，需要紧急救援。因此，方向引导模块22向终端30发送具有紧急救援程度的建筑物的方位图，使得救援人员能够根据当前建筑物的紧急救援程度制定更恰当的救援方案，减少救援人员的伤亡同时也能够对建筑物内的人员实施救助。同时，方向引导模块22能够基于基尼系数变化频率来评估建筑物的安全程度。基尼系数变化频率越高，说明建筑物正在发生持续的损毁，安全程度越低。反之，基尼系数变化频率越低，说明建筑物立面结构趋于稳定，安全程度越高。
[0060]
优选地，预设的基尼系数变化值按照随着基尼系数变化频率增加的方式变小的方式调节。基尼系数变化频率增加，缩小预设的基尼系数变化值能够使得立面损毁监测曲线的变化更准确。
[0061]
优选地，处理器20还包括预警模块23。预警模块23用于向终端30发送预警信息。预警模块23均可以是专用集成芯片、处理器cpu、服务器及其群组中的一种或几种。
[0062]
方向引导模块22计算终端30的定位与建筑物的位置之间的距离。在终端30的定位与建筑物的位置之间的距离小于安全距离阈值的情况下，预警模块23在建筑物的立面的基尼系数变化时向终端30发送危险预警信息。或者预警模块23在建筑物的立面的基尼系数未变化时向终端30发送救援的预警信息。
[0063]
优选地，由方向引导模块22发送的具有方向引导信息的图像信息与由数据处理模块21发送的立面损毁监测曲线图像信息以并行的方式发送至终端，并且以并行画面的方式显示。
[0064]
现有技术中，对于图像的显示，一般方式为：发送非清晰图像，响应于终端的请求再发送整体的高清晰图像。这种方式的弊端在于，终端只需要局部的高清晰数据，但是在形成高清晰图像时图像的全部清晰化又增加了无效数据的发送，使得数据量庞大并且图像更新速度慢。
[0065]
例如，具有方向引导信息的图像信息含有多个地理位置不同的建筑物，并且紧急救援程度不同。救援人员通过指定某个建筑物来查看与该建筑物对应的立面损毁监测曲线。方向引导模块22响应于终端发送的指定建筑物的曲线请求，将与指定建筑物的地理位置信息以及曲线请求发送至数据处理模块21。数据处理模块21调取与指定建筑物对应的立面损毁监测曲线发送至终端30。通过并行画面的设置，救援人员通过终端30能够同时看到指定建筑物的方位和立面损毁监测曲线。
[0066]
优选地，方向引导模块22发送的方向引导信息的图像信息内含有多个建筑物。方向引导信息的图像信息以非高清像素发送。
[0067]
救援人员能够通过终端在方向引导信息的图像信息划定范围因选择建筑物的立
面损毁监测曲线。本发明的划定范围，是指终端反馈的图像中的圈定范围。救援人员通过输入组件或者触摸屏幕的方式，在终端划定景深范围。例如，救援人员通过鼠标或者触摸屏的输入方式，在方向引导信息的图像的非高清图像部分划定一个圈来指定高清的景深范围。方向引导模块22向终端再次发送处于景深范围内的图像部分的高清图像数据，图像能够被清晰放大，有利于救援人员通过遥感影像放大来观测建筑物立面的损毁情况。同时数据处理模块21向终端30并行发送处于景深范围内的建筑物的立面损毁监测曲线。
[0068]
本发明中，景深范围内的遥感影像是高清的，景深范围边缘及之外的图像是非高清的。本发明通过划定的景深范围来传输高清晰的图像数据，减少了无效的、不被需求的高清图像数据的传送，减少了图像数据的传送，减少了数据延迟的现象，提高了数据传输的效率。尤其对于处于灾区的救援人员来说，救援行动需要争分夺秒，以拯救更多人的生命。灾区内的网络系统被破坏，电力系统被破坏，本发明的无人机、处理器、终端和/或卫星构成了临时的网络系统，电源短缺，其数据传输量、数据承载量都是有限的。本发明基于终端的需求再发送高清数据，能够减少系统网络的数据载量，减少电源的消耗量，提高图像数据的显示速度，减少延迟，有利于救援人员快速了解灾区建筑物的信息并且快速指定救援方案。
[0069]
需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。本发明说明书包含多项发明构思，诸如“优选地”、“根据一个优选实施方式”或“可选地”均表示相应段落公开了一个独立的构思，申请人保留根据每项发明构思提出分案申请的权利。