基于多源视觉融合的火场被困人员识别与定位方法及系统与流程
本发明涉及计算机视觉、机器感知及消防应急救援,具体涉及一种基于多源视觉融合的火场被困人员识别与定位方法及系统。
背景技术:
1、火灾现场通常伴随低照度、浓烟、火焰、高温辐射、强反射、设备振动以及家具、建筑构件等前景遮挡。消防救援过程中,既需要尽快判断火场内部是否存在被困人员,又需要获得被困人员在火场坐标系中的空间位置范围,以便进行搜救路径规划、救援力量调度和现场风险研判。
2、现有人员探测设备可采用可见光相机、红外热像仪、深度相机、双目视觉装置、飞行时间测距装置或激光雷达等传感器。可见光图像能够提供人体轮廓和人体关键点等结构信息,但容易受到烟雾、低照度和遮挡影响;红外热图能够表征目标热分布,但火焰、高温墙体、受热金属及其他热源也可能形成与人体相近的高温区域;空间距离数据能够提供目标距离或三维点信息,但烟尘散射、遮挡、反射以及传感器工作范围均可能造成距离点缺失或异常。
3、现有多源视觉人员识别方案通常采用检测结果融合、置信度加权或固定规则组合。该类方法在一种或多种视觉信息受到局部干扰时,容易出现两类问题:其一,将不可用数据仍作为有效依据参与融合,从而形成误识别;其二,在当前证据不足时仅重复采集同类数据,而没有根据具体失效证据确定下一次观测应改变的位置、方向或采集方式,导致复核过程缺乏针对性。
4、此外,火场中空间距离采集设备可能由于烟尘、高温、遮挡或反射而无法获得与被困人员对应的有效距离信息。此时,可见光图像或红外热图仍可能能够确定人员在图像中的位置,但单次二维观测只能确定人员相对于视觉采集设备的方向,不能直接获得其在火场中的三维位置。
5、因此,有必要提供一种火场被困人员识别与定位方案,使不同来源的人员证据能够按照其有效性进行组合确认,并在当前证据不足时根据具体证据问题实施针对性复核,同时在直接空间距离信息不可获得时利用不同观测位置形成的空间方向约束完成被困人员定位。
技术实现思路
1、本发明旨在解决复杂火场环境下单一视觉模态易受烟雾、遮挡、火焰和高温背景干扰,多源视觉证据不能稳定用于人员确认,重复观测缺乏针对性,以及空间距离数据缺失时人员三维位置难以确定的问题。
2、第一方面,本技术实施例提供了一种基于多源视觉融合的火场被困人员识别与定位方法。
3、相关定语的含义如下。多源视觉数据:指针对同一火场目标区域取得并能够进行时间关联和空间配准的可见光图像、红外热图和空间距离数据。
4、空间距离数据:指能够表征场景点相对于空间距离采集设备的深度、斜距或者三维坐标的数据,可为深度图、双目重建三维点、飞行时间测距数据或激光雷达点云数据。
5、有效空间距离点:指空间距离数据中通过有效量程、信号质量、连续性以及前景遮挡剔除等检查,并能够与疑似人员目标对应的距离点。多个有效空间距离点聚类后形成空间距离点簇。
6、有效空间距离信息:指能够用于确定被困人员在视觉采集设备坐标系中空间位置的距离信息,可以表现为单个稳定距离值、多个有效空间距离点或由有效空间距离点形成的空间距离点簇。
7、设备位姿信息:指视觉采集设备在火场坐标系或能够转换至火场坐标系的局部坐标系中的位置和姿态信息。位置可表示为三维平移向量,姿态可表示为旋转矩阵、四元数或等价形式。
8、疑似人员目标:指根据配准后的多源视觉数据发现的、具有人员结构特征、人员热分布特征或人员空间尺度特征并需要进一步确认的目标。
9、人体结构证据:指根据疑似人员目标对应可见光区域中的人体轮廓和人体关键点形成的结构特征,用于判断目标是否具有符合人体拓扑关系的结构。
10、人体热分布证据:指根据疑似人员目标对应的人体候选热区域的区域形态、温度分布以及连续观测稳定性形成的热分布特征。
11、空间位置证据:指通过从空间距离数据中提取与疑似人员目标对应的有效空间距离点,对所述有效空间距离点进行聚类形成空间距离点簇,并根据空间距离点簇确定人员空间候选区域而获得的空间信息。
12、预设有效性条件:指针对一种证据预先确定的、用于判断该证据能否参与当前人员确认的技术条件;其可以由传感器标定参数、图像质量要求、特征稳定性要求及场景试验数据确定。
13、复核观测条件:指为改善导致人员确认条件未满足的具体证据而确定的视觉采集设备观测位置、观测方向或数据采集方式。
14、复核多源视觉数据:指按照复核观测条件重新获取的可见光图像、红外热图和/或空间距离数据及其对应设备位姿信息。
15、补充空间位置证据:指在现有空间位置证据不足以确定被困人员位置范围时,由新增有效空间距离信息或者由不同视觉采集位置形成的空间方向约束获得的空间定位信息。本实施例重点说明由第一空间观测射线和第二空间观测射线形成的空间方向约束。
16、人员图像参考位置:指用于从二维图像确定人员空间观测方向的稳定参考点。当人体结构特征能够稳定提取时,优先采用由左右肩部关键点、左右髋部关键点或躯干轮廓确定的躯干中心;当人体结构特征不能稳定提取而人体热分布证据有效时,采用人体候选热区域的质心或经连续观测稳定化后的热区域中心。同一次跨观测位置匹配和双视角定位中采用一致的参考点确定规则。
17、空间观测方向:指由视觉采集设备光心指向人员图像参考位置所对应的三维方向。
18、空间观测射线:指以视觉采集设备在火场坐标系中的位置为起点、沿空间观测方向向前延伸的半直线。
19、位置范围:指用于表示被困人员在火场坐标系中可能所在位置的有限三维区域,可采用三维包围盒、球形区域、椭球区域、点簇包络区域或其他能够表达空间不确定性的区域表示。
20、观测误差:指由人员图像参考位置误差、视觉采集设备内部参数误差、设备位姿误差以及多源数据配准误差共同引起的空间定位不确定性。
21、获取火场目标区域的可见光图像、红外热图、空间距离数据及设备位姿信息,对所述可见光图像、红外热图和空间距离数据进行空间配准,并根据配准后的多源视觉数据确定疑似人员目标;针对所述疑似人员目标提取人体结构证据、人体热分布证据和空间位置证据,根据三类证据中至少两类证据的有效性判断当前证据是否满足预设人员确认条件;
22、当当前证据不满足所述预设人员确认条件时,根据导致所述预设人员确认条件未满足的证据类型及其有效性情况确定复核观测条件,按照所述复核观测条件获取复核多源视觉数据,更新所述疑似人员目标对应的证据,并根据更新后的证据重新判断是否满足所述预设人员确认条件;
23、当当前证据满足所述预设人员确认条件时,将所述疑似人员目标确认为被困人员,并基于空间位置证据确定所述被困人员的位置范围;当现有空间位置证据不足以确定所述位置范围时,获取补充空间位置证据,并基于补充后的空间位置证据确定所述位置范围;输出所述被困人员的识别结果和定位结果。
24、其中,所述人体结构证据为根据人体轮廓和人体关键点确定的人体结构特征;所述人体热分布证据为根据人体候选热区域的区域形态、温度分布和连续观测稳定性确定的人体热分布特征;所述空间位置证据通过从所述空间距离数据中提取与所述疑似人员目标对应的有效空间距离点,对所述有效空间距离点进行聚类形成空间距离点簇,并根据所述空间距离点簇确定人员空间候选区域而获得。
25、所述预设人员确认条件为以下任一情形:人体结构证据满足对应的预设有效性条件,且人体热分布证据满足对应的预设有效性条件;人体结构证据满足对应的预设有效性条件,且空间位置证据满足对应的预设有效性条件;人体结构证据未满足对应的预设有效性条件,且人体热分布证据和空间位置证据均满足对应的预设有效性条件;其中,所述人体结构证据的预设有效性条件为人体轮廓和人体关键点满足预设人体结构一致性要求;所述人体热分布证据的预设有效性条件为人体候选热区域的区域形态、温度分布和连续观测稳定性满足预设人体热分布特征,且能够与火焰或高温背景相区分;所述空间位置证据的预设有效性条件为所述空间距离点簇具有连续稳定的空间分布,并能够用于确定所述人员空间候选区域。
26、所述根据导致所述预设人员确认条件未满足的证据类型及其有效性情况确定复核观测条件,包括:当人体结构证据因所述疑似人员目标受到遮挡或可见光成像质量不足而未满足对应的预设有效性条件时,确定能够减小所述遮挡、增加所述疑似人员目标的可见区域或改善可见光成像质量的观测位置、观测方向或数据采集方式;当人体热分布证据因受到火焰或高温背景干扰而未满足对应的预设有效性条件时,确定能够增大人体候选热区域与所述火焰或高温背景之间投影分离程度的观测位置或观测方向;当空间位置证据因所述疑似人员目标对应的空间距离数据缺失或异常而未满足对应的预设有效性条件时,确定能够获得与所述疑似人员目标对应的有效空间距离信息的观测位置、观测方向或数据采集方式。
27、在不同观测位置获取所述复核多源视觉数据或者补充空间位置证据时,根据人员目标在对应图像中的位置、视觉采集设备的内部参数以及不同观测位置对应的设备位姿信息,确定所述人员目标在不同观测位置下的空间观测方向,并根据所述空间观测方向之间的几何关系筛选可能对应于同一人员的目标;当不同观测位置下能够稳定提取人体结构特征时,根据所述人体结构特征对筛选后的人员目标进行匹配;当不能稳定提取人体结构特征时,根据人体热分布特征对筛选后的人员目标进行匹配,以确定不同观测位置获得的人员目标是否对应于同一疑似人员目标或同一被困人员;将确定对应于同一疑似人员目标的复核多源视觉数据用于重新提取对应证据,并更新所述疑似人员目标对应的证据。
28、所述空间配准包括:从连续多源视觉数据中确定火焰区域、烟雾区域和移动目标区域,并将所述火焰区域、烟雾区域和移动目标区域作为动态干扰区域;从所述动态干扰区域之外提取能够在所述可见光图像与空间距离数据之间以及所述红外热图与空间距离数据之间建立匹配关系的稳定环境结构特征;利用所述稳定环境结构特征更新所述可见光图像、红外热图和空间距离数据之间的空间变换关系。
29、当所述空间距离数据中存在与所述被困人员对应的有效空间距离信息时,根据所述有效空间距离信息、所述被困人员在对应图像中的位置以及视觉采集设备的内部参数,确定所述被困人员在视觉采集设备坐标系中的空间位置;根据设备位姿信息将所述被困人员在视觉采集设备坐标系中的空间位置转换至火场坐标系,并根据转换后的空间位置确定所述被困人员的位置范围。
30、当不存在与所述被困人员对应的有效空间距离信息,且能够根据人体结构证据或人体热分布证据确定所述被困人员在对应图像中的位置时,根据所述被困人员在对应图像中的位置、视觉采集设备的内部参数及设备位姿信息,确定由当前视觉采集位置指向所述被困人员的第一空间观测射线;改变所述视觉采集设备的空间位置,或者选择位于不同空间位置的另一视觉采集设备,对同一被困人员进行观测,并根据新观测位置下所述被困人员在对应图像中的位置、视觉采集设备的内部参数及对应的设备位姿信息,形成第二空间观测射线;将所述第一空间观测射线和第二空间观测射线提供的空间方向约束作为所述补充空间位置证据。
31、根据所述第一空间观测射线和第二空间观测射线确定所述被困人员的位置范围;当所述第一空间观测射线和第二空间观测射线发生相交时,根据二者的交点及对应的观测误差确定所述位置范围;当所述第一空间观测射线和第二空间观测射线因观测误差而不发生实际相交时,根据二者之间的最短连接线段及对应的观测误差确定所述位置范围。
32、第二方面,本发明还提供与上述方法相对应的一套系统,包括多源视觉采集装置、位姿获取装置、观测执行装置、处理装置和输出装置。处理装置分别与上述其他装置连接,并控制各装置协同执行上述火场被困人员识别与定位方法。
33、有益效果
34、与现有技术相比,本发明具有如下有益效果:
35、(1)通过人体结构证据、人体热分布证据和空间位置证据的组合确认,在不同视觉模态分别受到遮挡、火焰干扰或距离异常时,仍可利用其余有效证据形成明确的人员确认路径,降低单一模态误判对整体识别结果的影响。
36、(2)当当前证据不足以确认人员时,不采用无差别重复采集,而是根据具体未满足有效性条件的证据类型确定复核观测位置、方向或采集方式,使复核观测直接针对遮挡、热源混淆或空间距离异常,提高复核效率。
37、(3)通过设备位姿、图像位置和相机内部参数建立不同观测位置之间的几何筛选关系,再结合人体结构特征或人体热分布特征完成同一人员匹配,可降低多人员场景下跨观测数据错配的可能性。
38、(4)通过动态干扰区域之外的稳定环境结构更新多源视觉数据之间的空间变换关系,可减小火焰、烟雾和移动目标对跨模态空间配准的影响。
39、(5)在有效空间距离信息存在时采用直接三维定位,在有效空间距离信息不可获得时采用两处不同观测位置形成的空间观测射线定位,使人员识别与空间定位能够在复杂火场中形成连续的技术链。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com