一种基于多模态融合的受困人员状态评估与救援机器人

摘要: 本发明涉及机器人,具体为一种基于多模态融合的受困人员状态评估与救援机器人。背景技术:1、地下车库、隧道、地下商业空间等封闭或半封闭场所在发生火灾或有毒气体泄漏时...
一种基于多模态融合的受困人员状态评估与救援机器人

本发明涉及机器人,具体为一种基于多模态融合的受困人员状态评估与救援机器人。

背景技术:

1、地下车库、隧道、地下商业空间等封闭或半封闭场所在发生火灾或有毒气体泄漏时,存在空间封闭、能见度低、毒性气体积聚、无线通信易中断的特点,受困人员的可救援时间有限,救援人员进入现场存在安全风险,相关技术中已出现用于上述场所的侦察机器人与救援机器人。

2、相关技术中的一种侦察机器人通过热成像采集装置采集图像,采用特征提取结合机器学习分类器的方式对图像中的受困人员进行检测,并通过扬声器和拾音装置与受困人员进行语音通话,将现场图像信息传输至远程终端,相关技术中的另一种机器人在移动平台上搭载气体传感器,在移动过程中对环境中的气体成分及浓度进行检测并传输至远程终端。

3、本技术的发明人在实现本发明的过程中发现,相关技术至少存在如下技术问题:

4、其一,相关技术仅能对现场是否存在受困人员作出定性判断,无法对特定受困人员在当前毒性环境下尚可维持的安全时间作出定量估计,在同一现场存在两名以上受困人员时,无法据以确定救援的先后顺序。

5、其二,相关技术中的气体浓度由固定式探测装置或环境气体分布信息给出,并非受困人员所处位置的浓度;且相关技术未确定受困人员暴露于毒性气体的起始时刻,无法将所测浓度按时间积分,因而无法得到针对特定受困人员的累积暴露量。

6、其三,相关技术中的视觉采集或热成像采集在逆光、烟雾遮挡时有效成像区域减小,在采用单一感知模态的情况下,对处于失能状态的受困人员存在漏检。

7、其四,相关技术中的感知环节与作业环节相互独立,评估结果用于数据传输与人工决策,未与机器人的执行机构构成闭环控制,处置过程需要人工介入。

技术实现思路

1、本发明的目的在于提供一种基于多模态融合的受困人员状态评估与救援机器人,以解决上述背景技术中提出的问题。

2、为实现上述目的,本发明提供如下技术方案:

3、一种基于多模态融合的受困人员状态评估与救援机器人,包括移动平台,以及设置于所述移动平台上的图像采集模块、气体浓度检测模块、声音采集阵列、处理模块、云台执行机构和通信模块;所述图像采集模块、所述气体浓度检测模块和所述声音采集阵列分别与所述处理模块通信连接,所述处理模块分别与所述云台执行机构和所述通信模块通信连接;所述处理模块被配置为执行以下操作:

4、s1、根据所述图像采集模块输出的深度图像序列提取目标人体的骨架关键点,并根据所述骨架关键点计算所述目标人体的质心高度变化量与躯干倾角;当所述质心高度变化量在预设时间窗内的下降速率大于第一阈值,且所述躯干倾角大于第二阈值时,判定发生人体失能事件,并记录所述人体失能事件的触发时刻;

5、s2、在判定发生所述人体失能事件后,控制所述移动平台向所述目标人体所在区域移动,并获取所述气体浓度检测模块在所述目标人体所在区域采集的毒性气体浓度时间序列;

6、s3、以所述触发时刻为积分下限,对所述毒性气体浓度时间序列进行时间积分,得到所述目标人体的累积毒性暴露剂量;并根据所述累积毒性暴露剂量与预设的毒性剂量阈值,计算所述目标人体的剩余可耐受滞留时间;

7、s4、根据所述声音采集阵列输出的多通道声音信号,计算各通道之间的到达时间差,并据此解算声源相对于所述移动平台的方位角;

8、s5、根据所述人体失能事件和所述剩余可耐受滞留时间,确定所述目标人体的抢险等级;并根据所述抢险等级,驱动所述云台执行机构根据所述深度图像序列或所述方位角锁定所述目标人体,以及通过所述通信模块发送包含所述抢险等级、所述剩余可耐受滞留时间和所述目标人体所在位置坐标的告警信息。

9、在进一步的方案中,所述处理模块还被配置为:在判定发生所述人体失能事件后,于后续预设帧数内继续跟踪所述质心高度变化量,当所述质心高度在所述后续预设帧数内的回升量小于第三阈值时,确认所述人体失能事件有效,否则撤销所述人体失能事件;所述累积毒性暴露剂量为所述毒性气体浓度时间序列在所述触发时刻至当前时刻区间上的时间积分;所述剩余可耐受滞留时间根据所述预设的毒性剂量阈值与所述累积毒性暴露剂量之差、除以所述当前时刻的毒性气体浓度而得到;所述气体浓度检测模块包括分别用于检测一氧化碳浓度、可燃气体浓度和空气质量指标的多个气体传感器;所述处理模块根据各所述气体传感器输出的浓度值,按照预设权重加权求和,得到所述毒性气体浓度时间序列,所述处理模块对各所述气体传感器输出的浓度分别按对应气体的预设毒性常数进行时间积分,得到各气体的分量暴露剂量,并对各所述分量暴露剂量进行归一化加权叠加,得到所述累积毒性暴露剂量;所述处理模块采用广义互相关-相位变换加权法计算各通道之间的到达时间差,并基于所述声音采集阵列的阵元几何分布解算所述方位角。

10、在进一步的方案中,所述处理模块还被配置为:当所述深度图像序列的有效像素占比低于第四阈值时,以所述方位角作为所述目标人体所在区域的方位,控制所述移动平台向该方位移动并驱动所述云台执行机构按所述方位角锁定;所述抢险等级包括按紧急程度递增的第一等级、第二等级和第三等级。

11、在进一步的方案中,所述处理模块根据所述剩余可耐受滞留时间所处的预设区间确定所述抢险等级;还包括设置于所述移动平台上并与所述处理模块通信连接的红外测温模块;所述处理模块根据所述红外测温模块输出的目标区域温度判断所述目标人体是否为活体,并根据判断结果修正所述抢险等级。

12、在进一步的方案中,所述云台执行机构为二自由度云台;所述机器人还包括与所述处理模块通信连接的语音交互模块;所述处理模块在驱动所述云台执行机构锁定所述目标人体后,通过所述语音交互模块发出语音询问并采集应答信号,根据有无所述应答信号修正所述抢险等级。

13、在进一步的方案中,所述处理模块还被配置为:基于所述深度图像序列识别到两个以上所述目标人体时,按照各所述目标人体的所述剩余可耐受滞留时间由小到大的顺序,依次控制所述移动平台接近并锁定。

14、在进一步的方案中,所述通信模块基于消息队列遥测传输协议与至少一个灭火作业机器人通信连接;所述处理模块根据所述抢险等级生成任务调度指令,并经所述通信模块下发至所述灭火作业机器人,以协调灭火作业与救援作业的执行顺序;所述处理模块还被配置为在所述抢险等级达到最高等级时,经所述通信模块向远程急救调度平台发送包含所述位置坐标和所述剩余可耐受滞留时间的急救请求,所述处理模块接收所述灭火作业机器人经所述通信模块共享的火源位置坐标,并在确定所述移动平台接近所述目标人体的路径时,使所述路径与所述火源位置坐标之间的距离大于预设安全距离。

15、在进一步的方案中,所述处理模块还被配置为:当所述目标人体自首次被识别时起处于所述躯干倾角大于所述第二阈值且质心高度低于预设高度阈值的姿态、且该姿态持续超过预设时长时,判定发生所述人体失能事件;当所述深度图像序列中未捕获到所述人体失能事件的起始时刻时,以所述图像采集模块首次识别到所述目标人体的时刻、与所述气体浓度检测模块在所述目标人体所在区域首次检测到毒性气体浓度超过预设报警浓度的时刻中的较早者,作为所述时间积分的积分下限。

16、在进一步的方案中,所述处理模块还被配置为:根据所述剩余可耐受滞留时间确定所述移动平台接近所述目标人体的目标速度与路径,且所述剩余可耐受滞留时间越小,所确定的所述目标速度越大;所述处理模块基于所述人体失能事件的置信度、所述剩余可耐受滞留时间以及所述方位角的定位置信度,采用证据理论进行融合得到所述抢险等级的综合置信度;当所述综合置信度低于预设值时,控制所述移动平台调整位姿后重新采集所述深度图像序列与所述多通道声音信号。

17、在进一步的方案中,所述累积毒性暴露剂量为所述毒性气体浓度时间序列在所述触发时刻至当前时刻区间上的时间积分;所述剩余可耐受滞留时间根据所述预设毒性剂量阈值与所述累积毒性暴露剂量之差、除以当前时刻的毒性气体浓度而得到。

18、与现有技术相比,本发明提供了一种基于多模态融合的受困人员状态评估与救援机器人,具备以下有益效果:

19、1、本发明以图像采集模块得到的人体失能事件触发时刻作为毒性气体浓度时间积分的积分下限,并对移动平台就地采集的浓度进行积分,在受困人员未佩戴随身设备的情况下得到针对该受困人员的累积毒性暴露剂量及剩余可耐受滞留时间,剩余可耐受滞留时间可用于确定两名以上受困人员之间的救援先后顺序,解决了相关技术仅能定性发现、无法定量估计安全时间的问题。

20、2、毒性气体浓度由移动平台在目标人体所在区域就地采集,所积分的浓度对应于受困人员所处位置,相对于固定式探测装置或环境气体分布信息,使剩余可耐受滞留时间的估计与该受困人员的暴露情况相对应,解决了相关技术中浓度与个体暴露相脱节的问题。

21、3、在深度图像序列的有效像素占比低于第四阈值时,本发明以声源定位所得方位角作为目标人体所在区域的方位继续执行接近与锁定,在逆光、烟雾遮挡时仍可对处于失能状态的受困人员进行处置,解决了相关技术中单一感知模态存在漏检的问题。

22、4、本发明根据抢险等级驱动云台执行机构锁定目标人体、按剩余可耐受滞留时间由小到大的顺序接近各受困人员,并经通信模块与灭火作业机器人及远程急救调度平台进行数据交互,使感知、评估与执行构成闭环,处置过程无需人工介入,解决了相关技术中感知与作业相互独立的问题。