一种适用于水下有人平台航行工况的驾驶员疲劳监测方法与流程

摘要: 本技术涉及水下,尤其是一种适用于水下有人平台航行工况的驾驶员疲劳监测方法。背景技术:1、随着海洋资源开发和海洋安全防护需求的不断增长,水下有人平台在科学考察以及...
一种适用于水下有人平台航行工况的驾驶员疲劳监测方法与流程

本技术涉及水下,尤其是一种适用于水下有人平台航行工况的驾驶员疲劳监测方法。

背景技术:

1、随着海洋资源开发和海洋安全防护需求的不断增长,水下有人平台在科学考察以及海底工程作业等领域得到广泛应用。驾驶员在水下有人平台的航行过程中,通常需要长时间处于密闭、昏暗、高噪音的环境中,并执行高度集中的操控与监视任务。在此类特殊工况下,驾驶员极易产生疲劳,进而导致注意力下降、反应迟缓和操作失误,严重时可能危及水下有人平台航行的安全。

2、现有技术中,针对陆地交通工具或航空领域的驾驶员疲劳监测方法已较为成熟,通常基于面部特征识别(如眼睑闭合频率、瞳孔变化)、生理信号监测(如心率、脑电信号)、操作行为分析(如方向盘操作频率、踏板控制力度)等单一或组合方式实现。但水下有人平台的特殊作业环境与复杂航行工况使得这些方法难以直接适用,主要表现在:水下有人平台在执行任务时需经历多种差异化航行工况,不同工况下驾驶员的操作强度、注意力分配模式、生理及行为特征等存在明显差异,例如水面航行时驾驶员需频繁应对波浪引起的平台晃动,操作动作更为频繁,而水下航行时则需保持长时间稳定操作,易产生静态疲劳。现有针对陆地交通工具或航空领域的驾驶员疲劳监测方法大多采用固定监测参数或统一判定标准,导致应用于水下有人平台场景下时存在监测灵敏度不足、误报率较高的问题,无法精准适配水下有人平台复杂多变的作业场景,难以满足实际航行安全需求。

技术实现思路

1、本技术针对现有驾驶员疲劳监测技术在水下有人平台应用中存在的问题,提出了一种适用于水下有人平台航行工况的驾驶员疲劳监测方法及系统。为实现上述目的,本技术的技术方案如下:

2、一种适用于水下有人平台航行工况的驾驶员疲劳监测方法,该驾驶员疲劳监测方法应用于驾驶员疲劳监测系统中,驾驶员疲劳监测系统包括疲劳监测主机及其分别通讯连接的操作器模块、摄像头模块、麦克风阵列模块和水下平台状态数据资源池;疲劳监测主机执行的驾驶员疲劳监测方法包括:

3、基于水下平台状态数据资源池获取水下有人平台在采样时刻的运行状态数据并确定当前所处的实时航行工况,水下有人平台的航行工况包括水面航行工况、下潜工况、水下航行工况、悬停工况、上浮工况、坐底/离底工况;

4、基于摄像头模块通过驾驶员的面部视频数据并计算视觉疲劳指数,以及通过操作器模块获取驾驶员的航行驾驶操作数据并计算操作行为疲劳指数,以及通过麦克风阵列模块获取驾驶员的语音交互数据并计算语音交互疲劳指数;

5、按照与实时航行工况匹配的加权策略对视觉疲劳指数、操作行为疲劳指数、语音交互疲劳指数进行加权得到综合疲劳指数,并根据综合疲劳指数确定水下有人平台驾驶员的实时疲劳程度。

6、其进一步的技术方案为,确定当前所处的实时航行工况包括:

7、根据水下有人平台在采样时刻的运行状态数据计算采样时刻的项运行状态特征参数,为整数参数;

8、对于水下有人平台的任意第种航行工况,利用与第种航行工况的工况特征匹配的工况评分函数,基于采样时刻的项运行状态特征参数计算得到第种航行工况在采样时刻的工况得分;

9、当各个航行工况在采样时刻的工况得分的最大值超过得分阈值时,确定工况得分最高的航行工况作为采样时刻的候选工况则直接将上一采样周期所处的航行工况作为采样时刻的候选工况

10、当采样时刻及其之前连续个采样周期都保持相同的候选工况时,将采样时刻的候选工况作为当前所处的实时航行工况,否则直接将上一次确定的实时航行工况作为当前所处的实时航行工况;

11、其中,水下有人平台在采样时刻的运行状态数据包括水下有人平台的俯仰角、横滚角、航速、深度和离底高度。

12、其进一步的技术方案为,根据水下有人平台在采样时刻的运行状态数据计算得到的采样时刻的项运行状态特征参数至少包括;对水下有人平台在采样时刻的深度归一化处理得到的归一化深度,以及对深度一阶差分运算得到的深度变化率;以及水下有人平台在采样时刻的航速,以及对航速归一化处理得到的归一化航速,以及对航速一阶差分运算得到的航速变化率;以及水下有人平台在采样时刻的离底高度,以及对离底高度归一化处理得到的归一化离底高度;以及对水下有人平台在采样时刻的姿态幅值归一化处理得到的归一化姿态幅值,以及对姿态幅值一阶差分运算得到的姿态幅值变化率。

13、按照计算得到第种航行工况在采样时刻的工况得分;其中,表示采样时刻的第项运行状态特征参数,表示与第种航行工况的工况特征匹配的第项运行状态特征参数的工况隶属函数,表示与第种航行工况的工况特征匹配的第项运行状态特征参数的权重系数,且。

14、其进一步的技术方案为,利用与第种航行工况的工况特征匹配的工况评分函数计算得到第种航行工况在采样时刻的工况得分包括:

15、按照如下公式计算得到水面航行工况在采样时刻的工况得分:

16、

17、按照如下公式计算得到下潜工况在采样时刻的工况得分:

18、

19、其中,,为归一化映射函数,且满足,;

20、按照如下公式计算得到水下航行工况在采样时刻的工况得分:

21、

22、其中,表示离底高度的区间隶属函数值,当离底高度处于所述预设航行安全区间内时取值增大,当离底高度偏离所述预设航行安全区间时取值减小;

23、按照如下公式计算得到悬停工况的工况得分:

24、

25、按照如下公式计算得到上浮工况的工况得分:

26、

27、其中,,且满足,以及;

28、按照如下公式计算得到坐底/离底工况在采样时刻的工况得分:

29、

30、其中,以及。

31、其进一步的技术方案为,按照与实时航行工况匹配的加权策略对视觉疲劳指数、操作行为疲劳指数、语音交互疲劳指数进行加权得到综合疲劳指数包括:

32、确定与实时航行工况匹配的视觉疲劳指数基础权重、操作行为疲劳指数基础权重和语音交互疲劳指数基础权重;

33、基于摄像头模块通过驾驶员的面部视频数据并计算视觉模态可信度,以及通过操作器模块获取驾驶员的航行驾驶操作数据并计算操作模态可信度,以及通过麦克风阵列模块获取驾驶员的语音交互数据并计算语音模态可信度;

34、根据视觉模态可信度、操作模态可信度、语音模态可信度加权得到视觉疲劳指数融合权重、操作行为疲劳指数融合权重权重:

35、

36、

37、

38、其中,为防止分母为零的极小正常数;

39、利用视觉疲劳指数融合权重、操作行为疲劳指数融合权重权重对视觉疲劳指数、操作行为疲劳指数、语音交互疲劳指数进行加权得到综合疲劳指数加权得到综合疲劳指数

40、其进一步的技术方案为,当实时航行工况为水面航行工况时,

41、当实时航行工况为水下航行工况时,

42、当实时航行工况为悬停工况时,;

43、当实时航行工况为下潜工况时,;

44、当实时航行工况为上浮工况时,;

45、当实时航行工况为坐底/离底工况时,。

46、其进一步的技术方案为,基于摄像头模块获取驾驶员的面部视频数据并计算视觉疲劳指数和视觉模态可信度包括:

47、对驾驶员的面部视频数据执行数据预处理操作,执行的数据预处理操作包括光照补偿、人脸区域定位和图像清晰度增强;

48、基于完成数据预处理的面部视频数据计算单位时间内的眨眼频率及单次闭眼持续时长,以生成归一化映射至区间的眨眼疲劳特征子分值;

49、基于完成数据预处理的面部视频数据进行人脸关键点检测与姿态解算法,获取驾驶员的头部姿态,统计异常的头部姿态的出现频率及持续时长,并生成归一化映射至区间的头部姿态疲劳特征子分值;

50、基于完成数据预处理的面部视频数据检测驾驶员口部区域张开程度及持续时间以识别打哈欠行为,并在设定时间窗口内统计打哈欠次数及平均持续时长,生成归一化映射至区间的打哈欠疲劳特征子分值;

51、对于眨眼疲劳特征子分值、头部姿态疲劳特征子分值、打哈欠疲劳特征子分值中的任意第项视觉疲劳特征子分值计算特征可信度;其中,表示当前面部视频图像质量评价值,表示第项视觉特征识别结果的检测置信度,表示第项视觉特征在连续时间窗口内的稳定性评价值,加权系数;

52、按照各项视觉疲劳特征子分值的特征可信度加权得到视觉疲劳指数,为防止分母为零的极小正常数;

53、对各项视觉疲劳特征子分值的特征可信度综合得到视觉模态可信度。

54、其进一步的技术方案为,基于操作器模块获取驾驶员的航行驾驶操作数据并计算操作行为疲劳指数和操作模态可信度包括:

55、对驾驶员的航行驾驶操作数据执行数据预处理操作,航行驾驶操作数据包括操作器的操纵值,操作器包括操纵杆、踏板、按钮,操作器的操纵值是操纵位移、操纵力度、操纵角度及操纵响应时间中的至少一种;执行的数据预处理操作包括异常值滤除、时间同步和噪声抑制;

56、基于完成数据预处理的航行驾驶操作数据提取单位时间窗口内的有效操纵次数构建操作频率特征,和/或基于操纵位移、操纵角度或操纵力度的变化幅值构建操作幅度特征,和/或基于驾驶员对任务提示或航行指令的操作响应时间构建操纵响应延迟特征,和/或基于连续操作过程中出现的停顿、异常迟滞或中断事件构建操作连续性特征,共得到项操作行为特征指标,为整数参数;

57、计算任意第项操作行为特征的偏离量,并映射得到第项操作疲劳特征子分值:

58、

59、其中,是第项操作行为特征在实时航行工况下的操作行为参考区间,为映射系数;

60、计算任意第项操作疲劳特征子分值的特征可信度,表示操作数据完整性评价值,表示操作传感器有效性评价值,表示第项操作特征在相邻时间窗口内的连续性评价值,加权系数满足;

61、按照各项操作疲劳特征子分值的特征可信度加权得到操作行为疲劳指数

, 为防止分母为零的极小正常数;

62、对各项操作疲劳特征子分值的特征可信度综合得到操作模态可信度。

63、其进一步的技术方案为,基于麦克风阵列模块获取驾驶员的语音交互数据并计算语音交互疲劳指数和语音模态可信度包括:

64、对驾驶员的语音交互数据执行数据预处理操作,驾驶员的语音交互数据包括驾驶员对航行任务指令和提示信息的口头响应,执行的数据预处理操作包括噪声抑制、回声消除、语音分割及语音增强;

65、基于完成数据预处理的语音交互数据提取驾驶员对任务提示或指令信息的语音回答时间构建语音响应延迟特征,和/或基于单位时间内的回答次数、回答时长和语句长度构建语音时长频率特征,和/或基于语音能量、音高波动及其变化趋势构建音量语调变化特征,和/或基于回答过程中的重复、异常停顿、迟疑和答复异常事件构建口误停顿特征,共得到项语音交互特征,为整数参数;

66、计算任意第项语音交互特征的偏离量,并映射得到第项语音疲劳特征子分值:

67、

68、其中,是第项语音交互特征在实时航行工况下的操作行为参考区间,为映射系数;

69、计算任意第项语音疲劳特征子分值的特征可信度,表示当前语音信噪比评价值,表示环境噪声干扰程度评价值,表示第项语音交互特征在连续时间窗口内的稳定性评价值,加权系数满足;

70、按照各项语音疲劳特征子分值的特征可信度加权得到语音交互疲劳指数

, 为防止分母为零的极小正常数;

71、对各项语音疲劳特征子分值的特征可信度综合得到操作模态可信度。

72、其进一步的技术方案为,驾驶员疲劳监测系统还包括反馈模块,该反馈模块包括扬声器模块和震动座椅模块;疲劳监测主机执行的驾驶员疲劳监测方法还包括:

73、对综合疲劳指数按照进行平滑处理,并根据平滑处理后的综合疲劳指数确定水下有人平台驾驶员的实时疲劳程度;其中,为平滑窗口内的采样点数;

74、根据水下有人平台驾驶员的实时疲劳程度,控制反馈模块触发对应等级的多模态反馈操作。

75、本技术的有益技术效果是:

76、本技术通过引入面向水下有人平台典型航行过程的工况识别机制,基于深度、航速、离底高度及姿态信息等运行状态数据,对水面航行、下潜、水下航行、悬停、上浮和坐底/离底等工况进行实时判别,使疲劳监测过程由固定统一策略转变为与实时航行任务状态相匹配的动态监测策略,该方法充分考虑了水下有人平台在水面航行、下潜、水下航行、悬停、上浮及坐底/离底等不同航行阶段下驾驶任务负荷差异,保证疲劳判定策略与实际工况的匹配性,从而提高了疲劳监测对任务阶段变化的适应能力。

77、针对单一监测维度易受局部信号失真影响,易造成疲劳状态误判或漏判的问题,本技术分别构建视觉疲劳指数、操作行为疲劳指数和语音交互疲劳指数,对驾驶员疲劳状态进行多维表征。且视觉疲劳指数、操作行为疲劳指数和语音交互疲劳指数均采用“疲劳特征子分值+特征可信度”的方式计算,以使各模态内部的疲劳表征结果能够随数据质量变化进行自适应调整。使系统能够依据图像质量、检测置信度、数据完整性、传感器有效性、语音信号质量及特征稳定性等因素动态调节各疲劳特征对子模态结果的影响程度,从而降低低质量数据和异常噪声对疲劳监测结果的干扰,提高复杂水下环境下监测结果的稳定性和可靠性。

78、现有方法多采用固定权重或单一判定模式,难以适应水下环境中图像模糊、语音噪声增强、操作数据波动等复杂干扰,鲁棒性不足。针对这一问题,本技术通过将工况基础权重与模态整体可信度相结合,工况基础权重反映不同航行工况下各模态对疲劳表征能力的差异,模态整体可信度反映当前时刻各模态数据的可靠程度,二者共同构成面向水下有人平台复杂航行场景的双层动态融合机制。对视觉、操作行为和语音交互三类疲劳指数进行动态融合,使综合疲劳指数既能够体现不同航行工况下各模态对疲劳程度表征能力的差异,又能够反映各模态在当前时刻的数据可靠程度,从而提高综合疲劳评估结果的准确性和鲁棒性,减少因单一模态短时失效或局部数据异常导致的误报和漏报。本技术通过在综合疲劳指数计算后引入时间窗口平滑处理和疲劳等级划分机制,能够有效抑制短时异常波动引起的疲劳等级跳变,使疲劳判定结果更加连续稳定,更符合驾驶员疲劳状态的实际演变规律。在得到融合疲劳指数后,还根据预设疲劳等级阈值将驾驶员状态划分为清醒状态、轻度疲劳状态、中度疲劳状态和重度疲劳状态中的一种;当设置反馈模块时,依据疲劳等级触发界面提示、语音提示和触觉提醒中的至少一种分级干预方式,可在保证提醒有效性的同时降低对正常航行任务的干扰,从而提高水下有人平台航行过程中的安全保障能力。