基于面部时序图像的非接触式AR监护设备及方法

本发明涉及图像识别，特别是指基于面部时序图像的非接触式ar监护设备及方法。

背景技术：

1、图像识别技术领域主要围绕图像采集装置取得的二维或时序图像开展目标检测、区域定位、特征提取、身份匹配和结果显示处理，图像数据通常由摄像头、传感器、终端处理器和存储器配合获取，并经本地程序或服务器调用图像帧、特征点、纹理、颜色、轮廓、运动变化和匹配阈值等信息进行比对、分类、关联和输出。其中，传统基于面部时序图像的非接触式ar监护设备及方法是指以ar眼镜摄像头连续取得患者面部图像序列，按照面部区域定位、图像帧筛选、时序变化提取、患者身份识别、病历记录调用和视野内信息显示的顺序进行处理，并可结合摄像头或传感器获得的面部颜色变化、细微运动、检查检验记录、病史记录和腕带射频信号等信息，由眼镜端或连接服务器完成数据关联、风险状态判断和图像化提示。

2、传统ar医疗辅助设备以摄像头采集患者面部图像为入口，依据人脸匹配结果调用病历记录并在眼镜视野内显示文字或图像信息，处理链路偏向身份确认与静态记录呈现，面部图像的时序变化与患者当前体征之间缺少连续关联，病历字段与检查检验字段之间的比较依据分散，在面部遮挡或损伤场景下患者身份与病情记录的对应关系容易中断，现场提示难以随患者状态变化形成对应输出。

技术实现思路

1、本发明的目的在于提供基于面部时序图像的非接触式ar监护设备及方法，用于在ar医疗监护场景中，将患者面部区域的时序图像采集、生命体征生成、患者身份确认、病情信息调用、风险状态判断和ar视野提示进行协同处理，使ar眼镜对患者当前体征和病情记录之间的对应关系形成连续监护依据。

2、为了实现上述目的，本发明提供基于面部时序图像的非接触式ar监护设备，包括ar眼镜本体、设置在所述ar眼镜本体上的摄像头、传感器、处理器、存储器、通信接口和ar显示单元。所述摄像头用于向所述处理器输出患者面部区域的时序图像序列，所述传感器用于向所述处理器输出面部微动信号或光照变化辅助信号，所述存储器用于存储供所述处理器调用的监护程序。所述处理器运行所述监护程序，以按照面部区域定位结果和图像帧质量条件筛选有效图像帧，从有效图像帧中提取面部颜色时序变化特征或面部微动时序变化特征，并生成实时生命体征数据。所述处理器还用于在患者面部图像的身份识别置信度不满足预设识别条件时，融合步态信息、虹膜信息或腕带射频信号获得患者身份标识，并基于患者身份标识经所述通信接口调用患者病情信息。所述处理器进一步将实时生命体征数据与患者病情信息按照体征字段、检查检验字段和病史字段进行关联比较，当关联比较结果满足预设风险条件时生成风险状态，所述ar显示单元在ar眼镜视野内叠加输出与风险状态对应的提示信息。

3、作为一种递进限定方案，所述处理器按照面部区域定位结果在时序图像序列中确定患者面部区域对应的候选图像帧，并将所述候选图像帧与图像帧质量条件进行比较，图像帧质量条件包括面部区域完整度条件、亮度稳定条件和相邻图像帧位移条件。当所述候选图像帧同时满足面部区域完整度条件、亮度稳定条件和相邻图像帧位移条件时，所述处理器将所述候选图像帧作为有效图像帧；当所述候选图像帧未同时满足面部区域完整度条件、亮度稳定条件和相邻图像帧位移条件时，所述处理器剔除所述候选图像帧。

4、进一步地，所述处理器对有效图像帧进行时序连续性校验，时序连续性校验包括按照采集时间顺序判断相邻有效图像帧之间的采集间隔是否满足预设时间间隔条件，并判断连续有效图像帧的数量是否满足预设数量条件。当采集间隔和连续有效图像帧的数量均满足条件时，所述处理器将对应的所述有效图像帧组成生命体征分析窗口；当采集间隔或连续有效图像帧的数量不满足条件时，所述处理器重新从所述候选图像帧中筛选所述有效图像帧。

5、进一步地，所述处理器在生命体征分析窗口内确定患者面部感兴趣区域，并按照采集时间顺序提取患者面部感兴趣区域内的颜色通道变化序列和像素位移变化序列。所述处理器对颜色通道变化序列进行光照变化辅助信号校正后形成面部颜色时序变化特征，所述处理器对像素位移变化序列进行面部整体位移扣除后形成面部微动时序变化特征。在此基础上，所述处理器分别对面部颜色时序变化特征和面部微动时序变化特征进行周期成分提取，并将所述周期成分的峰值间隔、波动幅度和连续性作为生命体征生成依据。当面部颜色时序变化特征与面部微动时序变化特征对应的所述周期成分满足一致性条件时，所述处理器生成包括心率、呼吸频率或血氧饱和度的实时生命体征数据；当周期成分不满足一致性条件时，所述处理器标记对应生命体征生成结果为待确认状态。

6、作为身份确认的进一步限定，所述处理器对患者面部图像进行身份识别时，先将所述患者面部图像与预存患者面部特征进行匹配并生成身份识别置信度。当身份识别置信度满足预设识别条件时，所述处理器以匹配得到的患者身份作为患者身份标识；当身份识别置信度不满足预设识别条件时，所述处理器按照预设优先级读取步态信息、虹膜信息或腕带射频信号，并将读取到的信息与面部识别结果进行一致性校验后生成患者身份标识。

7、作为病情信息关联的进一步限定，所述处理器经所述通信接口调用患者病情信息时，以患者身份标识作为索引读取病历记录、检查检验记录和病史记录，并将所述病历记录中的诊断字段、所述检查检验记录中的数值字段以及所述病史记录中的既往状态字段映射为体征字段、检查检验字段和病史字段。当体征字段与实时生命体征数据存在同名字段时，所述处理器按照采集时间更新对应字段值；当体征字段与实时生命体征数据不存在同名字段时，所述处理器保留对应字段值作为关联比较依据。

8、作为风险判断的进一步限定，所述处理器进行关联比较时，将实时生命体征数据中的当前体征值写入对应的体征字段，并将所述当前体征值与检查检验字段记录的同类检测结果以及病史字段记录的既往状态进行顺序比较。当所述当前体征值与所述同类检测结果的差异满足预设风险条件，且所述既往状态未记录允许偏离状态时，所述处理器生成风险状态；当所述当前体征值与所述同类检测结果的差异不满足预设风险条件时，所述处理器将所述当前体征值作为下一次关联比较的基准值。

9、作为显示与协同的进一步限定，所述ar显示单元输出所述提示信息时，所述处理器将风险状态与预设显示层级进行匹配，生成包括生命体征显示层、病情摘要显示层和操作提示显示层的叠加显示指令，并将所述叠加显示指令发送至ar显示单元。当所述通信接口接收到远程标注信息时，所述处理器将远程标注信息与当前视野内患者面部区域或身体定位区域进行空间关联，并控制ar显示单元在ar眼镜视野内显示对应的标注图形。

10、本发明还提供基于面部时序图像的非接触式ar监护方法，用于由上述设备执行，所述方法包括：连续采集患者面部区域的时序图像序列，并按照面部区域定位结果和图像帧质量条件筛选有效图像帧；从有效图像帧中提取面部颜色时序变化特征或面部微动时序变化特征，基于至少一种时序变化特征生成实时生命体征数据；对患者面部图像进行身份识别，当身份识别置信度满足预设识别条件时调用患者病情信息，当身份识别置信度不满足预设识别条件时融合步态信息、虹膜信息或腕带射频信号获得患者身份标识并调用患者病情信息；将实时生命体征数据与患者病情信息按照体征字段、检查检验字段和病史字段进行关联比较，当关联比较结果满足预设风险条件时生成风险状态和病情摘要，并在ar眼镜视野内叠加输出与风险状态对应的提示信息。

11、本发明实施例提供的技术方案带来的有益效果至少包括：

12、本发明，通过摄像头和传感器分别向处理器提供患者面部区域的时序图像序列、面部微动信号和光照变化辅助信号，处理器依照面部区域定位结果和图像帧质量条件形成有效图像帧，使实时生命体征数据来源于经过筛选的面部时序变化；在身份识别置信度不满足预设识别条件时，融合步态信息、虹膜信息或腕带射频信号获得患者身份标识，使患者病情信息调用与监护对象保持对应；体征字段、检查检验字段和病史字段的关联比较形成风险状态，使ar显示单元输出的提示信息与患者当前状态对应。