一种面向产房场景的面部表情特征轻量化边缘推理方法与流程

本发明提供一种面向产房场景的面部表情特征轻量化边缘推理方法，属于医疗视觉人工智能、边缘计算及隐私安全保护。

背景技术：

1、产痛是产妇分娩过程中最核心的生理痛感指标，精准、实时的产痛评估对产科临床监护、分娩干预、镇痛方案调整具有关键指导意义。目前临床产痛评估多依赖医护人员主观打分、产妇自主表述及宫缩、生命体征等客观数据监测，存在主观性强、实时性差、数据维度单一的问题，无法精准反映产妇真实疼痛状态。

2、随着计算机视觉技术的发展，基于面部表情的疼痛识别技术逐步应用于医疗疼痛评估场景，通过面部动作单元（au）强度变化可客观表征人体疼痛程度。但现有技术应用于产房场景时存在诸多短板：其一，传统面部表情识别网络参数量大、推理耗时高，难以适配产房嵌入式边缘设备的低算力、低延迟实时处理需求，无法支撑产床视频流的高频实时推理；其二，产房环境光照复杂、多产床人员共存、人脸姿态多变，传统固定帧率检测推理方式冗余算力高、跟踪稳定性差，易出现检测失效、特征提取偏差问题；其三，产妇面部图像属于高度敏感医疗隐私数据，现有推理方案普遍存在原始图像存盘、上传、外泄的隐私风险，无法满足医疗数据安全合规要求；其四，传统au推理模型抗干扰能力弱，暗光、红外采集场景下噪声干扰易导致au误判，且缺乏有效的隐私防护与对抗优化机制，模型安全性与鲁棒性不足；其五，多产床场景下设备易出现人脸目标混淆、数据交叉干扰的问题，无法实现单产妇独立精准监测。

3、综上，现有面部表情推理技术无法兼顾产房场景的实时性、轻量化、隐私安全性与环境适应性，亟需一种适配产房专属场景、低延迟、高安全、强鲁棒的面部表情特征边缘推理方案。 技术实现要素：

4、本发明的目的在于克服现有技术的不足，提供一种面向产房场景的面部表情特征轻量化边缘推理方法及装置，解决现有技术算力开销大、实时性差、隐私泄露风险高、复杂产房环境适应性弱、多目标干扰等技术问题，实现产房场景下产妇面部疼痛特征的轻量化、低延迟、高安全、高精准边缘推理。

5、本发明为了解决上述问题，所提出的技术方案为：一种面向产房场景的面部表情特征轻量化边缘推理方法，包括以下步骤：

6、s1、采集产床区域的实时视频流；

7、s2、对所述实时视频流的各帧执行面部检测与跟踪，基于面部跟踪置信度采用跳过帧自适应策略，动态调整面部检测的执行频次；

8、s3、基于跟踪得到的人脸区域进行面部关键点定位，利用所述面部关键点通过仿射变换完成面部对齐；

9、s4、根据产房场景下疼痛相关面部动作单元au对应的感兴趣aoi区域，从对齐后的面部图像裁剪得到多个aoi子图；

10、s5、将各所述aoi子图输入轻量化au强度回归网络进行推理，输出疼痛相关au强度向量以及隐私瓶颈层输出的低维特征向量；

11、s6、在得到au强度向量以及低维特征向量之后，对内存缓冲区中存储的原始视频帧、对齐后面部图像、aoi子图的全部图像数据执行即时安全擦除，原始图像数据不落盘、不上传、不外流；

12、s7、仅输出所述au强度向量以及所述隐私瓶颈层输出的低维特征向量，以供后续产痛多模态评估使用。

13、进一步的，所述轻量化au强度回归网络为liteaunet，所述liteaunet包括三个并行子图输入分支、特征融合模块、隐私瓶颈全连接层以及au强度输出头；所述三个并行子图输入分支分别对应上眼眶眉间aoi区域、中鼻根鼻翼aoi区域、下上唇嘴角aoi区域，每个并行子图输入分支均由多层深度可分离卷积构成；各并行子图输入分支输出特征拼接融合后输入所述隐私瓶颈全连接层，隐私瓶颈全连接层输出隐私瓶颈特征向量；所述隐私瓶颈特征向量输入au强度输出头，输出与疼痛相关的au强度值。

14、进一步的，所述liteaunet总参数量小于500k；所述隐私瓶颈全连接层输出为64维隐私瓶颈特征向量，所述au强度输出头输出6维au强度值。

15、进一步的，对所述liteaunet执行对抗训练；训练阶段引入对抗解码器网络，所述对抗解码器以隐私瓶颈特征向量作为输入并重建原始面部图像；在liteaunet的总损失函数中加入隐私惩罚项，所述隐私惩罚项为对对抗解码器输出重建图像与原始面部图像之间的重建误差进行负向加权；训练过程中将隐私惩罚项对应的权重系数由0.01逐步增大至1.0。

16、进一步的，所述跳过帧自适应策略基于klt光流法计算面部跟踪置信度，分级控制规则如下：当跟踪置信度大于0.9时，跳过面部检测步骤，仅执行关键点对齐以及au推理；当跟踪置信度大于0.6且小于等于0.9时，执行au推理，并且每间隔预设固定帧数执行一次面部关键点校正；当跟踪置信度小于等于0.6时，完整执行面部检测、关键点定位对齐以及au推理流程；通过上述策略将面部检测的平均推理频率降低至25fps。

17、进一步的，所述即时安全擦除采用三遍覆写机制，依次向存储图像数据的内存缓冲区写入0x00、0xff、随机字节；擦除完成后调用内存屏障指令，确认覆写操作生效之后再释放内存缓冲区；全部图像数据仅驻留于易失性ram中，不写入文件系统做持久化保存。

18、进一步的，所述实时视频流由rgbir双目摄像头采集；当环境光照强度低于预设光照阈值时，自动开启940nm红外补光灯，摄像头切换至ir红外通道采集图像；所述轻量化au强度回归网络训练阶段加入ir噪声数据增强样本；在ir红外采集模式下，上调au回归置信度阈值，降低噪声带来的au误判。

19、进一步的，当连续预设帧数的面部检测或者au推理置信度低于预设质量阈值，则判定面部数据质量持续下降；降低或者归零面部表情主观分支在产痛多模态评估融合模型中的权重，采用宫缩、生命体征客观数据开展疼痛评估，并向上位护士站推送面部数据质量告警信号；在多产床共存的待产室场景下，每套采集推理设备独立运行；设备依据深度信息锁定距离处于1.52.5m范围内的目标人脸作为跟踪对象，过滤视野内其余无关人脸；各设备之间不交互图像数据以及特征数据，各设备独立输出au强度向量与隐私瓶颈特征向量。

20、进一步的，向外输出的隐私瓶颈层低维特征向量经过aes128加密处理之后，通过局域网传输至边缘服务器。

21、一种面向产房场景的面部表情特征轻量化边缘推理装置，包括rgbir双目摄像头模块、940nm红外补光模块、嵌入式npu计算模块、内存安全擦除逻辑模块、加密传输模块；所述rgbir双目摄像头模块，用于采集产房产床区域的rgb视频流和ir视频流；所述940nm红外补光模块，用于暗光环境下对产妇面部进行红外补光；所述嵌入式npu计算模块，部署有面部检测跟踪模型、关键点检测模型以及轻量化au强度回归网络，用于实现面部检测跟踪、关键点对齐、aoi裁剪以及au特征推理；所述内存安全擦除逻辑模块，用于对ram内存中的各类图像缓冲区执行三遍覆写安全擦除操作；所述加密传输模块，用于对隐私瓶颈层输出的特征向量执行aes128加密，并通过局域网向外输出加密后的特征向量；所述装置不对任何原始面部图像数据执行持久化存储；所述嵌入式npu计算模块采用rk3588芯片或者华为ascend310芯片；部署于嵌入式npu计算模块的轻量化au强度回归网络经过量化转换；单帧au推理耗时小于5ms；装置整体端到端处理总延迟小于12ms，支持30fps视频流实时处理。

22、由于采用了上述技术方案，本发明一种面向产房场景的面部表情特征轻量化边缘推理方法的有益效果为：

23、1、实现了边缘端轻量化高速推理，适配产房嵌入式设备部署。本发明设计的liteaunet网络总参数量小于500k，采用多分支深度可分离卷积结构，结合模型量化优化，单帧au推理耗时低于5ms，整体端到端延迟小于12ms，支持30fps高清视频流实时处理，突破了传统模型算力需求高、边缘设备无法实时推理的瓶颈，适配产房嵌入式边缘硬件部署场景。

24、2、自适应帧跳过策略大幅降低设备算力功耗。本发明基于klt光流法跟踪置信度分级设计推理策略，动态调整面部检测频次，将面部检测平均推理频率降至2-5fps，在保证人脸跟踪精度、特征提取准确性的前提下，极大减少无效计算，降低边缘设备运行功耗，适配医疗设备长时间连续运行的需求。

25、3、全方位保障产妇面部隐私数据安全，满足医疗合规要求。本发明设计内存三遍覆写即时擦除机制，原始图像数据仅驻留ram、不落盘、不上传、不外流，从源头杜绝原始隐私数据泄露；同时通过隐私瓶颈层降维、对抗训练隐私约束、aes-128加密传输多重机制，彻底剥离原始图像隐私信息，仅输出脱敏特征向量，完美契合医疗数据隐私保护规范。

26、4、极强的产房复杂场景鲁棒性。本发明采用rgb-ir双目采集+940nm红外补光方案，适配暗光、夜间、光影波动等复杂产房光照环境，通过ir噪声数据增强、红外模式置信度上调策略，有效降低光照噪声导致的推理误判；同时通过深度距离锁定目标人脸，实现多产床场景人脸隔离跟踪，避免无关人员干扰，适配真实产科临床复杂环境。

27、5、精准聚焦产痛特征，提升疼痛评估精度。本发明针对性选取产痛关联度最高的眉间、鼻根鼻翼、唇嘴角三大aoi区域，摒弃无效面部特征干扰，结合对抗训练优化网络特征提取能力，精准输出6维疼痛相关au强度向量，为后续产痛多模态融合评估提供高精准度特征支撑；同时设计数据质量异常适配机制，自动规避低质量数据干扰，保障评估结果稳定性。

技术实现思路