基于混合特征融合的三维多状态综合等级评估方法及系统

本发明涉及特征评估，具体为基于混合特征融合的三维多状态综合等级评估方法及系统。

背景技术：

1、随着医学影像技术、三维人脸建模技术与计算机视觉算法的快速发展，面部运动障碍的客观化评估逐渐成为临床诊断、疗效监测和康复管理的重要方向之一。现阶段，临床对面瘫患者的评估仍主要依赖医师的肉眼观察，通过判断患者在不同表情动作下的面部对称性、肌力表现以及局部运动受限情况给出主观评分。然而受医生经验差异、观察角度、光照条件、患者配合程度等多因素影响，人工评估在一致性、可重复性和精细化表达方面仍存在天然局限；与此同时，扫描设备在医疗场景中逐渐普及，能够获取面部表情变化、几何结构形变以及局部区域运动特征等多类型数据，为开展更高维度、更客观的数据驱动式面部功能评估奠定基础，如何在保持临床可解释性的同时获得稳定、准确的面部功能评估结果，依然是当前研究与产业应用关注的重点方向。

2、例如公告号为cn117274497a的发明专利公开了一种单目图像三维人脸重建方法，该方法通过构建正常人脸图片数据集与非对称表情人脸图片数据集，结合编码器-解码器神经网络架构，实现单目图像的三维人脸重建。该方法首先对正常人脸图片进行收集与预处理，并基于预处理后的数据构建神经网络模型并开展弱监督训练；随后构建非对称表情人脸图片数据集，并在训练好的神经网络模型基础上执行微调，以生成最终模型；进一步构建验证集用于性能验证，并在测试集上评估最终模型的重建效果；通过上述训练与验证流程，最终模型可用于实际三维人脸重建任务。该方法实现了在单目图像条件下的人脸三维结构估计，提高了模型对非对称表情的适应能力，具有较高的重建精度与应用价值。

3、例如公开号为cn120953482a的发明专利公开了一种三维面扫数据建模智能交互融合方法及系统。所述方法包括：s1，同时采集患者脸部的可见光图像和近红外光图像；s2，基于可见光图像生成患者表皮三维网格模型，并基于近红外光图像提取皮下组织结构数据；s3，获取患者牙齿部位的多角度扫描图像并生成牙齿三维模型；s4，利用人工神经网络模型从表皮三维网格模型中识别人脸特征点，并提取牙齿区域轮廓；s5，将牙齿三维模型与牙齿区域轮廓进行空间配准，从而分割得到匹配的牙齿区域三维数据；s6，对表皮三维网格模型、皮下组织结构数据及牙齿区域三维数据进行融合，生成三维面部解剖结构模型；并可基于面部肌肉运动学模型对上述三维面部解剖结构模型执行动态表情模拟，输出随时间变化的动态预测序列。

4、当前在面部三维重建、多模态表征学习及面部状态分析等相关领域，尽管已有方法能够利用单目图像、三维网格、点云数据或多角度扫描信息实现一定程度的几何重建与结构表达，但在多模态数据关联性挖掘、多表情与复杂状态建模方面仍存在明显不足。不同模态特征之间缺乏有效对齐与融合机制，难以充分发挥细节纹理与空间结构的互补优势；面对多表情、不对称形变及姿态变化等真实场景数据时，模型鲁棒性与稳定性不足；现有方法多依赖单路径或单表情信息，难以形成全面的面部状态表征，从而限制了等级评估类任务的准确性。使得当前技术难以满足高精度、多状态、强鲁棒性的人脸综合评估需求。

5、因此，针对以上问题，亟待需要基于混合特征融合的三维多状态综合等级评估方法及系统。

技术实现思路

1、解决的技术问题

2、针对现有技术的不足，本发明提供了基于混合特征融合的三维多状态综合等级评估方法及系统，解决了现有面瘫评估技术在二维多视角影像与三维点云结构的深层特征协同建模、多表情动态模式的一致性融合以及复杂采集环境下的姿态扰动与噪声抑制方面存在不足，等级评估的准确性与稳健性难以满足实际需求的问题。

3、技术方案

4、为实现以上目的，本发明通过以下技术方案予以实现：基于混合特征融合的三维多状态综合等级评估方法，包括s1,采集原始面部数据，获取公共图像数据；对原始面部数据进行预处理并标注；s2,对三维面部数据进行点云化重建与稠密稀疏结构生成，结合视角投影与二维图像规范化流程，构建三维点云矩阵数据与二维表达；s3,通过双分支结构对三维点云矩阵数据与二维表达执行增强、特征编码、投影映射与模态对比约束，并结合分类器监督与损失联合优化；s4,对原始面部数据通过表情分支的深层结构特征提取、表情注意力聚焦与融合层的通道调控机制，得到综合深度特征，并通过层级监督进行联合优化；s5,在测试阶段执行跨模态路径与表达融合路径的推断流程，对预测结果进行规则化整合和特征层融合决策，并对输出等级进行结构化归档。

5、本发明第二方面提供了基于混合特征融合的三维多状态综合等级评估系统，包括采集预处理与标注模块,用于采集原始面部数据，获取公共图像数据；对原始面部数据进行预处理并标注；三维面部建模与多视角处理模块,用于对三维面部数据进行点云化重建与稠密稀疏结构生成，结合视角投影与二维图像规范化流程，构建三维点云矩阵数据与二维表达；点云图像混合特征对比学习模块,用于通过双分支结构对三维点云矩阵数据与二维表达执行增强、特征编码、投影映射与模态对比约束，并结合分类器监督与损失联合优化；结构特征解析与融合决策模块,用于对原始面部数据通过表情分支的深层结构特征提取、表情注意力聚焦与融合层的通道调控机制，得到综合深度特征，并通过层级监督进行联合优化；等级评估与优化模块,用于在测试阶段执行跨模态路径与表达融合路径的推断流程，对预测结果进行规则化整合和特征层融合决策，并对输出等级进行结构化归档。

6、有益效果

7、本发明具有以下有益效果：

8、（1）本发明，通过表情分支提取差异性表情特征，并在融合层中实现深度表征的结构化整合，本发明能够同时捕捉不同表情下的形变模式，进而实现了跨表情的统一表达框架，有效解决了现有技术中难以兼顾多表情状态建模的不足。

9、（2）本发明，通过点云全局结构表达与多视角二维图像细节特征的联合建模，本发明能够在空间形态与表面纹理两方面同时增强特征表达能力，进而实现了对多维面部状态的精准刻画，有效解决了现有技术中单一模态信息不足导致的识别性能受限的问题。

10、（3）本发明，将分类交叉熵损失与多种对比损失进行联合优化，使在结构对齐、特征分辨与等级分类三个维度同时受到监督，构建了多目标协同的优化路径，进而实现了训练阶段梯度信号稳定、特征学习充分的效果，有效解决了现有技术中单一损失导致收敛慢、表达力不足的问题。

11、（4）本发明，通过点云增强、图像增强与多视角投影建立跨条件的稳定特征空间，本发明能够在不同采集环境与姿态变化下保持稳定识别性能，进而实现了复杂临床或现场条件下的可靠推断，有效解决了现有技术中对光照、角度敏感导致性能下降的问题。

12、当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

1.基于混合特征融合的三维多状态综合等级评估方法，其特征在于，包括：

2.根据权利要求1所述的基于混合特征融合的三维多状态综合等级评估方法，其特征在于：所述采集原始面部数据，获取公共图像数据；对原始面部数据进行预处理并标注的具体过程为：

3.根据权利要求1所述的基于混合特征融合的三维多状态综合等级评估方法，其特征在于：所述对三维面部数据进行点云化重建与稠密稀疏结构生成，结合视角投影与二维图像规范化流程，构建三维点云矩阵数据与二维表达的具体过程为：

4.根据权利要求1所述的基于混合特征融合的三维多状态综合等级评估方法，其特征在于：所述通过双分支结构对三维点云矩阵数据与二维表达执行增强、特征编码、投影映射与模态对比约束的具体过程为：

5.根据权利要求1所述的基于混合特征融合的三维多状态综合等级评估方法，其特征在于：所述结合分类器监督与损失联合优化的具体过程为：

6.根据权利要求1所述的基于混合特征融合的三维多状态综合等级评估方法，其特征在于：所述对原始面部数据通过表情分支的深层结构特征提取、表情注意力聚焦的具体过程为：

7.根据权利要求1所述的基于混合特征融合的三维多状态综合等级评估方法，其特征在于：所述融合层的通道调控机制，得到综合深度特征的具体过程为：

8.根据权利要求1所述的基于混合特征融合的三维多状态综合等级评估方法，其特征在于：所述通过层级监督进行联合优化的具体过程为：

9.根据权利要求1所述的基于混合特征融合的三维多状态综合等级评估方法，其特征在于：所述在测试阶段执行跨模态路径与表达融合路径的推断流程，对预测结果进行规则化整合和特征层融合决策，并对输出等级进行结构化归档的具体过程为：

10.基于混合特征融合的三维多状态综合等级评估系统，应用权利要求1-9中任意一项所述的基于混合特征融合的三维多状态综合等级评估方法，包括：