一种显示设备及人体姿态估计方法与流程

本技术涉及显示设备，尤其涉及一种显示设备及人体姿态估计方法。

背景技术：

1、显示设备是能够呈现用户界面，并支持用户交互的智能设备。以智能电视为例，智能电视是基于internet应用技术，具备开放式操作系统与芯片，拥有开放式应用平台，可实现双向人机交互功能，集影音、娱乐、数据等多种功能于一体的电视产品，用于满足用户多样化和个性化需求。

2、显示设备的体感交互、居家健身指导、运动姿态矫正等视觉交互场景，多脊椎点人体姿态估计是实现精准动作分析与人机交互的核心技术。相关技术中，采用rgb帧式相机作为采集前端，通过逐帧成像获取连续人体画面，基于深度学习模型从图像中提取人体外观特征，回归得到脊柱各节段及全身关节点的坐标信息，以此完成人体姿态估计；为改善高速运动场景的成像效果，部分方案还引入事件相机作为补充采集设备，分别提取rgb图像与事件流的特征后进行融合，配合人工标注的数据集训练姿态估计模型，实现双模态融合的姿态估计输出。

3、然而，这种以rgb帧式成像为基础、辅以事件相机的融合姿态估计实现方式，在高速运动场景下存在多脊椎点人体姿态估计精度不足的问题，难以满足显示设备居家健身指导、运动姿态矫正等场景对脊柱动作捕捉的高精度要求。

技术实现思路

1、本技术提供了一种显示设备及人体姿态估计方法，以解决多脊椎点人体姿态估计精度低的问题。

2、第一方面，本技术提供一种显示设备，包括：

3、显示器，被配置为显示用户界面；

4、装置接口，被配置为接入采集设备，所述采集设备包括第一相机与第二相机，所述第一相机用于采集目标人体的rgb图像数据，所述第二相机用于采集目标人体的事件流数据；

5、控制器，被配置为：

6、通过所述装置接口获取所述rgb图像数据与所述事件流数据，得到双模态数据；

7、调用预构建的目标姿态估计模型；所述目标姿态估计模型以rgb预训练的原始姿态估计模型为主体网络基础，保留原始姿态估计模型除首层卷积层外的全部预训练参数，经rgb引导的跨模态权重迁移对首层卷积层权重进行适配；

8、将所述双模态数据输入至所述目标姿态估计模型，经所述目标姿态估计模型进行融合推理后输出人体姿态估计结果；所述人体姿态估计结果包含多个脊柱节段关键点；

9、将所述人体姿态估计结果发送至所述显示器，并控制所述显示器展示所述人体姿态估计结果。

10、上述技术方案具有以下有益效果或优点：

11、结合rgb图像的纹理细节优势与事件相机高速响应、无运动模糊的特性，能够在高速运动场景下实现高精度的脊柱姿态估计，改善纯rgb姿态估计延迟高、易出现运动模糊的缺陷；基于成熟的rgb预训练模型开展跨模态权重迁移，无需从零搭建双模态网络架构，在保留原有模型特征提取能力的同时，能够降低模型训练成本与数据需求量，进而提高多脊椎点人体姿态估计的精度。

12、本技术的一些实施例中，在将所述双模态数据输入至所述目标姿态估计模型之前，所述控制器还被配置为：

13、对所述rgb图像数据进行归一化、去畸变处理，得到rgb输入数据；

14、按照预设的时间窗口对异步的所述事件流数据进行极性聚合，以统计所述时间窗口内每个像素位置对应的亮度上升事件数量与亮度下降事件数量；

15、根据所述亮度上升事件数量与所述亮度下降事件数量生成双通道极性聚合图，作为事件输入数据；所述双通道极性聚合图包含正极性通道与负极性通道；

16、对所述rgb输入数据与所述事件输入数据进行空间坐标对齐，使所述rgb输入数据与所述事件输入数据处于同一像素坐标系下；

17、所述控制器执行将所述双模态数据输入至所述目标姿态估计模型，具体被配置为：

18、将同一像素坐标系下的所述rgb输入数据与所述事件输入数据输入至所述目标姿态估计模型。

19、上述技术方案具有以下有益效果或优点：

20、将异步、无固定帧结构的原始事件流转换为与rgb图像尺寸匹配的双通道结构化特征图，解决事件数据无法直接输入卷积神经网络的格式适配问题；按极性分离生成双通道，完整保留像素亮度上升、下降的动态变化信息，能充分发挥事件相机的高时间分辨率优势；通过空间坐标对齐实现双模态数据的像素级一一对应，避免空间错位导致的融合误差，从而保障双模态融合推理的准确性。

21、本技术的一些实施例中，所述控制器还被配置为：

22、从目标事件数据集中抽取样本；

23、统计每个样本中正极性通道、负极性通道的平均像素事件数；

24、基于所述平均像素事件数计算全局信息量比例；所述全局信息量比例为单通道平均事件数占双通道总平均事件数的比值，且所述全局信息量比例用于指导所述首层卷积层的跨模态权重融合。

25、上述技术方案具有以下有益效果或优点：

26、基于目标场景的真实事件数据统计通道信息量占比，能量化目标数据的固有分布特性，为后续跨模态权重融合提供可靠的数据基础，避免权重适配的主观性与盲目性；采用抽样统计的方式，在保证数据代表性的前提下降低计算量，可快速得到适配目标数据集的通道比例参数，使得权重适配的执行效率更高。

27、本技术的一些实施例中，所述控制器通过rgb引导的跨模态权重迁移适配首层卷积层权重，具体被配置为：

28、根据所述全局信息量比例，对所述首层卷积层中rgb三通道的原始权重进行分通道加权融合，得到双通道事件卷积权重；其中，所述rgb三通道包括第一通道、第二通道与第三通道，所述双通道事件卷积权重包括正极性事件通道权重与负极性事件通道权重；所述正极性事件通道权重由所述第一通道与所述第二通道的权重加权融合生成，所述负极性事件通道权重由所述第二通道与所述第三通道的权重加权融合生成；

29、对所述双通道事件卷积权重进行标准差归一化处理，使所述双通道事件卷积权重的输出激活分布与所述原始姿态估计模型的预训练输出分布一致；

30、将所述原始权重与所述双通道事件卷积权重在通道维度进行拼接，形成多通道卷积权重，完成对所述首层卷积层权重的适配。

31、上述技术方案具有以下有益效果或优点：

32、通过rgb权重加权融合生成事件通道权重，复用rgb预训练模型的特征知识，无需从零训练事件分支网络，能够缩小跨模态之间的特征鸿沟；全局标准差归一化可保证事件通道的输出激活分布与原rgb预训练分布对齐，最大程度保留骨干网络的预训练特征提取能力，避免模型性能出现大幅衰减；仅通过输入层通道拼接完成双模态适配，无需改动原有骨干网络结构，可确保兼容性。

33、本技术的一些实施例中，所述目标姿态估计模型训练前，所述控制器还被配置为：

34、构建三维人体模型，所述三维人体模型包含预设数量的脊柱关节点；

35、在所述三维人体模型中导入携带脊柱节段运动信息的动作捕捉数据，以驱动三维人体模型生成运动动画序列；

36、在虚拟场景中部署第一虚拟相机与第二虚拟相机，所述第一虚拟相机与所述第一相机的硬件参数匹配，所述第二虚拟相机与所述第二相机的硬件参数匹配；

37、通过所述第一虚拟相机渲染生成虚拟图像序列，并通过所述第二虚拟相机生成与所述虚拟图像序列时间同步的虚拟事件流数据；

38、从所述动作捕捉数据中提取对应的多脊椎点坐标标注；

39、将所述多脊椎点坐标标注与所述虚拟图像序列、所述虚拟事件流数据进行匹配，以生成携带所述多脊椎点标注的双模态虚拟数据集；

40、基于所述双模态虚拟数据集对所述目标姿态估计模型进行预训练。

41、上述技术方案具有以下有益效果或优点：

42、通过虚拟仿真全自动生成带多脊椎点标注的双模态数据集，可低成本、大批量获取训练数据；虚拟相机参数与真实硬件匹配，生成的数据分布贴近真实场景，保证经虚拟数据预训练后的模型可直接迁移至真实设备；从动作捕捉数据自动提取标注，可避免人工标注误差限制模型训练精度上限。

43、本技术的一些实施例中，所述控制器执行基于所述双模态虚拟数据集对所述目标姿态估计模型进行预训练，具体被配置为：

44、采用分层学习率策略，分别为所述目标姿态估计模型的输入层、中间特征提取层、输出头设置梯度递减的学习率；

45、以均方误差为损失函数，基于所述双模态虚拟数据集与所述学习率对所述目标姿态估计模型进行多轮迭代预训练。

46、上述技术方案具有以下有益效果或优点：

47、分层学习率策略针对不同网络层设置差异化的训练幅度，输入层适配新模态采用较高学习率以快速适配双模态输入，骨干特征层采用较低学习率以保留预训练知识，能够平衡模态适配与特征保留的需求，可同时提升预训练效率与模型精度；以均方误差为损失函数，优化关键点坐标的预测误差，可贴合姿态估计任务的核心优化目标，保证预训练收敛方向准确。

48、本技术的一些实施例中，所述控制器执行基于所述双模态虚拟数据集对所述目标姿态估计模型进行多轮迭代预训练之后，还被配置为：

49、获取标注有脊柱节段关键点的真实同步数据集；

50、按预设比例将所述真实同步数据集划分为训练集与验证集；

51、采用动态学习率衰减策略，以均方误差为损失函数，根据所述训练集与验证集对所述目标姿态估计模型进行域自适应微调；所述动态学习率衰减策略包括每经过预设训练轮次将学习率衰减为原比例。

52、上述技术方案具有以下有益效果或优点：

53、通过真实场景数据的域自适应微调，将虚拟数据预训练的模型从虚拟域迁移至真实域，消除虚拟数据与真实数据的分布差异，提升模型在真实场景下的泛化能力与实际使用精度；动态学习率衰减策略可在训练后期逐步降低权重调整幅度，避免模型参数震荡，保证微调过程稳定收敛，进一步提升模型精度。

54、本技术的一些实施例中，所述控制器执行对所述目标姿态估计模型进行域自适应微调时，还被配置为：

55、基于所述目标姿态估计模型，对所述真实同步数据集中未标注的真实事件数据进行推理，输出连续帧的脊椎点预测坐标；

56、对所述脊椎点预测坐标进行时序平滑处理，得到时序平滑结果；

57、计算所述脊椎点预测坐标与所述时序平滑结果的偏差；

58、基于所述偏差计算对应的预测置信度；

59、对所述预测置信度低于预设阈值的真实事件数据进行标注补充。

60、上述技术方案具有以下有益效果或优点：

61、基于人体运动的时序连续性特性，通过预测结果与时序平滑结果的偏差自动筛选样本，无需对全量数据进行标注，可针对性补充优化模型的薄弱场景；并且，可挖掘遮挡、复杂运动等易出错的样本，补充标注后能够迭代优化模型，持续提升模型在复杂真实场景下的姿态估计鲁棒性与精度。

62、本技术的一些实施例中，所述控制器执行输出人体姿态估计结果，具体被配置为：

63、基于所述目标姿态估计模型输出包含所述脊柱节段关键点及所述脊柱节段关键点对应的二维坐标、三维坐标与置信度数值，以作为所述人体姿态估计结果；

64、所述控制器执行将所述人体姿态估计结果发送至所述显示器，具体被配置为：

65、基于所述脊柱节段关键点及所述脊柱节段关键点对应的二维坐标、三维坐标与置信度数值，生成对应的骨架叠加画面，由所述显示器实时显示所述骨架叠加画面。

66、上述技术方案具有以下有益效果或优点：

67、输出包含坐标、置信度的结构化姿态数据，可直接对接姿态评估、健康监测、动作矫正等上层应用，数据可用性与扩展性强；骨架叠加的可视化展示方式可直观呈现人体脊柱的实时姿态状态，便于用户直观查看与交互，进而提升显示设备的用户体验。

68、第二方面，本技术还提供一种人体姿态估计方法，包括：

69、获取rgb图像数据与事件流数据，得到双模态数据；

70、调用预构建的目标姿态估计模型；所述目标姿态估计模型以rgb预训练的原始姿态估计模型为主体网络基础，保留原始姿态估计模型除首层卷积层外的全部预训练参数，经rgb引导的跨模态权重迁移对首层卷积层权重进行适配；

71、将所述双模态数据输入至所述目标姿态估计模型，经所述目标姿态估计模型进行融合推理后输出人体姿态估计结果；所述人体姿态估计结果包含多个脊柱节段关键点；

72、将所述人体姿态估计结果发送至显示器，并控制所述显示器展示所述人体姿态估计结果。

73、上述技术方案具有以下有益效果或优点：

74、通过融合rgb图像的纹理细节信息与事件流数据的高时间分辨率、无运动模糊特性，能够在高速运动、低光照等复杂场景下稳定输出高精度的多节段脊柱关键点姿态估计结果；同时，采用基于rgb预训练模型的跨模态权重迁移策略，无需从零构建双模态网络架构，在完整保留原有模型成熟特征提取能力的基础上可快速适配双模态输入。