基于多模态数据融合的AI减肥塑形检测方法及系统与流程

本技术涉及人工智能，特别是涉及一种基于多模态数据融合的ai减肥塑形检测方法、系统、计算机设备及存储介质。

背景技术：

1、随着人工智能技术的快速发展，出现了利用体脂秤和计算机视觉技术进行人体成分分析与体型评估的技术手段。这类技术通过采集用户的体脂率、体重等结构化数据，或通过摄像头采集用户的全身图像进行体型识别，能够为用户提供一定的体态评估和减肥指导。

2、传统技术中，减肥塑形检测通常采用单一体脂秤测量或单一的图像评估方式。基于体脂秤的检测方式仅能提供体重、体脂率等数值化指标，无法反映用户的体型分布特征和具体围度信息；基于图像的评估方式虽然能够捕捉外观体型，但缺乏体脂率、内脏脂肪等级等内部生理指标的支持。现有技术中已有将多模态数据应用于健康管理的尝试，但大多采用简单的数据拼接或特征连接方式，未能解决结构化体脂数据与图像特征之间的异构性融合问题。此外，现有方案多为一次性的静态检测与方案生成，仅根据初始检测结果输出固定的调理建议，生成的调理方案与用户实际执行情况存在脱节的问题。

3、并且，上述方式由于缺乏多模态数据的深度融合机制以及用户状态的动态反馈机制，无法建立从精准检测到个性化方案生成再到实时调整的完整闭环，导致检测与干预之间的割裂，影响方案的有效性和可执行性。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够通过多模态数据融合实现精准体型检测并动态生成个性化调理方案的基于多模态数据融合的ai减肥塑形检测方法、系统、计算机设备及存储介质。

2、第一方面，本技术提供了一种基于多模态数据融合的ai减肥塑形检测方法。所述方法包括：

3、获取目标用户的体脂数据和全身图像，从所述体脂数据中提取体脂特征向量，从所述全身图像中提取视觉特征向量，并采用注意力机制融合所述体脂特征向量和所述视觉特征向量，得到融合特征向量；

4、将所述融合特征向量输入多任务学习网络，执行体型分类、体态诊断、围度估算和肥胖分型任务，输出对应的分类结果、诊断结果、估算结果和分型结果；所述多任务学习网络的损失函数包括基于生理规律的约束项；

5、获取所述目标用户在使用过程中的行为数据、生理数据和心理数据，并将所述行为数据、所述生理数据和所述心理数据输入动态权重分配模型，得到动态分配权重；

6、以减重速度、方案依从性和心理接受度作为优化目标，以所述动态分配权重作为约束条件，采用nsga-ii多目标优化算法对候选调理方案集合求解后得到最优调理方案，并根据所述最优调理方案生成个性化调理方案；

7、将所述融合特征向量输入smpl参数预测网络后得到体型参数和姿态参数；将所述体型参数、所述姿态参数以及目标减重天数输入生成对抗网络的生成器，得到预测人体网格；所述生成对抗网络的损失函数包括基于代谢动力学的约束项。

8、在其中一个实施例中，所述注意力机制按照以下方式融合所述体脂特征向量和所述视觉特征向量：

9、以第一可学习权重矩阵对所述体脂特征向量进行矩阵乘法，得到第一映射特征；以第二可学习权重矩阵对所述视觉特征向量进行矩阵乘法，得到第二映射特征；

10、将所述第一映射特征与所述第二映射特征相加后经sigmoid函数映射，得到融合门控向量；

11、将所述融合门控向量、所述体脂特征向量和所述视觉特征向量拼接，得到所述融合特征向量；

12、所述第一可学习权重矩阵和所述第二可学习权重矩阵通过梯度下降优化。

13、在其中一个实施例中，所述多任务学习网络的损失函数按照下式构建：

14、

15、其中，为第i个任务的损失函数，为第j个生理约束项，为所述体脂特征向量，为所述视觉特征向量，为通过交叉验证确定的约束权重，为所述生理约束项的数量。

16、在其中一个实施例中，所述生成对抗网络的损失函数按照下式构建：

17、

18、其中，为wasserstein损失项，为代谢约束项，为身份保持损失项，和为通过交叉验证确定的权重系数。

19、在其中一个实施例中，所述代谢约束项按照下式构建：

20、

21、其中，为第i项围度在目标减重天数内的变化量，为第i项围度的代谢动力学函数，为当前时刻体脂率，为当前时刻基础代谢率；所述代谢动力学函数基于历史用户数据通过回归优化确定。

22、在其中一个实施例中，所述动态权重分配模型按照以下方式确定动态分配权重：

23、按照下式计算行为权重：

24、

25、其中，为所述目标用户近7日的扫码打卡频率，为通过用户数据回归优化确定的敏感度系数；为基准打卡频率；

26、按照下式计算生理权重：

27、

28、按照情感极性与压力指数的乘积计算心理权重，所述情感极性通过对所述目标用户在交互界面中的留言进行nlp分析获得，所述压力指数通过心率变异性生理数据计算获得或在心率变异性数据缺失时通过用户问卷获取。

29、在其中一个实施例中，所述nsga-ii多目标优化算法以减重速度、方案依从性和心理接受度作为优化目标，所述减重速度的目标函数按照下式构建：

30、

31、所述方案依从性的目标函数按照下式构建：

32、

33、所述心理接受度的目标函数按照下式构建：

34、

35、其中所述减重速度的目标函数引入时间衰减因子，所述时间衰减因子用于增大近期体重变化对所述减重速度的目标函数值的贡献权重，所述动作完成度为用户实际执行的规定动作次数占计划动作总次数的比例。

36、第二方面，本技术还提供了一种基于多模态数据融合的ai减肥塑形检测系统。所述系统包括：

37、特征融合模块，用于获取目标用户的体脂数据和全身图像，从所述体脂数据中提取体脂特征向量，从所述全身图像中提取视觉特征向量，并采用注意力机制融合所述体脂特征向量和所述视觉特征向量，得到融合特征向量；

38、多任务学习模块，用于将所述融合特征向量输入多任务学习网络，执行体型分类、体态诊断、围度估算和肥胖分型任务，输出对应的分类结果、诊断结果、估算结果和分型结果；所述多任务学习网络的损失函数包括基于生理规律的约束项；

39、权重分配模块，用于获取所述目标用户在使用过程中的行为数据、生理数据和心理数据，并将所述行为数据、所述生理数据和所述心理数据输入动态权重分配模型，得到动态分配权重；

40、多目标优化模块，用于以减重速度、方案依从性和心理接受度作为优化目标，以所述动态分配权重作为约束条件，采用nsga-ii多目标优化算法对候选调理方案集合求解后得到最优调理方案，并根据所述最优调理方案生成个性化调理方案；

41、身材模拟模块，用于将所述融合特征向量输入smpl参数预测网络后得到体型参数和姿态参数；将所述体型参数、所述姿态参数以及目标减重天数输入生成对抗网络的生成器，得到预测人体网格；所述生成对抗网络的损失函数包括基于代谢动力学的约束项。

42、第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述基于多模态数据融合的ai减肥塑形检测方法。

43、第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于多模态数据融合的ai减肥塑形检测方法。

44、上述基于多模态数据融合的ai减肥塑形检测方法、系统、计算机设备及存储介质，通过从体脂数据和全身图像中分别提取体脂特征向量和视觉特征向量并采用注意力机制进行融合，能够综合利用结构化体脂数据与视觉图像数据的互补信息，克服单一模态数据信息不全面的缺陷，提高体型分类、体态诊断、围度估算和肥胖分型等多项预测任务的准确性；通过在多任务学习网络的损失函数中设置基于生理规律的约束项，确保各项输出结果符合人体解剖学规律和代谢动力学规律，避免预测结果违背生理常识；通过获取用户在使用过程中的行为数据、生理数据和心理数据并输入动态权重分配模型，能够根据用户实时状态动态调整各因素权重，使方案调整更加贴合用户实际情况；通过以减重速度、方案依从性和心理接受度作为优化目标并采用nsga-ii多目标优化算法求解最优调理方案，实现了多个目标之间的平衡优化，避免单一目标优化导致的方案失衡；通过将融合特征向量输入smpl参数预测网络得到体型参数和姿态参数，并结合目标减重天数输入生成对抗网络的生成器得到预测人体网格，同时在生成对抗网络的损失函数中设置基于代谢动力学的约束项，能够生成符合代谢动力学规律的人体形态预测结果，为检测与调理方案提供可靠依据。