一种基于多模态数据分析的中医个性化调理推荐系统及方法与流程

摘要: 本发明涉及多模态数据分析与中医信息处理,具体涉及一种基于多模态数据分析的中医个性化调理推荐方法及系统。背景技术:1、近年来,随着传感技术、人工智能与计算机视觉的...
一种基于多模态数据分析的中医个性化调理推荐系统及方法与流程

本发明涉及多模态数据分析与中医信息处理,具体涉及一种基于多模态数据分析的中医个性化调理推荐方法及系统。

背景技术:

1、近年来,随着传感技术、人工智能与计算机视觉的发展,将多模态数据(如舌象、面象、脉象)分析引入中医智能化诊疗成为研究热点。然而,现有的中医智能诊断系统仍存在诸多技术瓶颈。

2、首先,采集层与配准层割裂。舌象、面象图像序列与脉象波形序列通常由不同设备独立采集,缺乏统一的硬件级时间同步机制,导致多模态数据的时间基线不一致,影响后续融合分析的准确性。同时,采集过程易受患者体位微动、环境光照、接触噪声等因素干扰,获取的原始数据质量参差不齐。现有的预处理流程多为“去噪—配准—筛选”的开环模式,缺乏利用历史信息进行预测引导的机制,难以有效应对大形变配准失效、脉象周期漂移导致的对齐误差累积等问题,质量筛选维度也较为单一。

3、其次,特征提取与融合缺乏深度耦合。在舌象、面象特征提取中,多尺度角点与线特征通常孤立处理,未建立拓扑关联,导致后续点线混合配准特征稳定性不足。固定阈值的特征检测方法在纹理复杂度变化时易出现误检或漏检。跨模态融合时,多直接采用通用注意力机制,未深度融合中医辨证的先验知识(如脏腑-舌脉对应关系),且缺乏对多模态特征跨模态一致性的考量,使得融合结果对噪声和缺失模态的鲁棒性不足。

4、最后,健康评估与调理推荐缺乏个性化和动态适应性。现有系统在辨证分析时,多直接基于融合特征进行黑盒分类,缺乏与结构化中医知识体系的关联,结果可解释性差。调理推荐部分,多为基于固定模板的静态匹配,未能充分结合患者个体差异(如体质、生活习惯、病史),并且缺乏根据用户即时反馈及定期随访反馈进行策略在线优化的能力,导致调理建议缺乏深度个性化和动态调整能力。

5、因此,亟需构建一种集时序同步、预测引导预处理、知识图谱深度融合与个性化动态推荐于一体的中医个性化调理推荐方法及系统,以解决上述技术问题。

技术实现思路

1、本发明的目的在于提供一种基于多模态数据分析的中医个性化调理推荐方法及系统,旨在解决现有技术中多模态数据采集与配准割裂、预处理缺乏时序先验引导、特征提取孤立且未与中医语义绑定、融合与辨证评估缺乏知识模型支撑、调理推荐规则静态且缺乏动态反馈等技术问题。

2、为实现上述目的,本发明提供如下技术方案:

3、一种基于多模态数据分析的中医个性化调理推荐方法,包括:

4、s1: 采集多模态数据,并通过带硬件级时间戳的环形队列进行跨模态时间同步;

5、s2: 对多模态数据分别进行时空耦合预处理,通过时序预测网络生成先验信息和预判信息,提取多模态数据的特征,生成配准置信度,筛选高质量多模态数据,对突变信号进行伪影过滤并将信息进行反馈;

6、s3: 从高质量多模态数据中提取标准化多模态特征向量,输入多模态融合网络,生成融合辨证特征向量;

7、s4: 基于中医知识图谱和融合辨证特征向量进行辨证分析,生成健康状态评估信息,并根据所述健康状态评估信息和患者个体信息输出调理建议信息。

8、进一步地,所述步骤s2具体包括:

9、s21:基于历史帧的变换矩阵序列或历史周期的变换矩阵序列,通过时序预测网络分别生成舌象图像和面象图像的空间形变先验与关注区域预测,以及脉象波形的周期相位先验与周期边界预测;

10、s22:在所述关注区域预测或周期边界预测范围内,分别提取舌象图像和面象图像的多尺度角点特征与线特征,以及脉象波形的上升沿或下降沿线特征与周期角点特征;

11、s23:基于所述空间形变先验或周期相位先验,分别对舌象图像和面象图像执行点线混合配准、对脉象波形执行周期相位对齐,通过联合几何约束与时序平滑约束的鲁棒估计求解配准参数并生成配准置信度;

12、s24:根据图像清晰度、颜色一致性、形态完整性及配准置信度对舌象图像和面象图像进行四维融合评估筛选关键帧,根据波形清晰度、幅值一致性、形态完整性及配准置信度对脉象波形进行四维融合评估筛选关键周期,分别生成高质量舌象基准图像、高质量面象基准图像和高质量脉象基准波形;

13、s25:将关键帧对应的外观时序特征与配准后的空间结构时序特征、以及关键周期对应的周期相位时序特征与周期边界特征融合输入时序预测网络,对突变信号进行采集伪影过滤或波形伪影过滤,输出预测信息并反馈至下一帧或下一周期的采集与特征提取环节。

14、进一步地,所述步骤s21中的时序预测网络为lstm网络。

15、所述步骤s22中的提取舌象和面象图像的多尺度角点特征与线特征,具体包括:

16、s22a:在关注区域预测范围内构建多尺度检测金字塔,采用sobel、scharr、prewitt三种方向梯度算子生成多方向梯度响应图,融合得到区域纹理复杂度图;

17、s22b:基于所述区域纹理复杂度图动态调整fast角点检测阈值以提取多尺度角点,并采用fld线特征检测器提取线特征;

18、s22c:基于角点密度分布对线特征进行拓扑分割与端点关联,构建跨尺度点线混合关联图;

19、进一步地,所述步骤s23中,所述点线混合配准包括:点特征采用orb描述子,匹配时采用汉明距离,线特征采用端点距离与方向角度进行匹配。

20、所述鲁棒估计为ransac算法,该ransac算法的优化目标包含根据当前帧变换矩阵与所述空间形变先验的偏差计算的时序平滑惩罚项。

21、所述时序平滑惩罚项根据当前帧变换矩阵与所述空间形变先验的偏差计算。

22、所述配准置信度由ransac内点率与相邻帧变换矩阵的弗罗贝尼乌斯范数距离联合确定。

23、当所述目标模态数据为脉象波形时,所述配准为基于脉象周期相位的对齐,通过计算相邻周期的相位偏移实现对脉象波形的对齐,并基于对齐误差生成配准置信度。

24、进一步地,所述步骤s25中,所述突变信号,其检测通过滑窗计算融合特征的斜率变化,并将斜率绝对值与自适应阈值比较,所述自适应阈值由历史帧特征变化量的统计均值与标准差动态确定。若判定为采集伪影,则运用滑动窗口平滑算法对异常特征进行修正,并将修正后的特征重新输入时序预测网络。若判定为真实病理突变,则将突变事件及对应特征标识存储至知识库,标记为后续lstm在线学习的样本。

25、进一步地,所述步骤s3中的标准化多模态特征包括舌象特征向量、面象特征向量、脉象特征向量。

26、所述舌象特征向量包括舌质颜色特征、舌苔厚度特征、纹理特征、舌体裂纹特征以及舌体形态特征。

27、所述面象特征向量包括面色特征、面部光泽特征、面部纹理特征以及五官区域局部特征。

28、所述脉象特征向量包括脉位特征、脉率特征、脉形特征、脉势特征以及脉宽特征。

29、所述多模态融合网络在离线训练阶段采用分类损失与对比损失联合优化的策略,所述对比损失用于拉近同一样本下不同模态特征在融合空间中的特征距离,对齐多模态特征。

30、进一步地,所述步骤s4,具体包括:

31、s41: 将融合辨证特征向量与中医知识图谱中进行相似度匹配。

32、s42: 根据匹配结果激活相关证型节点。

33、s43: 基于激活的证型节点和体质辨识规则,生成所述健康状态评估信息。

34、s44: 根据所述健康状态评估信息中的特征标识和患者个体信息,检索基础调理方案,调用个性化调理推荐模型输出调理建议信息。

35、进一步地,所述步骤s41中的中医知识图谱包括脏腑节点、经络节点、证型节点、症状节点、舌象特征节点、面象特征节点、脉象特征节点、调理方案节点以及节点之间的关联边。所述节点之间的关联边包括:“对应”关系、“归属”关系、“治疗”关系。

36、所述步骤s42,其激活强度由特征匹配度与跨模态一致性共同决定。

37、所述步骤s43中的健康状态评估信息包括与证型分类相关的特征标识和与体质类型相关的特征标识。

38、所述步骤s44中的个性化调理推荐模型采用ppo强化学习算法,训练时奖励函数融合即时反馈与定期随访反馈。即时反馈包括用户对推荐方案的满意度评分及短期症状改善程度,定期随访反馈对预设周期内用户的症状变化进行量化,在线学习阶段依据用户反馈数据对策略网络执行增量更新。

39、所述步骤s44中的调理建议信息包括食疗建议、穴位按摩建议、运动建议、情志调理建议和中药建议中的一种或多种的个性化调理方案。

40、一种基于多模态数据分析的中医个性化调理推荐系统,其特征在于,包括:

41、多模态数据采集单元,获取患者的舌象图像序列、面象图像序列和脉象波形序列。

42、时空耦合预处理单元,采用模态自适应处理语义,对模态数据执行图像或波形时空耦合预处理,筛选出高质量多模态数据。所述时空耦合预处理单元包括时序预测模块、多尺度特征提取模块、点线混合配准模块、稳定帧评估模块、时序反馈模块。

43、所述时序预测模块,基于历史帧变换矩阵生成舌象和面象图像的当前帧空间形变先验与关注区域预测,基于历史周期变换矩阵生成脉象波形的周期相位先验与周期边界预测。

44、所述多尺度特征提取模块,对舌象、面象图像于关注区域内构建多尺度金字塔提取点线特征并输出含顶点与边的特征图至点线混合配准模块,对脉象波形在周期边界预测范围内提取脉波沿线特征与周期角点特征并输出特征图至点线混合配准模块。

45、所述点线混合配准模块,处理舌象、面象图像时利用形变先验约束匹配空间并结合几何及时序平滑约束求解变换矩阵,处理脉象波形时依据周期相位先验完成脉象周期相位对齐,求解相位偏移并输出配准置信度。

46、所述稳定帧评估模块,基于多模态数据的类型,采用不同的四维融合评估筛选关键帧或关键周期,获得高质量多模态数据。

47、所述时序反馈模块,将关键帧时序特征输入lstm,输出预测信息回传至多模态采集单元以动态调节图像采集参数或波形采样参数,构建多模态采集单元与时空耦合预处理单元的双向闭环。

48、多模态特征提取单元,接收时空耦合预处理单元输出的高质量多模态数据,输出标准化舌象特征向量、面象特征向量和脉象特征向量。

49、多模态融合单元,接收多模态特征提取单元的标准化特征向量。所述多模态融合单元包括模态内编码器、跨模态注意力层、融合输出层,其中,模态内编码器分别对各模态特征向量进行深度编码;跨模态注意力层计算不同模态特征之间的关联权重,依据预置的中医脏腑-舌脉区域映射权重矩阵计算舌象与脉象的关联权重;融合输出层将加权后的多模态特征拼接并通过全连接层降维,生成融合辨证特征向量。

50、健康状态评估信息生成单元,接收多模态融合单元输出的融合辨证特征向量,执行特征向量与节点相似度匹配,生成包含特征标识的健康状态评估信息并传输至个性化调理推荐单元。

51、个性化调理推荐单元,接收健康状态评估信息生成单元输出的健康状态评估信息,检索基础调理方案,并根据所述健康状态评估信息中与证型分类相关的特征标识和与体质类型相关的特征标识和患者个体信息输出调理建议信息。

52、所述多模态数据采集单元、时空耦合预处理单元、多模态特征提取单元、多模态融合单元、健康状态评估信息生成单元和个性化调理推荐单元,用以运行上述任一项所述的基于多模态数据分析的中医个性化调理推荐方法的对应步骤。

53、本发明的有益效果在于:

54、(1)解决采集与配准割裂问题:通过硬件级时间戳与环形队列实现舌象、面象、脉象数据的精确跨模态时间同步,为后续处理提供了统一的时序基础。闭环的“采集—预测—配准—评估—反馈”架构,利用时序先验引导预处理,有效抑制了数据采集中的帧间跳变和噪声干扰,提升了多模态数据的时间一致性与抗干扰能力,保障了后续融合辨证与调理推荐的准确性和可靠性。

55、(2)解决预处理流程开环问题:引入lstm网络进行时序预测,为特征提取和配准提供形变先验或相位先验,显著增强了大形变下图像配准和脉象周期对齐的鲁棒性。四维(清晰度、一致性、完整性、配准度)融合评估保障了筛选出高质量基准数据。时序反馈模块能对突变信号进行智能甄别与伪影过滤,并将预测信息反馈至采集端动态调整参数,实现了从数据采集到质量筛选的全链路闭环优化。

56、(3)解决特征提取孤立问题:通过构建多尺度检测金字塔,并结合区域纹理复杂度图动态调整角点检测阈值,提升了角点检测的自适应性和准确性。建立跨尺度点线混合关联图,实现了点特征与线特征的拓扑耦合,增强了特征的结构完整性与稳定性,为后续点线混合配准提供了更可靠的特征基础。

57、(4)解决融合与评估缺乏知识模型问题:在跨模态融合中,引入中医脏腑-舌脉对应先验修正注意力权重,使融合逻辑贴合中医理论。辨证分析基于结构化的中医知识图谱,通过相似度匹配激活证型节点,并利用跨模态一致性决定激活强度,提升了评估结果的准确性、可解释性及抗干扰能力。健康状态评估信息结构化输出证型与体质两类特征标识。

58、(5)解决推荐规则静态问题:个性化调理推荐模型采用ppo强化学习算法,奖励函数融合了用户的即时反馈(满意度、症状改善)和定期随访反馈,能够根据用户反馈在线优化推荐策略。输出涵盖食疗、穴位、运动、情志、中药等多种干预方式的综合调理方案,显著增强了调理建议的个体适配性、动态调整能力和临床可信度。