一种基于多模态大模型的智能问诊方法及系统与流程
本发明属于智能问诊,特别是涉及一种基于多模态大模型的智能问诊方法及系统。
背景技术:
1、随着中医健康服务需求的持续增长与人工智能技术在中医药领域的深度应用,基于视觉识别与数据建模的ai舌面诊、脉诊类线上应用逐渐成为大众获取中医体质评估的重要途径;现有的主流技术方案通常采用深度学习算法对采集到的舌象、面象图像及脉象数据进行特征提取,结合标准化中医问诊量表完成体质与证型辨证,最终输出对应的体质分析报告与基础调理指导;这类线上诊断方案突破了线下中医诊疗的时空限制,能够为用户提供便捷的初步健康评估服务。
2、然而上述通用的ai中医诊断方案在应用于完整的健康管理场景时,面临着诊断环节与干预环节相互割裂所引发的服务断层问题;具体而言,当前ai诊断模块与线下食疗产品供应、理疗门店服务、专家诊疗资源、康养基地项目等干预服务体系相互独立,两类体系之间未建立统一的数据交互通道;用户在线上完成体质辨证后,无法直接基于诊断结果对接适配的线下调理资源,需自行跨渠道寻找配套调养服务;线上诊断生成的个体化体质数据无法同步推送至线下服务终端,线下调理结束后采集的用户体征改善与疗效数据也无法反向回传至ai诊断模块。
3、这种环节割裂的状态会直接导致健康管理数据闭环的缺失与服务价值的衰减;一方面,诊断输出的调理建议多为通用化的概念性表述,无法精准匹配到具体可执行的产品与服务项目,用户难以将诊断结果转化为规范的调理动作,大幅削弱ai诊断结果的实际应用价值;而另一方面,缺乏真实疗效数据的反向输入,ai诊断模型与方案匹配逻辑无法基于实际调理效果完成自主迭代优化,模型辨证精度与方案适配度难以随应用积累持续提升,整体服务始终停留在单次诊断的浅层阶段,无法为用户提供连贯、持续的个性化健康管理服务;因此,针对以上问题,提出下列方案。
技术实现思路
1、为解决上述技术问题,本发明是通过以下技术方案实现的:
2、本发明为一种基于多模态大模型的智能问诊方法及系统,包括以下步骤:
3、步骤s1:采集用户的多模态中医四诊数据,将所有采集数据传输至云端;
4、步骤s2:通过多模态大模型对各类四诊数据分别进行特征提取,得到各模态对应的特征向量,再对多组特征向量进行融合处理,得到融合辨证特征;
5、步骤s3:将融合辨证特征与中医体质证型数据库进行匹配比对,输出用户的体质类型与对应中医证型结果;
6、步骤s4:基于体质类型与中医证型结果,调用方案生成规则库匹配生成一体化调理方案;
7、步骤s5:将一体化调理方案推送至用户端,支持用户在线提交预约或下单操作,并将订单数据同步至对应线下执行端完成服务执行;
8、步骤s6:采集线下服务完成后的用户疗效反馈数据并回传至云端,基于全链路数据迭代优化多模态大模型与方案生成规则库。
9、进一步地,所述步骤s1包括以下步骤:
10、步骤s11:采集舌象图像数据与面象图像数据,舌象图像数据包含舌面正面图像与舌下脉络图像,面象图像数据为用户正面面部图像;
11、步骤s12:采集脉象数据,脉象数据包含左右手寸、关、尺六个部位的脉象波形数据;
12、步骤s13:采集结构化问诊数据,结构化问诊数据涵盖躯体症状、饮食作息、情志状态与既往病史四类信息;
13、步骤s14:对所有采集数据执行标准化预处理,其中图像数据执行尺寸归一化、光照校正与背景去噪处理,脉象数据执行基线漂移去除与采样率统一处理,问诊数据执行分级编码与向量化转换处理。
14、进一步地,所述步骤s2中包括以下步骤:
15、步骤s21:通过多模态大模型中对应四类数据的专属特征提取分支,分别提取舌象图像特征、面象图像特征、脉象波形特征与问诊语义特征,输出对应维度的舌象特征向量、面象特征向量、脉象特征向量与问诊特征向量;
16、步骤s22:采用多模态特征加权融合计算方式,将四类模态的独立特征向量整合为统一维度的融合辨证特征向量,实现多源四诊诊断信息的有效聚合与互补,计算公式如下:
17、
18、式中,为舌象特征向量,为面象特征向量,为脉象特征向量,为问诊特征向量;为舌象模态对应的动态权重系数,为面象模态对应的动态权重系数,为脉象模态对应的动态权重系数,为问诊模态对应的动态权重系数,所有权重系数之和满足约束条件。
19、进一步地,所述步骤s3中包括以下步骤:
20、步骤s31:采用余弦相似度计算方式,量化融合辨证特征向量与中医体质证型数据库中各标准证型特征模板之间的特征匹配程度,匹配程度数值越高代表对应证型与用户当前体质状态的契合度越高,计算公式如下:
21、
22、式中,为中医体质证型数据库中第类体质或证型对应的标准特征模板;
23、步骤s32:遍历所有标准特征模板,选取相似度数值最高的证型作为主体质判定结果,将相似度超过预设阈值的其余证型判定为兼夹证型,输出完整的体质与证型结果。
24、进一步地,所述步骤s4中,一体化调理方案包含食疗方案、理疗方案、诊疗建议与康养方案四部分;食疗方案匹配对应功效的具体产品sku并标注用法用量,理疗方案匹配对应调理项目、操作频次与具备资质的线下服务门店,诊疗建议在证型复杂度达到预设阈值时推送专家预约通道,康养方案在判定需长期调理时推送康养基地调理套餐。
25、进一步地,所述步骤s5中包括以下步骤:
26、步骤s51:将生成完成的一体化调理方案完整推送至用户端小程序界面,用户可在线提交食疗产品下单、理疗项目预约、专家门诊挂号与康养套餐订购操作;
27、步骤s52:将用户提交的订单数据实时同步至对应后端执行端系统,其中食疗产品订单同步至供应链管理系统,理疗、诊疗与康养服务订单同步至对应门店或基地的管理系统,完成服务排班与接待准备;
28、步骤s53:线下服务完成后,由服务执行端录入用户症状变化、体感改善与体征变化数据,作为疗效反馈数据暂存。
29、进一步地,所述步骤s6中包括以下步骤:
30、步骤s61:按固定周期采集用户从诊断到调理完成的全链路数据,构建辨证结果、方案内容、疗效反馈三元组训练数据集;
31、步骤s62:以疗效反馈结果为监督标签,通过反向传播算法迭代更新多模态特征融合的权重系数,优化多模态大模型的辨证准确率;
32、步骤s63:统计不同证型下各类调理方案的临床有效率,动态调整方案生成规则库中各调理方案的匹配优先级。
33、进一步地,当步骤s12中脉象数据无法采集时,步骤s1仅采集舌象图像数据、面象图像数据与结构化问诊数据三类数据,步骤s2至步骤s3基于三类模态的特征向量完成特征融合与证型判定。
34、进一步地,所述步骤s4中,方案生成规则库除规则匹配方式外,还可采用协同过滤推荐算法,基于相似体质人群的历史有效方案为用户匹配对应调理方案。
35、一种基于多模态大模型的智能问诊系统,包括多模态数据采集模块,特征提取与融合模块,体质证型匹配模块,调理方案生成模块,方案推送管理模块,疗效反馈优化模块,容灾降级处理模块,协同过滤推荐辅助模块;
36、所述多模态数据采集模块用于采集用户的舌象图像,包括舌面正面与舌下脉络,以及面象正面图像、脉象波形数据,涵盖左右手寸关尺六个部位,同时采集结构化问诊信息,包含躯体症状、饮食作息、情志状态与既往病史;对图像执行尺寸归一化、光照校正与背景去噪,对脉象执行基线漂移去除与采样率统一,对问诊数据执行分级编码与向量化转换,将处理后数据上传至云端;
37、所述特征提取与融合模块用于接收预处理后的四类数据,分别送入多模态大模型中对应的舌象、面象、脉象、问诊专属特征提取分支,输出四组独立特征向量;再对各组特征向量进行加权求和,动态分配各模态权重系数,且所有权重系数之和为1,从而输出一个融合辨证特征向量;
38、所述体质证型匹配模块用于将融合辨证特征向量与中医体质证型数据库中的各标准证型特征模板逐一计算余弦相似度,选取相似度最高的证型作为主体质判定结果,并将相似度超过预设阈值的其余证型标记为兼夹证型,输出完整的体质类型与证型名称;
39、所述调理方案生成模块用于根据判定的体质与证型结果,调用方案生成规则库,匹配生成一体化调理方案,包含食疗方案、理疗方案、诊疗建议和康养方案四部分;其中食疗方案匹配对应产品sku并标注用法用量,理疗方案匹配调理项目、操作频次与线下服务门店,诊疗建议在证型复杂度达阈值时推送专家预约通道,康养方案在判定需长期调理时推送康养基地调理套餐;
40、所述方案推送管理模块用于将生成的一体化调理方案推送至用户端小程序,支持用户在线提交食疗产品下单、理疗项目预约、专家门诊挂号及康养套餐订购操作;用户提交订单后,将食疗订单同步至供应链管理系统,将理疗、诊疗与康养服务订单同步至对应门店或基地的管理系统,用于排班与接待准备;
41、所述疗效反馈优化模块按固定周期采集用户从诊断到调理完成的全链路数据,构建辨证结果、方案内容、疗效反馈三元组训练数据集;以疗效反馈为监督标签,通过反向传播算法更新多模态融合的权重系数;同时统计不同证型下各类方案的临床有效率,动态调整方案生成规则库中各方案的匹配优先级;
42、所述容灾降级处理模块用于在脉象数据无法采集时,通知系统舍弃脉象模态,仅基于舌象图像、面象图像与结构化问诊三类数据执行后续的特征提取、特征融合与证型判定;
43、所述协同过滤推荐辅助模块用于在方案生成环节,除规则匹配方式外,作为补充采用协同过滤推荐算法,检索数据库内相似体质人群的历史有效方案,以此为当前用户匹配调理方案。
44、本发明具有以下有益效果:
45、1、本发明打通中医智能诊断、个性化方案生成、线下服务履约、疗效数据回流全业务链路,消除诊断、产品、理疗、康养各环节的数据隔离壁垒;线上四诊辨证产生的全部数据可直接同步至线下各类服务终端,用户无需切换多个独立平台获取配套调理资源,仅通过单一端口即可完成诊断、下单、预约全流程操作。线下服务产生的用户调理反馈数据可自动回传云端存储,实现诊断端与服务端双向数据互通,解决传统模式下诊断与干预环节相互独立的缺陷,提升中医健康服务整体流程连贯性,同时为运营方搭建统一的数据管理通道,简化全流程健康业务的统一管控难度。
46、2、本发明基于多模态融合辨证结果自动匹配调理资源,摒弃行业内通用化、概念化的单一调理建议输出模式;系统结合用户专属体质与证型特征,同步匹配食疗、理疗、专家诊疗、康养四类适配服务内容,每一类方案内容均对应标准化可执行资源,不存在模糊化指导内容;方案匹配逻辑依托用户舌、面、脉、问诊多维体征数据生成,贴合个体差异化健康状态,规避通用调理方案与个人体质不匹配的问题;多维度一体化方案输出能够覆盖不同层级调养需求,适配不同健康状态用户的长期调理诉求。
47、3、本发明依托完整全链路健康数据建立自主优化机制,线下服务采集的疗效反馈数据可作为优化依据持续回流至云端;系统以真实调理改善数据作为监督依据,同步调整多模态特征融合权重参数与方案匹配底层规则,无需人工单独批量标注样本完成模型更新;长期运行过程中,体质证型判定精准度、调理方案匹配适配度可随用户真实调理数据积累稳步提升,系统能够自主适配不同人群的差异化体质特征,大幅降低人工维护、优化模型与匹配规则的工作量,长效提升整体中医健康管理服务的适配能力。
48、当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com