一种可穿戴式皮肤病AI辅助诊疗系统、设备及介质的制作方法

本发明涉及医疗人工智能，具体涉及一种可穿戴式皮肤病ai辅助诊疗系统、设备及介质。

背景技术：

1、传统皮肤科诊断高度依赖医生的肉眼观察、经验积累和皮肤镜等辅助工具。医生在诊疗过程中需同时处理多源信息，如观察病灶的宏观形态与微观结构、回顾患者病史、思考鉴别诊断、查阅医学资料，并与患者进行有效沟通。这种多任务并行处理易导致认知负荷过重，可能造成关键信息遗漏、诊断效率低下或准确性受限，特别是对于形态复杂、早期病变不明显或易与相似疾病混淆的皮肤病。

2、然而，现有辅助诊断系统大多是基于桌面级计算机或手持设备的应用，其主要功能集中于图像分析或信息检索，普遍存在以下不足：其一，无法实时、无缝地整合医生在诊疗现场所获取的图像、医生观察行为、医患对话等多种动态生成的信息，导致信息利用效率不高，形成 “信息孤岛”；其二，缺乏对医生实际诊疗场景的上下文理解能力，系统推送的信息往往是通用性的，而非基于医生当前关注点和意图的精准推送，降低了辅助的有效性。在医患沟通环节，系统也无法智能引导医生进行关键信息的追问；其三，传统系统难以在医生诊疗过程中提供实时、沉浸式的辅助，医生需要频繁切换注意力，影响诊疗流程的连贯性；其四，仅依赖可见光图像难以准确评估皮肤深层色素或血管性病变，如深层黑色素瘤或血管瘤，限制了早期发现和精准诊断的能力。

技术实现思路

1、本发明的目的是提供一种可穿戴式皮肤病ai辅助诊疗系统、设备及介质，以解决现有技术中针对皮肤诊断存在的信息整合度低、上下文理解不足以及难以有效处理超长多模态上下文的问题。

2、为了实现上述目的，本发明提供如下技术方案：

3、根据本公开的第一方面，提出了一种可穿戴式皮肤病ai辅助诊疗系统，包括：

4、可穿戴智能眼镜，用于采集皮肤病灶图像数据、医生注视行为数据和医患对话音频数据，构成多模态数据，并实时显示皮肤诊疗辅助信息；

5、数据处理与融合平台，用于接收所述多模态数据，对所述多模态数据进行预处理和特征提取，输出图像特征、注视行为特征和文本特征；

6、多模态信息融合模型，用于接收所述图像特征、注视行为特征和文本特征，通过基于注意力机制的多层级融合策略进行深度融合并处理超长多模态上下文，生成皮肤诊疗辅助信息；所述皮肤诊疗辅助信息包括参考诊断结果、治疗方案、追问问题建议和风险预警。

7、进一步地，所述数据处理与融合平台包括多模态数据接收模块、数据预处理模块和多模态特征提取模块；

8、所述多模态数据接收模块还用于与医院信息系统或电子病历系统对接，用于获取患者历史病历数据；

9、所述多模态特征提取模块包括图像特征提取单元、注视行为特征提取单元和文本特征提取单元；所述图像特征提取单元采用残差网络提取所述图像特征，所述注视行为特征提取单元和文本特征提取单元均采用transformer模块进行特征编码。

10、进一步地，所述多模态信息融合模型包括多模态融合层、长上下文管理模块和诊断推理与知识推荐模块；

11、所述多模态融合层采用多头交叉注意力机制，用于进行所述图像特征与所述注视行为特征之间、所述图像特征与所述文本特征之间，以及所述注视行为特征与所述文本特征之间的相互查询和信息增强。

12、进一步地，所述长上下文管理模块采用稀疏注意力机制结合自适应上下文窗口机制，用于在诊疗过程中动态调整处理的上下文窗口大小并捕获长距离依赖。

13、进一步地，所述诊断推理与知识推荐模块生成所述追问问题建议的方式为：根据当前的诊疗上下文和已收集的图像数据、注视行为数据及文本数据，识别信息缺失点或诊断不确定性，动态生成针对性的追问问题。

14、进一步地，所述可穿戴智能眼镜设置有高分辨率摄像头模块、注视行为追踪模块、自动光学放大或缩放模块、音频采集模块和显示与交互模块；

15、所述高分辨率摄像头模块包括至少一个可见光摄像头和一个偏振光摄像头；

16、所述注视行为追踪模块内置虹膜追踪传感器，用于获取医生的注视点、注视时长和注视路径；

17、所述自动光学放大或缩放模块用于根据所述注视点及注视时长触发光学变焦或数字缩放；

18、所述音频采集模块内置麦克风阵列，用于采集医患对话音频；

19、所述显示与交互模块设置有光波导镜片，用于将所述皮肤诊疗辅助信息实时显示在镜片上。

20、进一步地，所述自动光学放大或缩放模块被设置为：

21、当检测到医生对某一区域的注视持续超过预设时间阈值时，自动触发所述高分辨率摄像头模块进行光学变焦或数字缩放，以获取该区域的高分辨率局部细节图像。

22、根据本公开的第二方面，提出了一种可穿戴智能眼镜，用作第一方面中的数据采集与交互设备，包括：

23、高分辨率摄像头模块，包含至少一个可见光摄像头和一个偏振光摄像头；

24、注视行为追踪模块，内置虹膜追踪传感器；

25、自动光学放大或缩放模块，与所述注视行为追踪模块电连接；

26、音频采集模块，内置麦克风阵列；

27、显示与交互模块，配置有光波导镜片，用于显示来自所述系统的皮肤诊疗辅助信息。

28、根据本公开的第三方面，提出了一种计算机可读存储介质，所述介质存储有计算机指令，所述指令被处理器执行时，用于实现第一方面中所述数据处理与融合平台及所述多模态信息融合模型的功能，所述计算机可读存储介质为云端gpu服务器的存储介质。

29、根据本公开的第四方面，提出了一种可穿戴式皮肤病ai辅助诊疗方法，包括以下步骤：

30、s1、通过可穿戴智能眼镜采集皮肤病灶的图像数据、医生的注视行为数据以及医患对话语音数据，上述三类数据共同构成多模态数据；

31、s2、对所述多模态数据进行预处理和特征提取，得到图像特征、注视行为特征和文本特征；

32、s3、将所述图像特征、注视行为特征和文本特征输入多模态信息融合模型，通过基于多头交叉注意力的多层级融合和长上下文管理，生成统一的多模态特征表示；

33、s4、基于所述统一的多模态特征表示进行智能推理，生成皮肤诊疗辅助信息；

34、s5、通过所述可穿戴智能眼镜的显示与交互模块，将所述皮肤诊疗辅助信息实时推送给医生。

35、与现有技术相比，本发明提供的一种可穿戴式皮肤病ai辅助诊疗系统、设备及介质，通过可穿戴智能眼镜实时采集诊疗现场的视觉、行为和听觉多模态数据，整合患者历史病历信息。所有数据经预处理和特征提取后，送入多模态信息融合模型，通过基于注意力机制的多层级融合和长上下文管理，构建全面的诊疗上下文表示。多模态信息融合模型基于融合特征进行智能推理，生成个性化的诊疗辅助信息，并通过可穿戴眼镜实时反馈给医生，形成闭环的智能辅助决策流程，显著提升皮肤诊断的准确性、效率和安全性。

1.一种可穿戴式皮肤病ai辅助诊疗系统，其特征在于，包括：

2.根据权利要求1所述的一种可穿戴式皮肤病ai辅助诊疗系统，其特征在于，所述数据处理与融合平台包括多模态数据接收模块、数据预处理模块和多模态特征提取模块；

3.根据权利要求1所述的一种可穿戴式皮肤病ai辅助诊疗系统，其特征在于，所述多模态信息融合模型包括多模态融合层、长上下文管理模块和诊断推理与知识推荐模块；

4.根据权利要求3所述的一种可穿戴式皮肤病ai辅助诊疗系统，其特征在于，所述长上下文管理模块采用稀疏注意力机制结合自适应上下文窗口机制，用于在诊疗过程中动态调整处理的上下文窗口大小并捕获长距离依赖。

5.根据权利要求3所述的一种可穿戴式皮肤病ai辅助诊疗系统，其特征在于，所述诊断推理与知识推荐模块生成所述追问问题建议的方式为：根据当前的诊疗上下文和已收集的图像数据、注视行为数据及文本数据，识别信息缺失点或诊断不确定性，动态生成针对性的追问问题。

6.根据权利要求1所述的一种可穿戴式皮肤病ai辅助诊疗系统，其特征在于，所述可穿戴智能眼镜设置有高分辨率摄像头模块、注视行为追踪模块、自动光学放大或缩放模块、音频采集模块和显示与交互模块；

7.根据权利要求6所述的一种可穿戴式皮肤病ai辅助诊疗系统，其特征在于，所述自动光学放大或缩放模块被设置为：

8.一种可穿戴智能眼镜，用作权利要求1至7中任一项所述的可穿戴式皮肤病ai辅助诊疗系统的数据采集与交互设备，其特征在于，包括：

9.一种计算机可读存储介质，其特征在于，所述介质存储有计算机指令，所述指令被处理器执行时，用于实现如权利要求1至7中任一项所述的可穿戴式皮肤病ai辅助诊疗系统中所述数据处理与融合平台及所述多模态信息融合模型的功能，所述计算机可读存储介质为云端gpu服务器的存储介质。

10.一种可穿戴式皮肤病ai辅助诊疗方法，其特征在于，包括以下步骤：