一种基于多模态AI的医疗场景自适应语音提醒系统及方法

本技术涉及医疗信息化与人工智能交叉领域，具体涉及一种基于多模态ai的医疗场景自适应语音提醒方法及系统。

背景技术：

1、在医院、诊所等医疗场景中，患者用药提醒、术前宣教及检查安排等动态提醒对于保障医疗安全至关重要。目前，临床上主要依赖医护人员人工口头通知或传统床头铃进行提醒。然而，这种传统方式存在诸多局限。对于患者而言，尤其是老年患者，因记忆力减退或视力不佳，难以准确遵循复杂的服药时间，易发生漏服或误服；部分患者因文化程度或语言障碍，无法完全理解标准普通话的宣教内容，导致依从性差，影响诊疗顺利进行。对于医护人员而言，人工提醒耗时耗力，重复性工作占比高，且无法实时追踪患者执行情况，增加了管理成本及医疗风险。

2、随着医疗信息化的发展，部分现有系统尝试通过与医院信息系统（his）对接来实现数字化提醒。但此类系统多采用定期api轮询方式获取数据。由于医疗医嘱数据具有高频变更且实时性要求高的特点，高频轮询会导致his数据库i/o压力过大，甚至影响核心业务运行；而低频轮询则会造成数据同步延迟。更重要的是，api轮询难以保障数据的事务一致性，可能导致ai决策模块基于不完整或过期的医嘱数据生成错误的提醒策略，引发医疗安全隐患。此外，现有数字化提醒策略多为固定时间触发，无法与his深度联动以根据患者实时状态或医嘱变更动态调整提醒计划，缺乏个性化与智能化。

3、在交互方式上，现有医疗提醒系统多为单一模态，如仅通过短信、app推送或固定铃声，无法根据患者的实际执行情况进行自适应调整。虽然多模态ai技术已在医学影像分析等诊断辅助领域得到应用，但在患者提醒场景中的应用尚处于起步阶段，缺乏将语音交互信号与医嘱时序数据进行融合处理的有效技术机制。现有系统缺乏双向交互与异常干预机制，无法基于患者反馈信号自动触发硬件警报或调整任务队列，难以有效解决患者未响应时的异常处理问题。

4、综上所述，现有技术中缺乏一种能够实时同步医嘱数据、保障数据事务一致性以支撑ai准确决策、自适应调整提醒策略、支持多模态交互且具有闭环干预能力的医疗场景语音提醒系统及方法。

技术实现思路

1、本技术提供一种基于多模态ai的医疗场景自适应语音提醒方法及系统，可以解决现有技术中存在的医嘱数据同步延迟高、数据事务一致性难保障、提醒策略固定僵化以及缺乏执行反馈闭环等技术问题。

2、第一方面，本技术实施例提供了一种基于多模态ai的医疗场景自适应语音提醒系统，包括：数据同步模块，用于监听医疗信息系统的数据库事务日志，捕获医嘱数据的变更数据并写入消息队列；ai分析模块，用于从所述消息队列中消费所述变更数据，利用预测模型生成动态提醒策略；语音交互模块，用于根据所述动态提醒策略发送语音提醒，并采集患者的语音反馈信号；异常处理模块，用于根据所述语音反馈信号判断执行状态，若判定为异常，则生成干预指令并发送至医护端。

3、结合第一方面，在一种实施方式中，所述数据同步模块包括日志监听单元、事务解析单元及本地存储单元；所述日志监听单元用于提取所述数据库事务日志中的全局事务标识；所述事务解析单元用于根据所述全局事务标识及时间戳对医嘱数据进行事务完整性校验；所述本地存储单元用于持久化存储最后成功消费的全局事务标识；所述数据同步模块还用于：当系统重启或网络中断恢复后，基于所述全局事务标识从所述消息队列中定位断点位置，继续消费后续的医嘱数据。

4、在另一种实施方式中，所述数据同步模块还包括语义解析单元，用于依据临床时序本体库将自然语言类医嘱执行特征离散化与向量映射；所述语义解析单元配置为将医嘱中的时间条件指令拆解为时间偏移向量，提取绝对时间锚点，将相对时间指令转化为相对偏移标签，并归一化为时间戳绝对值。

5、在另一种实施方式中，所述预测模型为融合注意力机制的时间序列预测模型；所述ai分析模块包括时机预测单元，配置为采用lstm-attention网络，输入医嘱类型、患者历史执行数据及当前生命体征数据，输出推荐提醒时间窗口。

6、在另一种实施方式中，所述时机预测单元还用于对医嘱数据、住院周期与手术排期异构数据源，采用跨模态注意力交叉映射机制进行深度融合，依据临床逻辑动态计算不同模态特征对当前提醒决策的贡献权重。

7、在另一种实施方式中，所述ai分析模块还包括优先级调度单元，配置为采用基于奖励机制的优化算法，建立三级优先级矩阵；当检测到医嘱冲突时，依据所述三级优先级矩阵判定保留高优先级提醒任务；其中，手术类提醒任务优先级数值高于口服药类提醒任务优先级数值。

8、在另一种实施方式中，所述系统还包括状态感知模块，用于采集患者的状态监测数据；所述状态感知模块配置为通过语音询问方式采集患者的状态监测数据；或者，所述状态感知模块包括视觉传感器、生理体征传感器或床位传感器中的至少一种；所述ai分析模块还用于融合所述语音反馈信号与所述状态监测数据，判断患者的真实执行状态。

9、第二方面，本技术实施例提供了一种基于多模态ai的医疗场景自适应语音提醒方法，包括：监听医疗信息系统的数据库事务日志，捕获医嘱数据的变更数据并写入消息队列；从所述消息队列中消费所述变更数据，利用预测模型生成动态提醒策略；根据所述动态提醒策略发送语音提醒，并采集患者的语音反馈信号；根据所述语音反馈信号判断执行状态，若判定为异常，则生成干预指令并发送至医护端。

10、结合第二方面，在一种实施方式中，所述捕获医嘱数据的变更数据，包括：提取所述数据库事务日志中的全局事务标识，基于所述全局事务标识对医嘱数据进行事务完整性校验；所述方法还包括数据断点续传步骤：本地持久化存储最后成功消费的全局事务标识，当系统重启或网络中断恢复后，基于所述全局事务标识从所述消息队列中定位断点位置，继续消费后续的医嘱数据。

11、在另一种实施方式中，所述利用预测模型生成动态提醒策略，包括：采用融合注意力机制的lstm-attention网络预测最佳提醒时机；对医嘱数据、住院周期与手术排期异构数据源，采用跨模态注意力交叉映射机制进行深度融合；建立三级优先级矩阵，明确手术类提醒任务优先级数值高于口服药类提醒任务优先级数值，当检测到医嘱冲突时，依据所述三级优先级矩阵判定保留高优先级提醒任务。

12、本技术实施例提供的技术方案带来的有益效果包括：

13、通过构建基于数据库事务日志监听的数据同步链路，相较于传统api轮询方式，不仅有助于降低医疗信息系统的数据库负载，还利用全局事务标识（gtid）确保了医嘱数据的事务一致性，从而避免了因数据同步延迟或丢失导致ai决策偏差的技术问题。

14、利用多模态ai分析模块融合患者实时状态监测数据，采用融合注意力机制的lstm网络及跨模态注意力交叉映射机制，实现了从固定时间触发提醒到动态自适应调整提醒的转变，有效解决了现有系统无法适应患者个体差异及实时状态变化的问题，提高了患者依从性。

15、通过语音交互与异常处理模块的协同工作，建立了提醒、反馈与干预的闭环管理机制，基于三级优先级矩阵自动处理医嘱冲突，使得系统在患者未响应时能够自动升级干预级别，降低了因患者漏服或误操作引发的医疗安全风险。