人形检测的智能吃药提醒方法、系统、设备及介质与流程
本发明涉及人工智能,尤其涉及一种基于人形检测的智能吃药提醒方法、系统、设备及介质。
背景技术:
1、近年来,随着物联网、人工智能及智能家居技术的快速发展,健康监护逐渐向智能化、主动化方向演进,针对需要提醒吃药的人群,尤其是老年人的智能服药辅助技术应运而生,并成为智慧医疗与居家康养领域的重要发展方向。
2、目前,智能吃药提醒技术大多基于定时触发与基础交互逻辑来实现,具体为:通过预设时间计划触发提醒动作,随后采用闹钟播报、固定语音播报或消息推送等方式进行单向通知。
3、然而,上述方式缺乏目标感知与身份识别能力,仅依靠基础感应甚至纯定时触发,无法判断现场是否真的有待提醒,极易出现空播报,即使检测到有人,也无法确认是否为需要提醒的吃药人员,容易对其他家庭成员造成干扰,且提醒机制缺乏语义理解与动态调整能力,提醒内容多为固定模板,无法根据待提醒吃药人员的实际回应、具体药品信息及现场状态进行灵活应对。另外,现有技术缺少从识别目标、进入交互、完成提醒至结束会话的完整业务闭环,交互过程生硬割裂,且由于缺乏精准的场景甄别,在无人、环境噪声、多人经过或误唤醒等复杂场景下,系统极易产生误提醒或重复提醒,不仅降低了提醒的有效性,还可能引发老人的反感与焦虑。
技术实现思路
1、本发明提供一种基于人形检测的智能吃药提醒方法、系统、设备及介质,用以解决现有技术中提醒对象不精准、提醒触发不智能的缺陷,通过端侧初筛降耗与云端鉴权防错及大模型智能生成强引导的递进协同,在严格保障用药对象绝对精准与身份核验高可靠的情况下,确保准确提醒用户,实现吃药提醒的无感触发。
2、本发明提供一种基于人形检测的智能吃药提醒方法,包括:接收云端发送的对象识别结果;对象识别结果是云端识别设备端发送的初筛通过事件得到的,初筛通过事件是设备端对采集的视频数据和音频数据进行检测,确定存在有效候选用户后生成的;根据对象识别结果,确定对应用户为待提醒吃药的目标用户时,触发针对目标用户的吃药提醒服务,根据对象识别结果获取对应绑定的药品服用信息,并利用大语言模型,生成吃药引导提醒内容;将吃药引导提醒内容下发至设备端进行语音播报,以引导目标用户完成吃药。
3、根据本发明提供的一种基于人形检测的智能吃药提醒方法,根据对象识别结果获取对应绑定的药品服用信息,并利用大语言模型,生成吃药引导提醒内容,包括:根据对象识别结果中的用户身份信息,生成身份确认指令;将身份确认指令内容下发至设备端进行语音播报,并接收设备端采集的语音回应;根据语音回应,确定为目标用户时,根据对象识别结果获取对应绑定的药品服用信息,并利用大语言模型,生成吃药引导提醒内容;吃药引导提醒内容用于提醒目标用户服用目标药品。
4、根据本发明提供的一种基于人形检测的智能吃药提醒方法,在将吃药引导提醒内容下发至设备端进行语音播报,以引导目标用户完成吃药之后,包括:接收设备端发送的目标用户针对药品的询问语音;将询问语音输入大语言模型进行语义识别,并动态调用对应详细药品信息,生成答疑提醒内容并下发至设备端进行语音播报。
5、根据本发明提供的一种基于人形检测的智能吃药提醒方法,在将吃药引导提醒内容下发至设备端进行语音播报,以引导目标用户完成吃药之后,还包括:接收设备端上传的交互语音;将交互语音输入至大语言模型进行语义识别,并基于识别的语义信息,确定目标用户已完成吃药时,生成结束提醒语;将结束提醒语下发至设备端进行播报,并在播报完成后关闭当前的大语言模型会话并清理交互状态。
6、根据本发明提供的一种基于人形检测的智能吃药提醒方法,在将所述吃药引导提醒内容下发至所述设备端进行语音播报,以引导所述目标用户完成吃药之后,还包括:确定在预设超时时间内未接收到设备端上传的交互语音时,判定会话超时,关闭当前的大语言模型会话并清理交互状态。
7、根据本发明提供的一种基于人形检测的智能吃药提醒方法,初筛通过事件包括候选用户的视频片段和音频片段;对象识别结果是云端根据从视频片段中提取的身份特征和从音频片段中提取的声纹特征,查找预设用户特征库进行身份匹配和声纹匹配,并基于匹配结果生成的。
8、根据本发明提供的一种基于人形检测的智能吃药提醒方法,初筛通过事件是设备端利用端侧轻量模型对采集的视频数据进行人形检测,以及利用语音活动检测模型对采集的音频数据进行语音活动检测,并基于人形检测结果和语音活动检测结果,确定存在有效候选用户后,结合对应视频片段和语音片段生成的;有效候选用户是设备端根据人形检测结果和语音活动检测结果满足预设条件时确定的;其中,预设条件包括:根据人形检测结果,确定现场存在人形目标;根据人形检测结果,确定人形目标的置信度大于预设阈值;根据语音活动检测结果,确定存在有效语音活动。
9、根据本发明提供的一种基于人形检测的智能吃药提醒方法,视频片段是云端基于视频数据得到的人形检测结果,确定视频数据中存在连续第一预设帧数的图像,且各帧图像存在目标人形、目标人形的置信度大于预设阈值时,提取对应连续第一预设帧数的图像得到的;音频片段是云端基于音频数据得到的语音活动检测结果,确定音频数据中存在连续第二预设帧数的音频,且各帧音频存在有效语音活动时,提取对应连续第二预设帧数的音频得到的。
10、根据本发明提供的一种基于人形检测的智能吃药提醒方法,根据对象识别结果获取对应绑定的药品服用信息,并利用大语言模型,生成吃药引导提醒内容,包括:根据对象识别结果,得到用户身份信息;根据用户身份信息,从预设用户药品数据库中提取与对应用户绑定的药品名称、药品剂量及服用方式作为药品服用信息;根据用户身份信息、药品服用信息以及预配置的吃药场景提示词,构建多模态会话提示词,并将多模态会话提示词输入至大语言模型中,生成吃药引导提醒内容。
11、本发明还提供一种基于人形检测的智能吃药提醒系统,包括:结果接收模块,接收云端发送的对象识别结果;对象识别结果是云端识别设备端发送的初筛通过事件得到的,初筛通过事件是设备端对采集的视频数据和音频数据进行检测,确定存在有效候选用户后生成的;内容生成模块,根据对象识别结果,确定对应用户为待提醒吃药的目标用户时,触发针对目标用户的吃药提醒服务,根据对象识别结果获取对应绑定的药品服用信息,并利用大语言模型,生成吃药引导提醒内容;语音提醒模块,将吃药引导提醒内容下发至设备端进行语音播报,以引导目标用户完成吃药。
12、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述基于人形检测的智能吃药提醒方法。
13、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述基于人形检测的智能吃药提醒方法。
14、本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述基于人形检测的智能吃药提醒方法。
15、本发明提供的基于人形检测的智能吃药提醒方法、系统、设备及介质,接收的对象识别结果是云端识别设备端发送的初筛通过事件得到的,且初筛通过事件是设备端对采集的视频数据和音频数据进行检测确定存在有效候选用户后生成的,从而在设备端剥离无效数据降低传输开销,避免直传原始音视频数据造成的信道阻塞与带宽浪费,使得云端算力与网络资源能够集中服务于真实有效的交互事件,并通过云端完成高可靠的身份确认,以打破单点处理易造成的识别不准的缺陷,进而在根据对象识别结果确定用户为待提醒吃药的目标用户时,触发针对目标用户的吃药提醒服务,实现无感触发与主动关怀的自然融合,确保用药提醒的专属性与时效性,使其精准锚定真实目标对象,避免非目标用户误听误服的严重安全隐患,并根据对象识别结果获取对应绑定的药品服用信息,以利用大语言模型生成吃药引导提醒内容,从而利用私有医疗数据关联与语义智能重构机制,将刚性的结构化药嘱转化为自然亲切的个性化交互话术,并发至设备端进行语音播报以引导目标用户完成吃药,从而确保提醒信息的无损传递与行为引导的落地执行,从而通过端侧初筛降耗与云端鉴权防错及大模型智能生成强引导的递进协同,在严格保障用药对象绝对精准与身份核验高可靠的情况下,实现复杂家庭照护场景下的高安全性与极低用药误操作风险。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com