一种基于场景语义识别的关键动作提醒方法及系统与流程
本发明涉及图像识别,特别是涉及一种基于场景语义识别的关键动作提醒方法及系统。
背景技术:
1、在需要对执行主体针对执行对象完成特定关键动作的过程进行确认的场景中,现有辅助提醒方案主要包括以下几类,均存在相应的技术问题。
2、基于时间的被动提醒方案仅依据预设时间触发提醒,提醒发出后无法感知执行主体是否针对执行对象真正完成了对应的关键动作,系统在提醒发出后即视为任务已完成,无法察觉执行主体忽略提醒、遗忘执行等情形,导致提醒环节与动作是否实际完成之间缺乏关联,存在执行盲区。
3、现有可穿戴设备行为采集方案通过可穿戴智能设备对目标物进行识别,并采集执行主体针对目标物的行为信息进行记录存储,其处理流程为单向的识别、采集、存储,仅能确定检测到何种目标以及目标所处位置,无法判断执行主体与执行对象之间是否已经完成某一具体的交互动作。由于缺乏对动作完成状态的判断能力,所采集的行为信息仅能用于事后记录与分析,无法反馈至提醒装置以控制其输出状态。
4、现有智能眼镜类产品的功能主要集中于消费娱乐场景,未涉及对执行主体与执行对象之间关键动作完成状态的持续检测,也不具备根据动作完成状态对提醒进行条件性控制的能力。
5、现有技术缺乏判断执行对象和执行主体之间是否已经发生特定的交互动作的机制,也因此无法根据动作是否完成的判断结果,对提醒装置的输出状态进行相应控制。
技术实现思路
1、本发明的目的在于,提供一种基于场景语义识别的关键动作提醒方法及系统,以解决现有提醒方案存在提醒盲区的技术问题。
2、为解决上述技术问题,本发明提供了一种基于场景语义识别的关键动作提醒方法,包括:
3、对目标区域进行图像采集,得到图像帧序列;
4、对所述图像帧序列执行目标检测,得到执行对象和执行主体的位置信息和类别信息;
5、在同时检测到所述执行对象和所述执行主体时,根据连续多帧图像中所述执行主体的边界框与所述执行对象的边界框之间的相对位置关系的变化,确定所述执行主体与所述执行对象所经历的状态序列;在所述状态序列中依次出现接近状态、接触状态和携带分离状态时,判定所述执行主体与所述执行对象之间发生预设的交互动作,输出动作完成事件;
6、根据是否输出所述动作完成事件,控制提醒输出;其中,在输出所述动作完成事件时,终止提醒输出;自开始提醒输出起,未输出所述动作完成事件的持续时长超过预设时长时,调整提醒输出方式。
7、可选的,所述状态序列的起始状态为所述执行主体的边界框与所述执行对象的边界框相互分离的分离状态;
8、所述接近状态为所述执行主体的边界框与所述执行对象的边界框的中心点之间的距离由大于预设距离阈值减小至所述预设距离阈值以内;
9、所述接触状态为:所述执行主体的边界框与所述执行对象的边界框的交并比大于预设交并比阈值,或者所述执行主体的边界框与所述执行对象的边界框之间的间距小于预设紧邻阈值,且该状态的保持时长超过预设接触时长阈值。
10、可选的,所述携带分离状态通过以下方式中的至少一种确定:
11、所述执行对象的边界框在连续多帧图像中随所述执行主体的边界框同步移动,且二者位移方向一致;
12、确定所述执行主体的边界框在离开所述执行对象的初始位置时携带有与所述执行对象相关联的图像特征;或
13、将所述连续多帧图像输入动作分类模型,由所述动作分类模型输出指示携带分离的分类结果。
14、可选的,所述预设时长包括第一预设时长和第二预设时长,所述第二预设时长大于所述第一预设时长;
15、所述未输出所述动作完成事件的持续时长超过所述第一预设时长时,升级提醒输出强度;
16、所述未输出所述动作完成事件的持续时长超过所述第二预设时长时,输出用于指示未发生所述预设的交互动作的通知信息。
17、可选的,所述升级提醒输出强度包括:将提醒输出方式由语音输出方式或振动输出方式调整为语音输出与振动输出相结合的输出方式。
18、可选的,所述对目标区域进行图像采集,得到图像帧序列,包括:
19、在预设时间窗口内,对所述目标区域进行图像采集,得到所述图像帧序列;所述预设时间窗口根据预先配置的关键动作执行时刻及时间偏移量确定。
20、可选的,还包括:在输出所述动作完成事件时,记录对应的完成时刻信息以及对应的图像帧,并输出用于指示已发生所述预设的交互动作的通知信息。
21、本发明还提供了一种关键动作提醒系统,包括图像采集单元、处理单元和提醒输出单元;
22、所述图像采集单元用于对目标区域进行图像采集,得到图像帧序列,并将所述图像帧序列发送至所述处理单元;
23、所述处理单元与所述图像采集单元连接,用于对所述图像帧序列执行目标检测,得到执行对象和执行主体的位置信息和类别信息;并在同时检测到所述执行对象和所述执行主体时,根据连续多帧图像中所述执行主体的边界框与所述执行对象的边界框之间的相对位置关系的变化,确定所述执行主体与所述执行对象所经历的状态序列,在所述状态序列中依次出现接近状态、接触状态和携带分离状态时,判定所述执行主体与所述执行对象之间发生预设的交互动作,输出动作完成事件;并根据是否输出所述动作完成事件生成提醒控制信号;
24、所述提醒输出单元与所述处理单元连接,用于根据所述提醒控制信号控制提醒输出状态,其中,在接收到与所述动作完成事件对应的提醒控制信号时终止提醒输出,在未接收到与所述动作完成事件对应的提醒控制信号且持续时长超过预设时长时,调整提醒输出方式。
25、可选的,还包括通信单元,所述通信单元与所述处理单元连接,用于根据所述处理单元的控制,向预设的关联终端发送与所述动作完成事件对应的通知信息,或发送用于指示未发生所述预设的交互动作的通知信息。
26、可选的,还包括存储单元,所述存储单元与所述处理单元连接,用于存储与所述动作完成事件对应的时刻信息及图像帧,以及未发生所述预设的交互动作时的异常记录信息。
27、可选的,所述图像采集单元、所述处理单元和所述提醒输出单元设置于可穿戴眼镜本体;
28、所述提醒输出单元包括骨传导扬声器和振动执行器,分别用于输出语音提醒信息和振动提醒信息。
29、相比于现有技术,本发明至少具有以下技术效果:
30、本发明提供的基于场景语义识别的关键动作提醒方法及系统,通过对图像帧序列中的执行对象和执行主体进行目标检测,并在连续多帧图像的基础上,根据执行主体与执行对象之间相对位置关系的变化,判断二者是否发生预设的交互动作,从而以动作完成事件作为提醒输出状态的控制条件,在动作完成事件产生时终止提醒输出,在动作完成事件未产生且预设条件满足时调整提醒输出方式。本发明在目标检测的基础上引入了对执行主体与执行对象之间交互动作完成状态的判断,以接近-接触-携带分离的完整状态序列作为判定条件,能够将执行主体仅经过执行对象附近的情形与实际完成交互动作的情形有效区分;并以该判断结果反馈驱动提醒输出状态,以自开始提醒输出起的未完成持续时长作为调整提醒输出方式的触发条件,使提醒升级具有确定的触发时点,还形成了动作完成状态与提醒状态相互关联的控制机制,能够避免因用户忽略或遗忘执行预设动作而导致的提醒盲区,提升了关键动作辅助提醒的准确性和可靠性。
31、进一步地,通过设置第一预设时长和第二预设时长对提醒输出方式进行分级调整,在动作完成事件持续未产生时先升级提醒输出强度、再输出用于指示未发生预设交互动作的通知信息,使提醒强度能够随未完成时长的增加而逐步提升,在保证提醒有效性的同时,避免了因提醒方式单一或提醒时机不当而对用户造成不必要的打扰。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com