一种智行助行器、意识状态监测方法及系统与流程

1.本发明涉及视觉监测技术领域，特别是涉及一种智行助行器、意识状态监测方法及系统。


背景技术：

2.作为最有用的工具来辅助特殊人群行走，轮椅在许多老年人和残疾人平常的生活中必不可少。普通轮椅需要其他人的协助才能使用，十分不便，对轮椅使用者的行动时间和行动范围有不利的影响；而且现有的电动轮椅通常具有很多缺点，例如操作不便，低安全性，人机交互差等。电动轮椅虽然能够使老年人达到自主移动的目的，但目前的电动轮椅产品仅仅是以电力取代人力，缺少传感器配置，不能够实时监测使用者的状况。


技术实现要素：

3.本发明的目的是提供一种智行助行器、意识状态监测方法及系统，以提供一种具有感知功能的助行器，实现对助行器乘坐者的意识状态的实时监测。
4.为实现上述目的，本发明提供了如下方案：
5.本发明提供一种智行助行器，所述智行助行器包括：助行器本体、视觉传感器、本地服务器和云端；
6.所述视觉传感器安装在所述智行助行器本体的扶手上，所述本地服务器安装在助行器本体上；
7.所述视觉传感器与所述本地服务器连接，所述本地服务器与所述云端连接；
8.所述本地服务器内保存有训练好的行为识别网络；
9.所述视觉传感器用于获取待监测者的视频流信息，并发送给所述本地服务器；所述待监测者为助行器本体的乘坐者；
10.所述本地服务器用于将所述视频流信息以图片序列的方式输入训练好的行为识别网络，获得所述视频流信息对应的意识状态类别，并当意识状态类别为失去意识状态时，将报警信号和所述视频流信息发送至所述云端。
11.可选的，所述智行助行器还包括管理员终端，所述管理员终端用于采用如下方式获取训练好的行为识别网络：
12.采集视觉传感器获取的待监测者在不同意识状态下的视频数据样本；
13.利用不同意识状态下的视频数据样本训练行为识别网络，获得训练好的行为识别网络，并将训练好的行为识别网络保存至所述本地服务器中。
14.一种意识状态监测方法，所述意识状态监测方法应用于助行器乘坐者的意识状态监测，所述监测方法包括如下步骤：
15.获取待监测者的视频流信息；
16.将所述视频流信息以图片序列的方式输入训练好的行为识别网络，获得所述视频流信息对应的意识状态类别；所述意识状态类别包括意识正常状态、失去意识状态和休息
状态。
17.可选的，所述将所述视频流信息以图片序列的方式输入训练好的行为识别网络，获得所述视频流信息对应的意识状态类别，之前还包括：
18.采集待监测者在不同意识状态下的视频数据样本；
19.利用不同意识状态下的视频数据样本训练行为识别网络，获得训练好的行为识别网络。
20.可选的，所述行为识别网络为深度学习网络。
21.一种意识状态监测系统，所述意识状态监测系统集成助行器中，用于助行器乘坐者的意识状态监测，所述监测系统包括：
22.视频流信息获取模块，用于获取待监测者的视频流信息；
23.意识状态识别模块，用于将所述视频流信息以图片序列的方式输入训练好的行为识别网络，获得所述视频流信息对应的意识状态类别；所述意识状态类别包括意识正常状态、失去意识状态和休息状态。
24.可选的，所述系统还包括：
25.视频数据样本采集模块，用于采集待监测者在不同意识状态下的视频数据样本；
26.行为识别网络训练模块，用于利用不同意识状态类别下的视频数据样本训练行为识别网络，获得训练好的行为识别网络。
27.可选的，所述行为识别网络为深度学习网络。
28.根据本发明提供的具体实施例，本发明公开了以下技术效果：
29.本发明公开了一种智行助行器，所述智行助行器包括：助行器本体、视觉传感器、本地服务器和云端；所述视觉传感器安装在所述智行助行器本体的扶手上，所述本地服务器安装在助行器本体上；所述视觉传感器与所述本地服务器连接，所述本地服务器与所述云端连接；所述本地服务器内保存有训练好的行为识别网络；所述视觉传感器用于获取待监测者的视频流信息，并发送给所述本地服务器；所述待监测者为助行器本体的乘坐者；所述本地服务器用于将所述视频流信息以图片序列的方式输入训练好的行为识别网络，获得所述视频流信息对应的意识状态类别，并当意识状态类别为失去意识状态时，将报警信号和所述视频流信息发送至所述云端。本发明能够不依赖乘坐者自主的操作，利用视觉传感器自动的获取乘坐者的图像信息，通过行为识别网络的计算处理分析出乘坐者当前的状态信息，在监测到乘坐者状态异常时，不需要乘坐者自行操作可以自动远程发送警报信息，上传对乘坐者的监控视频到云端便于云端护理人员进行情况判断以及进一步的行动。
附图说明
30.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
31.图1为本发明实施例1提供的一种智行助行器的结构图；
32.图2为本发明实施例1提供的智行助行器进行意识状态监测的工作流程图。
具体实施方式
33.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
34.本发明的目的是提供一种智行助行器、意识状态监测方法及系统，以提供一种具有感知功能的助行器，实现对助行器乘坐者的意识状态的实时监测。
35.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
36.如图1所示，本发明提供一种智行助行器，所述智行助行器包括：助行器本体(图1中未示出)、视觉传感器1、本地服务器2和云端3；所述视觉传感器安装在所述智行助行器本体的扶手上，所述本地服务器安装在助行器本体上；所述视觉传感器与所述本地服务器连接，所述本地服务器与所述云端连接；所述本地服务器内保存有训练好的行为识别网络；所述视觉传感器用于获取待监测者的视频流信息，并发送给所述本地服务器；所述待监测者为助行器本体的乘坐者；所述本地服务器用于将所述视频流信息以图片序列的方式输入训练好的行为识别网络，获得所述视频流信息对应的意识状态类别，并当意识状态类别为失去意识状态时，将报警信号和所述视频流信息发送至所述云端。
37.所述智行助行器还包括管理员终端，所述管理员终端用于采用如下方式获取训练好的行为识别网络：采集视觉传感器获取的待监测者在不同意识状态下的视频数据样本；利用不同意识状态下的视频数据样本训练行为识别网络，获得训练好的行为识别网络，并将训练好的行为识别网络保存至所述本地服务器中。
38.助行器本体为轮椅，可以为普通轮椅也可以为电动轮椅。
39.行为识别网络为深度学习网络。
40.如图2所示，本发明的智行助行器进行意识状态监测的工作流程为：
41.步骤1：采集智能助行器乘坐者的图像视频信息，根据乘坐者当前的状态对视频进行分类为意识正常状态、失去意识状态、休息状态三种状态，将视频以及对应的状态保存在本地的存储设备中建立数据集。
42.步骤2：使用保存的视频以及对应的状态信息训练行为识别网络，视频流以图片序列的形式输入到神经网络中，输出为三种意识状态，将数据集中所有的视频以及对应的状态标签训练完成后将网络保存在智能助行器中。
43.步骤3：通过智能助行器扶手上的视觉传感器捕捉得到乘坐者的脸部以及上半身的图像信息，通过视觉传感器记录得到乘坐者的视频流信息，将视频流信息保存在助行器上安装的本地服务器中。
44.步骤4：将保存在本地服务器中的视频流以图片序列的形式输入到训练好的行为识别网络中，行为识别网络对图片序列进行分析求解，回归出当前视频对应的意识状态标签，最后得出助行器乘坐者的意识情况。
45.步骤5：检测到乘坐者的意识状态处于失去意识状态时，助行器通过网络向云端发送乘坐者意识状态警报，同时将对应时段的视频上传到云端，供云端医务人员查看。
46.实施例2
47.本发明还提供一种意识状态监测方法，所述意识状态监测方法应用于助行器乘坐者的意识状态监测，所述监测方法包括如下步骤：
48.获取待监测者的视频流信息；
49.将所述视频流信息以图片序列的方式输入训练好的行为识别网络，获得所述视频流信息对应的意识状态类别；所述意识状态类别包括意识正常状态、失去意识状态和休息状态。
50.作为一种优选的实施方式但是不限于该实施方式，所述将所述视频流信息以图片序列的方式输入训练好的行为识别网络，获得所述视频流信息对应的意识状态类别，之前还包括：采集待监测者在不同意识状态下的视频数据样本；利用不同意识状态下的视频数据样本训练行为识别网络，获得训练好的行为识别网络。
51.所述行为识别网络为深度学习网络。
52.实施例3
53.一种意识状态监测系统，所述意识状态监测系统集成助行器中，用于助行器乘坐者的意识状态监测，所述监测系统包括：视频流信息获取模块，用于获取待监测者的视频流信息；意识状态识别模块，用于将所述视频流信息以图片序列的方式输入训练好的行为识别网络，获得所述视频流信息对应的意识状态类别；所述意识状态类别包括意识正常状态、失去意识状态和休息状态。
54.作为一种优选的实施方式但是不限于该实施方式，所述系统还包括：视频数据样本采集模块，用于采集待监测者在不同意识状态下的视频数据样本；行为识别网络训练模块，用于利用不同意识状态类别下的视频数据样本训练行为识别网络，获得训练好的行为识别网络。
55.所述行为识别网络为深度学习网络。
56.本发明的优点在于：相对于现有的人为判定轮椅乘坐者精神状态的方法，本发明提供的智行助行器是一种自动化，智能化，云端智联的设备(智能助行器)。相比传统智能轮椅设备利用交互行为来反馈乘坐者的精神状态，如点击屏幕或者敲击键盘表示当前状况下乘坐者自身的精神状况，本发明的优点在于能够不依赖乘坐者自主的操作，乘坐者没有任何的学习成本，图像传感器自动的获取乘坐者的图像信息，通过神经网络的计算处理分析出乘坐者当前的状态信息。设置在现实环境不同场景下的乘坐者状态数据集对行为识别网络进行训练，得到的神经网络能够在各种情况下准确识别出乘坐者的精神状态。往往乘坐者在状态异常时没有行为自控能力，在监测到乘坐者状态异常时，不需要乘坐者自行操作可以远程发送警报信息，上传对乘坐者的监控视频到云端便于云端护理人员进行情况判断以及进一步的行动。
57.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
58.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。