一种基于人工智能的辅助用户至智能马桶的跌倒报警方法及装置

1.本发明创造属于机器视觉技术，特指一种基于人工智能的辅助用户至智能马桶的跌倒报警方法及装置。
2.

背景技术：

3.路径规划是机器视觉的主要研究方向之一，连接起点位置和终点位置的序列点或曲线称之为路径，构成路径的策略称之为路径规划。在很多领域具有广泛应用，例如交通工具的避障行驶、机械手的夹取轨迹的设定和用户行走的导航等等。
4.现阶段，视障人群容易在行走途中发生跌伤的情况，尤其是在障碍物较多、光照较差的室内场所。视障人群可以是因衰老、眼疾和先天等因素引起的视力障碍的人群。例如，老人在厕所内如厕时，由于厕所空间狭小、光线较差和障碍物随意堆放等问题，老人极易发生摔倒的问题。
5.为了解决视障人群的如厕问题，现有技术开发了一款视障导航系统，通过设置有摄像头的鞋进行行路指引，包括以下步骤：(1)在使用之前将分别设置于鞋底前端和鞋底前端侧面的摄像头通过电源开关开启；(2)鞋底前端的摄像头采集使用者行进方向上的图像，并将图像传送至图像处理模块；(3)图像处理模块对图像进行处理后进行图像识别，并通过处理器判断出行进方向上是否有障碍物。
6.然而现有技术不够完善，现有的视障导航系统均为可穿戴式的，这就导致用户必须佩戴该系统进行使用的问题；现有的视障导航系统无法监控用户的姿态，若用户摔倒，系统无法识别用户姿态，导致用户无法第一时间得到救助的问题。
7.发明创造内容
8.为克服现有技术的不足及存在的问题，本发明创造提供一种基于人工智能的辅助用户至智能马桶的跌倒报警方法及装置。
9.为实现上述目的，本发明创造采用如下技术方案：一种基于人工智能的辅助用户至智能马桶的跌倒报警方法，包括如下步骤：接收来自tof相机的实时图像；若接收到实时图像时，在实时图像上建立用户的节点位置；若接收到用户的关节位置时，基于世界参考系和用户的关节位置生成用户的姿态角度；判断用户的姿态角度是否位于安全角度范围内；若用户的姿态角度超过安全角度范围时，则生成跌倒信号；若生成跌倒信号时，则将跌倒信号发送至输出设备。
10.作为优选，所述用户的节点位置包括头部、颈关节、肩关节、肘关节、手部、髋关节、膝关节、踝关节和盆骨关节，其中，位于用户上半身的节点位置作为优先的基准判断指标。若基于节点位置建立的姿态角大于人体正常情况的最大倾斜姿态角阈值时，控制模块快速响应并判断异常。
11.作为优选，所述世界坐标系基于实时图像的边缘线建立。
12.作为优选，所述若接收到世界参考系和用户的关节位置时，基于实时图像的世界参考系和用户的关节位置生成用户的姿态角度的步骤，包括：若接收到用户的关节位置时，则将用户的关节位置转换为姿态线；若接收到姿态线时，则基于姿态线和世界参考系生成用户的姿态角度。
13.作为优选，在颈关节位置和两个髋关节位置之间连线的中点之间构建连线或在颈关节位置和两个膝关节位置之间连线的中点之间构建连线或在颈关节位置和两个踝关节位置之间连线的中点之间构建连线可作为姿态线。
14.作为优选，还包括：接收来自tof相机的初始图像；将初始图像转换成初始安全区域图像；若接收到实时图像时，分割初始安全区域图像映射在实时图像上的部分作为实时检测区域图像；根据初始安全区域图像和实时检测区域图像生成实时安全区域模型；判断实时检测区域图像上是否有用户图像；若实时用户图像上有用户图像时，则在实时检测区域图像上分割出用户图像；将用户图像转换成用户位置；接收来自输入设备的请求信息，请求信息包括目的地位置；在实时安全区域模型上生成由用户位置至目的地位置的安全路径。
15.作为优选，还包括：利用卡尔曼滤波算法生成实时用户图像的预测位姿；若接受到预测位姿时，则利用人体运动追踪算法生成运动参数；判断运动参数是否超过安全参数范围；若安全参数超过安全运动范围时，则生成修正路径；若生成修正路径时，则将修正路径发送至输出设备。
16.在另一方面，本发明创造的还提出了一种基于人工智能的辅助用户至智能马桶的跌倒报警装置，用于实现上述的一种基于人工智能的辅助用户至智能马桶的跌倒报警方法，包括：tof相机，用于产生实时图像；控制模块，用于接收实时图像，若接收到实时图像时，在实时图像上建立用户的节点位置；若接收到用户的关节位置时，基于世界参考系和用户的关节位置生成用户的姿态角度；判断用户的姿态角度是否位于安全角度范围内；若用户的姿态角度超过安全角度范围时，则生成跌倒信号；输出设备，输出设备用于接收跌倒信号。
17.作为优选，所述输出设备包括播音器、显示器、振动器、加热器中的至少一种。
18.本发明创造相比现有技术突出且有益的技术效果是：(1)在本发明创造主要用于解决视障人群如厕容易摔倒的问题，尤其是带有视障的老人，控制模块对实时图像进行建立节点位置、计算姿态角度、判断姿态角度是否位于安全角度范围内，进而确定老人是否摔倒在厕所内，若老人摔倒时，则立即发送跌倒信号至输出设备，以便于老人可第一时间得到救援。
19.（2）在本发明创造中，控制模块对实时图像的处理流程较为简洁，可有效降低处理时间，降低了控制模块的设备要求，输出设备可将跌倒信号转换为声音、光、振动等形式，适合在各类用户群体和各类场所中推广，尤其适合在视障人群和老人当中推广，而且视障人群和老人也不一定需要穿戴tof相机、控制模块和输出设备。
20.（3）在本发明创造中，tof相机的拍摄范围内可对多个用户、多个目的地进行拍摄，可监测多个用户的姿态状况，因此本发明创造支持一对多使用，有助于降低了使用成本。
21.附图说明
22.图1是本发明创造的一种基于人工智能辅助用户至智能马桶的跌倒报警方法的步骤流程结构示意图；图2是本发明创造用于指引用户如厕的三视图；图3是本发明创造的tof相机在多个视角拍摄到的初始图像进行重叠的示意图；图4是本发明创造的tof相机在厕所内拍摄到的初始图像；图5是本发明创造的tof相机拍摄到用户站立厕所内的实时图像并且在用户上建立二维姿态的示意图；图6是本发明创造的tof相机拍摄到用户跌倒在厕所内的实时图像并且在用户上建立二维姿态的示意图；图7是本发明创造的根据图4的初始图像转换成的三维点云的俯视图；图8是本发明创造的根据图5的实时图像转换成的三维点云的俯视图；图9是本发明创造的基于图7建立初始安全区域模型的结构示意图；图10是本发明创造的一种基于人工智能辅助用户至智能马桶的跌倒报警装置的结构示意图。
23.图11是本发明创造的tof相机的结构示意图；图12是本发明创造的tof相机的剖面结构示意图；图13是本发明创造的tof相机的爆炸结构示意图；图14是本发明创造的智能马桶的结构示意图；图15是本发明创造的智能马桶的垫圈掀开在马桶座上的结构示意图；图16是本发明创造的一种基于人工智能辅助用户至智能马桶的跌倒报警方法的流程框架图；图中：1-tof相机、2-控制模块、3-输出设备、4-智能马桶、5-输入设备、11-机壳、12-连杆、13-壁板、14-控制主板、15-vcsel激光器、16-tof摄像头模组、17-盖板、18-led灯带、19-电动机、111-开口、112-弧形面、121-插槽、41-马桶座、42-垫圈、43-踏板。
24.具体实施方式
25.为了便于本领域技术人员的理解，下面结合附图和具体实施例对本发明创造作进一步描述。
26.如图1至图16所示，本发明创造提供了一种基于人工智能的辅助用户至智能马桶的跌倒报警装置，能够实现本发明的实施例提供的基于人工智能的辅助用户至智能马桶的跌倒报警方法中的所有步骤，用于解决用户跌倒后无人发现和报警的问题，避免用户摔倒后无法第一时间得到搀扶和救护的问题。
27.如图6所示，是本发明提供的一种基于人工智能的辅助用户至智能马桶的跌倒报警装置，包括tof相机、控制模块、输出设备和输入设备，输入设备、tof相机和输出设备分别通过无线通信的方式连接在控制模块上。
28.tof相机用于产生深度图像。tof相机是time of flight相机的缩写，属于一种深度传感器。深度图像指的是一种包含有深度数据的图像，可用于对场景进行三维重建。深度数据指的是场景的表面到视点的距离信息。场景指的是位于tof相机拍摄范围内的物体。视点指的是tof相机所在的位置。
29.深度图像包括初始图像和实时图像。初始图像指的是tof相机在初始场景内时拍摄到的图像。初始场景指的是墙壁、马桶、洗漱台等初始障碍物的位置基本上是固定不动的场景。实时拍摄的场景和初始场景作比较，场景中可能就多了用户和新增障碍物。用户一般指的是人，也可以是运动中的物体。新增障碍物指的是场景中除去初始障碍物外的障碍物。初始障碍物和新增障碍物统称为障碍物。在实际使用中，初始图像可进行预处理并预先设置在控制模块中，后续采集到的实时图像只需识别用户和新增障碍物即可。
30.如图2所示，为本路径规划装置用于指引用户如厕的三视图。tof相机安装在厕所内的墙面上，图中的阴影区域表示的是tof相机的拍摄范围，门、智能马桶、洗漱台和部分地面位于tof相机的拍摄范围内，用户可步入tof相机的拍摄范围内。厕所内的场景包括门、洗漱台、智能马桶、淋浴房、地面、墙面和用户等等。若用户需要如厕时，本基于人工智能的辅助用户至智能马桶的跌倒报警装置可在厕所内生成安全路径，带箭头的虚线用于表示厕所内的安全路径，安全路径的起点位置位于用户，安全路径的终点位置位于智能马桶。若tof相机在对厕所进行拍摄时，tof相机可产生深度图像，可用于对拍摄到的厕所内场景进行三维重建。
31.具体地，tof相机包括vcsel激光器、tof摄像头模组和控制主板。vcsel激光器用于发射激光的部件。vcsel激光器发射的激光为高性能脉冲光，脉冲可达到100mhz左右。tof摄像头模组用于将光信号转换为电信号的部件。vcsel激光器和tof摄像头模组分别电连接在控制主板上，控制主板用于对深度图像进行处理。相较于双目立体视觉相机或结构光相机，本tof相机具有较好的抗强光能力，精度受拍摄距离的影响较小，基本可以维持在cm级。
32.tof相机还包括机壳，vcsel激光器、tof摄像头模组和控制主板分别固定设置在机壳内，机壳内还固定设置有电动机，vcsel激光器、tof摄像头模组和电动机分别电连接在控制主板上，电动机的机轴上固定设置有壁挂架，壁挂架用于固定设置在墙壁或智能马桶上。
33.其中，机壳为中空的，机壳对vcsel激光器、tof摄像头模组、控制主板和电动机起
到防护作用。电动机用于将电能转换为机械能。若电动机工作时，电动机可带动机壳相对壁挂架转动，从而可调节vcsel激光器和tof摄像头模组在壁挂架上方向。vcsel激光器、tof摄像头模组和电动机分别电连接在控制主板上，控制主板用于控制vcsel激光器、tof摄像头模组和电动机的工作。
34.在实际使用中，壁挂架固定设置在智能马桶或厕所的墙壁上，电动机带动机壳相对壁挂架左右转动，tof摄像头模组可朝向不同的方向进行拍摄，从而提高了tof摄像头模组的可拍摄范围。
35.在本发明创造中，电动机可驱动机壳相对壁挂架转动，vcsel激光器可朝向不同的角度发射激光，tof摄像头模组可朝向不同的角度拍摄，进而提高了本tof相机的拍摄范围，有助于tof摄像头模组在厕所内进行全方位地拍摄，因此本发明创造具有拍摄范围广、成本低和结构精简的优点。
36.所述壁挂架包括壁板和连杆，连杆固定设置在壁板上，连杆的整体结构呈“l”字型，连杆的一端固定设置在壁板上，连杆的另一端固定设置在电动机的机轴上。
37.由于机壳需要相对于墙壁或智能马桶进行横向转动。在实际使用中，壁板固定设置在墙壁或智能马桶上，通过“l”字型的连杆的设计，电动机可带动vcsel激光器、tof摄像头模组相对墙壁横向转动。
38.所述电动机的机轴插接在连杆的一端，连杆的一端开设有插槽，电动机的机轴插设在插槽内。
39.通过电动机的机轴和连杆通过插接的方式连接，使用者无需借助工具，徒手即可拆装电动机和连杆。
40.具体地，插槽的横截面呈正六边形，电动机的机轴适配在插槽内，提高了电动机的机轴和连杆的连接牢固性。
41.所述机壳上开设有开口，vcsel激光器和tof摄像头模组分别朝向开口，机壳上固定设置有可透光的盖板，盖板盖设在开口上。
42.在实际使用中，vcsel激光器发出的激光可穿过盖板，外界的光可透过盖板照向tof摄像头模组。
43.还包括led灯带，led灯带电连接在控制主板上，tof摄像头模组的拍摄范围位于led灯的照明范围内。
44.在实际使用中，led灯带可照亮厕所，一方面避免用户发生看不清路况的问题，另一方面也有助于tof摄像头模组采集到清晰的深度图像。
45.所述led灯带固定设置在机壳上，机壳包括弧形面，led灯带环绕在弧形面上，便于led灯带朝向多个角度进行照明，提高了照明效果。具体地，开口开设在弧形面上。
46.控制模块用于接收初始图像、实时图像和请求信息。初始图像和实时图像来自于tof相机。请求信息来自于输入设备，请求信息包括目的地位置。若接收到实时图像时，在实时图像上建立用户的节点位置；若接收到用户的关节位置时，基于世界参考系和用户的关节位置生成用户的姿态角度；判断用户的姿态角度是否位于安全角度范围内；若用户的姿态角度超过安全角度范围时，则生成跌倒信号。
47.其中，用户的跌倒是一个身体姿态变化的过程，也可以是骨骼和关节一系列运动变化的过程。通过判断用户的关节的空间特征可判定用户的当前姿态，进而确定用户是否
跌倒。用户的节点位置指的是用于模拟用户的关节位置的坐标，作为一种空间特征。平面参考系指的是场景中绝对的坐标系。姿态角度指的是用于模拟用户在场景中的实际姿态。在一些方式中，采用卷积神经网络在实时图像上建立用户的关节位置。
48.具体地，利用卷积神经网络去估计实时图像中用户的二维姿态，用户的二维姿态指的是模拟实时图像中用户骨架的线条图，由若干段线条构成，若干段线条之间的交点以及线条的端点可模拟用户的关节节点。当获得用户的二维姿态时，可通过二维姿态的交点和端点的位置确定用户的关节位置。
49.在一些方式中，所述用户的节点位置包括头部、颈关节、肩关节、肘关节、手部、髋关节、膝关节、踝关节和盆骨关节。其中，位于用户上半身的节点位置作为优先的基准判断指标。若基于节点位置建立的姿态角大于人体正常情况的最大倾斜姿态角阈值时，控制模块快速响应并判断异常。
50.在一些方式中，所述世界坐标系基于实时图像的边缘线建立。
51.其中，实时图像的边缘线指的是整个实时图像的上、下、左和右边界线中的至少一个。而在实际使用中，由于tof相机事先安装在场景上，其位置是已经确定下来的，因此，实时图像的边缘线作为坐标系的坐标轴进行使用。如图3所示，为本发明tof相机在室内拍摄到的实时图像，以实时图像的下边缘线作为x坐标轴，实时图像的左边缘线作为y坐标轴。图4中用户的姿态为站立的，图5中用户的姿态为跌倒的，图中用户上的若干线条为用户的二维姿态。
52.在一些方式中，所述若接收到世界参考系和用户的关节位置时，基于实时图像的世界参考系和用户的关节位置生成用户的姿态角度的步骤，包括：若接收到用户的关节位置时，则将用户的关节位置转换为姿态线；若接收到姿态线时，则基于姿态线和世界参考系生成用户的姿态角度。
53.其中，姿态线用于模拟用户的姿态，便于后续计算姿态角度。姿态线根据用户的关节位置进行确定。
54.具体地，姿态线根据下列方法进行确定：首先在两个髋关节位置之间构建连线或两个膝关节位置之间构建连线或两个踝关节之间构建连线，最后在颈关节位置和两个髋关节位置之间连线的中点之间构建连线或在颈关节位置和两个膝关节位置之间连线的中点之间构建连线或在颈关节位置和两个踝关节位置之间连线的中点之间构建连线，在颈关节位置和两个髋关节位置之间连线的中点之间构建连线或在颈关节位置和两个膝关节位置之间连线的中点之间构建连线或在颈关节位置和两个踝关节位置之间连线的中点之间构建连线可作为姿态线。
55.上述中，姿态角指的是姿态线和世界参考系的坐标轴之间的夹角。在本实施例中，采用实时图像的下边缘线作为世界参考系的x坐标轴，姿态角为姿态线和实时图像的下边缘线之间的夹角。
56.以在颈关节位置和两个髋关节位置之间连线的中点之间构建连线为姿态线时。若姿态角超过安全角度范围时，则判定用户摔倒。若姿态角位于安全角度范围内时，则判定用户未摔倒。
57.以在颈关节位置和两个膝关节位置之间连线的中点之间构建连线为姿态线。若姿态角超过安全角度范围时，则判定用户摔倒。若姿态角位于安全角度范围内时，则判定用户
未摔倒。
58.以在颈关节位置和两个踝关节位置之间连线的中点之间构建连线为姿态线。若姿态角超过安全角度范围时，则判定用户摔倒。若姿态角位于安全角度范围内时，则判定用户未摔倒。
59.由于tof相机拍摄的实时图像可能只拍到部分用户的问题，这就导致了控制模块只能模拟部分关节位置。为了解决上述问题，本发明创造通过判断哪些关节位置存在在实时图像中，再确定使用哪些关节位置用以生成姿态线。具体地，先判断两个髋关节是否同时存在，若两个髋关节同时存在，则以在颈关节位置和两个髋关节位置之间连线的中点之间构建连线为姿态线；若不存在两个髋关节时，再判断两个膝关节是否同时存在；若两个膝关节同时存在时，则以在颈关节位置和两个膝关节位置之间连线的中点之间构建连线为姿态线；若不存在两个膝关节时，则以在颈关节位置和两个踝关节位置之间连线的中点之间构建连线为姿态线。
60.在一些方式中，若接收到来自tof相机的实时图像时，则判定智能马桶的马桶座位置和用户的髋关节位置；判断髋关节位置是否高于马桶座位置；若髋关节位置高于马桶座位置时，则判定用户摔倒；若髋关节位置低于马桶座位置时，则判定用户未摔倒。在本实施例中，采用用户的姿态角和髋关节位置判定用户是否摔倒，起到双重判定的效果，提供了系统对摔倒检测的精确性。
61.在一些方式中，控制模块还可以在实时图像中追踪用户的节点状态，通过关节节点的状态判断用户姿态是否异常。具体地，假设关节节点为k个，关节节点的状态包括位置、速度、运动角度和方向，t时刻下的运动状态为。关节节点之间具有相互约束条件，其中，优先以上半身的头部、肩关节和颈部等关节节点状态上增加注意力权重，而在关节节点的状态上添加了注意力权重，按从上到下的速度通过计算得到处理单帧深度图像的速度为p1帧/秒，则根据不同时刻t下的状态进行计算，计算每帧图像中的物体所在位置，根据每帧位置以及上一帧位置的相差值，进行速度匹配，获得多个数据的10帧数据滑动平均值，运动角度方向为该帧位置与上帧图像位置的方向向量，并存储为行走过程中的方向向量。根据跌倒的一系列动作，采集多帧状态值进行存储判断，当向前或者向后跌倒，上半身的的关节点会有个瞬间突变的位置与速度，追踪优先级关节点的轨迹路径，结合下半身的深度信息变化慢，而上半身的深度信息变化快，根据状态量的五个数值进行综合判断，确定姿态异常。
62.在一些方式中，控制模块还用于若接收到来自于tof相机的初始图像时，则将初始图像转换成初始安全区域图像；若接收到来自tof相机的实时图像时，则分割初始安全区域图像映射在实时图像上的部分作为实时检测区域图像；若接收到实时检测区域图像时，根据初始安全区域图像和实时检测区域图像生成安全区域模型；若接收到实时检测区域图像时，则判断实时检测区域图像上是否有用户图像；若实时用户图像上有用户图像时，则在实时检测区域图像上分割出用户图像；若接收到实时检测区域图像上分割出的用户图像时，则将用户图像转换成用户位置若接收到来自输入设备的请求信息时，在实时安全区域模型上生成有用户位置至目的地位置的安全路径。
63.需要说明的是，本基于人工智能的辅助用户至智能马桶的跌倒报警装置主要应用在室内场景下使用。例如，若室内场景是厕所时，本基于人工智能的辅助用户至智能马桶的
跌倒报警装置可以为用户规划如厕、沐浴、洗漱等的路径。解决了用户由于视障、室内光线差和障碍物乱堆放等问题而造成移动不便、容易被绊倒等问题。其中，视障指的是全盲、半盲或有视力障碍的人等。安全区域指的是除去障碍物位置后的地面区域以及地面上方的区域。若用户在安全区域上行走时，用户不会碰到障碍物，从而达到避障的效果。若用户在安全区域外行走时，用户极有可能磕碰在障碍物上，进而造成用户摔倒的问题。若用户摔倒时，极有可能造成擦伤、磕碰、骨折甚至晕厥等伤情，尤其是对75岁以上的用户更加容易造成严重的伤情。
64.其中，控制模块为集成芯片。由于tof相机的拍摄范围有限，若需要对拍摄到的整个场景进行三维重建时，存在无法很好地通过单个视角的图像表达整个场景的问题。为了解决上述问题，控制模块接收到的深度图像可以是tof相机在单个视角下拍摄到的深度图像也可以是tof相机在多个视角下拍摄到的深度图像。例如，若tof相机在采集初始场景的图像时，tof相机可在多个视角上拍摄初始场景并产生多个视角的初始图像，由于多个视角下拍摄到的初始图像存在重叠区域，通过将多张初始图像的重叠区域重叠在一起，多张初始图像可合并呈单张初始图像，用于解决初始图像无法很好地进行三维重建的问题。而在实时场景中，只需处理实时图像中的实时检测区域图像，为了降低控制模块的处理负载，tof相机只需采集单个视角上的图像即可。
65.初始安全区域图像指的是用于模拟初始安全区域的深度图像。初始安全区域指的是不包含初始障碍物的地面区域以及地面区域上方的区域。若初始安全区域内没有新增障碍物并且用户在初始安全区域上行走时，用户不会碰到初始障碍物。若用户在安全区域外行走时，用户极有可能碰到障碍物。初始障碍物指的是在场景中确定下来且固定不动的障碍物。初始障碍物可以包括墙壁、马桶、洗漱台、淋浴房等等。
66.实时检测区域图像指的是在实时图像上和安全区域图像位置相同的部分。在本实施例中，采用映射的方法将实时检测区域图像从实时图像上分割出来。若初始安全区域图像映射在实时图像上时，沿着初始安全区域图像的轮廓将实时图像上的被映射部分分割出来。
67.用户图像指的是用于模拟用户的深度图像。由于tof相机存在拍摄范围的限制，用户图像可以是模拟整个用户的深度图像，也可以是模拟用户一部分的深度图像。
68.用户位置指的是用于表示用户模型在实时安全区域模型内的位置，进而表示用户在场景内的实际位置。用户模型指的是用于实时模拟用户的三维网格模型。用户具体地可以是人或者运动物体。目的地位置指的是用于表示目的地模型在实时安全区域模型内的位置。目的地模型指的是用于模拟目的地的三维网格模型。目的地可以是障碍物或者具体的坐标位置。
69.三维网格模型指的是由多边形集合定义的，用以表示三维模型表面轮廓的拓扑和空间结构。多边形可以是三角形。例如，若tof相机的拍摄场景为厕所时，控制模块根据模拟厕所的深度图像建立的三维网格模型用以模拟厕所内的场景。
70.采用自适应高斯混合算法实时判断检测区域图像上是否有用户图像。自适应高斯混合算法又称为agmm检测模型算法，在传统的高斯混合算法中加入对背景高斯分布的先验判断和更新率的择优机制。自适应高斯混合算法可对图像中多个用户进行同时判断和区分。在实时图像中，由于用户具有锐利的边缘线，通过边缘检测对实时图像中的用户图像进
行粗分割获得用户图像的粗边缘轮廓。在通过深度信息将粗边缘轮廓进行细分割获得用户图像的细边缘轮廓，去除细边缘轮廓中的离散点，细边缘轮廓内的图像即为用户图像，沿着细边缘轮廓分割即可将用户图像从实时图像中分割出来。
71.安全路径指的是从起始位置到终点位置的较为安全的路径，安全路径位于实时安全区域模型上，起点位置为用户位置，终点位置为目的地位置。若用户位置沿着安全路径移动时，用户位置不会碰到初始障碍物模型和新增障碍物模型并且最终安全到达目的地位置。若用户位置不沿着安全路径移动时，用户位置极有可能碰到障碍物。在实际使用中，用户可参照安全路径的轨迹在实时场景内行走，从而可安全到达目的地。
72.在一些方式中，所述将初始图像转换成初始安全区域图像的步骤，具体包括：若接收到初始图像时，则对初始图像进行三维重建并建立初始三维网格模型；在初始三维网格模型上分割出初始安全区域模型；将初始安全区域模型转换成初始安全区域图像。
73.其中，初始安全区域模型指的是用户模拟初始安全区域的三维网格模型。
74.在一些方式中，若接收到初始图像时，则对初始图像进行三维重建并建立初始三维网格模型的步骤，具体包括：若接收到初始图像时，则对初始图像进行预处理并转换成初始三维点云；若接收到初始三维点云时，则对初始三维点云进行预处理并建立初始三维点云的法向量；若接收到带有法向量的初始三维点云时，则利用icp算法估计相机位姿；若接收到相机位姿时，则根据相机位姿对带有法向量的初始三维点云进行点云融合并生成初始融合点云；若接收到初始融合点云时，则利用泊松重建算法将初始融合点云转换成初始三维网格模型。
75.其中，利用icp算法估计相机位姿具体为，接收tof相机拍摄到的多个视角的初始图像，并将多个视角的初始图像转换为多个视角的带有法向量的初始三维点云，多个视角的带有法向量的初始三维点云中，利用上一视角的带有法向量的初始三维点云和下一视角的带有法向量的初始三维点云进行匹配，匹配过程为先提取带有法向量的初始三维点云中的关键点进行粗匹配，然后再进行精匹配，如此迭代，从而求解出相机位姿，最后对求解的相机位姿进行图优化和后端优化处理获得最终的相机位姿。
76.具体地，假设tof相机拍摄到的三个视角的初始图像为a1、b1和c1，分别进行1/2和1/4下采样，生成a2，b2，c2和a3，b3，c3，对应的三维点云用apj，bpj，cpj表示，点云单位方向量用anj，bnj，cnj，j取1，2，3，表达采样后的level层数，依次进行将a3与b3、a3与c3的重叠区点云粗匹配，粗匹配的过程经过遍历重叠区点云i,最小化投影差。根据最小化公式（r3*bp3i t3)*bn3-ap3i*an3i计算出旋转矩阵r3与平移矩阵t3，利用旋转矩阵将非重叠区投射上a3，生成立方体v3。将r3与t3作为r2与t2的初始值带入公式（r2*bp2i t2)*bn2-ap2i*an2i并进行最小优化，再将r2与t2带入r1与t1的初始值（r1*bp1i t1)*bn1-ap1i*an1i并进行最小优化，求得最终的r1与t1，根据r1、t1和重叠区点云坐标进行计算获得非重叠区的点云坐标，完成匹配后，分别生成三个尺度图像的三维模型v1、v2、v3，正视角va1、va2、va3属于v1、v2、v3的子集，针对v3与经过补空洞之后的a3、b3、c3，进行地面、墙壁、初始障碍物等
三维模型的检测，获得背景区域进行位置标记，生成初始安全区域模型，标记初始安全区域模型的坐标,将初始安全区域与正视角下的三维模型合并，生成正视场角下的初始安全区域三维模型，将初始安全区域坐标分别映射回正视角下的va3,即vsafe3，有无人体及临时障碍物（扫把，凳子等），将初始安全区域坐标分别映射回正视角下的va2，即vsafe2；进行路径规划将初始安全区域坐标分别映射回正视角下的va1，即vsafe1；进行跌倒检测。
77.另外，初始图像经过预处理后，可通过坐标系转换计算出三维点云。三维点云是基于相机坐标系的像素的三维坐标。
78.在一些方式中，所述若接收到初始图像时，则对初始图像进行预处理并转换成初始三维点云的步骤，包括：若接收到初始图像时，对初始图像进行去噪和空洞修复处理；将去噪和空洞修复后的初始图像转换成初始三维点云。
79.由于tof相机在拍摄过程中，容易产生拍不全整个用户、用户的衣着反光等原因造成初始图像空洞的问题，为了解决初始图像上的空洞，需要对初始图像进行空洞修复。初始图像的空洞指的是在初始图像上深度信息为0的像素点。对初始图像进行空洞修复指的是搜索初始图像中的空洞，确定空洞中心的位置和空洞的边缘位置，对空洞的边缘向外膨胀3个像素点，获取三圈环形轮廓的深度信息及其深度信息的变化量，生成穿过空洞中心的直径线，直径线从八领域方向按螺旋曲线方式依次搜索周围有效像素值，并且根据三圈环形轮廓距离值变量，建立一个包含距离值和权重的空洞函数，根据空洞函数补全空洞上的深度信息。转换而成的初始三维点云的坐标是基于相机坐标系的。
80.还可对tof相机在采集到的深度图像进行下采样和图像金字塔算法处理，有助于对tof相机的深度图像后续进行图像识别、图像分割和图像转换等等处理。深度图像的下采样指的是将原始比例的深度图像分别进行1/2、1/4等比例缩放图像，降低特征的维度并保留有效信息，一定程度上避免过拟合，保持旋转、平移、伸缩不变形。假设原始比例的深度图像称为level1图像，缩放1/2比例后的初始图像称为level2图像，缩放1/4比例后的深度图像称为level3图像。level1图像为原图，具有高清晰度的像素点，可用于确定用户的姿态检测，例如判断用户是否摔倒。level2图像的清晰度低于level1图像，却高于level3图像，对level2图像进行去噪处理后，可用于运动物体的追踪。level3图像相较于level1图像和level2图像，清晰度最低，可用于空洞修复和背景的三维重建。
81.在一些方式中，所述若接收到初始三维点云时，则对初始三维点云进行预处理并建立初始三维点云的法向量的步骤，包括：若接收到初始三维点云时，则对初始三维点云进行滤波；计算滤波后初始三维点云的法向量。
82.其中，初始三维点云的滤波可采用体素滤波算法、双边滤波算法、半径滤波算法、高斯滤波算法中的至少一种。例如若初始三维点云的滤波采用半径滤波算法时，确定初始三维点云的中心点位置和任意三维点的位置，估计任意三维点和中心点位置之间的距离并计算上述距离的均值，判断一三维点和中心点位置之间的距离是否在均值减去n倍标准差之内。若该三维点在均值减去n倍标准差之内时，则保留该三维点。若该三维点不在均值减去n倍标准差之内时，则该三维点为离散点，去除该三维点。计算滤波后的初始三维点云的法向量指的是确定初始三维点云的夹角方向和正负号。其中初始三维点云的正负号采用如
下方式得出：先计算模型表面的距离信息，根据模型表面的距离信息生成表面指示函数，物体表面上的三维点云的正负号为0，物体表面前的三维点云的正负号为负，物体表面后的三维点云的正负号为正。
83.在一些方式中，所述在初始三维网格模型上分割出初始安全区域模型的步骤，具体包括：若接收到三维网格模型时，则在三维网格模型上分割出初始障碍物模型和背景模型；若接收到初始初始障碍物模型和背景模型时，则在背景模型上分割出初始安全区域模型，初始障碍物模型不在初始安全区域模型上。
84.其中，初始障碍物模型指的是用于模拟初始障碍物的三维网格模型。背景模型指的是用于模拟地面的三维网格模型。由于初始障碍物模型的边缘较为尖锐多边，而背景模型的边缘较为平直，通过交互式图像分割方法可将初始障碍物模型和背景模型分别从三维网格模型上分割出来。确定初始初始障碍物模型和背景模型之后，可在背景模型除去障碍物模型以确定初始安全区域模型。
85.在一些方式中，所述根据初始安全区域图像和实时检测区域图像生成实时安全区域模型的步骤，具体包括：判断实时检测区域图像上是否有新增障碍物图像；若实时检测区域图像上有新增障碍物图像时，则将实时检测区域图像转换成实时安全区域模型；若实时检测区域图像上没有新增障碍物图像时，则将初始安全区域模型作为实时安全区域模型。
86.其中，新增障碍物图像指的是用于模拟新增障碍物的深度图像。实时安全区域模型指的是用于模拟实时安全区域的三维网格模型。实时安全区域指的是实时场景内可供用户安全通行的区域。若用户在实时安全区域内通行时，用户可安全地通行。若用户在实时安全区域外通行时，用户极有可能发生磕碰初始障碍物和新增障碍物的问题。
87.具体地，初始安全区域模型采用如下方法生成：确定地面位置gi、墙壁位置wi和初始障碍物位置bi，将上述的位置进行边缘拟合形成线段，并对线段进行延伸并相交，从而多个线段围合成一闭合的多边形区域，该多边形区域即为安全区域region，该多边形可称为安全区域的骨架。将而安全路径采用如下方法生成：确定起点位置的出发方向，计算起点位置一侧安全区域的边缘线之间的夹角、起点位置另一侧安全区域的边缘线之间的夹角和起点位置两侧的边缘线的端点，根据两个夹角和四个端点进行第一次圆拟合，确定第一次拟合的圆的圆心位置和半径长度，将起点位置和该圆心位置相连形成第一路径s1；再确定上述圆心的出发方向，重复上述操作，形成第二路径s2；如此往复，直至终点位置，s1、s2、s3
…
相连在一起构成的路径即为安全路径，最后将安全区域模型和安全路径映射至深度图像上。
88.而实时安全区域模型采用如下方法生成：若实时检测区域图像上没有新增障碍物图像时，直接采用初始安全区域模型作为实时安全区域模型；若实时检测区域图像上有新增障碍物图像时，在初始安全区域模型生成方法基础上，确定新增障碍物位置ci，将地面位置gi、墙壁位置wi、初始障碍物位置bi和新增障碍物位置ci进行边缘拟合形成线段。
89.在一些方式中，所述将实时用户图像转换成用户位置的步骤，具体包括：若接收到实时用户图像时，则对实时用户图像进行三维重建并建立实时用户模型；将实时用户模型转换成用户位置。
90.其中，实时用户模型指的是用于实时模拟用户的三维网格模型。实时用户模型采用如下方法转换成用户位置：建立基于用户模型的最小外接立方体模型，确定最小外接立方体模型的重心投射在实时安全区域模型的地面上的位置，最小外接立方体模型的重心投射在实时安全区域模型的地面上的位置即为实时用户位置。障碍物位置、目的地位置均可采用上述方式进行转换。
91.在一些方式中，为了解决用户偏离安全路径，可能导致磕碰甚至摔倒的问题，本基于人工智能的辅助用户至智能马桶的跌倒报警装置还包括：利用卡尔曼滤波算法生成实时用户图像的预测位姿；若接受到预测位姿时，则利用人体运动追踪算法生成运动参数；判断运动参数是否超过安全参数范围；若安全参数超过安全运动范围时，则生成修正路径；若生成修正路径时，则将修正路径发送至输出设备。
92.其中，卡尔曼滤波算法基于卡尔曼滤波器对用户模型进行实时跟踪，利用三维点云数据的空间结构特点，采用自适应分层方法精准地确定用户模型的轨迹区域，可有效地解决遮挡跟踪、多目标跟踪、多方位跟踪等问题，并消除了卡尔曼滤波算法在后续跟踪过程中产生的累积误差，最终确保了高效的行人运动目标的检测和跟踪。预测位姿指的是未来某一时间上的用户模型的位姿。预测位置可以是一个位姿点或一段位姿轨迹。若未来某一时间为一段时间时，预测位置为一段时间内的位姿轨迹。若未来某一时间为一个时间点时，预测位姿为一个时间点上的位姿。在本实施例中，未来某一时间点为当前时间1秒以后的时间点。
93.上述中，安全参数范围指的是用户模型的预测位姿在安全区域上活动的一安全取值范围。若用户模型的预测位姿超过安全参数范围时，用户模型继续以当前状态进行运动时，用户模型极有可能发生碰撞的问题，相对的，在现实中，用户极有可能发生磕碰和摔倒的问题。
94.修正路径指的是用于在实时安全区域模型上模拟将用户回归至安全路径的路径。若用户参考修正路径进行行走时，用户可重新回到安全路径上。若用户不沿着修正路径行走时，极有可能发生磕碰甚至摔倒的问题。
95.在一些方式中，所述运动参数包括用户的位置、速度和朝向角度中的至少一种。
96.运动参数中的位置指的是用户模型预测位姿的坐标。另外，安全参数范围的定义如下：对安全区域的边缘线进行按照一定比例进行缩放生成第一区域，第一区域内的坐标作为第一集合，第一集合可定义为用户模型在安全区域内安全的活动区域。在安全路径的一侧一定距离生成一第一路径，在安全路径的另一侧一定距离生成一第二路径，第一路径和第二路径的相邻端点连接在一起构成第二区域，第二区域内的坐标作为第二集合，第二集合可定义为用户模型可偏离安全路径的安全活动范围。第一集合和第二集合的交集用于作为安全参数范围。运动参数中的速度指的是用户模型预测位姿的速度大小。运动参数中
的朝向角度指的是用户模型预测位姿的朝向角度。
97.在一些方式中，所述修正路径的起点位置为实时用户位置，修正路径的终点位置为安全路径上距离用户模型最近的位置。
98.其中，上述的修正路径为用户模型和安全路径之间最短的路径，有助于用户快速返回到安全路径上。
99.输入设备用于将声音、动能等转换为电信号发送至控制模块，可以是触摸屏、按键、话筒等设备。在本实施例中，输入设备为触摸屏。用户在输入设备上输入“如厕”的请求时，输入设备可将上述请求转换为包含目的地位置为智能马桶的请求信息。
100.输出设备，用于接收安全路径，安全路径为电信号。若输出设备接收到安全路径时，输出设备可将安全路径转换为声音、光、振动、温度中至少一种信号进行输出，用于指引用户沿着安全路径达到目的地。
101.相应地，输出设备包括播音器、显示器、振动器、加热器中的至少一种。
102.输出设备还用于接收修正路径，修正路径为电信号。若输出设备接收到修正路径时，输出设备可将修正路径转换为声音、光、振动、温度中至少一种信号进行输出，用于指引用户沿着修正路径并重返安全路径上。
103.为了提高智能马桶的智能化程度。智能马桶包括马桶座、可调节在马桶座上的垫圈厚度的智能马桶垫圈和可调节马桶座一侧的踏板高度的脚踏板。本控制模块还用于识别tof相机采集到的实时图像中用户的人体尺寸信息。控制模块通过用户的人体尺寸信息用于调节马桶座上的垫圈厚度和马桶座一侧的踏板高度。人体尺寸信息包括用户的膝关节高度、大腿长度、小腿长度和小腿和大腿之间的夹角。马桶尺寸信息包括马桶座高度。若接收到人体尺寸信息和马桶尺寸信息时，则调节智能马桶垫圈的厚度和脚踏板的高度，从而便于用户更加舒适地如厕。假设脚踏板的高度为h1、小腿长度为h2、马桶垫圈的厚度为h3、马桶座高度为h4、大腿长度为l1、小腿和大腿之间的角度为θ，其中，θ为常数且符合人体工程学的设计，脚踏板的高度调节可根据如下公式计算：h1=l1*cos(θ) h3 h4-h2。
104.具体地，马桶垫圈包括三个垫圈，三个垫圈分别铰接在马桶座的上方，并且三个垫圈可堆叠在马桶座上。若垫圈在马桶座上转动时，垫圈可掀开在马桶座上或堆叠在马桶座上。通过调节堆叠在马桶座上的垫圈数量，可达到调节马桶垫圈的厚度的效果。垫圈可通过第一电动机驱动，第一电动机可电连接在控制模块上，控制模块通过第一电动机控制堆叠在马桶座上的垫圈数量，提高了自动化程度。若马桶座上堆叠有一个垫圈时，马桶垫圈的厚度为h1；若马桶座上堆叠有两个垫圈时，马桶垫圈的厚度为2*h1；若马桶座上堆叠有三个垫圈时，马桶垫圈的厚度为3*h1。
105.控制模块还用于识别实时图像中的用户身份。用户的身份包括大人、小孩和客人。大人指的是录入在系统内且身高高于1.5m的用户，小孩指的是录入在系统内且身高矮于1.5m的用户，客人指的是未录入在系统内的用户。马桶座上自上而下依次可分为第一个垫圈、第二个垫圈和第三个垫圈，第一个垫圈的内孔较小且两侧带有扶手，第一个垫圈用于供小孩使用，第二个垫圈用于供大人使用，第三个垫圈用于供客人使用。若识别的用户为小孩时，则马桶座上设置第一个垫圈，通过脚踏板的高度调节公式确定脚踏板的高度。若识别的用户为大人时，则马桶座上设置第二个垫圈，通过脚踏板的高度调节公式确定脚踏板的高度。若识别的用户为客人时，则在马桶座上设置第三个垫圈，通过脚踏板的高度调节公式确
定脚踏板的高度。
106.脚踏板包括至少两个踏板，两个以上踏板堆叠在一起并且设置在马桶座的前方。通过调节堆叠在一起的踏板的数量，可达到调节脚踏板的高度的作用。踏板可相对于马桶座转动，若踏板相对马桶座转动时，相邻的踏板可相互分离或相互堆叠在一起，从而达到调节堆叠在一起踏板数量的作用。踏板可通过第二电动机驱动，第二电动机可电连接在控制模块上，控制模块通过第二电动机控制堆叠在一起的踏板数量，提高了自动化程度。
107.另外，控制模块还可以识别实时图像上用户模型的手势，根据用户模型的手势控制智能马桶进行马桶垫圈的加热、马桶的自动冲水、对马桶座的照明开启或关闭、马桶盖打开或关闭在马桶座上等等。例如，若手势为拳头时，则马桶盖打开在马桶座上；若手势为剪刀时，则自动对马桶进行冲水；若手势为掌时，则自动对马桶垫圈进行加热。
108.相应地，本发明实施例还提供了一种基于人工智能的辅助用户至智能马桶的跌倒报警方法，采用本发明的实施例提供的基于人工智能的辅助用户至智能马桶的跌倒报警装置进行执行，该方法用于实现规划用户在安全区域内的路径。
109.如图1所示，本发明的基于人工智能的辅助用户至智能马桶的跌倒报警方法的一个实施例的步骤流程示意图，包括：s1：接收来自tof相机的实时图像；s2：若接收到实时图像时，在实时图像上建立用户的节点位置；s3：若接收到用户的关节位置时，基于世界参考系和用户的关节位置生成用户的姿态角度；s4：判断用户的姿态角度是否位于安全角度范围内；s5：若用户的姿态角度超过安全角度范围时，则生成跌倒信号；s6：若生成跌倒信号时，则将跌倒信号发送至输出设备。
110.在一些方式中，采用卷积神经网络在实时图像上建立用户的关节位置。
111.在一些方式中，所述用户的节点位置包括头部、颈关节、肩关节、肘关节、手部、髋关节、膝关节、踝关节和盆骨关节，其中，位于用户上半身的节点位置作为优先的基准判断指标。若基于节点位置建立的姿态角大于人体正常情况的最大倾斜姿态角阈值时，控制模块快速响应并判断异常。
112.在一些方式中，所述世界坐标系基于实时图像的边缘线建立。
113.在一些方式中，所述若接收到世界参考系和用户的关节位置时，基于实时图像的世界参考系和用户的关节位置生成用户的姿态角度的步骤，包括：若接收到用户的关节位置时，则将用户的关节位置转换为姿态线；若接收到姿态线时，则基于姿态线和世界参考系生成用户的姿态角度。
114.在一些方式中，在颈关节位置和两个髋关节位置之间连线的中点之间构建连线或在颈关节位置和两个膝关节位置之间连线的中点之间构建连线或在颈关节位置和两个踝关节位置之间连线的中点之间构建连线可作为姿态线。
115.在一些方式中，先判断两个髋关节是否同时存在，若两个髋关节同时存在，则以在颈关节位置和两个髋关节位置之间连线的中点之间构建连线为姿态线；若不存在两个髋关节时，再判断两个膝关节是否同时存在；若两个膝关节同时存在时，则以在颈关节位置和两个膝关节位置之间连线的中点之间构建连线为姿态线；若不存在两个膝关节时，则以在颈
关节位置和两个踝关节位置之间连线的中点之间构建连线为姿态线。
116.在一些方式中，还包括：接收来自tof相机的初始图像；将初始图像转换成初始安全区域图像；若接收到实时图像时，分割初始安全区域图像映射在实时图像上的部分作为实时检测区域图像；根据初始安全区域图像和实时检测区域图像生成实时安全区域模型；判断实时检测区域图像上是否有用户图像；若实时用户图像上有用户图像时，则在实时检测区域图像上分割出用户图像；将用户图像转换成用户位置；接收来自输入设备的请求信息，请求信息包括目的地位置；在实时安全区域模型上生成由用户位置至目的地位置的安全路径。
117.在一些方式中，所述将初始图像转换成初始安全区域图像的步骤，具体包括：若接收到初始图像时，则对初始图像进行三维重建并建立初始三维网格模型；在初始三维网格模型上分割出初始安全区域模型；将初始安全区域模型转换成初始安全区域图像。
118.在一些方式中，若接收到初始图像时，则对初始图像进行三维重建并建立初始三维网格模型的步骤，具体包括：若接收到初始图像时，则对初始图像进行预处理并转换成初始三维点云；若接收到初始三维点云时，则对初始三维点云进行预处理并建立初始三维点云的法向量；若接收到带有法向量的初始三维点云时，则利用icp算法估计相机位姿；若接收到相机位姿时，则根据相机位姿对带有法向量的初始三维点云进行点云融合并生成初始融合点云；若接收到初始融合点云时，则利用泊松重建算法将初始融合点云转换成初始三维网格模型。
119.在一些方式中，所述若接收到初始图像时，则对初始图像进行预处理并转换成初始三维点云的步骤，具体包括：若接收到初始图像时，对初始图像进行去噪和空洞修复处理；将去噪和空洞修复后的初始图像转换成初始三维点云。
120.在一些方式中，所述若接收到初始三维点云时，则对初始三维点云进行预处理并建立初始三维点云的法向量的步骤，具体包括：若接收到初始三维点云时，则对初始三维点云进行滤波；计算滤波后初始三维点云的法向量。
121.在一些方式中，所述在初始三维网格模型上分割出初始安全区域模型的步骤，具体包括：若接收到三维网格模型时，则在三维网格模型上分割出初始障碍物模型和背景模型；若接收到初始初始障碍物模型和背景模型时，则在背景模型上分割出初始安全区
域模型，初始障碍物模型不在初始安全区域模型上。
122.在一些方式中，所述根据初始安全区域图像和实时检测区域图像生成实时安全区域模型的步骤，具体包括：判断实时检测区域图像上是否有新增障碍物图像；若实时检测区域图像上有新增障碍物图像时，则将实时检测区域图像转换成实时安全区域模型；若实时检测区域图像上没有新增障碍物图像时，则将初始安全区域模型作为实时安全区域模型。
123.在一些方式中，所述将实时用户图像转换成用户位置的步骤，具体包括：若接收到实时用户图像时，则对实时用户图像进行三维重建并建立实时用户模型；将实时用户模型转换成用户位置。
124.在一些方式中，本基于人工智能辅助用户至智能马桶的跌倒报警方法还用于解决用户偏离安全路径，还包括如下步骤：利用卡尔曼滤波算法生成实时用户图像的预测位姿；若接受到预测位姿时，则利用人体运动追踪算法生成运动参数；判断运动参数是否超过安全参数范围；若安全参数超过安全运动范围时，则生成修正路径；若生成修正路径时，则将修正路径发送至输出设备。
125.在一些方式中，所述运动参数包括用户模型的位置、速度和朝向角度中的至少一种。
126.在一些方式中，所述修正路径的起点位置为用户模型的当前位置，修正路径的终点位置为安全路径上距离用户模型最近的位置。
127.上述实施例仅为本发明创造的较佳实施例，并非依此限制本发明创造的保护范围，故：凡依本发明创造的结构、形状、原理所做的等效变化，均应涵盖于本发明创造的保护范围之内。