一种基于清洁机器人的摔倒检测方法及装置、清洁机器人与流程

1.本发明涉及清洁机器人技术领域，更为具体来说，本发明能够提供一种基于清洁机器人的摔倒检测方法及装置、清洁机器人。


背景技术：

2.随着智慧城市和智能家居的不断发展，有效地保护用户家中的老弱群体成为了一项非常重要的任务。以老人或小孩为例，如果独自在家中时发生摔倒情况，若不及时处理很可能会造成非常严重的后果。于是有人在家中安装了与智能手机相连的摄像头，通过远程监控的方式查看是否存在发生意外情况；但这种实现方式需要专人长时间关注或者定期查看，不仅无法满足实时性要求，而且人力投入成本过高。还有人提出通过人工智能结合家用摄像头方案，但是一般家用摄像头布置的数量为1-3个，即使专门布置成无死角监控形式，智能分析结果也会因获取的远近图像质量不同或算法本身容易出现误判的问题，难以投入实际应用，故亟待需要解决。
3.因此，如何能够实现准确、及时地对人体摔倒状态进行有效判断和检测，成为了本领域技术人员亟待解决的技术问题和始终研究的重点。


技术实现要素：

4.本发明的主要目的在于能够提供一种基于清洁机器人的摔倒检测方法及装置、清洁机器人，以提高用户摔倒检测效果的准确率和可靠性，降低误检测发生的概率和可能性。
5.为实现上述技术目的，本发明一个或多个实施例能够提供一种基于清洁机器人的摔倒检测方法，该摔倒检测方法可包括但不限于如下的一个或多个步骤。首先，通过清洁机器人实时识别目标图像，以得到图像识别结果；目标图像包括通过控制清洁机器人上的摄像装置采集的图像。其次，根据图像识别结果中存在人体数据，则生成目标图像的图像描述信息。再次，根据图像描述信息中包含人体摔倒信息，对所采集的目标图像进行人体关键点检测，以得到关键点检测结果。然后，根据关键点检测结果为人体摔倒结果，控制清洁机器人向该人体所处的当前位置导航行进。最后，本发明可通过清洁机器人与人体头部之间的距离最终判断人体是否摔倒。
6.为实现上述的技术目的，本发明实施例能够提供一种清洁机器人，该清洁机器人包括存储器、处理器以及存储于存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时实现本发明任一实施例中的基于清洁机器人的摔倒检测方法。
7.为实现上述的技术目的，本发明一些实施例还可提供一种基于清洁机器人的摔倒检测装置，该摔倒检测装置可包括但不限于目标图像识别模块、描述信息生成模块、关键点检测模块、导航行进控制模块以及摔倒最终判断模块。
8.目标图像识别模块，用于实时识别目标图像，以得到图像识别结果；目标图像包括通过控制清洁机器人上的摄像装置采集的图像。
9.描述信息生成模块，用于根据图像识别结果中存在人体数据，生成目标图像的图
像描述信息。
10.关键点检测模块，用于根据图像描述信息中包含人体摔倒信息，对目标图像进行人体关键点检测，以得到关键点检测结果。
11.导航行进控制模块，用于根据关键点检测结果为人体摔倒结果，控制清洁机器人向人体所处的位置导航行进。
12.摔倒最终判断模块，用于通过清洁机器人与人体头部之间的距离最终判断人体是否摔倒。
13.为实现上述的技术目的，本发明还能够提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行，以实现本发明任一实施例中的基于清洁机器人的摔倒检测方法。
14.为实现上述的技术目的，本发明实施例还可提供一种计算机程序产品，当计算机程序产品中的指令由处理器执行时，执行本发明任一实施例中的基于清洁机器人的摔倒检测方法。
15.本发明的有益效果为：本发明具体能够通过图像描述检测、关键点检测及距离检测三重递进判断手段保证了摔倒检测结果的可信赖性，基于可移动的清洁机器人采集图像的方式避免了通过安装大量摄像头避免死角的问题。本发明利用可智能移动的清洁机器人导航至人体附近进行最终的判断，以通过拉近摄像装置与人体的距离的方式极大地降低了误判可能性，提高摔倒检测结果的准确性和可靠性。本发明能够在准确判断出摔倒情况后立即通知相关人员，有效降低了老人或小孩摔倒后可能发生进一步危险的概率。本发明实现替代人员专门对老人或小孩的摔倒状态进行有效地监测，具有用户体验非常好、实现成本较低等突出优点。另外，本发明能够直接应用于清洁机器人设备上，为清洁机器人赋予了更智能化、更贴近用户需要的功能。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
17.图1示出了本发明一个或多个实施例中基于清洁机器人的摔倒检测方法的流程示意图。
18.图2示出了本发明一个或多个实施例中基于清洁机器人的摔倒检测方法的一种实施过程示意图。
19.图3示出了本发明一个或多个实施例中安装有摄像装置的清洁机器人的结构示意图。
20.图4示出了本发明一个或多个实施例中对图像中人体关键点进行标注后的结果示意图。
21.图5示出了本发明一个或多个实施例中将所生成的图像描述信息发送给相关用户的示意图。
22.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
23.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.鉴于现有的智能化摔倒检测方案存在的误判率较高、投入成本高及难以投入实际应用等弊端，本发明能够提供一种基于清洁机器人的摔倒检测方法及装置、清洁机器人，以有效克服现有摔倒检测技术中存在的至少一个问题。
25.如图1所示，并可结合图2，本发明一个或多个实施例可提供一种基于清洁机器人的摔倒检测方法。本发明与清洁机器人相结合的摔倒检测方法包括但不限于如下的至少一个步骤，具体说明如下。
26.首先，实时识别目标图像，以得到图像识别结果；目标图像包括通过控制清洁机器人上的摄像装置采集的图像，可知本发明中可移动的清洁机器人具有图像采集功能，可移动的清洁机器人上安装有用于采集图像的摄像装置。
27.其次，根据图像识别结果中存在人体数据，生成存在人体数据的目标图像的图像描述信息。可见本发明能够对包含人体目标的目标图像进行图像描述处理，以得到包含人体的目标图像的描述信息，进而进行摔倒状态判断。
28.如图5所示，本发明一些实施例可对包含标识物的图像进行描述，标识物能够进行自定义设置，本发明实施例中的标识物为人体，则对包含人体的图像进行图像描述。本发明通过上述的方式能够有针对性地处理清洁机器人获取的图像，即只对包含人体的图像进行图像描述处理，以避免处理机器人获取的所有图像导致的处理速度慢和对设备计算能力要求过高的问题。可理解的是，本发明实施例或可对用户标记的多个关注目标进行图像描述，这些关注目标可包括标识物，也可包括其他目标，例如家中的宠物、燃气灶等，并能将这些关注目标发送至用户设备，以便于用户快速了解其所关注的目标；可见本发明能够通过关注目标描述信息快速掌握实时情况，而无需通过图像或视频人工甄别，减少了人力成本投入。
29.再次，根据图像描述信息中包含人体摔倒信息，对目标图像进行人体关键点检测，以得到关键点检测结果。
30.如图4所示，本发明一个或多个实施例中根据关键点检测结果为人体摔倒结果具体包括：获取人体头部关键点的第一纵坐标和人体脚部关键点的第二纵坐标，计算第一纵坐标与第二纵坐标的差值d；最后根据差值d小于第三预设值确定关键点检测结果为人体摔倒结果。应当理解的是，本发明实施例中基于图像描述判断和基于关键点检测结果判断的人体摔倒结果均为人体可能摔倒结果，即当前判断结果并非最终判断结果。
31.图4中示意了17个关键点p0～p16，这些关键点及坐标分别为p0(x0，y0)，p1(x1，y1)，p2(x2，y2)，p3(x3，y3)，p4(x4，y4)，p5(x5，y5)，p6(x6，y6)，p7(x7，y7)，p8(x8，y8)，p9(x9，y9)，p10(x10，y10)，p11(x11，y11)，p12(x12，y12)，p13(x13，y13)，p14(x14，y14)，p15(x15，y15)，p16(x16，y16)。各个关键点分别表示人体上主要可识别位置，例如，使用p0(x0，y0)可用于表示人体鼻子所在位置、p3(x3，y3)和p4(x4，y4)可用于表示人体双耳所在位置，位置序号可根据实际情况进行设定，当然不限于此。本发明实施例可利用y0用于表示人体
头部关键点的第一纵坐标，并利用(y15 y16)/2用于表示人体脚部关键点的第二纵坐标，则本发明实施例中的第一纵坐标与第二纵坐标的差值d＝|(y15 y16)/2－y0|，进而根据d＝|(y15 y16)/2－y0|与第三预设值的比较结果判断人体是否可能摔倒。
32.然后，根据关键点检测结果为人体摔倒结果，控制清洁机器人向人体所处的位置导航行进。本发明借助于清洁机器人的自由移动特性，可达到拉进摄像装置与人体之间距离的目的，进而实现更精准地进行摔倒检测和判断。
33.可选地，本发明实施例控制清洁机器人向人体所处的位置导航行进包括：基于目标图像在像素坐标系中识别出人体位置的第一坐标，本发明实施例的第一坐标为像素坐标系中的坐标；接着可以根据像素坐标系向相机坐标系的转换，确定人体位置的第二坐标，本发明实施例的第二坐标为相机坐标系中的坐标；然后可根据相机坐标系向地图坐标系的转换，进而确定人体位置的第三坐标，本发明实施例中的第三坐标为地图坐标系中的坐标，该坐标可直接用于清洁机器人的路径导航；本发明可基于生成的人体位置的第三坐标控制清洁机器人向第三坐标移动，以使清洁机器人与第三坐标之间的距离为第二预设值，本发明实施例第二预设值可根据实际应用情况的需要进行设置，例如18cm等，当然并不限于此。
34.应当理解的是，由像素坐标系向相机坐标系的转换、由相机坐标系向地图坐标系的转换所使用的具体公式或算法，本发明能够根据摄像装置参数、导航地图参数等进行合理设定，以实现坐标转换目的为准，本发明不再进行赘述。
35.最后，通过清洁机器人与人体头部之间的距离最终判断人体是否摔倒，即本发明具体实施时经过三重判断结果均为摔倒的情况下才最终确认人体当前处于摔倒状态。
36.具体地，本发明通过清洁机器人与人体头部之间的距离最终判断当前的人体是否摔倒包括：确定本发明清洁机器人上的摄像装置与人体头部之间的距离，根据该距离判断是否摔倒。具体可根据清洁机器人上摄像头与人体头部之间的距离小于或等于预设值，则摔倒检测结果为人体摔倒；或者本发明根据摄像装置与人体头部之间的距离大于第一预设值，则摔倒检测结果为人体未摔倒。可理解的是，本发明实施例中的第一预设值可根据清洁机器人的尺寸、具体使用环境以及目标用户身高等因素而具体设定，例如35cm等，当然不限于此。
37.可选地，本发明实施例中确定清洁机器人与人体头部之间的距离过程可包括：通过双目摄像头进行测距，双目测距过程具体可包括对双目摄像机进行标定的步骤、对双目摄像机进行校正的步骤、对双目摄像头进行匹配的步骤以及计算深度信息的步骤等，以能准确地确定人体头部到摄像头的距离；当然，本发明实施例也可采用3d tof(3d time of flight，飞行时间法3d成像)方式直接获取深度信息，从而直接确定人体头部到摄像头的距离。在本发明已公开内容基础上，可根据产品成本或设计需要选择合适的测距手段，具体测距手段包括但不限于红外线测距方案等，以能够实现本发明当前的技术目的为准，即实现测距目的为准。
38.如图2所示，本发明一个或多个实施例还可包括如下步骤：根据最终判断结果为人体摔倒，控制清洁机器人上的摄像装置采集人脸图像，并对人脸图像进行图像识别处理，具体能够使用pcn(progressive calibration network，级联校正网络)算法中带角度的人脸检测算法(real-time rotation-invariant face detection and tracking，逐步校正不同角度的人脸)，以得到人脸识别结果。当然本发明也可通过pcn算法矫正人脸后采用分类
算法(例如cnn模型中的轻量化网路mobilenet v2或shufflenet v2或resnet等，cnn是指convolutional neural networks-卷积神经网络)实现对人脸年龄或身份的识别，当然并不限于此，以能够实现人脸检测目的为准。本发明能够通过人脸识别结果得到年龄信息、身份信息、实时面部表情等结果中的至少一种，身份信息例如包括老人或小孩。
39.可选地，本发明一个或多个实施例还可包括通过清洁机器人智能求救的步骤。具体可包括：根据最终判断结果为人体摔倒，控制清洁机器人发出求救信息，求救信息可包括但不限于向指定终端发送摔倒告知信息、图像描述信息或者拨打的求助电话信息等，例如拨打120后可通过智能语音发出用户住址、年龄等情况后直接进行求助。
40.如图3所示，与摔倒检测方法基于同一发明技术构思，本发明还能够提供一种具有摄像装置的清洁机器人。该清洁机器人具体包括存储器、处理器以及存储于存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本发明任一实施例中的基于清洁机器人的摔倒检测方法。其中涉及的摔倒检测方法已在本说明书中有详细记载，此处不再进行赘述。
41.应当理解的是，本发明实施例中所涉及的清洁机器人包括但不限于智能扫地机器人、智能拖地机器人、智能吸尘器等用于清洁类场景的智能清洁设备中的至少一种。
42.相比于传统的清洁机器人仅具有清洁的功能，本发明结合人工智能技术赋予了清洁机器人图像采集、图像识别及描述、关键点检测、基于图像识别向目标导航行进、摔倒检测等功能，以使清洁机器人作为家庭中的“成员”发挥更重要的作用，替代用户实现对老人或小孩摔倒的监测和在识别出摔倒情况发生时立即进行报警，用户体验极佳。
43.与本发明的摔倒检测方法基于相同的技术构思，本发明还能够具体提供一种基于清洁机器人的摔倒检测装置。与检测方法相对应，本发明一个或多个实施例的基于清洁机器人的摔倒检测装置具体包括但不限于目标图像识别模块、描述信息生成模块、关键点检测模块、导航行进控制模块及摔倒最终判断模块，该装置详细说明如下。
44.目标图像识别模块可用于实时识别目标图像，以得到图像识别结果；其中目标图像包括通过控制清洁机器人上的摄像装置采集的图像。
45.描述信息生成模块用于根据图像识别结果中存在人体数据生成目标图像的图像描述信息。
46.关键点检测模块可用于根据图像描述信息中包含人体摔倒信息，对目标图像进行人体关键点检测，以得到关键点检测结果。关键点检测模块具体能够用于获取人体头部关键点的第一纵坐标和人体脚部关键点的第二纵坐标，并用于计算第一纵坐标与第二纵坐标的差值，以及用于根据第一纵坐标与第二纵坐标两者的差值小于第三预设值确定关键点检测结果为人体摔倒结果，该结果为可能摔倒结果。
47.导航行进控制模块能够用于根据关键点检测结果为人体摔倒结果，控制清洁机器人向人体所处的位置导航行进。本发明实施例中的导航行进控制模块具体可用于基于目标图像在像素坐标系中识别出人体位置的第一坐标，并用于根据像素坐标系向相机坐标系的转换确定人体位置的第二坐标，以及可用于根据相机坐标系向地图坐标系的转换确定人体位置的第三坐标。然后该导航行进控制模块用于控制清洁机器人向人体位置的第三坐标移动，以使本发明清洁机器人与第三坐标之间的距离为第二预设值。
48.摔倒最终判断模块用于通过清洁机器人与人体头部之间的距离最终判断人体是
否摔倒。摔倒最终判断模块具体用于确定清洁机器人上的摄像装置与人体头部之间的距离，并用于根据摄像装置与头部的距离小于或等于预设值，判断摔倒检测结果为人体摔倒；或用于根据摄像装置与头部的距离大于第一预设值，则判断摔倒检测结果为人体未摔倒。
49.可选地，本发明一个或多个实施例中的摔倒检测装置还可包括人脸识别模块，该人脸识别模块用于根据最终判断结果为人体摔倒控制清洁机器人上的摄像装置采集人脸图像，并用于对采集的人脸图像进行图像识别处理，以得到目标人脸识别结果，以及用于通过人脸识别结果得到年龄信息、身份信息中的至少一种。
50.可选地，本发明实施例中的摔倒检测装置还可包括求救信息发出模块，该求救信息发出模块用于根据最终判断结果为人体摔倒，然后可由清洁机器人发出求救信息。
51.与基于清洁机器人的摔倒检测方法基于同一技术构思，本发明还可提供一种计算机可读存储介质，该介质上存储有计算机程序，计算机程序被处理器执行，以实现本发明任一实施例中的基于清洁机器人的摔倒检测方法。其中，基于清洁机器人的摔倒检测方法已在本说明书中有详细的描述和记载，此处不再进行赘述。
52.与本发明中的摔倒检测方法基于同一发明技术构思，本发明还能够提供一种计算机程序产品，当计算机程序产品中的指令由清洁机器人处理器执行时，执行本发明一个或多个实施例的基于清洁机器人的摔倒检测方法。其中，基于清洁机器人的摔倒检测方法已在本说明书中有详细的描述和记载，此处不再进行赘述。
53.综上所述，本发明基于清洁机器人进行图像采集、识别以及描述，并进行关键点检测和进一步距离检测，从而通过多次的递进式判断方案确保本发明的摔倒检测结果的可靠性和准确性。相比于现有室内安装一个或多个摄像头的方案，基于可移动的清洁机器人采集图像的方式避免了通过安装大量摄像头避免死角的问题。本发明实施例利用可智能移动的清洁机器人导航至人体附近进行最终的摔倒判断，以通过拉近清洁机器人摄像装置与人体的距离的方式极大地降低了误判可能性，提高摔倒检测结果的准确性和可靠性。本发明还能够在准确判断出摔倒情况后立即通知相关人员，包括家人或救护人员等，从而有效降低了老人或小孩摔倒后可能发生进一步危险的概率。本发明实现替代人员专门对老人或小孩的摔倒状态进行有效监测，可见本发明具有用户体验非常好、实现成本较低等突出优点。另外，本发明提供的技术方案可直接应用于清洁机器人设备上，从而实现为清洁机器人赋予更智能化、更贴近用户实际需要的功能。
54.在本说明书的描述中，参考术语“本实施例”、“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
55.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
56.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读存储介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram，random access memory)，只读存储器(rom，read-only memory)，可擦除可编辑只读存储器(eprom，erasable programmable read-only memory，或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom，compact disc read-only memory)。另外，计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
57.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga，programmable gate array)，现场可编程门阵列(fpga，field programmable gate array)等。
58.以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。