一种智能家居设备及防坠落预警的方法与流程

1.本发明实施例涉及智慧家居技术领域，尤其涉及一种智能家居设备及防坠落预警的方法。


背景技术：

2.目前儿童、老人等需要照顾的群体，独自一人在支撑物(如床上、沙发上)上睡觉或玩耍时，常会发生从支撑物上摔下来造成摔伤的事故。如果此时没有监护人干预，则会造成惨剧。
3.现有的防坠落产品多以重力传感器为硬件基础，通过对支撑物的改造检测支撑物上人体位置。该方案硬件成本较高，依赖于固定的支撑物，可迁移性较低。


技术实现要素：

4.本发明实施例提供一种智能家居设备，用以提高防坠落预警的效率。
5.第一方面，本发明实施例提供一种智能家居设备，包括：
6.接收器，被配置为接收采集的图像数据；
7.处理器，被配置为：
8.在确定所述图像数据中第一对象位于第二对象的支撑面上时，从所述图像数据中识别出所述第一对象的关键点信息并根据所述关键点信息确定所述第一对象的重心；从所述图像数据中识别出所述支撑面的边缘信息，并根据所述边缘信息以及所述第一对象的重心确定是否发出报警信息；
9.发送器，被配置为发送所述报警信息。
10.上述技术方案中，通过根据第一对象的重心以及第二对象的边缘信息确定是否发出报警信息，实现了只需通过图像数据即可快速判断第一对象的状态，保障了第一对象的安全。
11.可选的，所述处理器，被配置为：
12.通过姿态识别模型确定所述第一对象的各关键点的关键点信息；
13.根据所述各关键点的关键点信息，从所述各关键点中确定出定位关键点；
14.根据所述定位关键点，确定所述第一对象的重心。
15.上述技术方案中，根据定位关键点确定第一对象的重心将重心的计算简单化从而提高了判断第一对象状态的效率。
16.可选的，所述处理器，被配置为：
17.在所述定位关键点为脖子关键点和腹部关键点时，根据所述脖子关键点和所述腹部关键点确定所述第一对象的重心；
18.在所述定位关键点为脖子关键点和鼻子关键点时，根据所述脖子关键点和所述鼻子关键点确定所述第一对象的重心。
19.上述技术方案中，考虑了不同遮挡状态下定位关键点的选择，提高了确定重心的
准确性。
20.可选的，所述处理器，被配置为：
21.将所述脖子关键点的第一位置信息和所述鼻子关键点的第二位置信息的中心位置，作为所述第一对象的重心；或
22.将自所述鼻子关键点至所述脖子关键点的连线延长标定距离的两倍的位置作为所述第一对象的重心，所述标定距离为自所述鼻子关键点至所述脖子关键点的距离。
23.上述技术方案中，分别针对不同遮挡状态提供了重心的不同计算方法，提高了确定重心的准确性。
24.可选的，所述处理器，被配置为：
25.通过物体分割算法确定所述支撑面；
26.对所述支撑面进行拟合，得到所述支撑面的边缘信息。
27.上述技术方案中，通过对支撑面进行拟合将第二对象的中心转化为多边形中心计算的问题，提高了效率。
28.可选的，所述处理器，被配置为：
29.根据所述边缘信息确定所述支撑面的中心；
30.自所述中心至所述重心的连线延长至所述边缘信息的距离为评估距离；
31.根据所述评估距离与所述标定距离的关系，确定所述第一对象是否处于危险状态。
32.上述技术方案中，通过根据评估距离与标定距离的关系，确定第一对象是否处于危险状态将第一对象是否处于危险状态的问题量化，提高了识别第一对象状态的效率。
33.第二方面，本发明实施例提供一种防坠落预警的方法，所述方法包括：
34.接收采集的图像数据；
35.在确定所述图像数据中第一对象位于第二对象的支撑面上时，从所述图像数据中识别出所述第一对象的关键点信息并根据所述关键点信息确定所述第一对象的重心；
36.从所述图像数据中识别出所述支撑面的边缘信息；
37.根据所述边缘信息以及所述第一对象的重心确定是否发出报警信息。
38.可选的，所述从所述图像数据中识别出所述第一对象的关键点信息并根据所述关键点信息确定所述第一对象的重心，包括：
39.通过姿态识别模型确定所述第一对象的各关键点的关键点信息；
40.根据所述各关键点的关键点信息，从所述各关键点中确定出定位关键点；
41.根据所述定位关键点，确定所述第一对象的重心。
42.可选的，所述从所述各关键点中确定出定位关键点，包括：
43.若所述各关键点中包括腹部关键点，则将所述腹部关键点和脖子关键点确定为所述定位关键点；
44.若所述各关键点中不包括所述腹部关键点，则将所述脖子关键点和鼻子关键点确定为所述定位关键点。
45.可选的，所述根据所述定位关键点，确定所述第一对象的重心，包括：
46.若所述定位关键点为脖子关键点和腹部关键点时，将所述脖子关键点的第一位置信息和所述鼻子关键点的第二位置信息的中心位置，作为所述第一对象的重心；
47.若所述定位关键点为脖子关键点和鼻子关键点时，则将自所述鼻子关键点至所述脖子关键点的连线延长标定距离的两倍的位置作为所述第一对象的重心，所述标定距离为自所述鼻子关键点至所述脖子关键点的距离。
48.可选的，所述从所述图像数据中识别出所述支撑面的边缘信息，包括：
49.通过物体分割算法确定所述支撑面；
50.对所述支撑面进行拟合，得到所述支撑面的边缘信息。
51.可选的，所述根据所述边缘信息以及所述第一对象的重心确定是否发出报警信息，包括：
52.根据所述边缘信息确定所述支撑面的中心；
53.自所述中心至所述重心的连线延长至所述边缘信息的距离为评估距离；
54.根据所述评估距离与所述标定距离的关系，确定所述第一对象是否处于危险状态。
55.相应的，本发明实施例还提供了一种计算设备，包括：
56.存储器，用于存储程序指令；
57.处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述防坠落预警的方法。
58.相应的，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述防坠落预警的方法。
附图说明
59.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
60.图1为本发明实施例提供的一种智能家居设备的结构示意图；
61.图2为本发明实施例提供的一种智能家居设备的示意图；
62.图3为本发明实施例提供的一种防坠落预警的方法流程图；
63.图4为本发明实施例提供的一种防坠落预警的方法流程图；
64.图5为本发明实施例提供的一种防坠落预警的方法的示意图；
65.图6为本发明实施例提供的一种防坠落预警的方法的示意图；
66.图7为本发明实施例提供的一种防坠落预警的方法的示意图；
67.图8为本发明实施例提供的一种防坠落预警的方法的示意图；
68.图9为本发明实施例提供的一种防坠落预警的方法的示意图。
具体实施方式
69.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的
所有其它实施例，都属于本发明保护的范围。
70.目前意外伤害已经成为导致儿童死亡的重要原因，儿童的天性就是活泼好动、好奇心强，缺乏自我保护意识，很容易造成意外伤害。家长的监管缺失、看护不当则是造成儿童意外伤害的首要原因。
71.同理，除了儿童，老人、特殊人群等需要被照顾监管的群体也面临着同样的问题即在看护不当的情况下造成意外伤害。
72.比如，儿童独自一人在床上睡觉或玩耍时意外从床上摔下来，造成摔伤的事故时有发生。由于婴幼儿骨骼肌肉发育不成熟，如果此时没有家长干预，则会造成惨剧。
73.本技术实施例的一种应用场景如图1所示，包括采集设备100a和100b，用于对监控环境中的监控对象进行图像采集；采集设备通过局域网或其他无线连接方式将采集的图像信息传输给监控设备200a或200b；监控设备对图像进行分析处理，从而确定监控对象是否处于安全状态，是否需要发送报警信息。具体来说，报警信息也可以通过其他设备来发送。
74.以上述儿童位于儿童床上为例，可以将采集设备放置在儿童床上方，监控设备的核心方法是根据检测到儿童的关键点和物体分割出儿童床的边缘信息进行判断；检测到儿童即将坠床时通过各个终端发出警报信息，终端可以是手机、ipad、电视、智能手环等设备。
75.通过上述分析，本发明实施例提供一种智能家居设备，能够实时监控被监控对象的体态和位置，举个例子，当发现其快要从床上掉落时，及时发出警报并通知相关监护人，进行干预。
76.图2示例性示出了本技术实施例中的智能家居设备的硬件配置框图，智能家居设备200中可以包括作为接收器的通讯器220或检测器230、包括处理器254的控制器250、作为发射器的通讯器220或显示器275或音频输出接口285。其中通讯器220和检测器230可以作为智能家居设备的接收器，具体来说，可以是其他设备采集图像然后通过通讯器220发送给智能家居设备；也可以是智能家居设备自带的检测器230来进行图像采集。通讯器220或显示器275或音频输出接口285可以作为发射器，如将报警信息通过通讯器220发射到其他设备上，或通过显示器275显示图像形式的报警信息，或通过音频输出接口285输出语音形式的报警信息等。
77.进一步的，智能家居设备还可以包括调谐解调器210、外部装置接口240、视频处理器270、音频处理器280、供电电源290等。具体以智能家居设备所承担的功能来定。当然，智能家居设备会依据具体设备不同包括的硬件结构有所不同。
78.下面分别介绍各个部件的具体功能和在本实施例中的作用。
79.通讯器220，是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。通讯器220可以包括wifi模块221、蓝牙通信协议模块222、有线以太网通信协议模块223等网络通信协议模块或近场通信协议模块，从而通讯器220可将控制信号实现为wifi信号、蓝牙信号、射频信号等。
80.检测器230，是智能家居设备用于采集外部环境或与外部交互的信号的组件。检测器230可以包括图像采集器232，如相机、摄像头等；也可以是声音采集器231可以用于采集外部环境场景，以自适应变化智能家居设备的显示参数；以及用于采集用户的属性。
81.在其他一些示例性实施例中，检测器230，还可以包括光接收器，用于采集环境光线强度，以自适应智能家具设备的显示参数变化等。
82.在其他一些示例性实施例中，检测器230，还可以包括温度传感器，如通过感测环境温度，智能家具设备可自适应调整图像的显示色温。示例性的，当温度偏高的环境时，可调整智能家居设备显示图像色温偏冷色调；当温度偏低的环境时，可以调整智能家居设备显示图像色温偏暖色调。
83.控制器250，通过运行存储在存储器260上的各种软件控制程序(如操作系统和各种应用程序)，来控制智能家居设备的工作和响应用户的操作。
84.控制器250包括随机存取存储器(ram)251、只读存储器(rom)252、图形处理器253、处理器254、通信接口255、以及通信总线256。其中，ram251、rom252以及图形处理器253、处理器254、通信接口255通过通信总线256相连接。
85.rom252，用于存储各种系统启动指令。如在接收到开机信号时，智能家居设备电源开始启动，处理器254运行rom252中的系统启动指令，将存储在存储器260的操作系统拷贝至ram251中，以开始运行启动操作系统。当操作系统启动完成后，处理器254再将存储器260中各种应用程序拷贝至ram251中，然后，开始运行启动各种应用程序。
86.图形处理器253，用于产生各种图形对象，如图标、操作菜单、以及用户输入指令显示图形等。图形处理器253可以包括运算器，用于通过接收用户输入各种交互指令进行运算，进而根据显示属性显示各种对象；以及包括渲染器，用于产生基于运算器得到的各种对象，将进行渲染的结果显示在显示器275上。
87.处理器254，用于执行存储在存储器260中的操作系统和应用程序指令。以及根据接收的用户输入指令，来执行各种应用程序、数据和内容的处理，以便最终显示和播放各种音视频内容。
88.在一些示例性实施例中，处理器254，可以包括多个处理器。多个处理器可包括一个主处理器以及多个或一个子处理器。主处理器，用于在智能家居设备预加载模式中执行智能家居设备的一些初始化操作，和/或，在正常模式下显示画面的操作。多个或一个子处理器，用于执行在智能家具设备待机模式等状态下的一种操作。
89.通信接口255，可包括第一接口到第n接口。这些接口可以是经由网络被连接到外部设备的网络接口。
90.控制器250可以控制智能家居设备的整体操作。
91.其中，该对象可以是可选对象中的任何一个，例如超链接或图标。该与所选择的对象有关的操作，例如显示连接到超链接页面、文档、图像等操作，或者执行与对象相对应的程序的操作。该用于选择gui对象的用户输入命令，可以是通过连接到智能家居设备的各种输入装置(例如，鼠标、键盘、触摸板等)输入命令或者与由用户说出语音相对应的语音命令。
92.存储器260，用于存储驱动和控制智能家具设备运行的各种类型的数据、软件程序或应用程序。存储器260可以包括易失性和/或非易失性存储器。而术语“存储器”包括存储器260、控制器250的ram251和rom252、或智能家具设备中的存储卡。
93.在一些实施例中，存储器260具体用于存储驱动智能家居设备中控制器250的运行程序；存储智能家居设备内置的和用户从外部设备下载的各种应用程序；存储用于配置由显示器275提供的各种gui、与gui相关的各种对象及用于选择gui对象的选择器的视觉效果图像等数据。
94.在一些实施例中，存储器260具体用于存储调谐解调器210、通讯器220、检测器230、外部装置接口240、视频处理器270等的驱动程序和相关数据，例如从外部装置接口接收的外部数据(例如视频数据)。
95.在一些实施例中，存储器260具体存储用于表示操作系统(os)的软件和/或程序，这些软件和/或程序可包括，例如：内核、中间件、应用编程接口(api)和/或应用程序。示例性的，内核可控制或管理系统资源，以及其它程序所实施的功能(如所述中间件、api或应用程序)；同时，内核可以提供接口，以允许中间件、api或应用程序访问控制器，以实现控制或管理系统资源。
96.调谐解调器210，可根据用户选择，以及由控制器250控制，响应用户选择的电视频道的频率以及该频率所携带的电视信号。
97.调谐解调器210，根据电视信号的广播制式不同，可以接收信号的途径有很多种，诸如：地面广播、有线广播、卫星广播或互联网广播等；以及根据调制类型不同，可以数字调制方式或模拟调制方式；以及根据接收电视信号的种类不同，可以解调模拟信号和数字信号。
98.在其他一些示例性实施例中，调谐解调器210也可在外部设备中，如外部机顶盒等。这样，机顶盒通过调制解调后输出电视信号，经过外部装置接口240输入至智能家居设备中。
99.外部装置接口240，是提供控制器250控制智能家居设备与外部设备间数据传输的组件。外部装置接口240可按照有线/无线方式与诸如机顶盒、游戏装置、笔记本电脑等外部设备连接，可接收外部设备的诸如视频信号(例如运动图像)、附加信息(例如epg)等数据。
100.其中，外部装置接口240可以包括：高清多媒体接口(hdmi)端子341、复合视频消隐同步(cvbs)端子242、模拟或数字分量端子243、通用串行总线(usb)端子244、组件(component)端子(图中未示出)、红绿蓝(rgb)端子(图中未示出)等任一个或多个。在其他一些示例性实施例中，视频处理器270可以包括一个或多个芯片组成。
101.以及，在其他一些示例性实施例中，视频处理器270，可以为单独的芯片，也可以与控制器250一起集成在一个或多个芯片中。
102.显示器275，用于接收源自视频处理器270输入的图像信号，进行显示视频内容、图像以及菜单操控界面。显示视频内容，可以来自调谐解调器210接收的广播信号中的视频内容，也可以来自通讯器220或外部装置接口240输入的视频内容。
103.以及，显示器275可以包括用于呈现画面的显示器组件以及驱动图像显示的驱动组件。或者，倘若显示器275为一种投影显示器，还可以包括一种投影装置和投影屏幕。
104.供电电源290，用于在控制器250的控制下，将外部电源输入的电力为智能家居设备提供电源供电支持。供电电源290可以是安装在智能家居设备内部的内置电源电路，也可以是安装在智能家居设备外部的电源。
105.具体到本实施例中，接收器被配置为接收采集的图像数据，如通过通讯器220或检测器230。处理器254被配置为：在确定图像数据中第一对象位于第二对象的支撑面上时，从图像数据中识别出第一对象的关键点信息并根据关键点信息确定第一对象的重心；从图像数据中识别出支撑面的边缘信息，并根据边缘信息以及第一对象的重心确定是否发出报警信息。发送器被配置为发送报警信息。
106.具体的，处理器254被配置为：通过姿态识别模型确定第一对象的各关键点的关键点信息；根据各关键点的关键点信息，从各关键点中确定出定位关键点；根据定位关键点，确定第一对象的重心。
107.进一步的，处理器254被配置为：在定位关键点为脖子关键点和腹部关键点时，根据脖子关键点和腹部关键点确定第一对象的重心；在定位关键点为脖子关键点和鼻子关键点时，根据脖子关键点和鼻子关键点确定第一对象的重心。
108.具体的，处理器254被配置为：将脖子关键点的第一位置信息和鼻子关键点的第二位置信息的中心位置，作为第一对象的重心；或
109.将自鼻子关键点至脖子关键点的连线延长标定距离的两倍的位置作为第一对象的重心。
110.需要说明的是，标定距离为自鼻子关键点至脖子关键点的距离。
111.进一步的，处理器254被配置为：通过物体分割算法确定支撑面；对支撑面进行拟合，得到支撑面的边缘信息。
112.具体的，处理器254被配置为：根据边缘信息确定支撑面的中心；自中心至重心的连线延长至边缘信息的距离为评估距离；根据评估距离与标定距离的关系，确定第一对象是否处于危险状态。
113.本技术实施例中，接收器可以为摄像头、定时照相机等图像采集设备。处理器可以位于接收器内部，与接收器为一个整体，也可以为外置的智能服务器比如智能机器人。发送器可以为智能终端，比如手机、平板、电视、智能手环等设备。
114.从上述内容可以看出，通过接收器采集图像，处理器根据采集的图像确定第一对象的重心以及第二对象的边缘信息，在确定第一对象处于危险状态后通过发送器发送报警信息，从而实现了只需采集第一对象的视频信息即可快速进行防坠落预警判断，方便用户使用，同时也保护了第一对象的安全。
115.上述介绍了本发明所提供的一种智能家居设备，下面详细介绍本发明提供的一种防坠落预警的方法。该方法可以通过上述的智能家居设备实现。图3为本发明实施例提供的一种防坠落预警的方法所对应的流程示意图，如图3所示，该方法包括：
116.步骤301，接收采集的图像数据。
117.步骤302，在确定图像数据中第一对象位于第二对象的支撑面上时，从图像数据中识别出第一对象的关键点信息并根据关键点信息确定第一对象的重心。
118.步骤303，从图像数据中识别出支撑面的边缘信息。
119.步骤304，根据边缘信息以及第一对象的重心确定是否发出报警信息。
120.在步骤301中，在一种可能的实施方式中，在第一对象的可监控范围内安装接收器，要求接收器视角能覆盖第二对象区域。
121.需要说明的是，采集图像数据的前提是接收器或处理器确定第一对象位于接收器的可监控范围内，也就是说，当接收器或处理器确定第一对象不位于接收器的可监控范围内时，接收器可以出于休眠状态，不采集图像。
122.进一步的，接收器按照预设频率采集图像。
123.举个例子，在儿童房安装摄像头，可以将摄像头架设在床上方，要求摄像头视角能覆盖儿童床区域，用来获取儿童床上的实时图像数据。每秒采集一帧图像，用于分析儿童所
处状态。
124.基于此，本技术提供了如图4所示的防坠落预警的方法流程。
125.如图4所示：
126.步骤401，通过姿态识别模型确定第一对象的各关键点的关键点信息。
127.步骤402，根据各关键点的关键点信息，从各关键点中确定出定位关键点。
128.步骤403，根据定位关键点，确定第一对象的重心。
129.在步骤401中，可以使用姿态估计算法提取图像中的人体骨架数据。
130.具体的，通过姿态识别模型确定第一对象的特征，根据第一对象的特征确定第一对象的各关键点的关键点信息。
131.需要说明的是，对于人体来说，第一对象的关键点一般为关键骨骼点。
132.举例来说，openpose算法可以实现人体动作姿态估计。
133.具体的，在防止儿童从床上坠落的场景中，openpose通过以下步骤实现：
134.s4011，openpose网络首先使用vgg-19模型从图像中提取特征。
135.s4012，将提取的特征传给两个平行的卷积层分支。
136.具体的，第一个分支用来预测18个置信图，每个图代表人体骨架中的一个关节。然后通过非极大值抑制算法获取峰值，确定每个关键骨骼点的位置以及置信度，即(x，y，score)。
137.需要说明的是，置信度用于指示关键骨骼点的位置(x，y)的可信程度。
138.在一种可能的实施方式中，当关键骨骼点的置信度超过阈值时，将该关键骨骼点的位置排除，不纳入后续处理。
139.进一步的，第二个分支预测一个集合，该集合中包含38个关节仿射场，描述各关节之间的连接程度，将同一个人的骨骼点连接起来。
140.上述内容如图5所示，图5(a)为将整个图像输入；图5(b)为预测人体关键骨骼点的坐标位置和置信图；图5(c)为预测人体关节点之间的邻接关系；图5(d)为多人解析过程通过二分图匹配的方式将不同人的关键骨骼点区分开；图5(e)将图像中每个人的关键骨骼点都连接起来。
141.进一步的，基于人体关键骨骼点的位置和置信度，对儿童的状态进行判断。
142.需要说明的是，当儿童床上儿童数量只有一个，将图5(d)对应的步骤跳过即可，也就是说，只需要单人姿态估计算法即可。
143.从上述内容可以看出，可以得到单帧图像的关键骨骼点检测结果，其中包括了各个骨骼点的坐标位置和置信度。
144.本技术实施例中，关键骨骼点模型可以采用较为常用的mscoco关键点数据集的骨骼点模型。该模型包含18个人体关键骨骼点，如图6所示，具体为：0(鼻子)、1(脖子)、2(右肩)、3(右手肘)、4(右手腕)、5(左肩)、6(左手肘)、7(左手腕)、8(腹部)、9(右髋部)、10(右膝部)、11(右脚腕)、12(左髋部)、13(左膝部)、14(左脚腕)、15(右眼)、16(左眼)、17(右耳)、18(左耳)。
145.在步骤402中，重心的计算依据是人体各个关键骨骼点的坐标位置，在实际应用过程中，由于存在遮挡物的遮挡，比如在防止儿童坠床的场景下，存在被子遮挡儿童部分身体的情况，也就是说，儿童的身体一般不会完全暴露于摄像头之下，基于此，下面分情况讨论
在不同遮挡情况下重心的计算方法。
146.在一种可能的实施方式中，以能否检测到腹部关键点作为第一对象是否处于被遮挡情况的判断依据。
147.本技术实施例中，在没有遮挡的情况下，若各关键点中包括腹部关键点，则将腹部关键点和脖子关键点确定为定位关键点；
148.若定位关键点为脖子关键点和腹部关键点时，将脖子关键点的第一位置信息和鼻子关键点的第二位置信息的中心位置，作为第一对象的重心；
149.具体的，假设人体的重量均匀且总重量为1。在横轴维度上，重心落在脖子(关节点1)和腹部(关节点8)这段骨骼上。在纵轴维度上，由于人体形状不对称，计算较为复杂，以脖子(关节点1)和腹部(关节点8)的中间位置作为人体中心点的位置，可替代较为复杂的重心计算，其坐标位置可表示为(c
x
,c
y
)。
[0150][0151][0152]
其中，关节点1即脖子的坐标可表示为(p
x1
，p
y1
)，关节点8即腹部的坐标表示为(p
x8
，p
y8
)。如图7所示，其中黑色三角形位置即为儿童重心位置。
[0153]
本技术实施例中，在有遮挡的情况下，若各关键点中不包括腹部关键点，则将脖子关键点和鼻子关键点确定为定位关键点。
[0154]
若定位关键点为脖子关键点和鼻子关键点时，则将自鼻子关键点至脖子关键点的连线延长标定距离的两倍的位置作为第一对象的重心，标定距离为自鼻子关键点至脖子关键点的距离。
[0155]
具体的，同样以上述防止儿童坠床为例，当出现儿童腹部被被子遮挡的情况，将鼻子(关节点0)与脖子(关节点1)连接成线段，并沿着该方向继续延伸两倍的距离，将延伸到的点确定为身体重心的位置。如图8中，从关节点0到关节点1连线后的延长线用虚线表示，身体重心位置用黑色三角形表示。
[0156]
上述技术方案中，考虑了不同遮挡状态下定位关键点的选择，提高了确定重心的准确性。同时分别针对不同遮挡状态提供了重心的不同计算方法，提高了确定重心的准确性。
[0157]
在一种可能的实施方式中，将所有关键点的位置坐标分别沿x轴方向和y方向取均值，比如一共有3个关键点，a1(x1,y1)、a2(x2,y2)、a3(x3,y3)，重心的计算公式为：
[0158][0159][0160]
在另一种可能的实施方式中，将由2(右肩)、5(左肩)、9(右髋部)、12(左髋部)四个点组成的四边形的中心确定为身体的重心。
[0161]
上述技术方案中，根据定位关键点确定第一对象的重心将重心的计算简单化从而
提高了判断第一对象状态的效率。
[0162]
进一步的，在步骤303中，通过物体分割算法确定支撑面；
[0163]
对支撑面进行拟合，得到支撑面的边缘信息。
[0164]
具体的，物体分割过程是将整个图像根据像素进行分组，然后可以对其进行标记和分类。通过语义分割在语义上理解图像中每个像素的角色。除了识别人，狗，汽车，树木等之外，还要划定每个物体的边界。
[0165]
在一种可能的实施方式中，采用resnet50模型对第二对象进行分割。
[0166]
具体的，模型输入是摄像头采集到的彩色图像，输出是图像上第二对象的边缘信息。
[0167]
进一步的，将第二对象的物体分割结果拟合到多边形，进而通过对多边形中心位置中心点的计算确定第二对象的中心。
[0168]
本技术实施例中，根据边缘信息确定支撑面的中心。
[0169]
在一种可能的实施方式中，多边形对角线的交点即为中心。
[0170]
举个例子，如图9所示，连接点p和点q，连接点m和点n，线pq和线mn的交点c
b
作为中心点。
[0171]
上述技术方案中，通过对支撑面进行拟合将第二对象的中心转化为多边形中心计算的问题，提高了效率。
[0172]
进一步的，在得到第一对象的重心以及第二对象的中心之后，将自中心至重心的连线延长至边缘信息的距离作为评估距离；
[0173]
根据评估距离与标定距离的关系，确定第一对象是否处于危险状态。
[0174]
举例来说，在得到儿童重心位置和儿童床的边缘信息后，由于标定距离为鼻子(点d)到脖子(点e)的线段，即标定距离为l
de
。
[0175]
进一步的，以儿童床中心点(点a)为起点，向儿童身体重心点(点b)连线，该线段的正向延长线与儿童床边缘的交点(点c)。当点b与点c之间的线段l
bc
长度小于l
de
两倍长度，确定儿童即将坠床，处于危险状态，发出警报；若点b与点c之间的线段l
bc
长度大于等于l
de
两倍长度，确定儿童处于正常状态，不做处理。公式如下所示：
[0176][0177]
需要说明的是，上述根据评估距离与标定距离的关系确定第一对象是否处于危险状态为一种可能的实时方式，本技术对此不做具体限定。
[0178]
上述技术方案中，通过根据评估距离与标定距离的关系，确定第一对象是否处于危险状态将第一对象是否处于危险状态的问题量化，提高了识别第一对象状态的效率。
[0179]
在另一种可能的实施方式中，根据第二对象的中心确定危险区域，当第一对象的中心位于危险区域内部时，确定第一对象处于危险状态，否则确定第一对象不处于危险状态。
[0180]
本技术实施例中，当检测到第一对象处于危险状态时，通过终端设备向第一对象的监护人发送预警信息。在一种可能的实施方式中，将第一对象的实时图像数据发送到终端设备上。
[0181]
需要说明的是，终端设备可以为手机，比如通过信息的方式发送消息；终端设备可以为电视，比如当家人在看电视时，弹出报警信息并转播儿童房的实时视频；终端设备还可以为智能手环、智能音箱等。本技术对此不做具体限定。
[0182]
上述方案，只需采集第一对象的图像信息即可快速防坠落预警判断，方便用户使用，同时也保护了被监护群体的安全。
[0183]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0184]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。