家居巡检方法、非易失性可读存储介质和计算机设备与流程

1.本技术涉及家居巡检技术领域，具体而言，涉及一种家居巡检方法、非易失性可读存储介质和计算机设备。


背景技术：

2.在相关技术中，家居异常检测依赖于固定设置的单个传感器，如烟雾传感器，而一种传感器只能检测固定范围内的特定事件，泛用性差。


技术实现要素：

3.本技术旨在至少解决现有技术或相关技术中存在的技术问题之一。
4.为此，本技术的第一方面提出一种家居巡检方法。
5.本技术的第二方面提出一种非易失性可读存储介质。
6.本技术的第三方面提出一种计算机设备。
7.有鉴于此，本技术的第一方面提供了一种家居巡检方法，包括：确定巡检路径；沿巡检路径拍摄家居图像数据；根据家居图像数据，确定家居巡检事件；在家居巡检事件包括异常事件的情况下，确定异常事件对应的处理程序；执行处理程序。
8.在该技术方案中，可以通过巡检机器人，对家居空间或家居设备进行巡检，也可以通过设置电连接的多个固定摄像头，来进行巡检。以通过巡检机器人来进行家居巡检为例，该巡检机器人包括走行系统和机器视觉系统，其中，走行系统可以包括走行轮、走行履带等，并依靠导航雷达、视觉系统、红外线传感器等设备，实现沿巡检路径自动进行巡检运动。机器视觉系统能够实时检测机器人四周的环境图像，举例来说，机器视觉系统可以是摄像头，该摄像头可以是全景摄像头，也可以是设置在转台上的广角摄像头，从而对机器人经过区域进行全面拍摄，得到巡检路径上的家居图像数据。
9.同时，巡检机器人的主控系统中设置有算法处理器，和对应的图像识别算法模型，在拍摄得到家居图像数据后，通过图像算法模型，对拍摄得到的家居图像数据进行人工智能识别，从而识别出巡检路径途径的各个区域中的家居巡检事件，并判断这些家居巡检事件中，是否存在异常事件。
10.举例来说，巡检路径途径用户家中的各个房间，包括卧室、客厅、卫生间和厨房。当巡检机器人沿巡检路径走行到卧室后，拍摄卧室内的图像信息，并根据该图像信息，结合机器视觉算法和大数据人工智能模型，对卧室内各关键兴趣点的信息进行提取，如卧室窗子的开闭状态，卧室灯光的开关状态等。
11.同理，当机器人进入卫生间、客厅和厨房等空间后，对卫生间、客厅或厨房内的关键兴趣点信息进行提取，如卫生间水龙头的开闭状态，如厨房内灶台的开关状态，如客厅内冰箱门体的开合状态等。
12.在识别到这些家居巡检事件后，巡检机器人的控制系统根据内置的判断逻辑，或用户自定义的判断逻辑，判断这些家居巡检事件中，是否包含了异常事件。
13.举例来说，在白天，日照充足，不需要开启卧室照明灯，此时满足条件“白天”、“卧室照明灯关闭”，则代表卧室灯光状态正常。而如果满足条件“白天”、“卧室内照明灯开启”，则记录为异常事件。
14.再次举例来说，客厅冰箱门应当处于关闭状态，如果判断客厅的冰箱门处于开启状态，则记录为异常事件。
15.在确定家居巡检事件中，包含有异常事件时，根据异常事件的对象，和异常事件的类型，巡检机器人查找与之相对应的处理程序，并通过执行对应的处理程序的方式，对这些异常事件进行排除和解决。
16.举例来说，巡检机器人接入到智能家居的物联网中，以巡检机器人检测到“白天卧室照明灯开启”的异常事件为例，巡检机器人可以通过执行对应的处理程序，来通过物联网控制卧室照明灯关闭，从而实现对异常事件的处理。
17.本技术实施例中，巡检机器人基于视觉传感器和图像处理技术，来对家居巡检事件进行检测，不依赖于单一的传感器，因此能够针对大范围内的不同事件类型进行准确检测，具有良好的泛用性。同时，通过执行对应的处理程序，来对检测到的异常事件进行处理和排除，从而具有了处理异常的能力，实现了灵活方便的家居环境检测和异常处理。
18.另外，本技术提供的上述技术方案中的家居巡检方法还可以具有如下附加技术特征：
19.在上述技术方案中，根据家居图像数据，确定家居巡检事件，包括：对家居图像数据进行图像识别，确定家居图像数据中包括的图像信息；根据图像信息确定家居巡检事件。
20.在该技术方案中，巡检机器人在按照巡检路径进行巡检工作的过程中，通过图像传感器实时拍摄巡检路径和途径区域内的家居图像数据，具体地，该家居图像数据以视频的形式进行获取和存储。在得到这些家居图像数据后，对家居图像数据，也即拍摄的视频的每一帧图像均进行获取，并进行图像识别，其中，可以针对每一帧图像进行图像识别，也可以对帧图像进行分类后，对同类帧进行整合处理，再进行图像识别，从而降低计算压力。
21.通过图像识别算法，识别出家居图像数据的每一帧图像中，具体包含的图像信息，举例来说，图像信息可以是家居的图像信息，如窗户的图像、照明灯的图像、冰箱等家电的图像，也可以是人物图像，如用户图像、陌生人图像等。
22.通过这些图像信息，对当前巡检路径经过的家居环境中的家居巡检事件进行确定，如卧室窗子的开闭状态，如卧室灯光的开关状态、如卫生间水龙头的开闭状态，如厨房内灶台的开关状态，如客厅内冰箱门体的开合状态等。
23.通过对这些家居巡检事件进行进一步的条件判断，从而确定出其中是否包含有异常事件，并对检测到的异常事件进行处理和排除，实现了灵活方便的家居环境检测和异常处理。
24.在上述任一技术方案中，巡检机器人包括传感器组件，用于获取环境信息；根据图像信息确定家居巡检事件，包括：根据图像信息和环境信息，确定家居巡检事件。
25.在该技术方案中，巡检机器人还设置有传感器组件，在一些实施方式中，传感器组件就设置在巡检机器人的本体上，在另一些实施方式中，传感器组件还可以分布设置在家居环境中的固定位置上，并通过无线数据网络与巡检机器人本体之间进行数据指令交互。
26.通过这些传感器组件，能够获取对应的环境信息，具体地，环境信息可以包括氧含
量信息、烟雾含量信息、温度信息、雨量信息、光线信息等，通过结合图像信息与这些环境信息，能够对家居环境内的家居巡检事件类型进行更加准确地判断。
27.举例来说，当巡检机器人通过视觉传感器和图像处理算法，检测到房间窗户处于开启状态时，巡检机器人进一步获取雨量传感器采集到的雨量信息，如果雨量信息显示当前处于下雨状态，则将“窗户开启”视为异常事件，此时通过物联网系统控制窗户自动关闭，如果雨量信息显示当前没有处于下雨状态，则“窗户开启”不被视为异常事件，巡检机器人仅需提示用户窗户未关闭即可，无需执行关窗操作。
28.通过结合传感器检测到的环境信息，和巡检机器人通过视觉传感器检测到的图像信息，能够对家居巡检事件和异常事件进行更加准确的检测和判断，提高巡检效率。
29.在上述任一技术方案中，巡检路径经过至少一个目标区域，家居图像数据包括第一数据和/或第二数据，其中，第一数据为巡检路径的数据，第二数据为目标区域的数据。
30.在该技术方案中，巡检路径是用户规划的路径，也可以是系统自动生成的路径。其中，巡检路径是巡检机器人的走行路径，巡检机器人在按照巡检路径进行巡检工作的过程中，巡检机器人会经过待巡检区域内的各个子区域，如用户家庭内的各个房间，包括卧室、客厅、厨房、卫生间等。
31.其中的每一个子区域，均可视为一个目标区域。在规划巡检路径时，将以这些目标区域作为节点，来对整体巡检路径进行规划，从而使巡检机器人的巡检路径至少途径一个上述目标区域，如巡检机器人依次对卧室、客厅、厨房、卫生间进行巡检，则巡检路径先经过卧室、再进入客厅、再进入厨房，最后到达卫生间。
32.在巡检过程中，巡检机器人所拍摄并记录的家居图像数据，按照所处区域的不同，具体包括第一数据和第二数据。其中，第一数据具体指的是巡检机器人在沿巡检路径走行过程中，实时拍摄的全部视频数据。而第二数据则是巡检机器人在到达一个目标区域内之后，在目标区域内拍摄得到的视频数据。
33.具体地，对于不同巡检需求，巡检机器人拍摄视频数据的方式可能不同。其中，对于一些实施方式，巡检机器人在巡检的全程均拍摄家居图像数据，也即无论是目标区域内的家居图像数据，还是到达目标区域之前的路径上的家居图像数据均进行采集，即得到第一数据，从而提高巡检范围。
34.对于另一些实施方式，可以控制巡检机器人仅拍摄目标区域内的家居图像数据，而对于在到达目标区域之前的路径上，则不拍摄家居图像数据，从而得到第二数据，由于第二数据仅包括目标区域内的家居图像数据，因此能够降低数据存储压力和数据处理压力，从而提高性能。
35.在上述任一技术方案中，图像信息包括人物信息，异常事件包括第一事件，第一事件与第一数据和/或第二数据相对应；根据图像信息确定家居巡检事件，包括：根据人物信息确定对应的身份信息；在身份信息与预设身份不匹配的情况下，确定家居巡检事件包括第一事件；确定异常事件对应的处理程序，包括：生成第一事件对应的第一报警信息，将第一报警信息发送至第一终端。
36.在该技术方案中，巡检机器人通过拍摄得到的家居图像数据，对家居环境中的人物信息进行识别，从而确定家居环境中的人物身份。具体地，巡检机器人可以通过预先采集家庭成员在各个角度下的人物图像，从而学习家庭成员的“外貌”，从而识得家庭成员的身
份信息，并形成为预设身份。
37.在巡检过程中，巡检机器人通过拍摄得到的家居图像数据，对其中可能包括的人物图像进行针对性的提取，并基于提取出的人物图像，获取其身份信息。如果确定身份信息属于预设身份信息的范畴，即在预设信息内，存在一个身份信息与当前身份信息相匹配，则可以确定拍摄到的人物是家庭成员，此时记录正常的家居巡检事件。
38.而如果当前身份信息与全部的预设身份均不匹配，则说明居家环境中存在陌生人，此时判断为异常事件，具体为第一事件。当检测到该第一事件时，巡检机器人生成第一报警信息，第一报警信息用于警告用户，家中存在陌生人。
39.其中，巡检机器人可以将该第一报警信息发送到用户手机，即第一终端上，从而对用户进行有效的警示。
40.能够理解的是，当巡检机器人检测到第一事件，也即家中存在陌生人时，巡检机器人可以实时调整当前的巡检路线，从而使巡检机器人跟随人物信息对应的人物，也即陌生人行走，并实时拍摄人物信息对应的人物的人物图像，实现对陌生人的实时监控。
41.在上述任一技术方案中，异常事件包括第二事件，第二事件为目标家居设备的状态异常事件，且第二事件与第二数据相对应；确定异常事件对应的处理程序，包括：控制巡检机器人生成控制指令，其中，控制指令用于指示目标家居设备处理第二事件；将控制指令发送至目标家居设备。
42.在该技术方案中，在巡检机器人的巡检过程中，当巡检机器人进入目标区域后，会对目标区域内的家电设备或家居设备进行有针对性的巡检，其中，这些待巡检的家电设备或家居设备，即上述目标家居设备。
43.具体地，目标家居设备可以是智能家电设备，或智能家居设备，巡检机器人与这些目标家居设备连接在同一个物联网中。当巡检机器人在目标区域内发现目标家居设备处于异常状态时，判断当前的家居巡检事件为异常事件，具体为第二事件。
44.举例来说，第二事件可以是“白天卧室照明灯开启”、“冰箱门未关”等。当确定存在第二事件时，巡检机器人根据第二事件对应的目标家居设备，和第二事件的事件类型，生成对应的控制指令。
45.以上述举例中的“白天卧室照明灯开启”为例，如果巡检机器人发现白天卧室的照明灯未关，则可以生成“关闭卧室灯”的控制指令，并通过智能网关将该指令发送至卧室内的照明灯的智能开关，或通过云服务器的方式，远程控制卧室内的照明灯的智能开关，从而将对应的照明灯关闭，来解决该第二事件。
46.同理，当巡检机器人发现冰箱门未关，则生成“关闭冰箱门”的控制指令，将该指令发送至冰箱的控制器，从而通过对应设置的马达来关闭冰箱门，从而处理第二事件。
47.本技术实施例通过基于物联网的控制指令，来控制家居设备对异常事件进行排除，实现了灵活方便的家居环境检测和异常处理。
48.在该技术方案中，异常事件包括第三事件，第三事件与第一数据和/或第二数据相对应；确定异常事件对应的处理程序，包括：生成第三事件对应的第二报警信息，将第二报警信息发送至第二终端。
49.在该技术方案中，异常事件还包括第三事件，具体地，第三事件包括如火情、水淹等严重情况，当巡检机器人通过图像处理，发现了如火焰、烟雾、积水等情况，或通过温度传
感器、烟雾传感器或积水传感器检测到对应的环境信息时，巡检机器人立即生成第二报警信息，并发送至对应的第二终端，其中，第二终端包括用户持有的手机，也包括物业终端或火警终端，从而保证这类紧急事件能够在第一时间内被处理，提高巡检的时效性和可靠性。
50.在上述任一技术方案中，第三事件包括n个事件类别，n为正整数；生成第三事件对应的第二报警信息，包括：获取场景信息；根据场景信息，确定第三事件对应的n个事件类别的优先级顺序；根据n个事件类别和优先级顺序，生成第二报警信息，其中，第二报警信息包括n个报警内容，n个事件类别与n个报警内容一一对应。
51.在该技术方案中，第三事件还包括无法自动处理，或未设置自动处理规则的家居异常的情况，这些异常构成为第三事件的多种事件类型。举例来说，用户的窗户不是可自动开关的智能窗户，或用户的照明灯不支持遥控开关，则这两种场景分别为两种事件类型，即“未关窗”和“未关灯”。
52.一般情况下，针对不同的事件类型，则生成的第二报警信息中，对应包括不同的报警内容。如“未关窗”的事件类型对应于报警内容“请注意，卧室窗未关”，对于“未关灯”的事件类型对应于报警内容“请注意，卧室照明灯未关”。
53.同时，这些报警内容具有不同的优先度，优先度越高，则报警信息越靠前，用户收到的报警提示越激烈，如提示音越高亢或震动强度越大。而优先度较低的报警内容，可以仅提示文字，不进行提示音或振动的反馈。
54.针对不同的场景信息，可以对报警内容的优先度进行动态调整。举例来说，场景信息包括白天和晚上，在白天，“未关灯”的优先度高于“未关窗”，而在晚上，则“未关窗”的优先度高于“未关灯”。
55.通过针对不同的场景信息，对不同的事件类别的优先级顺序进行调整，从而生成不同顺序的报警内容，有利于提高家居巡检的针对性。
56.在上述任一技术方案中，异常事件包括第四事件，第四事件为自定义事件，且第四事件与第一数据和/或第二数据相对应；
57.根据图像信息确定家居巡检事件，包括：根据图像信息和预设的图像识别模型，确定家居巡检事件；在根据家居图像数据，确定家居巡检事件之前，方法还包括：接收自定义图像数据集，其中，自定义图像数据集包括第四事件对应的图像；通过自定义图像数据集训练图像识别模型，以使图像识别模型能够根据图像信息识别出第四事件。
58.在该技术方案中，用户可以对异常事件进行自定义，从而能够对用户自定义的异常事件进行针对性的巡检。举例来说，用户可以将“衣服掉在地上”这一场景设置为异常事件，从而当家居巡检过程中，检测到衣服掉在地上时，向用户发出对应的提示，从而实现更加智能化的巡检。
59.具体地，在根据拍摄的图像信息确定对应的家居巡检事件时，可以通过预设的图像识别模型，对图像信息进行人工智能识别，从而识别出所拍摄的图像中包括的巡检事件。
60.在用户自定义异常事件，即第四事件时，可以手动设置第四事件的场景，以第四事件包括“衣服掉在地上”这一场景为例，用户可手动将衣服放在地上的不同位置，并拍摄不同角度的照片，从而形成为自定义图像数据集，该数据集中拍摄的图片越多，则异常巡检的识别准确率越高。
61.用户通过将该自定义图像数据集输入至上述图像识别模型，从而对图像识别模型
进行针对性的训练，从而使训练后的图像识别模型能够识别出用户自定义的第四事件。具体地，当检测到实时拍摄的家居图像数据中，存在“衣服位于地板上”这一情形时，图像识别模型输出的巡检事件中就会包含对应的第四事件，并生成对应的报警内容，提示用户拾取地上的衣服，实现了智能化的家居巡检。
62.在上述任一技术方案中，确定巡检路径，包括：获取待巡检区域的地图数据；根据地图数据，确定巡检路径。
63.在该技术方案中，在建立巡检路径时，可以输入待巡检区域的语义地图数据，该语义地图数据包括了用户家庭的语义地图，其中指示有至少一个目标区域的区域范围和位置坐标。
64.根据该地图数据，建立室内家居场景的三维语义地图，并根据该三维语义地图，自动规划巡检路径，能够理解的是，该巡检路径能够途径室内家居场景中的全部目标区域，从而提高巡检的覆盖范围，实现高精度、高可靠性的室内巡检。
65.本技术的第二方面提供了一种非易失性可读存储介质，其上存储有程序或指令，该程序或指令被处理器执行时实现如上述任一技术方案中提供的家居巡检方法的步骤，因此，该非易失性可读存储介质也包括如上述任一技术方案中提供的家居巡检方法的全部有益效果，为避免重复，在此不再赘述。
66.本技术的第三方面提供了一种计算机设备，包括：存储器，用于存储程序或指令；处理器，用于执行程序或指令时实现如上述任一技术方案中提供的家居巡检方法的步骤，因此，该计算机设备也包括如上述任一技术方案中提供的家居巡检方法的全部有益效果，为避免重复，在此不再赘述。
附图说明
67.本技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
68.图1示出了根据本技术实施例的家居巡检方法的流程图；
69.图2示出了根据本技术实施例的巡检机器人的工作逻辑示意图；
70.图3示出了根据本技术实施例的家居巡检装置的结构框图。
具体实施方式
71.为了能够更清楚地理解本技术的上述目的、特征和优点，下面结合附图和具体实施方式对本技术进行进一步的详细描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。
72.在下面的描述中阐述了很多具体细节以便于充分理解本技术，但是，本技术还可以采用其他不同于在此描述的其他方式来实施，因此，本技术的保护范围并不受下面公开的具体实施例的限制。
73.下面参照图1至图3描述根据本技术一些实施例所述家居巡检方法、非易失性可读存储介质和计算机设备。
74.实施例一
75.在本技术的一些实施例中，提供了一种家居巡检方法，图1示出了根据本技术实施
例的家居巡检方法的流程图，如图1所示，方法包括：
76.步骤102，确定巡检路径；
77.步骤104，沿巡检路径拍摄家居图像数据；
78.步骤106，根据家居图像数据，确定家居巡检事件；
79.步骤108，在家居巡检事件包括异常事件的情况下，确定异常事件对应的处理程序；
80.步骤110，执行处理程序。
81.在本技术实施例中，可以通过巡检机器人，对家居空间或家居设备进行巡检，也可以通过设置电连接的多个固定摄像头，来进行巡检。以通过巡检机器人来进行家居巡检为例，该巡检机器人包括走行系统和机器视觉系统，其中，走行系统可以包括走行轮、走行履带等，并依靠导航雷达、视觉系统、红外线传感器等设备，实现沿巡检路径自动进行巡检运动。机器视觉系统能够实时检测机器人四周的环境图像，举例来说，机器视觉系统可以是摄像头，该摄像头可以是全景摄像头，也可以是设置在转台上的广角摄像头，从而对机器人经过区域进行全面拍摄，得到巡检路径上的家居图像数据。
82.同时，巡检机器人的主控系统中设置有算法处理器，和对应的图像识别算法模型，在拍摄得到家居图像数据后，通过图像算法模型，对拍摄得到的家居图像数据进行人工智能识别，从而识别出巡检路径途径的各个区域中的家居巡检事件，并判断这些家居巡检事件中，是否存在异常事件。
83.举例来说，巡检路径途径用户家中的各个房间，包括卧室、客厅、卫生间和厨房。当巡检机器人沿巡检路径走行到卧室后，拍摄卧室内的图像信息，并根据该图像信息，结合机器视觉算法和大数据人工智能模型，对卧室内各关键兴趣点的信息进行提取，如卧室窗子的开闭状态，卧室灯光的开关状态等。
84.同理，当机器人进入卫生间、客厅和厨房等空间后，对卫生间、客厅或厨房内的关键兴趣点信息进行提取，如卫生间水龙头的开闭状态，如厨房内灶台的开关状态，如客厅内冰箱门体的开合状态等。
85.在识别到这些家居巡检事件后，巡检机器人的控制系统根据内置的判断逻辑，或用户自定义的判断逻辑，判断这些家居巡检事件中，是否包含了异常事件。
86.举例来说，在白天，日照充足，不需要开启卧室照明灯，此时满足条件“白天”、“卧室照明灯关闭”，则代表卧室灯光状态正常。而如果满足条件“白天”、“卧室内照明灯开启”，则记录为异常事件。
87.再次举例来说，客厅冰箱门应当处于关闭状态，如果判断客厅的冰箱门处于开启状态，则记录为异常事件。
88.在确定家居巡检事件中，包含有异常事件时，根据异常事件的对象，和异常事件的类型，巡检机器人查找与之相对应的处理程序，并通过执行对应的处理程序的方式，对这些异常事件进行排除和解决。
89.举例来说，巡检机器人接入到智能家居的物联网中，以巡检机器人检测到“白天卧室照明灯开启”的异常事件为例，巡检机器人可以通过执行对应的处理程序，来通过物联网控制卧室照明灯关闭，从而实现对异常事件的处理。
90.本技术实施例中，巡检机器人基于视觉传感器和图像处理技术，来对家居巡检事
件进行检测，不依赖于单一的传感器，因此能够针对大范围内的不同事件类型进行准确检测，具有良好的泛用性。同时，通过执行对应的处理程序，来对检测到的异常事件进行处理和排除，从而具有了处理异常的能力，实现了灵活方便的家居环境检测和异常处理。
91.在本技术的一些实施例中，根据家居图像数据，确定家居巡检事件，包括：对家居图像数据进行图像识别，确定家居图像数据中包括的图像信息；根据图像信息确定家居巡检事件。
92.在本技术实施例中，巡检机器人在按照巡检路径进行巡检工作的过程中，通过图像传感器实时拍摄巡检路径和途径区域内的家居图像数据，具体地，该家居图像数据以视频的形式进行获取和存储。在得到这些家居图像数据后，对家居图像数据，也即拍摄的视频的每一帧图像均进行获取，并进行图像识别，其中，可以针对每一帧图像进行图像识别，也可以对帧图像进行分类后，对同类帧进行整合处理，再进行图像识别，从而降低计算压力。
93.通过图像识别算法，识别出家居图像数据的每一帧图像中，具体包含的图像信息，举例来说，图像信息可以是家居的图像信息，如窗户的图像、照明灯的图像、冰箱等家电的图像，也可以是人物图像，如用户图像、陌生人图像等。
94.通过这些图像信息，对当前巡检路径经过的家居环境中的家居巡检事件进行确定，如卧室窗子的开闭状态，如卧室灯光的开关状态、如卫生间水龙头的开闭状态，如厨房内灶台的开关状态，如客厅内冰箱门体的开合状态等。
95.通过对这些家居巡检事件进行进一步的条件判断，从而确定出其中是否包含有异常事件，并对检测到的异常事件进行处理和排除，实现了灵活方便的家居环境检测和异常处理。
96.在本技术的一些实施例中，巡检机器人包括传感器组件，用于获取环境信息；根据图像信息确定家居巡检事件，包括：根据图像信息和环境信息，确定家居巡检事件。
97.在本技术实施例中，巡检机器人还设置有传感器组件，在一些实施方式中，传感器组件就设置在巡检机器人的本体上，在另一些实施方式中，传感器组件还可以分布设置在家居环境中的固定位置上，并通过无线数据网络与巡检机器人本体之间进行数据指令交互。
98.通过这些传感器组件，能够获取对应的环境信息，具体地，环境信息可以包括氧含量信息、烟雾含量信息、温度信息、雨量信息、光线信息等，通过结合图像信息与这些环境信息，能够对家居环境内的家居巡检事件类型进行更加准确地判断。
99.举例来说，当巡检机器人通过视觉传感器和图像处理算法，检测到房间窗户处于开启状态时，巡检机器人进一步获取雨量传感器采集到的雨量信息，如果雨量信息显示当前处于下雨状态，则将“窗户开启”视为异常事件，此时通过物联网系统控制窗户自动关闭，如果雨量信息显示当前没有处于下雨状态，则“窗户开启”不被视为异常事件，巡检机器人仅需提示用户窗户未关闭即可，无需执行关窗操作。
100.通过结合传感器检测到的环境信息，和巡检机器人通过视觉传感器检测到的图像信息，能够对家居巡检事件和异常事件进行更加准确的检测和判断，提高巡检效率。
101.在本技术的一些实施例中，巡检路径经过至少一个目标区域，家居图像数据包括第一数据和/或第二数据，其中，第一数据为巡检路径的数据，第二数据为目标区域的数据。
102.在本技术实施例中，巡检路径是用户规划的路径，也可以是系统自动生成的路径。
其中，巡检路径是巡检机器人的走行路径，巡检机器人在按照巡检路径进行巡检工作的过程中，巡检机器人会经过待巡检区域内的各个子区域，如用户家庭内的各个房间，包括卧室、客厅、厨房、卫生间等。
103.其中的每一个子区域，均可视为一个目标区域。在规划巡检路径时，将以这些目标区域作为节点，来对整体巡检路径进行规划，从而使巡检机器人的巡检路径至少途径一个上述目标区域，如巡检机器人依次对卧室、客厅、厨房、卫生间进行巡检，则巡检路径先经过卧室、再进入客厅、再进入厨房，最后到达卫生间。
104.在巡检过程中，巡检机器人所拍摄并记录的家居图像数据，按照所处区域的不同，具体包括第一数据和第二数据。其中，第一数据具体指的是巡检机器人在沿巡检路径走行过程中，实时拍摄的全部视频数据。而第二数据则是巡检机器人在到达一个目标区域内之后，在目标区域内拍摄得到的视频数据。
105.具体地，对于不同巡检需求，巡检机器人拍摄视频数据的方式可能不同。其中，对于一些实施方式，巡检机器人在巡检的全程均拍摄家居图像数据，也即无论是目标区域内的家居图像数据，还是到达目标区域之前的路径上的家居图像数据均进行采集，即得到第一数据，从而提高巡检范围。
106.对于另一些实施方式，可以控制巡检机器人仅拍摄目标区域内的家居图像数据，而对于在到达目标区域之前的路径上，则不拍摄家居图像数据，从而得到第二数据，由于第二数据仅包括目标区域内的家居图像数据，因此能够降低数据存储压力和数据处理压力，从而提高性能。
107.在本技术的一些实施例中，图像信息包括人物信息，异常事件包括第一事件，第一事件与第一数据和/或第二数据相对应；根据图像信息确定家居巡检事件，包括：根据人物信息确定对应的身份信息；在身份信息与预设身份不匹配的情况下，确定家居巡检事件包括第一事件；确定异常事件对应的处理程序，包括：生成第一事件对应的第一报警信息，将第一报警信息发送至第一终端。
108.在本技术实施例中，巡检机器人通过拍摄得到的家居图像数据，对家居环境中的人物信息进行识别，从而确定家居环境中的人物身份。具体地，巡检机器人可以通过预先采集家庭成员在各个角度下的人物图像，从而学习家庭成员的“外貌”，从而识得家庭成员的身份信息，并形成为预设身份。
109.在巡检过程中，巡检机器人通过拍摄得到的家居图像数据，对其中可能包括的人物图像进行针对性的提取，并基于提取出的人物图像，获取其身份信息。如果确定身份信息属于预设身份信息的范畴，即在预设信息内，存在一个身份信息与当前身份信息相匹配，则可以确定拍摄到的人物是家庭成员，此时记录正常的家居巡检事件。
110.而如果当前身份信息与全部的预设身份均不匹配，则说明居家环境中存在陌生人，此时判断为异常事件，具体为第一事件。当检测到该第一事件时，巡检机器人生成第一报警信息，第一报警信息用于警告用户，家中存在陌生人。
111.其中，巡检机器人可以将该第一报警信息发送到用户手机，即第一终端上，从而对用户进行有效的警示。
112.能够理解的是，当巡检机器人检测到第一事件，也即家中存在陌生人时，巡检机器人可以实时调整当前的巡检路线，从而使巡检机器人跟随人物信息对应的人物，也即陌生
人行走，并实时拍摄人物信息对应的人物的人物图像，实现对陌生人的实时监控。
113.在本技术的一些实施例中，异常事件包括第二事件，第二事件为目标家居设备的状态异常事件，且第二事件与第二数据相对应；确定异常事件对应的处理程序，包括：控制巡检机器人生成控制指令，其中，控制指令用于指示目标家居设备处理第二事件；将控制指令发送至目标家居设备。
114.在本技术实施例中，在巡检机器人的巡检过程中，当巡检机器人进入目标区域后，会对目标区域内的家电设备或家居设备进行有针对性的巡检，其中，这些待巡检的家电设备或家居设备，即上述目标家居设备。
115.具体地，目标家居设备可以是智能家电设备，或智能家居设备，巡检机器人与这些目标家居设备连接在同一个物联网中。当巡检机器人在目标区域内发现目标家居设备处于异常状态时，判断当前的家居巡检事件为异常事件，具体为第二事件。
116.举例来说，第二事件可以是“白天卧室照明灯开启”、“冰箱门未关”等。当确定存在第二事件时，巡检机器人根据第二事件对应的目标家居设备，和第二事件的事件类型，生成对应的控制指令。
117.以上述举例中的“白天卧室照明灯开启”为例，如果巡检机器人发现白天卧室的照明灯未关，则可以生成“关闭卧室灯”的控制指令，并通过智能网关将该指令发送至卧室内的照明灯的智能开关，或通过云服务器的方式，远程控制卧室内的照明灯的智能开关，从而将对应的照明灯关闭，来解决该第二事件。
118.同理，当巡检机器人发现冰箱门未关，则生成“关闭冰箱门”的控制指令，将该指令发送至冰箱的控制器，从而通过对应设置的马达来关闭冰箱门，从而处理第二事件。
119.本技术实施例通过基于物联网的控制指令，来控制家居设备对异常事件进行排除，实现了灵活方便的家居环境检测和异常处理。
120.在本技术实施例中，异常事件包括第三事件，第三事件与第一数据和/或第二数据相对应；确定异常事件对应的处理程序，包括：生成第三事件对应的第二报警信息，将第二报警信息发送至第二终端。
121.在本技术实施例中，异常事件还包括第三事件，具体地，第三事件包括如火情、水淹等严重情况，当巡检机器人通过图像处理，发现了如火焰、烟雾、积水等情况，或通过温度传感器、烟雾传感器或积水传感器检测到对应的环境信息时，巡检机器人立即生成第二报警信息，并发送至对应的第二终端，其中，第二终端包括用户持有的手机，也包括物业终端或火警终端，从而保证这类紧急事件能够在第一时间内被处理，提高巡检的时效性和可靠性。
122.在本技术的一些实施例中，第三事件包括n个事件类别，n为正整数；生成第三事件对应的第二报警信息，包括：获取场景信息；根据场景信息，确定第三事件对应的n个事件类别的优先级顺序；根据n个事件类别和优先级顺序，生成第二报警信息，其中，第二报警信息包括n个报警内容，n个事件类别与n个报警内容一一对应。
123.在本技术实施例中，第三事件还包括无法自动处理，或未设置自动处理规则的家居异常的情况，这些异常构成为第三事件的多种事件类型。举例来说，用户的窗户不是可自动开关的智能窗户，或用户的照明灯不支持遥控开关，则这两种场景分别为两种事件类型，即“未关窗”和“未关灯”。
124.一般情况下，针对不同的事件类型，则生成的第二报警信息中，对应包括不同的报警内容。如“未关窗”的事件类型对应于报警内容“请注意，卧室窗未关”，对于“未关灯”的事件类型对应于报警内容“请注意，卧室照明灯未关”。
125.同时，这些报警内容具有不同的优先度，优先度越高，则报警信息越靠前，用户收到的报警提示越激烈，如提示音越高亢或震动强度越大。而优先度较低的报警内容，可以仅提示文字，不进行提示音或振动的反馈。
126.针对不同的场景信息，可以对报警内容的优先度进行动态调整。举例来说，场景信息包括白天和晚上，在白天，“未关灯”的优先度高于“未关窗”，而在晚上，则“未关窗”的优先度高于“未关灯”。
127.通过针对不同的场景信息，对不同的事件类别的优先级顺序进行调整，从而生成不同顺序的报警内容，有利于提高家居巡检的针对性。
128.在本技术的一些实施例中，异常事件包括第四事件，第四事件为自定义事件，且第四事件与第一数据和/或第二数据相对应；
129.根据图像信息确定家居巡检事件，包括：根据图像信息和预设的图像识别模型，确定家居巡检事件；在根据家居图像数据，确定家居巡检事件之前，方法还包括：接收自定义图像数据集，其中，自定义图像数据集包括第四事件对应的图像；通过自定义图像数据集训练图像识别模型，以使图像识别模型能够根据图像信息识别出第四事件。
130.在本技术实施例中，用户可以对异常事件进行自定义，从而能够对用户自定义的异常事件进行针对性的巡检。举例来说，用户可以将“衣服掉在地上”这一场景设置为异常事件，从而当家居巡检过程中，检测到衣服掉在地上时，向用户发出对应的提示，从而实现更加智能化的巡检。
131.具体地，在根据拍摄的图像信息确定对应的家居巡检事件时，可以通过预设的图像识别模型，对图像信息进行人工智能识别，从而识别出所拍摄的图像中包括的巡检事件。
132.在用户自定义异常事件，即第四事件时，可以手动设置第四事件的场景，以第四事件包括“衣服掉在地上”这一场景为例，用户可手动将衣服放在地上的不同位置，并拍摄不同角度的照片，从而形成为自定义图像数据集，该数据集中拍摄的图片越多，则异常巡检的识别准确率越高。
133.用户通过将该自定义图像数据集输入至上述图像识别模型，从而对图像识别模型进行针对性的训练，从而使训练后的图像识别模型能够识别出用户自定义的第四事件。具体地，当检测到实时拍摄的家居图像数据中，存在“衣服位于地板上”这一情形时，图像识别模型输出的巡检事件中就会包含对应的第四事件，并生成对应的报警内容，提示用户拾取地上的衣服，实现了智能化的家居巡检。
134.在本技术的一些实施例中，确定巡检路径，包括：获取待巡检区域的地图数据；根据地图数据，确定巡检路径。
135.在本技术实施例中，在建立巡检路径时，可以输入待巡检区域的语义地图数据，该语义地图数据包括了用户家庭的语义地图，其中指示有至少一个目标区域的区域范围和位置坐标。
136.根据该地图数据，建立室内家居场景的三维语义地图，并根据该三维语义地图，自动规划巡检路径，能够理解的是，该巡检路径能够途径室内家居场景中的全部目标区域，从
而提高巡检的覆盖范围，实现高精度、高可靠性的室内巡检。
137.在本技术的一些实施例中，确定巡检路径，包括：接收设置指令；根据设置指令，确定巡检路径。
138.在本技术实施例中，设置指令，即用户对巡检机器人的巡检路径进行设置的指令，在接收到设置指令后，巡检机器人根据用户的设置指令，建立对应的巡检路径，并按照该巡检路径进行巡检作业。
139.其中，以通过巡检机器人进行家居巡检为例，设置指令可以是一次性对完整的巡检指令进行设置的指令，也可以是对巡检机器人进行实时遥控的指令。当巡检机器人完成一次巡检后，巡检机器人对本次巡检的路径进行保存，在后续巡检工作中，可以直接调用对应的路径，从而减少计算开销。
140.在本技术的一些实施例中，巡检机器人是智能家居系统中的一部分，是家居异常检测的主体，与各种智能家电互联，并且可与手机进行无线通信；可在手机app(application，应用程序)上远程遥控巡检机器人，并且可以在手机上实时查看家居环境，巡检机器人有语音交互功能。
141.其中，巡检机器人可以设定两种巡检模式，第一种模式就是自动巡检，按照一定的轨迹自动巡检，也可以按照用户自定义方法巡检，第二种就是人工远程操控巡检。
142.巡检机器人内存储了家人的人脸身份信息，用户需要在手机app上注册，并进行家人人脸身份信息录入；巡检机器人可控制各种家居设备，可以查看各种家居设备的运行情况；巡检机器人内部嵌入各种相关的传感器，用以辅助机器视觉方法上的盲区。
143.图2示出了根据本技术实施例的巡检机器人的工作逻辑示意图，如图2所示，巡检机器人的工作系统，包括用户终端、巡检机器人本体和服务器，其中，巡检机器人包括视觉传感器和非视觉辅助传感器，其中，视觉传感器包括摄像头，能够获取家居实时场景图像，非视觉传感器包括烟雾传感器、温度传感器、雨量传感器等，通过视觉传感器和非视觉辅助传感器，来对家居状态进行检测和分析。
144.用户终端即用户手机app，用户通过手机app建立巡检任务，并结合家居异常数据库，来指定目标巡检区域或目标家居设备，系统根据用户指定自动规划巡检路线，并发送至巡检机器人。
145.巡检机器人本体包括主控系统，主控系统能够控制异常处理模块和家居控制模块，异常处理模块能够对家居异常进行检测和识别，家居控制模块则可以向家居设备发送控制指令，从而控制家居设备处理异常。
146.服务器与巡检机器人之间进行数据指令交互，当巡检机器人检测到异常情况时，向服务器发送对应的警报信息，服务器向用户终端发送异常警报，从而提示用户异常。
147.在巡检机器人工作的过程中，包括以下五个步骤：
148.步骤一，首先用户可以在用户手机app终端上导入预先存储的室内家居场景三维语义地图，选择巡检模式，第一种可选择的巡检模式是根据语义地图自动巡检；第二种可选择的巡检模式是根据用户需求实现远程人工操控巡检。对于远程操控机器人巡检，用户只需在手机app端直接对机器人进行实时远程遥控，人工检查是否有异常信息。
149.步骤二，对于第二种根据语义地图自动巡检的方法，首先用户在手机app终端可以选择需要检测的设备或区域，巡检机器人根据当前位置自动规划巡检路线，根据用户自定
义的巡检路线开始巡检；系统自动保存本次巡检任务路线，用户下次使用时可以一键选择。
150.步骤三，步骤一和步骤二准备就绪后，进入步骤三的家居异常检测阶段。首先通过巡检机器人视觉传感器实时获取家居异常检测过程中的每一帧，巡检机器人到达指定区域后，对可能发生异常的家居设备或区域进行检测，检测到感兴趣的家居设备后机器人会根据目标位置调整位姿，使得巡检机器人使用的视觉传感器能够始终对准待检测的设备或待测区域。
151.步骤四，当巡检机器人检测到家居异常时，系统对家居异常做进一步分析。其中，家居异常可以包括以下情况：冰箱未关、灯未关、窗户开、起火、检测到陌生人等。
152.具体地，当巡检机器人检测到家居异常时，将异常信息传输到机器人内部的异常处理模块中做进一步分析和处理。
153.机器人主控系统不仅会将异常信息记录上传至云端，而且会将异常信息发送至用户端，用户可根据异常信息做出相应的措施，机器人也会根据异常信息通过智能家居控制模块自行解决异常问题。
154.当检测到窗户未关时，首先通过天气传感器获取气象信息，若天气是下雨刮风等恶劣天气，则辅助系统判定为家居异常，系统将异常信息上报至用户，同时运用智能家居控制系统将智能窗户关闭。
155.当视觉传感器和烟雾传感器检测到灶台或者其他区域有火焰时，检测的优先级相同，即不管是哪个传感器检测到火焰，都应立即向用户报警。
156.当检测到任何位置有陌生人时，巡检机器人会对陌生人进行跟踪，全程将录像同步至云端备份，并立即提示用户。
157.当检测到灯未关时，由巡检机器人向智能家居控制模块发送关闭指令，智能家居控制模块接收到关闭指令后将灯关闭。
158.例如将衣服掉落在地上视为家居异常，用户可以通过自己输入异常场景(衣服掉在地上)的图像进行训练，使得这一场景也加入到异常数据库中，从而支持该场景的检测。
159.本技术实施例通过机器视觉外加其他硬件传感器的辅助，实现对家居异常的检测，不仅能够结合家居场景下的背景知识，也能够结合其他传感器的经验知识，辅助视觉方法上检测的盲区，有效的提高了机器人的异常检测能力。
160.且机器人具备异常检测能力，还具备解决异常问题的能力，一定程度上保障了家居安全。将多种异常的检测集成在机器人内部，根据不同的家居异常情况识别出不同的异常类别，还可以根据需求更新和扩充家居异常数据库。利用巡检机器人实现自动多点巡检，使用灵活方便，可扩展性强，适合绝大部分家居环境的异常检测。
161.实施例二
162.在本技术的一些实施例中，提供了一种家居巡检装置，图3示出了根据本技术实施例的家居巡检装置的结构框图，如图3所示，家居巡检装置300包括：
163.确定模块302，用于确定巡检路径；
164.拍摄模块304，用于沿巡检路径拍摄家居图像数据；
165.确定模块302，还用于根据家居图像数据，确定家居巡检事件；在家居巡检事件包括异常事件的情况下，确定异常事件对应的处理程序；
166.执行模块306，用于执行处理程序。
167.在本技术实施例中，可以通过巡检机器人，对家居空间或家居设备进行巡检，也可以通过设置电连接的多个固定摄像头，来进行巡检。以通过巡检机器人来进行家居巡检为例，该巡检机器人包括走行系统和机器视觉系统，其中，走行系统可以包括走行轮、走行履带等，并依靠导航雷达、视觉系统、红外线传感器等设备，实现沿巡检路径自动进行巡检运动。机器视觉系统能够实时检测机器人四周的环境图像，举例来说，机器视觉系统可以是摄像头，该摄像头可以是全景摄像头，也可以是设置在转台上的广角摄像头，从而对机器人经过区域进行全面拍摄，得到巡检路径上的家居图像数据。
168.同时，巡检机器人的主控系统中设置有算法处理器，和对应的图像识别算法模型，在拍摄得到家居图像数据后，通过图像算法模型，对拍摄得到的家居图像数据进行人工智能识别，从而识别出巡检路径途径的各个区域中的家居巡检事件，并判断这些家居巡检事件中，是否存在异常事件。
169.举例来说，巡检路径途径用户家中的各个房间，包括卧室、客厅、卫生间和厨房。当巡检机器人沿巡检路径走行到卧室后，拍摄卧室内的图像信息，并根据该图像信息，结合机器视觉算法和大数据人工智能模型，对卧室内各关键兴趣点的信息进行提取，如卧室窗子的开闭状态，卧室灯光的开关状态等。
170.同理，当机器人进入卫生间、客厅和厨房等空间后，对卫生间、客厅或厨房内的关键兴趣点信息进行提取，如卫生间水龙头的开闭状态，如厨房内灶台的开关状态，如客厅内冰箱门体的开合状态等。
171.在识别到这些家居巡检事件后，巡检机器人的控制系统根据内置的判断逻辑，或用户自定义的判断逻辑，判断这些家居巡检事件中，是否包含了异常事件。
172.举例来说，在白天，日照充足，不需要开启卧室照明灯，此时满足条件“白天”、“卧室照明灯关闭”，则代表卧室灯光状态正常。而如果满足条件“白天”、“卧室内照明灯开启”，则记录为异常事件。
173.再次举例来说，客厅冰箱门应当处于关闭状态，如果判断客厅的冰箱门处于开启状态，则记录为异常事件。
174.在确定家居巡检事件中，包含有异常事件时，根据异常事件的对象，和异常事件的类型，巡检机器人查找与之相对应的处理程序，并通过执行对应的处理程序的方式，对这些异常事件进行排除和解决。
175.举例来说，巡检机器人接入到智能家居的物联网中，以巡检机器人检测到“白天卧室照明灯开启”的异常事件为例，巡检机器人可以通过执行对应的处理程序，来通过物联网控制卧室照明灯关闭，从而实现对异常事件的处理。
176.本技术实施例中，巡检机器人基于视觉传感器和图像处理技术，来对家居巡检事件进行检测，不依赖于单一的传感器，因此能够针对大范围内的不同事件类型进行准确检测，具有良好的泛用性。同时，通过执行对应的处理程序，来对检测到的异常事件进行处理和排除，从而具有了处理异常的能力，实现了灵活方便的家居环境检测和异常处理。
177.实施例三
178.在本技术的一些实施例中，提供了一种非易失性可读存储介质，其上存储有程序或指令，该程序或指令被处理器执行时实现如上述任一实施例中提供的家居巡检方法的步骤，因此，该非易失性可读存储介质也包括如上述任一实施例中提供的家居巡检方法的全
部有益效果，为避免重复，在此不再赘述。
179.实施例四
180.在本技术的一些实施例中，提供了一种巡检机器人，包括如上述任一实施例中提供的家居巡检装置，和/或如上述任一实施例中提供的非易失性可读存储介质，因此，该巡检机器人也包括如上述任一实施例中提供的控制装置和/或如上述任一实施例中提供的可读存储介质的全部有益效果，为避免重复，在此不再赘述。
181.实施例五
182.在本技术的一些实施例中，提供了一种计算机设备，包括：存储器，用于存储程序或指令；处理器，用于执行程序或指令时实现如上述任一实施例中提供的家居巡检方法的步骤，因此，该计算机设备也包括如上述任一实施例中提供的家居巡检方法的全部有益效果，为避免重复，在此不再赘述。在一些实施方式中，计算机设备包括巡检机器人。
183.实施例六
184.在本技术的一些实施例中，提供了一种计算机程序产品，该计算机程序产品被处理器执行时实现如上述任一实施例中提供的家居巡检方法的步骤，因此，该计算机程序也包括如上述任一实施例中提供的家居巡检方法的全部有益效果，为避免重复，在此不再赘述。
185.本技术的描述中，术语“多个”则指两个或两个以上，除非另有明确的限定，术语“上”、“下”等指示的方位或位置关系为基于附图所述的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制；术语“连接”、“安装”、“固定”等均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
186.在本技术的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本技术的至少一个实施例或示例中。在本技术中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
187.以上所述仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。