家电设备的定位及识别方法、装置、存储介质及终端设备与流程

1.本发明涉及定位技术领域，尤其涉及一种家电设备的定位及识别方法、装置、计算机可读存储介质及终端设备。


背景技术：

2.现有技术提供的定位方法，一般仅能确定家电设备在某个传感器下的空间方位，无法同时分辨出多台家电设备，或者需要在每台家电设备上额外安装专门的传感器才能进行分辨，导致成本增加。


技术实现要素：

3.本发明实施例所要解决的技术问题在于，提供一种家电设备的定位及识别方法、装置、计算机可读存储介质及终端设备，能够同时实现家电设备的定位以及家电设备的识别，无需增加额外成本。
4.为了解决上述技术问题，本发明实施例提供了一种家电设备的定位及识别方法，包括：
5.在第一位置采集第一图像，获取所述第一图像中的第一家电设备对应的第一设备类型以及第一目标区域；
6.在第二位置采集第二图像，获取所述第二图像中的第二家电设备对应的第二设备类型以及第二目标区域；
7.当所述第一设备类型与所述第二设备类型相同时，对所述第一目标区域和所述第二目标区域进行特征点提取及匹配，获取匹配特征点；
8.根据所述匹配特征点、所述第一位置的三维空间坐标值和所述第二位置的三维空间坐标值，获取所述匹配特征点的三维空间坐标值；
9.根据所述第一设备类型查询预设的家电设备信息表；其中，所述家电设备信息表中包括若干台家电设备及其对应的设备信息，所述设备信息至少包括设备类型；
10.当所述家电设备信息表中与所述第一设备类型相同的设备类型所对应的家电设备有且仅有一台时，根据该家电设备对应的设备信息确定所述第一家电设备的设备信息，根据所述匹配特征点的三维空间坐标值确定所述第一家电设备的三维空间坐标值。
11.进一步地，所述在第一位置采集第一图像，获取所述第一图像中的第一家电设备对应的第一设备类型以及第一目标区域，具体包括：
12.通过移动机器人上的摄像头在所述第一位置采集所述第一图像；
13.对所述第一图像进行图像识别处理，相应获得所述第一家电设备对应的所述第一设备类型；
14.对所述第一图像进行目标检测处理，相应获得所述第一家电设备对应的所述第一目标区域。
15.进一步地，所述方法还包括：
16.采用slam算法获取所述移动机器人在所述第一位置处的第一位姿参数以及三维空间坐标值；
17.采用slam算法获取所述移动机器人在所述第二位置处的第二位姿参数以及三维空间坐标值。
18.进一步地，所述根据所述匹配特征点、所述第一位置的三维空间坐标值和所述第二位置的三维空间坐标值，获取所述匹配特征点的三维空间坐标值，具体包括：
19.通过所述摄像头的相机成像模型将所述匹配特征点转换为相机坐标系下的第一匹配特征点；
20.通过所述第一位姿参数将所述第一匹配特征点转换到世界坐标系下，相应形成以所述第一位置为起点的第一射线；
21.通过所述第二位姿参数将所述第一匹配特征点转换到世界坐标系下，相应形成以所述第二位置为起点的第二射线；
22.根据所述第一射线、所述第二射线、所述第一位置的三维空间坐标值和所述第二位置的三维空间坐标值，计算获得所述匹配特征点的三维空间坐标值。
23.进一步地，所述对所述第一目标区域和所述第二目标区域进行特征点提取及匹配，具体包括：
24.采用sift算法或surf算法对所述第一目标区域和所述第二目标区域进行特征点提取及匹配。
25.进一步地，所述方法还包括：
26.当所述家电设备信息表中与所述第一设备类型相同的设备类型所对应的家电设备有n台时，获取所述第一家电设备的工作状态；其中，n》1；
27.当所述第一家电设备正在运行时，获取用户的三维空间坐标值；
28.根据n台家电设备对应的三维空间坐标值和所述用户的三维空间坐标值，确定所述n台家电设备中与所述用户处于同一房间的第一目标家电设备；
29.根据所述第一目标家电设备对应的设备信息确定所述第一家电设备的设备信息，根据所述匹配特征点的三维空间坐标值确定所述第一家电设备的三维空间坐标值。
30.进一步地，所述方法还包括：
31.当所述家电设备信息表中与所述第一设备类型相同的设备类型所对应的家电设备有n台时，获取所述第一家电设备的工作状态；其中，n》1；
32.当所述第一家电设备正在运行时，获取用户的三维空间坐标值；
33.根据n台家电设备对应的三维空间坐标值和所述用户的三维空间坐标值，确定所述n台家电设备中与所述用户的距离最近的第二目标家电设备；
34.根据所述第二目标家电设备对应的设备信息确定所述第一家电设备的设备信息，根据所述匹配特征点的三维空间坐标值确定所述第一家电设备的三维空间坐标值。
35.为了解决上述技术问题，本发明实施例还提供了一种家电设备的定位及识别装置，包括：
36.第一图像获取及处理模块，用于在第一位置采集第一图像，获取所述第一图像中的第一家电设备对应的第一设备类型以及第一目标区域；
37.第二图像获取及处理模块，用于在第二位置采集第二图像，获取所述第二图像中
的第二家电设备对应的第二设备类型以及第二目标区域；
38.特征点提取及匹配模块，用于当所述第一设备类型与所述第二设备类型相同时，对所述第一目标区域和所述第二目标区域进行特征点提取及匹配，获取匹配特征点；
39.匹配特征点坐标获取模块，用于根据所述匹配特征点、所述第一位置的三维空间坐标值和所述第二位置的三维空间坐标值，获取所述匹配特征点的三维空间坐标值；
40.设备类型查询模块，用于根据所述第一设备类型查询预设的家电设备信息表；其中，所述家电设备信息表中包括若干台家电设备及其对应的设备信息，所述设备信息至少包括设备类型；
41.家电设备定位及识别模块，用于当所述家电设备信息表中与所述第一设备类型相同的设备类型所对应的家电设备有且仅有一台时，根据该家电设备对应的设备信息确定所述第一家电设备的设备信息，根据所述匹配特征点的三维空间坐标值确定所述第一家电设备的三维空间坐标值。
42.本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行上述任一项所述的家电设备的定位及识别方法。
43.本发明实施例还提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现上述任一项所述的家电设备的定位及识别方法。
44.与现有技术相比，本发明实施例提供了一种家电设备的定位及识别方法、装置、计算机可读存储介质及终端设备，通过在第一位置采集第一图像，获取所述第一图像中的第一家电设备对应的第一设备类型以及第一目标区域；在第二位置采集第二图像，获取所述第二图像中的第二家电设备对应的第二设备类型以及第二目标区域；当所述第一设备类型与所述第二设备类型相同时，对所述第一目标区域和所述第二目标区域进行特征点提取及匹配，获取匹配特征点；根据所述匹配特征点、所述第一位置的三维空间坐标值和所述第二位置的三维空间坐标值，获取所述匹配特征点的三维空间坐标值；根据所述第一设备类型查询预设的家电设备信息表；其中，所述家电设备信息表中包括若干台家电设备及其对应的设备信息，所述设备信息至少包括设备类型；当所述家电设备信息表中与所述第一设备类型相同的设备类型所对应的家电设备有且仅有一台时，根据该家电设备对应的设备信息确定所述第一家电设备的设备信息，根据所述匹配特征点的三维空间坐标值确定所述第一家电设备的三维空间坐标值；从而能够同时实现家电设备的定位以及家电设备的识别，无需增加额外成本。
附图说明
45.图1是本发明提供的一种家电设备的定位及识别方法的一个优选实施例的流程图；
46.图2是本发明提供的利用三角交汇法计算匹配特征点的三维空间坐标值的示意图；
47.图3是本发明提供的一种家电设备的定位及识别装置的一个优选实施例的结构框图；
48.图4是本发明提供的一种终端设备的一个优选实施例的结构框图。
具体实施方式
49.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本技术领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
50.本发明实施例提供了一种家电设备的定位及识别方法，参见图1所示，是本发明提供的一种家电设备的定位及识别方法的一个优选实施例的流程图，所述方法包括步骤s11至步骤s16：
51.步骤s11、在第一位置采集第一图像，获取所述第一图像中的第一家电设备对应的第一设备类型以及第一目标区域；
52.步骤s12、在第二位置采集第二图像，获取所述第二图像中的第二家电设备对应的第二设备类型以及第二目标区域；
53.步骤s13、当所述第一设备类型与所述第二设备类型相同时，对所述第一目标区域和所述第二目标区域进行特征点提取及匹配，获取匹配特征点；
54.步骤s14、根据所述匹配特征点、所述第一位置的三维空间坐标值和所述第二位置的三维空间坐标值，获取所述匹配特征点的三维空间坐标值；
55.步骤s15、根据所述第一设备类型查询预设的家电设备信息表；其中，所述家电设备信息表中包括若干台家电设备及其对应的设备信息，所述设备信息至少包括设备类型；
56.步骤s16、当所述家电设备信息表中与所述第一设备类型相同的设备类型所对应的家电设备有且仅有一台时，根据该家电设备对应的设备信息确定所述第一家电设备的设备信息，根据所述匹配特征点的三维空间坐标值确定所述第一家电设备的三维空间坐标值。
57.具体的，首先，在室内的第一位置处拍摄包含家电设备的第一图像，并获取第一图像中的第一家电设备对应的第一设备类型以及第一家电设备在第一图像中对应的第一目标区域，同理，在室内的第二位置处拍摄包含家电设备的第二图像，并获取第二图像中的第二家电设备对应的第二设备类型以及第二家电设备在第二图像中对应的第二目标区域；其次，判断获得的第一设备类型和第二设备类型是否相同，当判定第一设备类型与第二设备类型相同(即第一家电设备与第二家电设备为同一台家电设备)时，对获得的第一目标区域和第二目标区域进行特征点提取以及特征点匹配处理，相应获得匹配特征点；然后，根据第一位置对应的三维空间坐标值和第二位置对应的三维空间坐标值，计算获得匹配特征点对应的三维空间坐标值；接着，根据第一设备类型查询预先设置的家电设备信息表，家电设备信息表中记录了室内的若干台家电设备以及每一台家电设备对应的设备信息(例如，设备类型、设备功能等相关设备信息)，以找出在家电设备信息表中设备类型与第一设备类型相同的家电设备，当在家电设备信息表中找到的与第一设备类型相同的设备类型所对应的家电设备有且仅有一台时，可以理解的，找到的家电设备即为第一家电设备，则将找到的家电设备对应的设备信息作为第一家电设备的设备信息，并且将获得的匹配特征点的三维空间坐标值作为第一家电设备的三维空间坐标值，从而将家电设备的设备信息与三维空间坐标
值一一对应关联起来，同时实现了家电设备的定位以及家电设备的识别。
58.需要说明的是，家电设备信息表可以根据接收到的每一台家电设备上报的设备信息相应获得，家电设备信息表中的家电设备与设备信息之间具有一一对应的关系；在通过上述步骤完成任意一台家电设备的定位及识别之后，可以将获得的该家电设备的三维空间坐标值也添加到家电设备信息表中，相应的，家电设备信息表中的家电设备、设备信息、三维空间坐标值这三者之间具有一一对应的关系。
59.可以理解的，只有当基于第一图像识别出的第一家电设备与基于第二图像识别出的第二家电设备为同一台家电设备时，才能相应获得同一台家电设备在不同拍摄位置所对应的两组信息，并根据这两组信息完成对同一台家电设备的定位及识别；当基于第一图像识别出的第一家电设备与基于第二图像识别出的第二家电设备不为同一台家电设备时，若以第一家电设备作为待定位及识别的家电设备，可以在第二位置处重新拍摄包含第一家电设备的第二图像并进行相应处理，也在其他位置处重新拍摄包含第一家电设备的图像并进行后续处理，本发明实施例不作具体限定。
60.本发明实施例所提供的一种家电设备的定位及识别方法，通过在不同位置处拍摄同一台家电设备对应的两组图像，并基于这两组图像的相关信息以及预先设置的家电设备信息表，确定家电设备所对应的设备信息和三维空间坐标值，将家电设备的设备信息与三维空间坐标值对应关联起来，从而能够同时实现家电设备的定位以及家电设备的识别，无需增加额外成本。
61.在另一个优选实施例中，所述在第一位置采集第一图像，获取所述第一图像中的第一家电设备对应的第一设备类型以及第一目标区域，具体包括：
62.通过移动机器人上的摄像头在所述第一位置采集所述第一图像；
63.对所述第一图像进行图像识别处理，相应获得所述第一家电设备对应的所述第一设备类型；
64.对所述第一图像进行目标检测处理，相应获得所述第一家电设备对应的所述第一目标区域。
65.具体的，结合上述实施例，第一图像可以通过移动机器人上的摄像头采集获得，当移动机器人运动到室内的第一位置处时，拍摄包含第一家电设备的第一图像，并采用现有技术提供的图像识别方法对第一图像进行图像识别，相应获得第一图像中的第一家电设备所对应的第一设备类型，以及，采用现有技术提供的运动目标检测方法对第一图像进行运动目标检测，相应获得第一图像中的第一家电设备所对应的第一目标区域。
66.同理，第二图像也可以通过移动机器人上的摄像头采集获得，当移动机器人运动到室内的第二位置处时，拍摄包含第二家电设备的第二图像，并采用现有技术提供的图像识别方法对第二图像进行图像识别，相应获得第二图像中的第二家电设备所对应的第二设备类型，以及，采用现有技术提供的图像目标检测方法对第二图像进行目标检测，相应获得第二图像中的第二家电设备所对应的第二目标区域。
67.需要说明的是，本发明实施例所采用的图像识别方法包括但不限于基于深度学习的图像分类识别方法，并且一些基于深度学习的网络既能识别出图像类别，同时还能检测出图像中的目标区域，例如yolo网络等；检测出的图像中的目标区域通过bounding box来框出目标物体，bounding box是个矩形框(也可以是其他几何形状)，一般用四维向量(x，y，
w，h)来表示，分别表示图像中心坐标(x，y)及矩形框的宽(w)和高(h)，通过这个四维向量可方便地求出bounding box矩形框的四个顶点的图像坐标值；其中，四维向量(x，y，w，h)是基于图像坐标系的值，无需变换到世界坐标系下。
68.在又一个优选实施例中，所述对所述第一目标区域和所述第二目标区域进行特征点提取及匹配，具体包括：
69.采用sift算法或surf算法对所述第一目标区域和所述第二目标区域进行特征点提取及匹配。
70.具体的，结合上述实施例，在检测获得第一图像中的第一家电设备所对应的第一目标区域以及第二图像中的第二家电设备所对应的第二目标区域，并且判定第一设备类型与第二设备类型相同之后，可以采用sift算法(scale invariant feature transform，尺度不变特征转换算法)或surf算法(speeded up robust features，加速稳健特征算法)，对第一目标区域内的局部图像和第二目标区域内的局部图像进行特征点提取，并根据提取到的第一目标区域对应的特征点和第二目标区域对应的特征点进行特征点匹配，相应获得第一目标区域和第二目标区域的匹配特征点。
71.可以理解的，基于同一台家电设备的第一目标区域和第二目标区域中必须存在至少一对匹配特征点，才能根据第一位置对应的三维空间坐标值和第二位置对应的三维空间坐标值，计算获得匹配特征点对应的三维空间坐标值，以相应获得家电设备对应的三维空间坐标值；例如，移动机器人在s1位姿处拍到了狗，特征点为狗的鼻子，那么移动机器人在s2位姿处必须也要拍到狗的鼻子(即为空间中的同一点)，这样才能通过s1、s2这两个视角定位确定狗鼻子的真实空间位置，而通过一个视角只能推测狗鼻子在某条射线上，无法进行准确定位。
72.另外，匹配特征点可能不止一对，如果只识别到一对匹配特征点，则以该匹配特征点来代表第一家电设备，以该匹配特征点的三维空间坐标值来代表第一家电设备的三维空间坐标值；如果识别到多对匹配特征点，则以多对匹配特征点来代表第一家电设备，并且先求出每对匹配特征点的三维空间坐标值，再求出多对匹配特征点的三维空间平均坐标值，以多对匹配特征点的三维空间平均坐标值来代表第一家电设备的三维空间坐标值。
73.需要说明的是，本发明实施例所使用的特征点提取方法包括但不限于sift算法和surf算法，如果提取不到sift特征点或surf特征点，还可以采用区域匹配ssd等方法来代替sift算法或surf算法。
74.在又一个优选实施例中，所述方法还包括：
75.采用slam算法获取所述移动机器人在所述第一位置处的第一位姿参数以及三维空间坐标值；
76.采用slam算法获取所述移动机器人在所述第二位置处的第二位姿参数以及三维空间坐标值。
77.具体的，结合上述实施例，在计算匹配特征点对应的三维空间坐标值之前，本发明实施例需要先获取第一位置对应的三维空间坐标值和第二位置对应的三维空间坐标值，在具体实施时，可以采用slam算法(simultaneous localization and mapping，同步定位与地图构建算法)获取移动机器人在第一位置处的第一位姿参数s1＝{r1|t1}及其对应的三维空间坐标值，以及获取移动机器人在第二位置处的第二位姿参数s2＝{r2|t2}及其对应
的三维空间坐标值，其中，第一位姿参数s1和第二位姿参数s2均为世界坐标系下的值，位姿参数s具体表示空间变换矩阵或位姿变换矩阵，既包括旋转分量r，又包括平移分量t(即世界坐标)。
78.结合图2所示，是本发明提供的利用三角交汇法计算匹配特征点的三维空间坐标值的示意图，作为上述方案的改进，所述根据所述匹配特征点、所述第一位置的三维空间坐标值和所述第二位置的三维空间坐标值，获取所述匹配特征点的三维空间坐标值，具体包括：
79.通过所述摄像头的相机成像模型将所述匹配特征点转换为相机坐标系下的第一匹配特征点；
80.通过所述第一位姿参数将所述第一匹配特征点转换到世界坐标系下，相应形成以所述第一位置为起点的第一射线；
81.通过所述第二位姿参数将所述第一匹配特征点转换到世界坐标系下，相应形成以所述第二位置为起点的第二射线；
82.根据所述第一射线、所述第二射线、所述第一位置的三维空间坐标值和所述第二位置的三维空间坐标值，计算获得所述匹配特征点的三维空间坐标值。
83.具体的，结合上述实施例，在获得匹配特征点、第一位置对应的三维空间坐标值和第二位置对应的三维空间坐标值之后，由于匹配特征点是基于图像坐标系下的特征点，因此，需要先通过拍摄图像时所使用的摄像头对应的相机成像模型将匹配特征点转换为三维相机坐标系下的第一匹配特征点，再通过获得的第一位姿参数s1(即第一空间变换矩阵)将第一匹配特征点转换到世界坐标系(即图2中的坐标系w)下，并且相应形成了以第一位置为起点的第一射线(图2中的射线l1)，同理，通过获得的第二位姿参数s2(即第二空间变换矩阵)将第一匹配特征点转换到世界坐标系下，并且相应形成了以第二位置为起点的第二射线(图2中的射线l2)，最后，利用三角交汇法，根据第一位置对应的三维空间坐标值和第二位置对应的三维空间坐标值，求取第一射线和第二射线的交点(图2中的交点a)对应的三维空间坐标值，即获得匹配特征点(即为图2中的交点a)对应的三维空间坐标值。
84.在又一个优选实施例中，所述方法还包括：
85.当所述家电设备信息表中与所述第一设备类型相同的设备类型所对应的家电设备有n台时，获取所述第一家电设备的工作状态；其中，n》1；
86.当所述第一家电设备正在运行时，获取用户的三维空间坐标值；
87.根据n台家电设备对应的三维空间坐标值和所述用户的三维空间坐标值，确定所述n台家电设备中与所述用户处于同一房间的第一目标家电设备；
88.根据所述第一目标家电设备对应的设备信息确定所述第一家电设备的设备信息，根据所述匹配特征点的三维空间坐标值确定所述第一家电设备的三维空间坐标值。
89.需要说明的是，在根据第一设备类型查询预先设置的家电设备信息表时，如果家电设备信息表中找到的与第一设备类型相同的设备类型所对应的家电设备有且仅有一台，则可以采用上述实施例相应获取第一家电设备的设备信息和三维空间坐标值；如果家电设备信息表中找到的与第一设备类型相同的设备类型所对应的家电设备有n台(n》1)，即相同设备类型的家电设备有多台，则可以结合用户在室内实际所处的位置和房间信息来相应获取第一家电设备的设备信息和三维空间坐标值。
90.在具体实施时，可以根据预先设置的通信协议与室内的家电设备进行通信，先获取第一家电设备当前所处的工作状态，以判断第一家电设备当前是否正在运行，当判定第一家电设备当前正在运行时，获取用户对应的三维空间坐标值，再根据n台家电设备对应的三维空间坐标值(n台家电设备对应的三维空间坐标值同样可以采用上述实施例中的三角交汇法分别进行计算获得)和获得的用户的三维空间坐标值，结合室内的房间信息，确定n台家电设备中与用户处于同一房间的家电设备，并作为第一目标家电设备，第一目标家电设备即为第一家电设备，则将第一目标家电设备对应的设备信息作为第一家电设备的设备信息，并且将获得的匹配特征点的三维空间坐标值作为第一家电设备的三维空间坐标值。
91.可以理解的，正在运行的家电设备一般与用户处于同一房间内，例如，室内共有2台空调，用户在哪个房间，该房间内的空调应该是正在运行的，而不属于该房间内的另外一台空调大概率是关闭的，因此，当判定第一家电设备当前正在运行时，可以将n台家电设备中与用户处于同一房间的家电设备作为第一家电设备。
92.需要说明的是，用户的三维空间坐标值可以采用现有技术提供的定位方法进行获取，也可以采用本发明实施例所提供的技术方案对用户进行定位，只需将定位目标由家电设备替换为用户即可，具体的定位原理相同，这里不再赘述；另外，可以通过采用slam算法对室内环境进行建图，获取环境栅格地图，并将环境栅格地图转换为房间户型图，从而获得相应的房间信息。
93.在又一个优选实施例中，所述方法还包括：
94.当所述家电设备信息表中与所述第一设备类型相同的设备类型所对应的家电设备有n台时，获取所述第一家电设备的工作状态；其中，n》1；
95.当所述第一家电设备正在运行时，获取用户的三维空间坐标值；
96.根据n台家电设备对应的三维空间坐标值和所述用户的三维空间坐标值，确定所述n台家电设备中与所述用户的距离最近的第二目标家电设备；
97.根据所述第二目标家电设备对应的设备信息确定所述第一家电设备的设备信息，根据所述匹配特征点的三维空间坐标值确定所述第一家电设备的三维空间坐标值。
98.具体的，结合上述实施例，如果家电设备信息表中找到的与第一设备类型相同的设备类型所对应的家电设备有n台(n》1)，即相同设备类型的家电设备有多台，则可以仅结合用户在室内实际所处的位置来相应获取第一家电设备的设备信息和三维空间坐标值；在具体实施时，先获取第一家电设备当前所处的工作状态，以判断第一家电设备当前是否正在运行，当判定第一家电设备当前正在运行时，获取用户对应的三维空间坐标值，再根据n台家电设备对应的三维空间坐标值(n台家电设备对应的三维空间坐标值同样可以采用上述实施例中的三角交汇法分别进行计算获得)和获得的用户的三维空间坐标值，分别计算n台家电设备中的每一台家电设备与用户之间的距离，找出n台家电设备中与用户的距离最近的家电设备，并作为第二目标家电设备，第二目标家电设备即为第一家电设备，则将第二目标家电设备对应的设备信息作为第一家电设备的设备信息，并且将获得的匹配特征点的三维空间坐标值作为第一家电设备的三维空间坐标值。
99.可以理解的，正在运行的家电设备一般与用户的距离较近，例如，室内共有2台电视，离用户最近的电视应该是正在运行的，以方便用户观看，而与用户距离较远的另外一台电视大概率是关闭的，因此，当判定第一家电设备当前正在运行时，可以将n台家电设备中
与用户距离最近的家电设备作为第二家电设备。
100.需要说明的是，在获取用户对应的三维空间坐标值时，如果用户的位置不是固定不变的，可以统计一段时间内用户对应的若干个坐标值，并求取平均坐标值，将获得的平均坐标值作为用户的三维空间坐标值。
101.本发明实施例还提供了一种家电设备的定位及识别装置，参见图3所示，是本发明提供的一种家电设备的定位及识别装置的一个优选实施例的结构框图，所述装置包括：
102.第一图像获取及处理模块11，用于在第一位置采集第一图像，获取所述第一图像中的第一家电设备对应的第一设备类型以及第一目标区域；
103.第二图像获取及处理模块12，用于在第二位置采集第二图像，获取所述第二图像中的第二家电设备对应的第二设备类型以及第二目标区域；
104.特征点提取及匹配模块13，用于当所述第一设备类型与所述第二设备类型相同时，对所述第一目标区域和所述第二目标区域进行特征点提取及匹配，获取匹配特征点；
105.匹配特征点坐标获取模块14，用于根据所述匹配特征点、所述第一位置的三维空间坐标值和所述第二位置的三维空间坐标值，获取所述匹配特征点的三维空间坐标值；
106.设备类型查询模块15，用于根据所述第一设备类型查询预设的家电设备信息表；其中，所述家电设备信息表中包括若干台家电设备及其对应的设备信息，所述设备信息至少包括设备类型；
107.家电设备定位及识别模块16，用于当所述家电设备信息表中与所述第一设备类型相同的设备类型所对应的家电设备有且仅有一台时，根据该家电设备对应的设备信息确定所述第一家电设备的设备信息，根据所述匹配特征点的三维空间坐标值确定所述第一家电设备的三维空间坐标值。
108.优选地，所述第一图像获取及处理模块11具体包括：
109.第一图像采集单元，用于通过移动机器人上的摄像头在所述第一位置采集所述第一图像；
110.第一图像识别单元，用于对所述第一图像进行图像识别处理，相应获得所述第一家电设备对应的所述第一设备类型；
111.第一图像检测单元，用于对所述第一图像进行目标检测处理，相应获得所述第一家电设备对应的所述第一目标区域。
112.优选地，所述装置还包括位姿及坐标获取模块，用于：
113.采用slam算法获取所述移动机器人在所述第一位置处的第一位姿参数以及三维空间坐标值；
114.采用slam算法获取所述移动机器人在所述第二位置处的第二位姿参数以及三维空间坐标值。
115.优选地，所述匹配特征点坐标获取模块14具体包括：
116.第一坐标转换单元，用于通过所述摄像头的相机成像模型将所述匹配特征点转换为相机坐标系下的第一匹配特征点；
117.第二坐标转换单元，用于通过所述第一位姿参数将所述第一匹配特征点转换到世界坐标系下，相应形成以所述第一位置为起点的第一射线；
118.第三坐标转换单元，用于通过所述第二位姿参数将所述第一匹配特征点转换到世
界坐标系下，相应形成以所述第二位置为起点的第二射线；
119.匹配特征点坐标计算单元，用于根据所述第一射线、所述第二射线、所述第一位置的三维空间坐标值和所述第二位置的三维空间坐标值，计算获得所述匹配特征点的三维空间坐标值。
120.优选地，所述特征点提取及匹配模块13具体包括：
121.特征点提取及匹配单元，用于采用sift算法或surf算法对所述第一目标区域和所述第二目标区域进行特征点提取及匹配。
122.优选地，所述装置还包括第一家电设备定位及识别模块，用于：
123.当所述家电设备信息表中与所述第一设备类型相同的设备类型所对应的家电设备有n台时，获取所述第一家电设备的工作状态；其中，n》1；
124.当所述第一家电设备正在运行时，获取用户的三维空间坐标值；
125.根据n台家电设备对应的三维空间坐标值和所述用户的三维空间坐标值，确定所述n台家电设备中与所述用户处于同一房间的第一目标家电设备；
126.根据所述第一目标家电设备对应的设备信息确定所述第一家电设备的设备信息，根据所述匹配特征点的三维空间坐标值确定所述第一家电设备的三维空间坐标值。
127.优选地，所述装置还包括第二家电设备定位及识别模块，用于：
128.当所述家电设备信息表中与所述第一设备类型相同的设备类型所对应的家电设备有n台时，获取所述第一家电设备的工作状态；其中，n》1；
129.当所述第一家电设备正在运行时，获取用户的三维空间坐标值；
130.根据n台家电设备对应的三维空间坐标值和所述用户的三维空间坐标值，确定所述n台家电设备中与所述用户的距离最近的第二目标家电设备；
131.根据所述第二目标家电设备对应的设备信息确定所述第一家电设备的设备信息，根据所述匹配特征点的三维空间坐标值确定所述第一家电设备的三维空间坐标值。
132.需要说明的是，本发明实施例所提供的一种家电设备的定位及识别装置，能够实现上述任一实施例所述的家电设备的定位及识别方法的所有流程，装置中的各个模块、单元的作用以及实现的技术效果分别与上述实施例所述的家电设备的定位及识别方法的作用以及实现的技术效果对应相同，这里不再赘述。
133.本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序；其中，所述计算机程序在运行时控制所述计算机可读存储介质所在的设备执行上述任一实施例所述的家电设备的定位及识别方法。
134.本发明实施例还提供了一种终端设备，参见图4所示，是本发明提供的一种终端设备的一个优选实施例的结构框图，所述终端设备包括处理器10、存储器20以及存储在所述存储器20中且被配置为由所述处理器10执行的计算机程序，所述处理器10在执行所述计算机程序时实现上述任一实施例所述的家电设备的定位及识别方法。
135.优选地，所述计算机程序可以被分割成一个或多个模块/单元(如计算机程序1、计算机程序2、
……
)，所述一个或者多个模块/单元被存储在所述存储器20中，并由所述处理器10执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述终端设备中的执行过程。
136.所述处理器10可以是中央处理单元(central processing unit，cpu)，还可以是
其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，通用处理器可以是微处理器，或者所述处理器10也可以是任何常规的处理器，所述处理器10是所述终端设备的控制中心，利用各种接口和线路连接所述终端设备的各个部分。
137.所述存储器20主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需的应用程序等，数据存储区可存储相关数据等。此外，所述存储器20可以是高速随机存取存储器，还可以是非易失性存储器，例如插接式硬盘，智能存储卡(smart media card，smc)、安全数字(secure digital，sd)卡和闪存卡(flash card)等，或所述存储器20也可以是其他易失性固态存储器件。
138.需要说明的是，上述终端设备可包括，但不仅限于，处理器、存储器，本领域技术人员可以理解，图4结构框图仅仅是上述终端设备的示例，并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
139.综上，本发明实施例所提供的一种家电设备的定位及识别方法、装置、计算机可读存储介质及终端设备，通过在不同位置处拍摄同一台家电设备对应的两组图像，并基于这两组图像的相关信息以及预先设置的家电设备信息表，确定家电设备所对应的设备信息和三维空间坐标值，将家电设备的设备信息与三维空间坐标值对应关联起来，从而能够同时实现家电设备的定位以及家电设备的识别，无需增加额外成本。
140.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。