一种电器控制方法、摄像装置、电子设备及存储介质与流程

1.本公开涉及智能家居领域，尤其涉及一种电器控制方法、摄像装置、电子设备及存储介质。


背景技术：

2.家中通常有很多使用红外遥控器的家电，例如电视机、投影仪、音响设备、空调、电风扇等等。每个设备都有专用的红外遥控器，在使用过程中经常拿错，还容易找不到，很不方便。


技术实现要素：

3.本公开提供了一种用电器控制方法、摄像装置、电子设备以及存储介质，能够利用安装有红外发射装置的摄像装置实现对电器的控制，从而方便对电器的控制，提高用户体验。
4.第一方面，本公开提供了一种电器控制方法，应用于安装有红外发射装置的摄像装置，包括：摄取第一目标图像；识别所述第一目标图像中的电器，并获取所述电器在所述第一目标图像中的位置；根据所述电器在所述第一目标图像中的位置、以及所述摄像装置在摄取第一目标图像时的相机坐标系，确定所述电器相对于所述摄像装置的偏移角度；按照所述偏移角度调整所述红外发射装置的发射方向；查找所述电器所对应的至少一个红外编码列表，其中，每个所述红外编码列表包括至少一个红外控制编码；针对各个所述红外编码列表，采用所述红外发射装置发射所述红外编码列表中至少一个红外控制编码所对应的第一红外信号，以检测所述红外编码列表是否能够控制所述电器；在检测到能够控制所述电器的红外编码列表的情况下，记录能够控制所述电器的红外编码列表与所述电器的对应关系，并记录所述电器相对于所述摄像装置的偏移角度。
5.在一种可能的实现方式中，能够控制所述电器的红外编码列表包括：包含的至少部分红外控制编码均能够控制所述电器的红外编码列表。
6.在一种可能的实现方式中，查找所述电器所对应的至少一个红外编码列表，包括：从所述第一目标图像中提取所述包含所述电器的图像；将包含所述电器的图像输入预先训练的图像识别模型，由所述图像识别模型输出所述电器的品牌和/或型号；根据所述电器的品牌和/或型号查找预先保存的多个红外编码列表，确定与所述电器的品牌和/或型号所对应的至少一个红外编码列表。
7.在一种可能的实现方式中，识别所述第一目标图像中的电器，并获取所述电器在
所述第一目标图像中的位置，包括：将所述第一目标图像输入预先训练的目标检测模型，由所述目标检测模型输出所述第一目标图像包含的电器的类型、所述电器在所述第一目标图像中的位置及置信度；在所述置信度大于预设阈值的情况下，记录所述电器的类型及所述电器在所述第一目标图像中的位置。
8.在一种可能的实现方式中，检测所述红外编码列表是否能够控制所述电器包括：检测所述红外编码列表中的至少一个红外控制编码是否能够控制所述电器；其中，检测所述红外控制编码是否能够控制所述电器的方式包括以下至少一项：在发射所述红外控制编码所对应的第一红外信号之后，摄取所述电器的状态图像，利用所述状态图像确定所述电器的状态变化情况；判断所述电器的状态变化情况与所述红外控制编码所对应的控制指令是否一致，如果一致，则确定所述红外控制编码能够控制所述电器；在发射所述红外控制编码所对应的第一红外信号之后，拾取音频信号，利用所述音频信号确定所述电器的状态变化情况；判断所述电器的状态变化情况与所述红外控制编码所对应的控制指令是否一致，如果一致，则确定所述红外控制编码能够控制所述电器。
9.在一种可能的实现方式中，还包括：从终端设备接收针对电器的控制指令；或者，接收针对所述电器的语音指令，采用语音识别技术，识别所述语音指令所对应的控制指令；查找所述对应关系，确定能够控制所述电器的红外编码列表；从所述能够控制所述电器的红外编码列表中，查找与所述控制指令对应的红外控制编码；按照所述偏移角度调整所述红外发射装置的发射方向；利用所述红外发射装置发射与所述控制指令对应的红外控制编码所对应的第二红外信号。
10.在一种可能的实现方式中，还包括：判断所述电器是否被所述第二红外信号控制；如果不被控制，则摄取第二目标图像；识别所述第二目标图像中的所述电器，并获取所述电器在所述第二目标图像中的位置；根据所述电器在所述第二目标图像中的位置、以及所述摄像装置在摄取第二目标图像时的相机坐标系，重新确定所述电器相对于所述摄像装置的偏移角度；按照重新确定后的偏移角度调整所述红外发射装置的发射方向；利用所述红外发射装置重新发射所述第二红外信号。
11.第二方面，本公开提供了一种用于控制电器的摄像装置，该摄像装置安装有红外发射装置，该摄像装置包括：摄像模块，用于摄取第一目标图像；识别模块，用于识别所述第一目标图像中的电器，并获取所述电器在所述第一目标图像中的位置；角度确定模块，用于根据所述电器在所述第一目标图像中的位置、以及所述摄像
装置在摄取第一目标图像时的相机坐标系，确定所述电器相对于所述摄像装置的偏移角度；发射方向调整模块，可以用按照所述偏移角度调整所述红外发射装置的发射方向；记录模块，用于查找所述电器所对应的至少一个红外编码列表，其中，每个所述红外编码列表包括至少一个红外控制编码；针对各个所述红外编码列表，采用所述红外发射装置发射所述红外编码列表中至少一个红外控制编码所对应的第一红外信号，以检测所述红外编码列表是否能够控制所述电器；在检测到能够控制所述电器的红外编码列表的情况下，记录能够控制所述电器的红外编码列表与所述电器的对应关系，并记录所述电器相对于所述摄像装置的偏移角度。
12.在一种可能的实现方式中，能够控制所述电器的红外编码列表包括：包含的至少部分红外控制编码均能够控制所述电器的红外编码列表。
13.在一种可能的实现方式中，记录模块包括：确定子模块，用于从所述第一目标图像中提取所述包含所述电器的图像；将包含所述电器的图像输入预先训练的图像识别模型，由所述图像识别模型输出所述电器的品牌和/或型号；根据所述电器的品牌和/或型号查找预先保存的多个红外编码列表，确定与所述电器的品牌和/或型号所对应的至少一个红外编码列表。
14.在一种可能的实现方式中，识别模块包括：输入子模块，用于将所述第一目标图像输入预先训练的目标检测模型，由所述目标检测模型输出所述第一目标图像包含的电器的类型、所述电器在所述第一目标图像中的位置及置信度；记录子模块，用于在所述置信度大于预设阈值的情况下，记录所述电器的类型及所述电器在所述第一目标图像中的位置。
15.在一种可能的实现方式中，记录模块包括：检测子模块，用于检测所述红外编码列表中的至少一个红外控制编码是否能够控制所述电器；其中，检测所述红外控制编码是否能够控制所述电器的方式包括以下至少一项：在发射所述红外控制编码所对应的第一红外信号之后，摄取所述电器的状态图像，利用所述状态图像确定所述电器的状态变化情况；判断所述电器的状态变化情况与所述红外控制编码所对应的控制指令是否一致，如果一致，则确定所述红外控制编码能够控制所述电器；或者，在发射所述红外控制编码所对应的第一红外信号之后，拾取音频信号，利用所述音频信号确定所述电器的状态变化情况；判断所述电器的状态变化情况与所述红外控制编码所对应的控制指令是否一致，如果一致，则确定所述红外控制编码能够控制所述电器。
16.在一种可能的实现方式中，还包括：控制模块，用于从终端设备接收针对电器的控制指令；或者，接收针对所述电器的语音指令，采用语音识别技术，识别所述语音指令所对应的控制指令；查找所述对应关系，确定能够控制所述电器的红外编码列表；从所述能够控制所述电器的红外编码列表中，查找与所述控制指令对应的红外控制编码；按照所述偏移角度调整所述红外发射装置的发射方向；利用所述红外发射装置发射与所述控制指令对应的红外控制编码所对应的第二红外信号。
17.在一种可能的实现方式中，还包括：复核模块，用于判断所述电器是否被所述第二红外信号控制；如果不被控制，则摄取第二目标图像；识别所述第二目标图像中的所述电器，并获取所述电器在所述第二目标图像中的位置；根据所述电器在所述第二目标图像中的位置、以及所述摄像装置在摄取第二目标图像时的相机坐标系，重新确定所述电器相对于所述摄像装置的偏移角度；按照重新确定后的偏移角度调整所述红外发射装置的发射方向；利用所述红外发射装置重新发射所述第二红外信号。
18.第三方面，本公开提供了一种电子设备，包括：一个或多个处理器；与所述一个或多个处理器通信连接的存储器；一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，当所述一个或多个计算机程序被所述电子设备执行时，使得所述电子设备执行上述第一方面所提供的方法。
19.第四方面，本公开提供了一种计算机可读存储介质，其存储有计算机指令，当所述计算机指令在计算机上运行时，使得所述计算机执行上述第一方面所提供的方法。
20.本公开提供的技术方案至少包括以下有益效果：本公开采用安装有红外发射装置的摄像装置实现对电器的控制。首先从摄像装置摄取的图像中识别出电器，并确定电器相对于摄像装置的偏移角度，以此确定红外发射装置在控制该电器时的发射方向；并且，对该电器对应的多个红外编码列表进行尝试，找出并记录能够控制该电器的红外编码列表。从而实现后续由安装有红外发射装置的摄像装置来控制电器，方便对电器进行控制，提高用户体验。
21.根据下面参考附图对示例性实施例的摄像装置详细说明，本公开的其它特征及方面将变得清楚。
附图说明
22.附图用于更好地理解本方案，不构成对本公开的限定。其中：图1为根据本公开一实施例的电器控制方法实现流程图；图2为根据本公开一实施例的电器控制方法中，查找电器所对应的至少一个红外编码列表的实现流程图；图3为采用目标检测模型识别第一目标图像中的电器，并获取该电器在第一目标图像中的位置的实现流程图；图4为图像坐标系与像素坐标系的关系示意图；图5为图像坐标系与相机坐标系的关系示意图；图6为本公开一实施例中，根据控制指令控制电器的实现方式示意图；图7为根据本公开一实施例的摄像装置的结构示意图一；图8为根据本公开一实施例的摄像装置的结构示意图二；图9为根据本发明一实施例的电子设备的结构框图。
具体实施方式
23.下面将参考附图对本公开作进一步地详细描述。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
24.另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路等未作详细描述，以便于凸显本公开的主旨。
25.图1为根据本公开一实施例的电器控制方法实现流程图。该实施例可以应用于设置有红外发射装置的摄像装置。如图1所示，该实施例的实现过程包括：步骤101：摄取第一目标图像；步骤102：识别该第一目标图像中的电器，并获取该电器在第一目标图像中的位置；步骤103：根据该电器在该第一目标图像中的位置、以及该摄像装置在摄取第一目标图像时的相机坐标系，确定该电器相对于该摄像装置的偏移角度；步骤104：按照该偏移角度调整红外发射装置的发射方向；步骤105：查找该电器所对应的至少一个红外编码列表，其中，每个红外编码列表包括至少一个红外控制编码；针对各个红外编码列表，采用该红外发射装置发射该红外编码列表中至少一个红外控制编码所对应的第一红外信号，以检测该红外编码列表是否能够控制该电器；步骤106：在检测到能够控制该电器的红外编码列表的情况下，记录能够控制该电器的红外编码列表与该电器的对应关系，并记录该电器相对于该摄像装置的偏移角度。
26.在上述过程中，实现了设置有红外发射装置的摄像装置（以下简称摄像装置）的自学习过程。
27.具体地，步骤101至步骤103中，识别出电器，并确定出电器相对于摄像装置的偏移角度，从而保证了后续控制时红外发射装置所发射的红外信号能够被对应电器接收到。例如，步骤102中，识别出第一目标图像中有3个电器，其中电器1为电视机、电器2为空调、电器3为音响设备，“电视机”、“空调”、“音响设备”分别为电器1、电器2、电器3的类型。为便于区分，在后续介绍中，将自学习过程完成后用于控制电器的红外信号称为第二红外信号，以区别于上述步骤105中的第一红外信号。前述命名方式并不代表两种红外信号存在任何顺序限制。
28.并且，由于一个电器类型可能对应多个红外编码列表，为了确定能够控制该电器的红外编码列表，步骤105中，分别对各个红外编码列表进行检测，确定出能够控制该电器的红外编码列表，从而保证了后续控制时红外发射装置所发射的红外信号能够控制对应电器。
29.上述能够控制电器的红外编码列表可以包括：包含的至少部分红外控制编码均能够控制该电器的红外编码列表。即，对于某个电器，如果一个红外编码列表中包含的至少部分红外控制编码均能够控制该电器，则该红外编码列表即为能够控制该电器的红外编码列表。对于某些电器，可能存在多个能够控制该电器的红外编码列表；针对这种情况，本公开
在确定出其中一个后，可以终止上述步骤105中对该电器所对应的剩余红外编码列表的检测过程；或者，可以在检测到多个能够控制该电器的红外编码列表后，选择其中的一个并记录。
30.以电视机为例，针对电视机的控制指令可以包括打开、关闭、调整至后一频道、调整至前一频道、调整至特定频道、进入特定模式、退出特定模式、开始录制、结束录制、调高音量、调低音量等。每个控制指令对应一个红外控制编码，向电视机发射该红外控制编码所对应的红外信号，就能够控制电视机执行相应的控制指令。对于不同品牌和型号的电视机，相同控制指令所对应的红外控制编码很有可能是不同的；因此，不同品牌和/或型号的电视机分别具有对应的红外编码列表，该红外编码列表中包含多个红外控制编码，每个红外控制编码可以对应一个特定的控制指令。前述内容也适用于其他类型的电器，在此不再赘述。由前述内容可见，对于一个电器类型，其对应的红外编码列表数量可能较多。为了提高查找能够控制单个电器的红外编码列表时的效率，本公开可以进一步结合电器的品牌和/或型号，首先确定出该电器的品牌和/或型号所对应的红外编码列表，再通过逐个尝试，最终确定能够控制该电器的红外编码列表。具体如图2所示：图2为根据本公开一实施例的电器控制方法中，查找电器所对应的至少一个红外编码列表的实现流程图，包括：步骤201：从第一目标图像中提取包含电器的图像；步骤202：将包含该电器的图像输入预先训练的图像识别模型，由该图像识别模型输出该电器的品牌和/或型号；步骤203：根据该电器的品牌和/或型号查找预先保存的多个红外编码列表，确定与该电器的品牌和/或型号所对应的至少一个红外编码列表。
31.可见，针对一个电器类型，由于预先保存有该电器类型的不同品牌和/或型号所对应的红外编码列表，因此在确定控制某电器的红外编码列表时，可以根据该电器的品牌和/或型号进行初步筛选，之后从初步筛选后得出的红外编码列表中检测能够控制该电器的红外编码列表，从而提高整个检测过程的实现效率。
32.在一些实施方式中，上述步骤202中的图像识别模型可以采用卷积神经网络（cnn，convolutional neural networks）模型。针对不同的电器类型，可以预先训练对应的卷积神经网络模型，用于识别该类型电器的具体品牌和/或型号。
33.在一些实施方式中，本公开可以采用预先训练的目标检测模型，识别摄像装置所摄取的第一目标图像中的电器，并获取该电器在第一目标图像中的位置。例如，该目标检测模型可以具体采用yolo（you only look once，只看一次）v3模型或yolov5模型。yolo模型包括卷积层、池化层和两个全连接层。输出层采用线性函数作为激活函数，不仅预测目标图像中的对象（object）属于各个电器类型的置信度，还预测该对象在目标图像中的位置，其中位置采用边界框（bounding box）来表示。yolo模型输出数据可以采用如下形式：output=（x, y, w, h, p1, p2, p3
…
）其中，x表示边界框的中心点的横坐标；y表示边界框的中心点的纵坐标；w表示边界框的宽度；h表示边界框的高度；
以上，x, y, w, h限定了对象在目标图像中的位置。
34.p1, p2, p3等分别表示预测该对象属于类别1、类别2、类别3等类别的置信度。具体到本公开的用于识别电器的目标检测模型，p1, p2, p3等可以分别表示目标图像中的对象属于不同电器类型的置信度。
35.图3为采用目标检测模型识别第一目标图像中的电器，并获取该电器在第一目标图像中的位置的实现流程图，包括：步骤301：将第一目标图像输入预先训练的目标检测模型，由该目标检测模型输出该第一目标图像包含的电器的类型、该电器在第一目标图像中的位置及置信度；步骤302：在该置信度大于预设阈值的情况下，记录该电器的类型及该电器在第一目标图像中的位置。
36.采用yolov3或yolov5模型，可以识别出第一目标图像中包含的各个电器、各个电器所属的电器类型、以及各个电器在第一目标图像中的位置。例如，将第一目标图像输入yolov3模型或yolov5模型，yolov3模型或yolov5模型输出多个上述形式的输出结果；其中一个输出结果为：output1=（100, 100, 80, 50, 0.9, 0.2, 0.1
…
），其中，数据0.9代表预测出对象为电视机的置信度为0.9。如果上述预设阈值为0.8，由于置信度0.9大于预设阈值，则可以确定该对象为电器，且所属的电器类型为电视机，并且可以确定该对象处于（100, 100, 80, 50）所限定的边界框中。目标检测模型能够一次性输出多个类似形式的输出结果，以此确定第一目标图像中多个电器的位置及所属类型。
37.根据识别出的电器在第一目标图像中的位置、以及摄像装置在摄取第一目标图像时的相机坐标系，能够确定出该电器相对于摄像装置的偏移角度，也就是确定出该电器在真实世界中所处的位置，以便摄像装置在后续控制电器时能够准确定位到该电器。
38.例如，采用电器的边界框的中心点作为该电器的位置。yolov3模型或yolov5模型所输出的边界框的中心点横坐标和纵坐标一般采用像素表示。图4为图像坐标系与像素坐标系的关系示意图。如图4所示，以图像左上角为原点建立以像素为单位的直角坐标系（u
‑
v坐标系），也称为像素坐标系，其中，像素的横坐标u和纵坐标v分别为其在图像数组中所在的列数和行数。在像素坐标系下，一个点的坐标（u，v）代表该点所在像素的列数和行数，而像素在图像中的位置并没有用物理单位表示出来。因此，建立以物理单位（如毫米）表示的图像坐标系（x
‑
y坐标系），将图像的中心点作为图像坐标系的原点，且x轴与u轴平行，y轴与v轴平行。图像坐标系的原点也是相机光轴与图像平面的交点。
39.由图4中两种坐标系的关系可见，根据表示电器位置的点（即该电器对应边界框的中心点）在像素坐标系中的坐标，能够确定出该电器在图像坐标系位置坐标。
40.再进一步结合摄像装置在摄取第一目标图像时的相机坐标系，确定电器在真实世界中的位置。图5为图像坐标系与相机坐标系的关系示意图。如图5所示，图像坐标系为平面坐标系（x
‑
y坐标系），相机坐标系为三维坐标系（xc
‑
yc
‑
zc坐标系），相机坐标系的zc轴与平面坐标系所在平面垂直，点o为摄像装置的位置，线段|oo1|为摄像装置的焦距，记为。对于图像坐标系中的某点m()，其真实物体在相机坐标系中的位置为m（）。根据成像投影关系，前述参数存在以下关系：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）根据立体几何原理，可以确定电器（位置为点m）相对于摄像装置（位置为点o）的偏移角度，即：点m相对于摄像装置的相机坐标系xc轴、yc轴、zc轴的偏移角度分别为：、和。再结合上述式（1）和（2），能够计算出m相对于摄像装置的相机坐标系xc轴、yc轴、zc轴的偏移角度，也就是确定出该电器相对于摄像装置的偏移角度。
41.或者，结合摄像装置的参数（如内参）、以及电器图像（位置点为m）在图像坐标系中的坐标，可以确定该电器（位置为点m）相对于摄像装置（位置为点o）的相机坐标系的偏移角度。例如，根据摄像装置的内参可以确定出摄像装置的左右视角和上下视角。假定确定出的左右视角为（
‑
90度， 90度）。如图5所示，图像中m点的横坐标为x，采用x除以图像宽度的一半，即可以得到左边视角的比率；用这个比率乘以视角 90度，就可以得到m相对于摄像装置的相机坐标系xc轴的偏移角度，即：m相对于xc轴的偏移角度=x/图像宽度的一半*90度。
42.同理，假定确定出的上下视角为（
‑
90度， 90度），则：m相对于yc轴的偏移角度=y/图像高度的一半*90度。
43.确定电器相对于摄像装置的相机坐标系的偏移角度之后，就可以分别检测该电器所属类型、品牌和/或信号所对应的各个红外编码列表中包括的红外控制编码能否控制该电器，即按照该红外控制编码向该电器发射红外信号，并检测该红外控制编码能否控制该电器。具体地，检测红外编码列表是否能够控制电器，包括：检测该红外编码列表中的至少一个红外控制编码是否能够控制该电器；其中，检测红外控制编码是否能够控制该电器的方式包括以下至少一项在发射红外控制编码所对应的第一红外信号之后，摄取电器的状态图像，利用该状态图像确定该电器的状态变化情况；判断电器的状态变化情况与红外控制编码所对应的控制指令是否一致，如果一致，则确定该红外控制编码能够控制该电器；和/或，在发射红外控制编码所对应的第一红外信号之后，拾取音频信号，利用该音频信号确定该电器的状态变化情况；判断该电器的状态变化情况与红外控制编码所对应的控制指令是否一致，如果一致，则确定该红外控制编码能够控制该电器。
44.例如，对于电视机的红外控制编码，如果红外控制编码所对应的控制指令为调整至后一频道，则可以发射红外信号之后，摄取包含电视机的状态图像，识别该状态图像中的频道编号，再与该电视机在接收该红外信号之前的频道编号进行对比，以此判断电视机是
否已按照该红外控制编码进行了频道调整。本公开可以采用预先训练的图像识别模型识别频道编号等信息。
45.又如，如果红外控制编码所对应的控制指令为调高音量，则可以在发射红外信号之后，拾取音频信号，确定该音频信号的音量，再与该电视机接收该红外信号之前的音量进行对比，以此判断电视机是否已按照该红外控制编码进行了音量调整。
46.前述内容介绍了摄像装置初始化的过程，在初始化过程中，摄像装置识别出各个电器的类型和位置，并检测出能够控制各个电器的红外编码列表，记录电器与能够控制该电器的红外编码列表的对应关系。在此基础上，摄像装置就可以根据用户的指令，采用红外编码列表中的相应红外控制编码来实现对电器的自动控制。
47.图6为本公开一实施例中，根据控制指令控制电器的实现方式示意图，包括：步骤601：从终端设备接收针对电器的控制指令；或者，接收针对电器的语音指令，采用语音识别技术，识别该语音指令所对应的控制指令；步骤602：查找电器与能够控制电器的红外编码列表的对应关系，确定能够控制该电器的红外编码列表；步骤603：从能够控制该电器的红外编码列表中，查找与该控制指令对应的红外控制编码；步骤604：按照该电器相对于摄像装置的偏移角度，调整红外发射装置的发射方向；步骤605：利用该红外发射装置发射与该控制指令对应的红外控制编码所对应的第二红外信号。
48.其中，上述步骤601中从终端设备接收针对电器的控制指令，可以包括用户通过终端设备的应用程序（app）发送的针对特定电器的控制指令。步骤601中的语音指令可以由用户发出，该语音指令中至少包含电器名称和指令名称，例如“打开电视机”。
49.上述步骤602中的对应关系，可以包括摄像装置在初始化过程中所保存的各个电器与能够控制对应电器的红外编码列表的对应关系。针对控制指令所涉及的电器，通过查找该对应关系，确定出能够控制该电器的红外编码列表。
50.在发射控制信号，即上述步骤605中的第二红外信号之后，本公开还可以进一步判断该电器是否被控制，并在不被控制的情况下进行必要的调整。一般情况下，电器不被控制可能是由于该电器在摄像装置初始化之后发生位置变动，导致摄像装置按照初始记录的偏移角度发射的第二红外信号无法被该电器接收到。鉴于此，本公开还提出进一步调整方案。参见图6，上述步骤605之后可以进一步包括：步骤606：判断该电器是否被该第二红外信号控制；如果不被控制，则执行步骤607：步骤607：摄取第二目标图像；步骤608：识别该第二目标图像中的该电器，并获取该电器在该第二目标图像中的位置；步骤609：根据该电器在该第二目标图像中的位置、以及摄像装置在摄取第二目标图像时的相机坐标系，重新确定该电器相对于摄像装置的偏移角度；步骤610：按照重新确定后的偏移角度调整红外发射装置的发射方向；
步骤611：利用该红外发射装置重新发射该第二红外信号。
51.其中，上述步骤606中的判断方式可以采用与前述初始化过程中的检测方式相同的方式，即通过图像识别、音量识别等方式确定该电器在接收到第二红外信号之后的状态变化，以此确定该电器是否被第二红外信号控制。
52.由于该电器的位置可能已经发生变化，因此上述步骤607中，摄像装置可以采用不同拍摄角度摄取多张第二目标图像，并分别对多张第二目标图像进行目标检测，从而确定该电器在第二目标图像中的位置。目标检测的方式可以与前述初始化过程中的目标检测方式相同，如采用预先训练的yolov3模型或yolov5模型进行识别，在此不再赘述。需要说明的是，上述“第二目标图像”的命名方式是为了与前述“第一目标图像”区分，二者不存在任何顺序关系。
53.上述步骤609中确定偏移角度的方式与初始化过程中的确定偏移角度的方式相同，在此不再赘述。
54.通过上述步骤606至步骤611，摄像装置重新确定了电器相对于该摄像装置的偏移角度，并向该电器发射第二红外信号，以控制该电器按照用户的指令调整状态。进一步地，摄像装置可以对该电器的偏移角度进行更新，即记录该电器最新的偏移角度；之后再次接收到控制指令时，按照更新后的偏移角度调整红外发射装置的发射方向。
55.综上可见，本公开提出的电器控制方法，采用设置有红外发射装置的摄像装置实现对电器的控制，只需要将摄像装置安装在房间当中，就可以全自动地配置好房间中各个可以红外控制的家电设备。由于摄像装置中通常安装有红外补光灯，本公开可以将该红外补光灯作为用于控制电器的红外发射装置，用于发射红外控制编码所对应的红外信号，因此无需改变现有摄像装置的硬件结构。
56.本公开还提出一种摄像装置，该摄像装置安装有红外发射装置，可以采用该摄像装置的红外补光灯作为红外发射装置。图7为根据本公开一实施例的摄像装置的结构示意图一，包括：摄像模块710，用于摄取第一目标图像；识别模块720，用于识别所述第一目标图像中的电器，并获取所述电器在所述第一目标图像中的位置；角度确定模块730，用于根据所述电器在所述第一目标图像中的位置、以及所述摄像装置在摄取第一目标图像时的相机坐标系，确定所述电器相对于所述摄像装置的偏移角度；发射方向调整模块740，可以用按照所述偏移角度调整所述红外发射装置的发射方向；记录模块750，用于查找所述电器所对应的至少一个红外编码列表，其中，每个所述红外编码列表包括至少一个红外控制编码；针对各个所述红外编码列表，采用所述红外发射装置发射所述红外编码列表中至少一个红外控制编码所对应的第一红外信号，以检测所述红外编码列表是否能够控制所述电器；在检测到能够控制所述电器的红外编码列表的情况下，记录能够控制所述电器的红外编码列表与所述电器的对应关系，并记录所述电器相对于所述摄像装置的偏移角度。
57.在一种可能的实施方式中，上述能够控制电器的红外编码列表包括：包含的至少
部分红外控制编码均能够控制所述电器的红外编码列表。
58.图8为根据本公开一实施例的摄像装置的结构示意图二，如图8所示，在一种可能的实施方式中，上述记录模块750包括：确定子模块751，用于从所述第一目标图像中提取所述包含所述电器的图像；将包含所述电器的图像输入预先训练的图像识别模型，由所述图像识别模型输出所述电器的品牌和/或型号；根据所述电器的品牌和/或型号查找预先保存的多个红外编码列表，确定与所述电器的品牌和/或型号所对应的至少一个红外编码列表。
59.如图8所示，在一种可能的实施方式中，上述识别模块720包括：输入子模块721，用于将所述第一目标图像输入预先训练的目标检测模型，由所述目标检测模型输出所述第一目标图像包含的电器的类型、所述电器在所述第一目标图像中的位置及置信度；记录子模块722，用于在所述置信度大于预设阈值的情况下，记录所述电器的类型及所述电器在所述第一目标图像中的位置。
60.如图8所示，在一种可能的实施方式中，上述记录模块750包括：检测子模块752，用于检测所述红外编码列表中的至少一个红外控制编码是否能够控制所述电器；其中，检测所述红外控制编码是否能够控制所述电器的方式包括以下至少一项：在发射所述红外控制编码所对应的第一红外信号之后，摄取所述电器的状态图像，利用所述状态图像确定所述电器的状态变化情况；判断所述电器的状态变化情况与所述红外控制编码所对应的控制指令是否一致，如果一致，则确定所述红外控制编码能够控制所述电器；或者，在发射所述红外控制编码所对应的第一红外信号之后，拾取音频信号，利用所述音频信号确定所述电器的状态变化情况；判断所述电器的状态变化情况与所述红外控制编码所对应的控制指令是否一致，如果一致，则确定所述红外控制编码能够控制所述电器。
61.如图8所示，在一种可能的实施方式中，上述摄像装置还包括：控制模块860，用于从终端设备接收针对电器的控制指令；或者，接收针对所述电器的语音指令，采用语音识别技术，识别所述语音指令所对应的控制指令；查找所述对应关系，确定能够控制所述电器的红外编码列表；从所述能够控制所述电器的红外编码列表中，查找与所述控制指令对应的红外控制编码；按照所述偏移角度调整所述红外发射装置的发射方向；利用所述红外发射装置发射与所述控制指令对应的红外控制编码所对应的第二红外信号。
62.如图8所示，在一种可能的实施方式中，上述摄像装置还包括：复核模块870，用于判断所述电器是否被所述第二红外信号控制；如果不被控制，则摄取第二目标图像；识别所述第二目标图像中的所述电器，并获取所述电器在所述第二目标图像中的位置；根据所述电器在所述第二目标图像中的位置、以及所述摄像装置在摄取第二目标图像时的相机坐标系，重新确定所述电器相对于所述摄像装置的偏移角度；按照重新确定后的偏移角度调整所述红外发射装置的发射方向；利用所述红外发射装置重新发射所述第二红外信号。
63.需要说明的是，本公开实施例中对各功能单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。在本公开的实施例中的各功能单元可以
集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
64.该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本公开各个实施例提供的方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
65.图9为根据本发明一实施例的电子设备的结构框图。如图9所示，该电子设备包括：存储器910和处理器920，存储器910内存储有可在处理器920上运行的计算机程序。存储器910和处理器920的数量可以为一个或多个。存储器910可以存储一个或多个计算机程序，当该一个或多个计算机程序被该电子设备执行时，使得该电子设备执行上述方法实施例提供的方法。
66.该电子设备还包括：通信接口930，用于与外界设备进行通信，进行数据交互传输。
67.如果存储器910、处理器920和通信接口930独立实现，则存储器910、处理器920和通信接口930可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结构(industry standard architecture，isa)总线、外部设备互连(peripheral component interconnect，pci)总线或扩展工业标准体系结构(extended industry standard architecture ，eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
68.可选的，在具体实现上，如果存储器910、处理器920及通信接口930集成在一块芯片上，则存储器910、处理器920及通信接口930可以通过内部接口完成相互间的通信。
69.本公开实施例还提供一种计算机可读存储介质，其存储有计算机指令，当所述计算机指令在计算机上运行时，使得所述计算机执行上述方法实施例提供的方法。
70.本公开实施例还提供一种计算机程序产品，所述计算机程序产品用于存储计算机程序，该计算机程序被计算机执行时，所述计算机可以实现上述方法实施例提供的方法。
71.本公开实施例还提供一种芯片，所述芯片与存储器耦合，所述芯片用于实现上述方法实施例提供的方法。
72.应理解的是，上述处理器可以是中央处理器(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机器(advanced risc machines，arm)架构的处理器。
73.进一步地，可选的，上述存储器可以包括只读存储器和随机存取存储器，还可以包括非易失性随机存取存储器。该存储器可以是易失性存储器或非易失性存储器，或可包括
易失性和非易失性存储器两者。其中，非易失性存储器可以包括只读存储器(read
‑
only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以包括随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用。例如，静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic random access memory ，dram) 、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data date sdram，ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synchlink dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，dr ram)。
74.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如：同轴电缆、光纤、数据用户线(digital subscriber line，dsl))或无线(例如：红外、蓝牙、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质，或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如：软盘、硬盘、磁带)、光介质(例如：数字通用光盘(digital versatile disc，dvd))或半导体介质(例如：固态硬盘(solid state disk，ssd))等。值得注意的是，本公开提到的计算机可读存储介质可以为非易失性存储介质，换句话说，可以是非瞬时性存储介质。
75.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
76.在本公开实施例的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本公开的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
77.在本公开实施例的描述中，除非另有说明，“/”表示或的意思，例如，a/b可以表示a或b；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。
78.在本公开实施例的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中，除非
另有说明，“多个”的含义是两个或两个以上。
79.以上所述仅为本公开的示例性实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。