目标检测方法、装置以及电子设备与流程

1.本技术涉及智能家居技术领域，更具体地，涉及一种目标检测方法、装置以及电子设备。


背景技术：

2.随着人工智能与计算机视觉技术的不断发展，目标检测算法开始得到广泛应用，例如：在智能家居场景中，用户可以通过目标检测算法对家中爱宠进行识别与定位，从而可以时刻关注家中爱宠的动态并与家中爱宠进行互动等。
3.但是，相关的目标检测算法通常是利用深度学习网络从输入图像(或视频)中提取特征，对感兴趣物体进行分类和定位，然而这些目标检测算法还存在检测准确率不高的问题。


技术实现要素：

4.鉴于上述问题，本技术提出了一种目标检测方法、装置以及电子设备，以实现改善上述问题。
5.第一方面，本技术提供了一种目标检测方法，所述方法包括：对目标区域下的图像进行目标检测，得到所述图像中对象的第一位置信息；基于所述目标区域下的目标检测信号对所述目标区域进行活体目标检测，得到所述目标区域下具有活体特征的对象所对应的第二位置信息；根据所述第一位置信息和所述第二位置信息，得到目标检测结果。
6.第二方面，本技术提供了一种目标检测装置，所述装置包括：第一位置信息获取单元，用于对目标区域下的图像进行目标检测，得到所述图像中对象的第一位置信息；第二位置信息获取单元，用于基于所述目标区域下的目标检测信号对所述目标区域进行活体目标检测，得到所述目标区域下具有活体特征的对象所对应的第二位置信息；目标检测结果获取单元，根据所述第一位置信息和所述第二位置信息，得到目标检测结果。
7.作为一种方式，第二位置信息获取单元具体用于获取基于所述目标区域下的目标检测信号反馈的回波信号；根据所述回波信号对所述目标区域下的对象进行活体目标检测；若根据所述回波信号检测到存在具有活体特征的对象，则获取所述具有活体特征的对象对应的第二位置信息。
8.其中，可选的，所述回波信号包括连续的多帧回波信号，第二位置信息获取单元具体用于对各帧回波信号进行转换处理，得到转换后的回波信号以及目标参考矩阵；所述目标参考矩阵表征所述目标检测信号的发射周期与所探测到的对象的参考距离的对应关系；对所述目标参考矩阵中参考距离相同的信号进行相位提取，得到振动信号；对所述振动信号进行滤波处理，根据滤波后的振动信号检测所述目标区域下的具有活体特征的对象；若根据滤波后的振动信号确定所述目标区域下存在具有活体特征的对象，则获取所述具有活体特征的对象的第二位置信息。
9.可选的，所述滤波后的信号包括多个接收天线各自对应的滤波后的信号，第二位
置信息获取单元具体用于对所述多个接收天线各自对应的滤波后的信号分别进行多普勒傅立叶变换，得到的多个接收天线所对应的多普勒傅立叶变换结果，所述多普勒傅立叶变换结果表征对应活体特征的频率以及距离信息；对所述多个接收天线所对应的多普勒傅立叶变换结果做角度傅立叶变换，得到活体特征的角度信息；基于所述距离信息和所述角度信息，得到所述存在活体特征的物体的位置信息，将所述存在活体特征的物体的位置信息作为为第二位置信息。
10.作为一种方式，所述第一位置信息为目标坐标系下的位置信息，目标检测结果单元具体用于获取所述目标区域下具有活体特征的对象在世界坐标系下的位置信息，对所述位置信息进行目标坐标系转换，得到所述具有活体特征的对象在所述目标坐标系下的第二位置信息；若所述第一位置信息和所述第二位置信息匹配，则确定所述目标区域下存在具有活体特征的目标对象，并根据所述第一位置信息和所述第二位置信息生成针对所述目标对象的目标检测结果。
11.可选的，所述活体特征包括心跳以及呼吸中的至少一项。
12.可选的，所述目标坐标系为图像像素坐标系。
13.第三方面，本技术提供了一种电子设备，包括一个或多个处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。
14.第四方面，本技术提供的一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述的方法。
15.本技术提供的一种目标检测方法、装置、电子设备以及存储介质，在对目标区域下的图像进行目标检测，得到所述图像中对象的第一位置信息后，基于所述目标区域下的目标检测信号对所述目标区域进行活体目标检测，得到所述目标区域下具有活体特征的对象所对应的第二位置信息，根据所述第一位置信息和所述第二位置信息，得到目标检测结果。通过上述方式使得，通过在获取到图像中对象对应的第一位置信息和存在活体特征对应的第二位置信息后，可以根据所述第一位置信息和所述第二位置信息，得到目标检测结果，从而提高了对存在活体特征的对象的检测准确率。
附图说明
16.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1示出了本技术实施例提出的一种目标检测方法的应用环境的示意图；
18.图2示出了本技术实施例提出的一种目标检测方法的应用场景的示意图；
19.图3示出了本技术实施例提出的一种目标检测方法的流程图；
20.图4示出了本技术图1中s130的一种实施例方式的流程图；
21.图5示出了本技术提出的一种摄像头与毫米波雷达的坐标系的示意图；
22.图6示出了本技术另一实施例提出的一种目标检测方法的流程图；
23.图7示出了本技术提出的一种检测信号的时间-频率的示意图；
24.图8示出了本技术图6中s230的一种实施例方式的流程图；
25.图9示出了本技术提出的一种中频信号的时间-频率的示意图；
26.图10示出了本技术提出的一种目标参考矩阵的示意图；
27.图11示出了本技术图6中s240的一种实施例方式的流程图；
28.图12示出了本技术实施例提出的一种目标检测装置的结构框图；
29.图13示出了本技术提出的一种电子设备的结构框图；
30.图14是本技术实施例的用于保存或者携带实现根据本技术实施例的目标检测方法的程序代码的存储单元。
具体实施方式
31.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
32.随着人工智能与计算机视觉技术的不断发展，目标检测算法开始得到广泛应用，例如：在智能家居场景中，用户可以通过目标检测算法对家中爱宠进行识别与定位，从而可以时刻关注家中爱宠的动态并与家中爱宠进行互动等。
33.但是，发明人发现，相关的目标检测算法通常是利用深度学习网络从输入图像(或视频)中提取特征，对感兴趣物体进行分类和定位，然而这些目标检测算法还存在检测准确率不高的问题。例如：将逼真的毛绒玩具或玩偶错误识别为宠物。
34.因此，发明人提出了本技术中的一种目标检测方法、装置、电子设备以及存储介质，在对目标区域下的图像进行目标检测，得到所述图像中对象的第一位置信息后，基于所述目标区域下的目标检测信号对所述目标区域进行活体目标检测，得到所述目标区域下具有活体特征的对象所对应的第二位置信息，根据所述第一位置信息和所述第二位置信息，得到目标检测结果。通过上述方式使得，通过在获取到图像中对象对应的第一位置信息和存在活体特征对应的第二位置信息后，可以根据所述第一位置信息和所述第二位置信息，得到目标检测结果，从而提高了对存在活体特征的对象的检测准确率。
35.请参照图1，为本技术实施例的一种应用环境示意图。其中，图1提供了一种目标检测系统10，该目标检测系统包括网关100、与网关100连接的目标检测设备200、与网关100连接的服务器300以及与服务器300连接的终端设备400。其中，网关100可以为智能家居控制的智能网关，可以实现系统数据采集、数据传输、联动控制等功能。网关100还可以通过无线方式与服务器和智能交互终端等产品进行信息交互。
36.目标检测设备200可以包括设置在相应场景空间下的图像采集设备、各种传感器设备等。例如，图像采集设备可以包括摄像头等，传感器设备可以包括人体传感器、雷达传感器等。网关100与目标检测设备200可以通过蓝牙、wifi(wireless-fidelity，无线保真)、zigbee(紫蜂技术等通信方式连接)，在本技术实施例中网关100与目标检测设备200的连接方式不作限定。
37.服务器300可以是本地服务器、云服务器等服务器，具体的服务器类型在本技术实施例中可以不作为限定。设置于不同的空间区域的目标检测设备200以及网关100都可以通过网络与同一个服务器300进行通信连接。
38.终端设备400可以包括个人电脑(personal computer，pc)、平板电脑、智能手机、个人数字助理(personal digital assistant，pda)、智能面板等，在此不做限定。
39.在一些实施例中，可以通过目标检测设备200中的采集目标区域下的图像，以及采集目标区域下基于目标检测信号反馈的回波信号，然后将采集的图像和活剥信号上传至网关100或服务器300，网关100或服务器300则分别对目标区域下的图像进行目标检测，得到图像中对象的第一位置信息，以及对目标区域下的对象进行活体检测，得到目标区域下具有活体特征的对象所对应的第二位置信息；进而根据第一位置信息和第二位置信息，能够精准地获得目标区域下的目标检测结果。
40.为了更好地理解本技术实施例的方案，下面先对本技术实施例所涉及的应用场景进行介绍。
41.如图2所示，在图2所示的场景中包括有智能家居设备(摄像头等)、宠物、玩偶、网关等，在主人外出时，为了和家里的宠物互动，可以通过相关应用程序开启家里的摄像头，并控制摄像头检测宠物所在位置。通过图2可以看到在当前场景下，除了有一只宠物外，还有一个与宠物十分相似的玩偶，此时，对于摄像头来说准确识别宠物和玩偶哪一个是真正需要检测的目标是比较困难的，在这种情况下，可以通过本技术提供的目标检测方法，更加准确地识别出真正的待检测目标。
42.下面将结合附图来介绍本技术所涉及的实施例。
43.请参阅图3，本技术提供的一种目标检测方法，以该方法应用于电子设备为例进行描述，电子设备具体具体可以是图1中的智能家居设备、网关等，还可以是服务器和终端等设备。所述方法包括：
44.s110：对目标区域下的图像进行目标检测，得到所述图像中对象的第一位置信息。
45.其中，目标区域，是指需要进行目标检测的真实空间区域，具体可以是进行目标检测所能够覆盖的场景区域，例如，智能家居场景下的室内区域、客厅区域、卧室区域等等。目标检测，是指一种基于目标几何和统计特征的图像分割，具体可以是从一幅场景(图像)中找出目标的方法，主要包括检测和识别两个过程，例如，在智能家居场景下检测和识别出猫、狗等。对象，是指目标检测的目标，具体可以是在目标检测所能够覆盖的场景区域下的目标，例如，在智能家居场景下的室内、客厅、卧室等区域内的宠物(如猫、狗等)。第一位置信息，是指目标检测到的对象的位置信息，具体可以是对象在包含目标区域的图像中的位置信息，例如，在智能家居场景下，猫在包含卧室区域的图像中的位置信息。
46.作为一种方式，可以通过r-cnn、fast r-cnn、faster r-cnn、yolo、ssd等目标检测算法来获取第一位置信息。示例性的，电子设备可以通过图像采集设备(如摄像头等)实时获取电子设备所覆盖区域下的图像信息，将获取到的图像信息输入训练好的目标检测模型中，对获取到的图像进行特征提取，再将提取到的特征与对象的特征进行匹配，若提取到的特征与对象的特征有可以匹配的特征，则该目标检测模型可以输出匹配特征所对应的目标检测框的位置信息以及检测到的目标的分类信息，可以将输出的目标检测框的位置信息作为第一位置信息。
47.s120：基于所述目标区域下的目标检测信号对所述目标区域进行活体目标检测，得到所述目标区域下具有活体特征的对象所对应的第二位置信息。
48.由于图像检测方式是通过特征匹配来确定对象的位置信息的，所以可能会将一些
与对象具有相似外形特征的物体错误地识别为对象，例如，在图2所示的场景下，有一只真实的宠物猫，还有一个逼真的猫玩偶，利用图像检测的方式可能会将猫玩偶也检测为宠物猫；再例如，由于光线和清晰度的影响也容易将一些非宠物的物体误识别为宠物。这些被误识别的物体与对象相比，都是没有活体特征的物体，所以可以通过对活体特征的位置检测来进一步确定对象的位置信息。
49.其中，在本技术实施例中，目标检测信号，是指可以用于检测对象是否存在活体特征的信号，例如，毫米波雷达信号等。活体特征，是指生理特征，具体可以是表明个体还存在生命的生理特征，例如，心跳以及呼吸中的至少一项。第二位置信息是指目标检测信号检测到存在活体特征的对象的位置信息。
50.作为一种方式，心跳和呼吸会引起生命体微小的振动，并且如表1所示，不同生命体心跳、呼吸所对应的振动频率范围也是不同的，可以利用毫米波雷达检测电子设备所覆盖区域下是否存在对象心跳、呼吸频率范围内的频率，若存在符合上述条件的频率，可以将该频率对应的生命体的位置信息作为第二位置信息。示例性的，若通过步骤s120检测到的对象为猫，由表1可知，猫的心跳频率范围为2.0-2.3hz、呼吸频率范围为0.4-0.7hz，可以通过毫米波雷达检测摄像头所覆盖区域下是否存在振动频率在0.4-0.7hz或者2.0-2.3hz之间的频率，若存在满足条件的频率，则可以将该频率对应的生命体的位置信息作为第二位置信息。
51.表1
[0052][0053]
再者，在本技术实施例中，活体特征可以为温度，作为一种方式，可以利用红外热成像系统将电子设备所覆盖区域下的物体的表面温度分布图像通过信号处理、光电转换等手段把探测到的物体的红外辐射转换成红外图像，其中，红外图像是一种表征物体温度分布的灰度图像，再对该红外图像进行目标与背景分离，提取出目标区域，将目标区域的位置信息作为第二位置信息。
[0054]
s130：根据所述第一位置信息和所述第二位置信息，得到目标检测结果。
[0055]
其中，第一位置信息可以为具有图像(视频)采集功能的电子设备(如摄像头等)所采集的实时画面中与对象对应的目标检测框的位置信息，第二位置信息可以为通过毫米波雷达、红外线定技术等方式获取到的存在活体特征的对象的位置信息。
[0056]
在本技术实施例中，第一位置信息与第二位置信息可以位于同一坐标系内，在这种情况下，可以直接将第一位置信息与第二位置信息进行匹配以得到得到目标检测结果，若第一位置信息与第二位置信息匹配，可以确定步骤s110检测到的对象为具有活体特征的
对象。示例性的，第一位置信息(目标检测框)的坐标可以为[x
min
，y
min
，x
max
，y
max
]，其中，x
min
和y
min
表示目标检测框右下角处的x、y坐标值，x
max
和y
max
表示目标检测框左上角处的x、y坐标值。在通过红外热成像系统获取第二位置信息的方式下，第二位置信息可以为红外图像中的矩形区域，该区域的坐标为[x1
min
，y1
min
，x1
max
，y1
max
]，其中，x1
min
和y1
min
表示该矩形区域右下角处的x、y坐标值，x1
max
和y1
max
表示该矩形区域左上角处的x、y坐标值。此时，第一位置信息与第二位置信息位于相同的坐标系下，若第二位置信息所对应的矩形区域与第一位置信息所对应的矩形区域存在重合，可以确定步骤s110检测到的对象为具有活体特征的对象。
[0057]
再者，在本技术实施例中，第一位置信息与第二位置信息可以位于不同的坐标系内，例如：第一位置信息位于目标坐标系内，第二位置信息位于其他坐标系内，在这种情况下，如图4所示，根据第一位置信息和第二位置信息，得到目标检测结果，包括：
[0058]
s131：获取所述目标区域下具有活体特征的对象在世界坐标系下的位置信息，对所述位置信息进行目标坐标系转换，得到所述具有活体特征的对象在所述目标坐标系下的第二位置信息。
[0059]
其中，在本技术实施例中，目标坐标系可以为图像像素坐标系，第二位置信息可以为雷达坐标系中的位置信息。
[0060]
作为一种方式，可以获取第二位置信息转换到世界坐标系中的位置信息，得到第二参考位置信息，将第二参考位置信息转换到所述图像像素坐标系，得到第一参考位置信息。
[0061]
可选的，在本技术实施例中，具有图像(视频)采集功能的电子设备与雷达的位置关系可以有多种，例如，雷达可以安装在该电子设备上，这样雷达可以和该电子设备保持相同或相似的视场角，在该电子设备转动的过程中，雷达和该电子设备运动是一致的；再例如，雷达和该电子设备可以是两个独立的电子设备，分别安装在不同的位置，在该种位置关系下，该电子设备也可以转动，雷达视场角可以与该电子设备视场角不一致，但雷达视场角需大于该电子设备视场角，例如，雷达视场角可以覆盖整个空间。
[0062]
需要说明的是，具有图像(视频)采集功能的电子设备与雷达的位置关系可以有多种，但是一旦确定了该电子设备和雷达的位置关系后，两者的位置关系就是固定不变的。
[0063]
示例性的，具有图像(视频)采集功能的电子设备为摄像头，如图5所示，雷达与摄像头分别安装在不同的位置，毫米波雷达坐标系为：orrrθr，摄像头坐标系为世界坐标系：o
c-xcyczc，其中，l
x
、ly、lz是世界坐标系和雷达坐标系在三个方向上的距离。假设第二位置信息为p(rr，θr)，第一参考位置信息为p(u，v)，第二参考位置信息为p(xc，yc，zc)，可以通过下述公式将p(rr，θr)转换为p(xc，yc，zc)：
[0064][0065]
在得到第二参考位置信息后，可以通过下述公式将第二参考位置信息p(xc，yc，zc)转换为第一参考位置信息p(u，v)：
[0066][0067]
其中，d
x
和dy表示图像像素坐标系中x轴和y轴上每个像素的物理长度，像素坐标(u0，v0)是坐标轴zc与图像像素坐标系的交点，f是摄像头的焦距。
[0068]
需要说明的是，当雷达和摄像头安装在同一个电子设备上时，因为雷达和摄像头的距离较近，所以可以将l
x
、ly、lz的值都设置为0。
[0069]
再者需要说明的是，可以将上述两个公式合并得到一个可以直接将第二位置信息转化为第一参考位置信息的公式，该公式为：
[0070][0071]
其中，m1是摄像机的内部参数矩阵，m2是从世界坐标系到摄像机坐标系的变换矩阵，m3是从雷达坐标系到世界坐标系的变换矩阵，m1、m2、m3的分别为：
[0072][0073][0074][0075]
通过上述方式，可以将第二位置信息转换到与第一位置信息相同的坐标系下，从而可以将第一位置信息与第二位置信息进行匹配。
[0076]
s132：若所述第一位置信息和所述第二位置信息匹配，则确定所述目标区域下存在具有活体特征的目标对象，并根据所述第一位置信息和所述第二位置信息生成针对所述目标对象的目标检测结果。
[0077]
其中，第一参考位置信息表征的位置可以为图像像素坐标系下的点坐标，目标检测框的范围可以为图像像素坐标系下的矩形区域，若该点坐标位于该矩形区域内，则可以确定通过步骤s110检测到的对象为目标物。示例性的，第一参考位置信息的坐标为p(u，v)，
第一位置信息(目标检测框)的坐标为[x
min
，y
min
，x
max
，y
max
]，其中，x
min
和y
min
表示目标检测框右下角处的x、y坐标值，x
max
和y
max
表示目标检测框左上角处的x、y坐标值，若x
min
《u《x
max
且y
min
《v《y
max
，则表明第一参考位置信息位于该目标检测框内，可以确定通过步骤s110检测到的对象为具有活体特征的目标对象，并生成目标对象的目标检测结果。
[0078]
需要说明的是，具有图像(视频)采集功能的电子设备(如摄像头等)可以是实时开启的，并且可以实时获取对象的位置，也可以是响应于用户控制指令再开始获取对象的位置。毫米波雷达设备可以是实时进行活体特征检测的，也可以是具有图像(视频)采集功能的电子设备检测到对象后，再开始进行命体特征检测。只要在相同的较小时间范围(如：1～2秒)内，第一位置信息与第二位置信息匹配，可以确定通过步骤s110检测到的对象为具有活体特征的目标对象，并生成目标对象的目标检测结果。
[0079]
本实施例提供的一种目标检测方法，在对目标区域下的图像进行目标检测，得到所述图像中对象的第一位置信息后，基于所述目标区域下的目标检测信号对所述目标区域进行活体目标检测，得到所述目标区域下具有活体特征的对象所对应的第二位置信息，根据所述第一位置信息和所述第二位置信息，得到目标检测结果。通过上述方式使得，通过在获取到图像中对象对应的第一位置信息和存在活体特征对应的第二位置信息后，可以根据所述第一位置信息和所述第二位置信息，得到目标检测结果，从而提高了对存在活体特征的对象的检测准确率。
[0080]
请参阅图6，本技术提供的一种目标检测方法，所述方法包括：
[0081]
s210：对目标区域下的图像进行目标检测，得到所述图像中对象的第一位置信息。
[0082]
s220：获取基于所述目标区域下的目标检测信号反馈的回波信号。
[0083]
其中，目标检测信号可以为毫米波雷达发射的调频连续波(frequency modulated continuous wave，fmcw)，如图7所示，从图7的时间-频率波形图中可以看出，检测信号的频率可以随着时间线性增加，其中tc为调制周期，b为调制带宽，f0为初始频率。
[0084]
作为一种方式，可以周期性地发射目标检测信号，一个帧周期内可以设定发射一次或者多次目标检测信号。由于呼吸带来的体表振动幅度约为1～12mm，心跳带来的体表振动约为0.1～0.5mm，所以可以采用工作频率为76～81ghz(对应波长约为4mm)的毫米波雷达来测量人体心跳和呼吸产生的微小的变化。示例性的，可以在一个帧周期内发送一次目标检测信号，该帧周期可以为50ms，一次目标检测信号的持续时间tc可以为50μs。
[0085]
s230：根据所述回波信号对所述目标区域下的对象进行活体目标检测。
[0086]
其中，回波信号可以包括连续的多帧回波信号，如图8所示，根据所述回波信号对所述目标区域下的对象进行活体目标检测，包括：
[0087]
s231：对各帧回波信号进行转换处理，得到转换后的回波信号以及目标参考矩阵；所述目标参考矩阵表征所述目标检测信号的发射周期与所探测到的对象的参考距离的对应关系。
[0088]
其中，作为一种方式，转换处理可以包括先通过模数转换处理将各帧回波信号转换为数字信号，再将转换后的数字信号进行距离傅里叶变换，以得到转换后的回波信号以及目标参考矩阵。
[0089]
更具体地，通过模数转换处理将各帧回波信号转换为数字信号，包括：先将各帧回波信号与对应的目标检测信号进行混频，得到中频信号；再对中频信号进行模数转换，得到
数字信号。
[0090]
其中，回波信号可以为发射的目标检测信号经目标物或障碍物反射回来的信号，每发射一次目标检测信号，可以获取到多个回波信号，每个回波信号表征了毫米波雷达检测场景下的一个对象。
[0091]
作为一种方式，可以由合成器生成fmcw信号，将该fmcw信号作为目标检测信号由发射天线发射出去，接收天线可以用于接收该fmcw信号所对应的回波信号，将目标检测信号与对应的回波信号利用混频器进行混频再经过低通滤波器滤除高频信号可以得到中频信号，其中，中频信号的频率为目标检测信号与回波信号的频率差值。如图9所示，每一个回波信号具有与发射信号相同的时间-频率波形，但在时间上会有延迟，通过将回波信号与对应的检测信号进行混频，可以得到图9中的中频信号，f
if
为该中频信号的频率。
[0092]
其中，中频信号是模拟信号，作为一种方式，为了可以在dsp(digital signal process，数字信号处理)模块中对中频信号进行进一步地分析处理，可以利用采样定理对中频信号进行模数转换(analog-to-digital converter，adc)，得到中频信号所对应的数字信号。
[0093]
其中，一次信号处理过程可以是发射一次目标检测信号，利用该次目标检测信号与该次目标检测信号对应的回波信号得到中频信号的过程。因为中频信号的频率为当次目标检测信号与回波信号的频率差值，且可以通过下述公式计算出中频信号的频率：
[0094][0095]
其中，b为振动信号的带宽，c为光速，t为一次目标检测信号的持续时间，r为物体与毫米波雷达间直线(径向)距离。从上式可知，可以通过中频信号的频率得出物体与毫米波雷达间直线(径向)距离。
[0096]
因为傅立叶变换(fourier transform，fft)可以将一个时域信号转换为频域信号，且时域中的单音信号(如正弦信号)在频域中只会产生一个峰值，所以，作为一种方式，为了得到物体与毫米波雷达间直线(径向)距离，可以利用距离傅立叶变换(range fft)将中频信号从时域转换到频域进行分析处理，得到当次信号处理过程对应的距离傅立叶变换结果，该距离傅立叶变换结果可以表征物体的距离信息。
[0097]
更具体地，将转换后的数字信号进行距离傅里叶变换，以得到转换后的回波信号以及目标参考矩阵，包括：将当次信号处理过程对应的距离傅立叶变换结果存储在的目标参考矩阵的指定行中，其中，相邻次信号处理过程对应的傅立叶变换结果所对应的指定行相邻，目标参考矩阵表征目标检测信号的发射周期与所探测到的对象的参考距离的对应关系，该参考距离为目标检测信号所探测到的物体与发射所述检测信号的器件之间的距离。
[0098]
其中，因为与毫米波相隔距离相近的物体所对应的中频信号的频率也会相近，为了更好地分辨距离傅立叶变换结果中的频率信息，可以发射多次目标检测信号，以获得多次信号处理过程对应的距离傅立叶变换结果，在通过多次发射目标检测信号对物体的持续跟踪后，可以根据物体的运动范围确定物体的距离范围，这个距离范围可以是一个参考距离(range bin)，可以将每次距离傅立叶变换结果存储到如图10所示的n行m列的目标参考矩阵中。其中，目标参考矩阵的每一行对应于目标检测信号的发射次数，例如：目标参考矩阵的第一行对应于第一次发送的目标检测信号，...，目标参考矩阵的第n行对应于第n次发
送的目标检测信号；目标参考矩阵的每一列对应于一个参考距离，每个参考距离可以对应于0.2米活动范围，例如：目标参考矩阵的第一列对应于一个0米～0.2米的距离量化单元参考距离，...，目标参考矩阵的第m列对应于一个0.2(m-1)米～0.2m米的参考距离。
[0099]
需要说明的是，在给物体确定参考距离的过程中，若物体运动到其他参考距离内时，需要重新确定新的参考距离。
[0100]
s232：对所述目标参考矩阵中参考距离相同的信号进行相位提取，得到振动信号。
[0101]
其中，由于物体的微小运动不会引起中频信号的频率大幅度改变，而微小的频率变化在频谱中是无法辨别的，但中频信号的相位对物体范围的微小变化非常敏感，例如：对于工作频率在77ghz的fmcw信号，当被测目标沿雷达的电磁波方向位移1mm时，中频信号的频率只改变了333hz，相位却变化了180
°
。
[0102]
作为一种方式，为了检测到物体由于心跳或者呼吸引起的微小运动，可以对可以查找目标参考矩阵中每一行信号的波峰位置，对波峰位置进行相位提取，再将目标参考矩阵中每一列(参考距离相同)中提取到的相位信息按照时间顺序排列，就可以得到振动信号，振动信号可以表征参考距离相同的信号的相位变化情况，相位变化的速度可以表征微小运动(例如：心跳、呼吸等)的频率。
[0103]
需要说明的是，在提取相位时，由于需要运用到反切函数，反切函数得到的相位值应满足区间[-π，π]，即意味着相同参考距离下的相位值之间的相位差应该小于-2π，所以当连续值相同参考距离下的相位值之间的相位差大于π或小于-π时，需要执行相位展开/相位解缠绕(phase unwrapping)。相位解缠绕的流程如下：设当前时刻的相位为θn，下一时刻的相位为θ
n 1
，当|θ
n 1-θn|》π时，则表示相位在此刻发生跳变，需要进行相位解缠绕，当θ
n 1-θn》π时，则θ
n 1
＝θ
n-2π；当θ
n 1-θn《-π时，则θ
n 1
＝θn 2π。
[0104]
再者，需要说明的是，为了消除相位漂移并增强心跳信号，可以通过减去连续的相位值的方式对展开的相位做相位差(phase difference)运算，其中，这个连续的相位值可以是检测信号的相位值。
[0105]
s233：对所述振动信号进行滤波处理，根据滤波后的振动信号检测所述目标区域下的具有活体特征的对象。
[0106]
其中，可以通过带通滤波器(bandpass filter)进行滤波处理，带通滤波器可以指能通过某一频率范围内的频率分量，将其他范围的频率分量衰减到极低水平的滤波器，作为一种方式，可以利用带通滤波器将振动信号进行滤波，使得携带有活体特征的信号能够通过带通滤波器，若滤波后的信号表征有活体特征，确定检测到有活体特征的物体。
[0107]
需要说明的是，由表1可知，同一种类生命体的心跳、呼吸的频率以及不同种类生命体的心跳/呼吸频率都是不同的，所以可以根据需要检测的生命体种类的心跳或者呼吸频率来设计带通滤波器的参数。
[0108]
再者，需要说明的是，若毫米波雷达是在实时地检测活体特征信号，则可以设置与毫米波雷达检测范围内所有种类活体特征所对应的多个带通滤波器，对振动信号运用上述每一个带通滤波器进行带通滤波，若有一个滤波后的信号表征有活体特征，可以确定检测到有活体特征的物体。若毫米波雷达是在具有图像(视频)采集功能的电子设备检查到对象后开启的，由于步骤s210还可以输出对象的种类信息，所以可以只采用与该对象对应的带通滤波器对振动信号进行滤波，若滤波后的信号表征有活体特征，可以确定检测到有活体
特征的物体。
[0109]
还需要说明的是，若所要检测的活体特征为心跳，在滤波后，为了减少人身体的相对位置移动而对心率测量造成的影响还可以将滤波后的信号进行分割，设置阈值去判断是否符合心率的变化范围，若符合心率变化范围，可以确定检测到有活体特征的物体。
[0110]
s240：若根据所述回波信号检测到存在具有活体特征的对象，则获取所述具有活体特征的对象对应的第二位置信息。
[0111]
其中，在本技术实施例中，滤波后的振动信号包括多个接收天线各自对应的滤波后的振动信号，作为一种方式，可以基于回波信号得到的滤波后的振动信号确定目标区域下是否存在具有活体特征的对象，若根据滤波后的振动信号确定目标区域下存在具有活体特征的对象，则获取具有活体特征的对象的第二位置信息。
[0112]
更具体地，如图11所示，若根据滤波后的振动信号确定目标区域下存在具有活体特征的对象，则获取具有活体特征的对象的第二位置信息，包括：
[0113]
s241：若根据滤波后的振动信号确定所述目标区域下存在具有活体特征的对象，则分别对各接收天线对应的滤波后的信号进行多普勒傅立叶变换，得到各接收天线所对应的第一变换结果，所述第一变换结果表征活体特征的频率以及距离信息。
[0114]
其中，因为可能存在多个物体与毫米波雷达的直线距离相同的情况，在通过距离傅立叶变换的分析处理后也无法将上述多个物体进行区分，但每个物体的相位可能是不同的，所以可以对滤波后的信号的相位序列上进行多普勒傅立叶变换来区分上述多个物体，以得到每个物体所对应的频率以及距离信息。
[0115]
s242：对各所述第一变换结果进行角度傅立叶变换，得到表征活体特征的角度信息的第二变换结果。
[0116]
其中，作为一种方式，在对每个接收天线接收到的回波信号经过混频、模数转换、距离傅立叶变换、多普勒傅立叶变换后可以产生一个活体特征对应的极值点，若有两个或两个以上的接收天线，则可以获得活体特征的多个极值点信息，可以对上述多个极值点进行角度傅立叶变换以得到活体特征的角度信息。
[0117]
s243：基于所述所述第一变换结果和所述第二变换结果，得到具有活体特征的对象所对应的第二位置信息。
[0118]
示例性的，存在活体特征的物体的距离信息为rr、角度信息为θr，则第二位置信息为p(rr，θr)。
[0119]
s250：根据所述第一位置信息和所述第二位置信息，得到目标检测结果。
[0120]
本实施例提供的一种目标检测方法，通过上述方式使得，通过在获取到图像中对象对应的第一位置信息和存在活体特征对应的第二位置信息后，可以根据所述第一位置信息和所述第二位置信息，得到目标检测结果，从而提高了对存在活体特征的对象的检测准确率。并且，在本实施例中，通过对多个接收天线所对应的回波信号进行混频、模数变换、距离傅立叶变换、多普勒傅立叶变换、角度傅立叶变换后，可以获取到存在活体特征的物体的位置信息，进而可以将第一位置信息与第二位置信息进行匹配，以得到目标检测结果，提高了目标检测的准确率。
[0121]
本技术还提供一种应用场景，上述目标检测方法在该应用场景的应用如下：在智能家居场景中，如图1所示，目标检测设备200可以用于在智能家居场景的空间下检测具有
活体特征的对象，当所需检测具有活体特征的对象为人体时，目标检测设备200在通过图像采集设备(如摄像头等)获取人体在当前场景下的第一位置信息，以及通过传感器设备(如人体传感器、雷达传感器等)获取人体在当前场景下的第二位置信息后，可以将上述两个位置信息转换到一个坐标系下进行匹配，以得到检测结果。其中，若上述两个位置信息成功匹配，则表明成功识别到人体。在识别到人体后，目标检测设备200可以通过网关100、服务器300将检测结果发送至终端设备400，使得用户可以基于终端设备400与目标检测设备200检测到的人体进行互动(如视频聊天等)。
[0122]
请参阅图12，本技术提供的一种目标检测装置400，所述装置400包括：
[0123]
第一位置信息获取单元410，用于对目标区域下的图像进行目标检测，得到所述图像中对象的第一位置信息。
[0124]
第二位置信息获取单元420，用于基于所述目标区域下的目标检测信号对所述目标区域进行活体目标检测，得到所述目标区域下具有活体特征的对象所对应的第二位置信息。
[0125]
目标检测结果单元430，用于根据所述第一位置信息和所述第二位置信息，得到目标检测结果。
[0126]
作为一种方式，第二位置信息获取单元420具体用于获取基于所述目标区域下的目标检测信号反馈的回波信号；根据所述回波信号对所述目标区域下的对象进行活体目标检测；若根据所述回波信号检测到存在具有活体特征的对象，则获取所述具有活体特征的对象对应的第二位置信息。
[0127]
其中，可选的，所述回波信号包括连续的多帧回波信号，第二位置信息获取单元420具体用于对各帧回波信号进行转换处理，得到转换后的回波信号以及目标参考矩阵；所述目标参考矩阵表征所述目标检测信号的发射周期与所探测到的对象的参考距离的对应关系；对所述目标参考矩阵中参考距离相同的信号进行相位提取，得到振动信号；对所述振动信号进行滤波处理，根据滤波后的振动信号检测所述目标区域下的具有活体特征的对象；若根据滤波后的振动信号确定所述目标区域下存在具有活体特征的对象，则获取所述具有活体特征的对象的第二位置信息。
[0128]
可选的，所述滤波后的振动信号包括多个接收天线各自对应的滤波后的振动信号，第二位置信息获取单元420具体用于若根据滤波后的振动信号确定所述目标区域下存在具有活体特征的对象，则分别对各接收天线对应的滤波后的信号进行多普勒傅立叶变换，得到各接收天线所对应的第一变换结果，所述第一变换结果表征活体特征的频率以及距离信息；对各所述第一变换结果进行角度傅立叶变换，得到表征活体特征的角度信息的第二变换结果；基于所述所述第一变换结果和所述第二变换结果，得到具有活体特征的对象所对应的第二位置信息。
[0129]
作为一种方式，所述第一位置信息为目标坐标系下的位置信息，目标检测结果单元430具体用于获取所述目标区域下具有活体特征的对象在世界坐标系下的位置信息，对所述位置信息进行目标坐标系转换，得到所述具有活体特征的对象在所述目标坐标系下的第二位置信息；若所述第一位置信息和所述第二位置信息匹配，则确定所述目标区域下存在具有活体特征的目标对象，并根据所述第一位置信息和所述第二位置信息生成针对所述目标对象的目标检测结果。
[0130]
可选的，所述活体特征包括心跳以及呼吸中的至少一项。
[0131]
可选的，所述目标坐标系为图像像素坐标系。
[0132]
下面将结合图13对本技术提供的一种电子设备进行说明。
[0133]
请参阅图13，基于上述的目标检测方法、装置，本技术实施例还提供的另一种可以执行前述目标检测方法的电子设备1000。电子设备1000包括相互耦合的一个或多个(图中仅示出一个)处理器102、存储器104。其中，该存储器104中存储有可以执行前述实施例中内容的程序，而处理器102可以执行该存储器104中存储的程序。
[0134]
其中，处理器102可以包括一个或者多个处理核。处理器102利用各种接口和线路连接整个电子设备1000内的各个部分，通过运行或执行存储在存储器104内的指令、程序、代码集或指令集，以及调用存储在存储器104内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器102可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field－programmable gate array，fpga)、可编程逻辑阵列(programmable logic array，pla)中的至少一种硬件形式来实现。处理器102可集成中央处理器(central processing unit，cpu)、图像处理器(graphics processing unit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器102中，单独通过一块通信芯片进行实现。
[0135]
存储器104可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read-only memory)。存储器104可用于存储指令、程序、代码、代码集或指令集。存储器104可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端1000在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
[0136]
再者，电子设备1000除了前述所示的器件外，还可以包括图像采集装置106以及传感器模块108。
[0137]
图像采集装置106，用于进行图像采集。可选的，该图像采集器件可以为摄像头。
[0138]
传感器模块108可以包括至少一种传感器。具体地，传感器模块108可包括但并不限于：毫米波雷达传感器、红外热传感器、以及其他传感器。
[0139]
请参考图14，其示出了本技术实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
[0140]
计算机可读存储介质800可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读存储介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
[0141]
综上所述，本技术提供的一种目标检测方法、装置、电子设备以及存储介质，，在对目标区域下的图像进行目标检测，得到所述图像中对象的第一位置信息后，基于所述目标
区域下的目标检测信号对所述目标区域进行活体目标检测，得到所述目标区域下具有活体特征的对象所对应的第二位置信息，根据所述第一位置信息和所述第二位置信息，得到目标检测结果。通过上述方式使得，通过在获取到图像中对象对应的第一位置信息和存在活体特征对应的第二位置信息后，可以根据所述第一位置信息和所述第二位置信息，得到目标检测结果，从而提高了对存在活体特征的对象的检测准确率。最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。