一种目标物体识别方法及装置与流程

1.本技术涉及智能交通技术领域，具体涉及一种目标物体识别方法及装置。


背景技术：

2.随着科技的发展，人们对车辆的自动化程度要求越来越高。为了满足无人驾驶的需求，一种支持自动化驾驶功能的车辆应运而生。在行驶过程中，该车辆需要对道路中的障碍物、行人和其他车辆等目标物体进行识别。
3.目前，为了识别目标物体，目前通常在车辆中安装处理器，例如高级驾驶辅助系统(advanced driving assistance system，adas)，并且，车辆中通常还配置有激光雷达和摄像头。所述激光雷达用于在一个扫描时间窗口内，通过不同的角度多次发射激光，以及接收目标物体反射回来的激光，根据激光发射与接收的时间差，生成点云数据，该点云数据用于表征目标物体与激光雷达的距离，并在完成扫描之后，将该点云数据上传至处理器。所述摄像头用于对道路进行拍照，获取包括目标物体的图像数据，并将图像数据上传至处理器。处理器通过对所述点云数据和所述图像数据进行处理，识别目标物体的类型，以及识别目标物体的空间位置，以便根据目标物体的类型与空间位置，对车辆的行驶行为进行控制。例如，当识别目标物体为行人，且该行人在车辆前方时，则处理器控制车辆避让行人。
4.但是，通过现有技术对目标物体进行识别时，处理器往往需要通过对点云数据和图像数据进行大量计算处理，才能识别目标物体，因此现有技术在识别目标物体时，需要时间较长，导致处理器在识别目标物体时存在延时现象，实时性较差。


技术实现要素：

5.为了解决现有技术中，识别目标物体需要较长时间，实时性较差的问题，本技术实施例提供一种目标物体识别方法及装置。
6.第一方面，本技术实施例公开一种目标物体识别方法及装置，包括：
7.分别向雷达与摄像头传输触发信号，所述触发信号用于触发所述雷达和所述摄像头；
8.在所述雷达根据所述触发信号进行扫描的过程中，确定所述摄像头的图像数据的高阶特征。
9.本技术实施例提供的方案能够在雷达的扫描过程中，确定所述图像数据的高阶特征，所述图像数据的高阶特征用于进行目标识别，从而能够减少在雷达完成扫描后，提取图像数据的高阶特征的计算量，提高目标物体识别的效率，减少目标物体识别过程中的延时，提高目标物体识别的实时性。
10.一种可选的设计中，还包括：
11.在所述雷达根据所述触发信号进行扫描的过程中，通过对所述图像数据的高阶特征、所述雷达的点云数据与所述图像数据进行融合处理，获取融合数据，所述融合数据用于指示所述图像数据中各个区域的空间信息、颜色信息和高阶特征。
12.在雷达扫描的过程中，即可对所述图像数据的高阶特征、所述雷达的点云数据与所述图像数据进行融合处理，从而能够减少在雷达完成扫描后，进行融合的计算量，提高目标物体识别的效率，减少目标物体识别过程中的延时，提高目标物体识别的实时性。
13.一种可选的设计中，所述分别向雷达与摄像头传输触发信号，包括：
14.同时向所述雷达与摄像头传输触发信号；
15.或者，
16.根据与所述雷达，以及与所述摄像头的距离，确定向所述雷达和所述摄像头传输触发信号的时间差；
17.在获取时钟脉冲信号之后，根据所述时间差分别向所述雷达与摄像头传输触发信号，以使所述雷达与所述摄像头同时接收到触发信号。
18.而在本技术实施例提供的方案中，在获取时钟脉冲信号之后，根据向雷达和摄像头传输触发信号的时间差，分别向所述雷达与摄像头传输触发信号，以使所述雷达与所述摄像头同时接收到触发信号，从而能够提高雷达的点云数据与摄像头的图像数据在时间上的同步性，解决了现有技术中存在的图像数据和点云数据难以融合的问题。
19.一种可选的设计中，所述触发信号周期性传输，所述触发信号的传输周期不小于所述雷达的扫描时间窗口，所述雷达的扫描时间窗口为所述雷达完成一次周期性扫描的时长。
20.一种可选的设计中，确定所述图像数据的高阶特征的第一时间窗口和确定所述融合数据的第二时间窗口位于所述雷达的扫描时间窗口内。
21.一种可选的设计中，还包括：
22.根据所述雷达的扫描时间窗口、所述第一时间窗口和确定所述第二时间窗口，确定所述摄像头进行拍摄的第三时间窗口；
23.所述第三时间窗口的开始时间与所述扫描时间窗口的开始时间相同，所述第三时间窗口的结束时间不晚于所述第一时间窗口和第二时间窗口的开始时间；
24.计算所述摄像头在根据所述触发信号完成拍摄之后，所述第三时间窗口的第一剩余时间；
25.当所述第一剩余时间不小于所述摄像头完成一次拍摄所需的时间时，再次向所述摄像头传输触发信号。
26.通过上述步骤的操作，能够根据第三时间窗口的时长，以及摄像头完成一次拍摄所需的时间，确定是否需要多次触发摄像头进行拍摄，从而能够有效利用第三时间窗口。
27.一种可选的设计中，还包括：
28.当向所述摄像头传输触发信号的次数不小于两次时，选择所述图像数据中清晰的图像数据；
29.通过对所述清晰的图像数据进行滤波处理，去除所述清晰的图像数据中的噪点；
30.当去除噪点后的图像数据包括两帧以上时，对所述去除噪点后的图像数据进行合成处理；
31.所述确定所述摄像头的图像数据的高阶特征，包括：
32.确定合成处理后的图像数据的高阶特征。
33.一种可选的设计中，所述确定所述摄像头的图像数据的高阶特征，包括：
34.确定所述图像数据的数据矩阵，所述数据矩阵包括所述图像数据的宽度、高度和颜色通道的数量；
35.通过对所述数据矩阵进行n次计算处理，确定所述图像数据的高阶特征，n为正整数，所述计算处理包括卷积运算与池化运算。
36.一种可选的设计中，所述通过对所述图像数据的高阶特征、所述雷达的点云数据与所述图像数据进行融合处理，获取融合数据，包括：
37.将所述点云数据的极坐标转换为所述点云数据的笛卡尔坐标；
38.根据所述摄像头的参数，将所述点云数据的笛卡尔坐标转换为图像坐标系中的图像坐标；
39.根据所述点云数据的图像坐标，以及所述图像数据中各个区域的坐标，确定所述点云数据与所述图像数据中各个区域的映射关系；
40.根据所述映射关系以及所述图像数据的高阶特征，确定所述融合数据。
41.一种可选的设计中，还包括：
42.向上位机传输所述融合数据。
43.第二方面，本技术实施例提供一种目标物体识别装置，包括：
44.收发单元，用于分别向雷达与摄像头传输触发信号，所述触发信号用于触发所述雷达和所述摄像头；
45.处理单元，用于在所述雷达根据所述触发信号进行扫描的过程中，确定所述摄像头的图像数据的高阶特征。
46.一种可选的设计中，所述处理单元，还用于在所述雷达根据所述触发信号进行扫描的过程中，通过对所述图像数据的高阶特征、所述雷达的点云数据与所述图像数据进行融合处理，获取融合数据，所述融合数据用于指示所述图像数据中各个区域的空间信息、颜色信息和高阶特征。
47.一种可选的设计中，所述收发单元具体用于同时向所述雷达与摄像头传输触发信号；
48.或者，
49.所述处理单元，还用于根据与所述雷达，以及与所述摄像头的距离，确定向所述雷达和所述摄像头传输触发信号的时间差；
50.所述收发单元具体用于，在获取时钟脉冲信号之后，根据所述时间差分别向所述雷达与摄像头传输触发信号，以使所述雷达与所述摄像头同时接收到触发信号。
51.一种可选的设计中，所述触发信号周期性传输，所述触发信号的传输周期不小于所述雷达的扫描时间窗口，所述雷达的扫描时间窗口为所述雷达完成一次周期性扫描的时长。
52.一种可选的设计中，确定所述图像数据的高阶特征的第一时间窗口和确定所述融合数据的第二时间窗口位于所述雷达的扫描时间窗口内。
53.一种可选的设计中，所述处理单元还用于：
54.根据所述雷达的扫描时间窗口、所述第一时间窗口和确定所述第二时间窗口，确定所述摄像头进行拍摄的第三时间窗口；
55.所述第三时间窗口的开始时间与所述扫描时间窗口的开始时间相同，所述第三时
间窗口的结束时间不晚于所述第一时间窗口和第二时间窗口的开始时间；
56.计算所述摄像头在根据所述触发信号完成拍摄之后，所述第三时间窗口的第一剩余时间；
57.所述收发单元还用于，当所述第一剩余时间不小于所述摄像头完成一次拍摄所需的时间时，再次向所述摄像头传输触发信号。
58.一种可选的设计中，所述处理单元还用于：
59.当向所述摄像头传输触发信号的次数不小于两次时，选择所述图像数据中清晰的图像数据；
60.通过对所述清晰的图像数据进行滤波处理，去除所述清晰的图像数据中的噪点；
61.当去除噪点后的图像数据包括两帧以上时，对所述去除噪点后的图像数据进行合成处理；
62.所述处理单元具体用于，确定合成处理后的图像数据的高阶特征。
63.一种可选的设计中，所述处理单元具体用于：
64.确定所述图像数据的数据矩阵，所述数据矩阵包括所述图像数据的宽度、高度和颜色通道的数量；
65.通过对所述数据矩阵进行n次计算处理，确定所述图像数据的高阶特征，n为正整数，所述计算处理包括卷积运算与池化运算。
66.一种可选的设计中，所述处理单元具体用于：
67.将所述点云数据的极坐标转换为所述点云数据的笛卡尔坐标；
68.根据所述摄像头的参数，将所述点云数据的笛卡尔坐标转换为图像坐标系中的图像坐标；
69.根据所述点云数据的图像坐标，以及所述图像数据中各个区域的坐标，确定所述点云数据与所述图像数据中各个区域的映射关系；
70.根据所述映射关系以及所述图像数据的高阶特征，确定所述融合数据。
71.一种可选的设计中，所述处理单元还用于，向上位机传输所述融合数据。
72.第三方面，本技术实施例提供一种终端装置，所述终端装置包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器执行所述存储器中存储的计算机程序，以使所述终端装置执行如第一方面所述的方法。
73.第四方面，本技术实施例提供一种目标物体识别系统，包括：
74.如第三方面所述的终端装置、雷达、摄像头和时钟发生器，所述终端装置分别与所述雷达、摄像头和时钟发生器相连接；
75.在接收到所述时钟发生器传输的时钟脉冲信号之后，所述终端装置分别向雷达与摄像头传输触发信号，所述触发信号用于触发所述雷达和所述摄像头；
76.所述雷达在接收到所述触发信号之后，开始进行扫描，并在扫描过程中，向所述终端装置上传点云数据；
77.所述摄像头在接收到所述触发信号之后，开始进行图像拍摄，并向所述终端装置上传图像数据。
78.一种可选的设计中，还包括：上位机，所述上位机用于接收所述终端装置传输的融合数据，并根据所述融合数据识别目标物体。
79.第五方面，本技术实施例提供一种终端装置，包括：处理器和接口电路；
80.所述接口电路，用于接收代码指令并传输至所述处理器；
81.所述处理器用于运行所述代码指令以执行如第一方面所述的方法。
82.第六方面，本技术实施例提供一种可读存储介质，所述可读存储介质用于存储指令，当所述指令被执行时，实现如第一方面所述的方法。
83.第七方面，本技术实施例提供一种包含指令的计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备可实施第一方面对应的实施例中的全部或部分步骤。
84.在本技术实施例提供的目标物体识别方法中，分别向雷达与摄像头传输触发信号，通过所述触发信号触发所述雷达与摄像头的工作。并且，在雷达根据所述触发信号进行扫描的过程中，就确定所述摄像头的图像数据的高阶特征。
85.现有技术的方案，只有在雷达完成扫描之后，处理器才可获取到点云数据和图像数据，然后才能展开对点云数据与图像数据的处理，以识别目标物体。
86.而通过本技术实施例提供的方案，在雷达扫描的过程中，即可确定图像数据的高阶特征。与现有技术相比，本技术实施例提供的方案能够在雷达的扫描过程中，确定所述图像数据的高阶特征，所述图像数据的高阶特征用于进行目标识别，从而能够减少在雷达完成扫描后，提取图像数据的高阶特征的计算量，提高目标物体识别的效率，减少目标物体识别过程中的延时，提高目标物体识别的实时性。
87.另外，在现有技术中，在雷达完成扫描之后，通常只能获取到图像数据和点云数据。其中，图像数据的清晰度较易受到外界环境的影响，例如，在阴雨天气，摄像头周围的光线较暗，这种情况下，摄像头拍摄的图像数据往往不清晰。而通过本技术实施例的方案，还能够获取到图像数据的高阶特征，从而能够获取更丰富的数据，提高目标物体识别的准确性。
附图说明
88.图1为现有技术公开的一种目标物体识别系统的架构示意图；
89.图2为现有技术公开的又一种目标物体识别系统的架构示意图；
90.图3为本技术实施例公开的一种目标物体识别方法的工作流程示意图；
91.图4为本技术实施例公开的又一种目标物体识别方法的工作流程示意图；
92.图5为本技术实施例公开的又一种目标物体识别方法的工作流程示意图；
93.图6为本技术实施例公开的又一种目标物体识别方法的工作流程示意图；
94.图7(a)为本技术实施例公开的一种时间窗口的示意图；
95.图7(b)为本技术实施例公开的又一种时间窗口的示意图；
96.图8为本技术实施例公开的一种目标物体识别方法中，应用的神经网络模型的示意图；
97.图9为本技术实施例公开的又一种目标物体识别方法的工作流程示意图；
98.图10为本技术实施例公开的一种目标物体识别方法中，点云数据的极坐标系的示意图；
99.图11为本技术实施例公开的一种目标物体识别方法中，图像坐标系的示意图；
100.图12为本技术实施例公开的一种目标物体识别方法中，点云数据和图像数据融合的示意图；
101.图13为本技术实施例公开的一种目标物体识别装置的结构示意图；
102.图14为本技术实施例公开的一种终端装置的结构示意图；
103.图15为本技术实施例公开的一种终端装置所在架构的示意图；
104.图16为本技术实施例公开的又一种终端装置所在架构的示意图；
105.图17为本技术实施例公开的一种终端装置的结构示意图。
具体实施方式
106.本技术说明书和权利要求书及附图说明中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于限定特定顺序。
107.在本技术实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本技术实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
108.为了下述各实施例的描述清楚简洁，首先给出相关技术的简要介绍：
109.随着高级驾驶辅助系统(advanced driving assistance system，adas)的发展，车辆的自动化与智能化程度越来越高。其中，为了实现自动化驾驶，在车辆行驶的过程中，往往需要识别车辆周边的目标物体。目标物体的识别通常包括识别目标物体的类型，以及该目标物体的空间位置，以便根据对目标物体的识别结果对车辆的行驶行为进行控制。
110.例如，当识别车辆前方有行人时，则需要控制车辆躲避行人，当识别车辆前方有落叶时，则可控制车辆继续行驶。
111.如果未能正确识别目标物体，往往导致无法正确控制车辆的行驶行为，严重时甚至会引发交通事故。
112.为了实现目标物体的识别，目前通常采用以下两种目标物体识别的方法。在第一种方法中，参见图1所示的示意图，为了实现目标物体的识别，通常在车辆中安装激光雷达(light detection and ranging，lidar)和摄像头，并且，该激光雷达与摄像头均与处理器130相连接。所述激光雷达通常包括激光发射器110和激光接收器120，激光发射器110可向某一物体发射激光，该激光到达该物体之后发生反射，激光接收器120接收反射回来的激光。
113.在目标物体的识别过程中，所述激光发射器110可在一个扫描时间窗口内，多次变换激光发射器的角度，以使激光发射器从不同角度发射激光，也就是说，所述激光发射器110在一个扫描时间窗口内，可依次发射多束激光，不同激光的发射角度不同，因此，不同激光可到达目标物体的不同位置。这种情况下，通过这一扫描时间窗口内所发射的激光的发射和接收的时间差，可确定目标物体的不同位置与激光雷达之间的距离，据此，激光雷达可生成点云数据。在完成扫描之后，激光雷达向所述处理器130上报所述点云数据。其中，所述点云数据包括多个点数据，其中每一个点数据对应激光雷达发射的一束激光，并且用于表征该激光到达的目标物体的一个位置，与该激光雷达之间的距离。因此，所述点云数据能够反映目标物体的空间位置信息。
114.另外，所述摄像头可包括视频摄像头140和相机等，所述摄像头用于拍摄包括目标物体的图像，生成相应的图像数据，并向所述处理器130上报所述图像数据。
115.所述处理器130在获取所述点云数据与图像数据之后，对所述点云数据与图像数据进行融合处理，得到点云数据与图像数据之间的坐标映射关系，实现点云数据与图像数据之间的匹配。其中，所述融合处理指的是将所述点云数据与图像数据组合起来，形成多模态数据，以便通过多模态数据实现目标物体的识别。
116.但是，在这一方案中，激光雷达在完成一次扫描之后，才生成完整的点云数据，并向处理器上报所述点云数据。也就是说，所述处理器在所述激光雷达完成一次扫描之后，才能获取到点云数据和图像数据，然后才能展开对点云数据与图像数据的处理。并且，处理器在通过点云数据和图像数据进行目标识别的过程中的计算量较大，从而导致通过目前的技术识别目标物体时，需要较长时间，因此处理器在通过这一方案识别目标物体时，通常存在延时现象，目标物体识别的实时性较差。
117.在目前公开的第二种目标物体识别的方法中，参见图2所示的示意图，该方法中，通常包括激光雷达210、转子220和摄像头230，所述激光雷达210设置在转子220上，并可随转子220的转动而转动。在图2中，包括五个摄像头。
118.另外，在该方案中，还设置有角度传感器，所述角度传感器用于感应所述激光雷达210的角度，并在根据感应的角度，确定激光雷达210旋转至某一摄像头对应的位置时，触发该摄像头拍摄图像。
119.但是，这一方案中，激光雷达也是在完成一次扫描之后，才向处理器上报自身生成的点云数据。也就是说，所述处理器在所述激光雷达完成一次扫描之后，才能获取到点云数据和图像数据，并且，处理器在通过点云数据和图像数据进行目标识别的过程中的计算量较大。因此，这一方案与上述第一种方案相同，处理器在识别目标物体时，也需要较长时间，因此处理器在识别目标物体时存在延时现象，目标物体识别的实时性较差。
120.为了解决现有技术中，识别目标物体需要较长时间，实时性较差的问题，本技术实施例提供一种目标物体识别方法及装置。
121.下面将具体结合附图阐述本技术的实施例，以明确本技术实施例提供的目标物体识别方法。
122.参见图3所示的工作流程示意图，本技术实施例提供的目标物体识别方法包括以下步骤：
123.步骤s11、分别向雷达与摄像头传输触发信号，所述触发信号用于触发所述雷达和所述摄像头。所述雷达和所述摄像头在接收到所述触发信号之后，开始进行工作。
124.其中，所述雷达包括发射器与接收器，在本技术实施例中，向雷达传输触发信号通常指的是分别向所述雷达的发射器与接收器发射触发信号。
125.所述发射器在接收到触发信号之后，向目标物体发射相应的光波。该光波在接触到目标物体之后，会发生反射。所述接收器在接收到触发信号之后，接收所述目标物体反射的光波。为了使接收器能够及时接收到目标物体反射的光波，通常同时向所述雷达的发射器与接收器发射触发信号，以便触发所述发射器与接收器同时工作。
126.在目标物体的识别过程中，发射器会在一个扫描时间窗口内，多次变化发射器的角度，并在每次变换角度之后，向目标物体发射光波，也就是说，在一个扫描时间窗口内，发
射器可通过不同角度，依次向目标物体发射多束光波，其中不同光波的发射角度不同。因此，不同光波可到达目标物体的不同位置。其中，所述雷达在一个扫描时间窗口内发射和接收光波的操作可称为所述雷达进行一次扫描。
127.这种情况下，通过扫描时间窗口内所发射的多束光波的发射和接收的时间差，可确定目标物体的不同位置与雷达之间的距离。据此，雷达生成点云数据。所述点云数据中包括多个点数据，其中每一个点数据对应雷达发射的其中一束光波，并且用于表征该光波到达的目标物体的位置与该雷达的距离。在扫描时间窗口内，雷达每发射和接收到一束光波，即可生成该光波对应的点数据，也就是说，在扫描时间窗口内，所述雷达依次确定各个点数据。
128.在本技术实施中，所述雷达可为激光雷达或毫米波雷达或超声波雷达等多种类型的雷达中的至少一个，本技术实施例对此不做限定。
129.当所述雷达为激光雷达时，雷达的发射器所发射的光波为激光，相应的，雷达的接收器接收到的光波也为激光；当所述雷达为毫米波雷达时，所述发射器发射的光波，以及所述接收器接收到的光波均为毫米波；另外，当所述雷达为超声波雷达时，所述发射器发射的光波，以及所述接收器接收到的光波均为超声波。
130.当然，当所述雷达为其他类型时，所述发射器发射的光波以及接收器接收到的光波还可以为其他类型的光波，本技术实施例对此不做限定。
131.另外，在本技术实施例提供的方案中，所述摄像头在接收到所述触发信号之后，会拍摄包括目标物体的图像，获取相应的图像数据。
132.所述摄像头可为视频摄像头或相机等多种类型的摄像头中的至少一个，本技术实施例对此不做限定。
133.步骤s12、在所述雷达根据所述触发信号进行扫描的过程中，确定所述摄像头的图像数据的高阶特征。
134.雷达在接收到触发信号之后，往往需要在一个扫描时间窗口内，多次发射和接收光波，相对于摄像头拍摄图像所需的时间，该扫描时间窗口的时间往往较长。因此，在雷达根据所述触发信号进行扫描的过程中，摄像头往往先完成拍摄，获取到图像数据。这种情况下，在所述雷达扫描的过程中，即可确定所述摄像头的图像数据的高阶特征。
135.其中，高阶特征是指二阶及二阶以上的特征，所述图像数据的高阶特征通常包括所述图像数据中包括的纹理信息和颜色信息等特征，例如，所述图像数据的高阶特征可包括所述图像数据中的物体的轮廓、曲面、形状和颜色等信息。图像数据的高阶特征有助于识别所述图像数据中包括的目标物体。
136.在本技术实施例提供的目标物体识别方法中，分别向雷达与摄像头传输触发信号，通过所述触发信号触发所述雷达与摄像头的工作。并且，在雷达根据所述触发信号进行扫描的过程中，就确定所述摄像头的图像数据的高阶特征。
137.现有技术的方案，只有在雷达完成扫描之后，处理器才可获取到点云数据和图像数据，然后才能展开对点云数据与图像数据的处理，以识别目标物体。
138.而通过本技术实施例提供的方案，在雷达扫描的过程中，即可确定图像数据的高阶特征。与现有技术相比，本技术实施例提供的方案能够在雷达的扫描过程中，确定所述图像数据的高阶特征，所述图像数据的高阶特征用于进行目标识别，从而能够减少在雷达完
成扫描后，提取图像数据的高阶特征的计算量，提高目标物体识别的效率，减少目标物体识别过程中的延时，提高目标物体识别的实时性。
139.另外，在现有技术中，在雷达完成扫描之后，通常只能获取到图像数据和点云数据。其中，图像数据的清晰度较易受到外界环境的影响，例如，在阴雨天气，摄像头周围的光线较暗，这种情况下，摄像头拍摄的图像数据往往不清晰。而通过本技术实施例的方案，还能够获取到图像数据的高阶特征，从而能够获取更丰富的数据，提高目标物体识别的准确性。
140.进一步的，参见图4所示的工作流程示意图，在本技术实施例中，还包括以下步骤：
141.步骤s13、在所述雷达根据所述触发信号进行扫描的过程中，通过对所述图像数据的高阶特征、所述雷达的点云数据与所述图像数据进行融合处理，获取融合数据，所述融合数据用于指示所述图像数据中各个区域的空间信息、颜色信息和高阶特征。
142.在本技术实施例中，所述雷达在接收到触发信号之后，展开扫描，该扫描指的是雷达在一个扫描时间窗口内，依次通过不同角度向目标物体发射不同的光波，并接收所述目标物体反射回的光波。而摄像头对目标物体进行拍摄，获取图像数据所需的时间通常比雷达完成一次扫描所需的时间短，也就是说，通常所述摄像头在获取所述图像数据之后，所述雷达往往仍在扫描。
143.另外，所述雷达可根据各束光波的发射和接收的时间差，依次确定各束光波对应的点数据，每一束光波对应的点数据表征该光波到达的目标物体的一个位置与所述雷达之间的距离。一个扫描时间窗口内发射的各束光波对应的点数据共同构成点云数据。也就是说，所述雷达在根据触发信号进行扫描的过程中，会依次生成点云数据中包括的各个点数据，即雷达在生成点云数据的过程中，可对所述图像数据的高阶特征、已生成的点云数据和图像数据进行融合处理，获取融合数据。
144.其中，由于所述雷达的点云数据中各个点数据分别对应目标物体的一个位置与雷达之间的距离，而图像数据中包括所述目标物体，因此，对所述雷达的点云数据与所述图像数据的融合处理，通常指的是通过坐标的转换等方法，确定所述点云数据中包括的各个点数据与所述图像数据中各个区域的映射关系。所述点云数据能够指示空间信息，图像数据能够反映颜色信息，因此，通过对所述雷达的点云数据与所述图像数据的融合，能够确定图像数据中各个区域的空间信息和颜色信息。
145.示例性的，可通过像素对所述图像数据进行划分，这种划分情况下，不同区域对应不同的像素点，通过对所述雷达的点云数据与所述图像数据的融合处理，可确定所述点云数据中包括的各个点数据与图像数据中各个像素的映射关系。
146.进一步的，在步骤s13中，不仅只对点云数据和图像数据进行融合处理，还对所述图像数据的高阶特征，以及点云数据和图像数据进行了融合处理，这种情况下，所获取的融合数据包括所述点云数据中包括的各个点数据与所述图像数据中各个区域的映射关系，以及所述图像数据中不同的区域与区域的高阶特征之间的映射关系，从而可通过所述融合数据指示所述图像数据中各个区域的空间信息、颜色信息和高阶特征。
147.在现有技术中，只有在雷达完成扫描之后，处理器才可获取到点云数据和图像数据，然后才能展开对点云数据与图像数据的融合，以识别目标物体。
148.而通过本技术实施例提供的方案，在雷达扫描的过程中，即可进行图像数据与点
云数据的融合，从而能够减少在雷达完成扫描后，对点云数据与图像数据进行融合的计算量，提高目标物体识别的效率，减少目标物体识别过程中的延时，提高目标物体识别的实时性。
149.进一步的，在融合过程中，还融合了高阶特征，便于处理器根据所述高阶特征识别目标物体，提高了目标物体识别的准确性。
150.另外，在本技术实施例中，公开了确定图像数据的高阶特征的操作，以及公开了确定图像数据的高阶特征、点云数据和图像数据的融合数据的操作。在一种可行的设计中，两种操作可同时进行，即同时确定所述高阶特征以及确定所述融合数据。这种情况下，可同时确定点云数据和图像数据的映射关系以及确定所述图像数据的高阶特征，并在确定所述图像数据的高阶特征之后，再将所述图像数据的高阶特征与所述点云数据和图像数据进行融合，以便进一步提高目标物体识别的效率，提高目标物体识别的实时性。
151.在本技术实施例中，公开了分别向雷达与摄像头传输触发信号的操作。在一种可行的实现方式中，所述分别向雷达与摄像头传输触发信号，包括：同时向所述雷达与摄像头传输触发信号。
152.执行本技术实施例提供的目标物体识别方法的装置可与时钟发生器相连接，所述时钟发生器可向该装置发射时钟脉冲，以便该装置在获取所述时钟脉冲信号之后，分别向所述雷达与摄像头传输触发信号。
153.通常情况下，所述雷达与摄像头之间的距离较近，这种情况下，可时向所述雷达与摄像头传输触发信号。
154.在另外一种可行的实现方式中，该操作可通过以下步骤实现：
155.首先，根据与所述雷达，以及与所述摄像头的距离，确定向所述雷达和所述摄像头传输触发信号的时间差；
156.在获取时钟脉冲信号之后，根据所述时间差分别向所述雷达与摄像头传输触发信号，以使所述雷达与所述摄像头同时接收到触发信号。
157.有些场景下，雷达与摄像头之间的距离较远。这种情况下，本技术实施例中，在向所述雷达和摄像头传输触发信号时，会考虑向二者传输触发信号的时间差，以使触发信号同时到达雷达与摄像头，以便触发雷达和摄像头同时工作。
158.在上述对现有技术进行描述时，提供了现有技术进行目标物体识别的两种方案，图1对应的第一种方案中，摄像头与雷达独立进行工作，因此，摄像头与雷达往往存在时间上不同步的问题。
159.另外，在图2所对应的第二种方案中，依靠角度传感器检测激光雷达旋转的位置，并根据检测结果触发相应的摄像头。
160.但是，角度传感器的检测精度有限，存在检测误差，该误差在目标识别过程中会逐渐累积。因此，在这一方案中，角度传感器存在的检测误差可能会导致触发摄像头的时间不合适，进一步影响雷达与摄像头在时间上的同步性。也就是说，这一方案也存在摄像头与雷达在时间上不同步的问题。
161.也就是说，现有技术提供的方案中，往往存在摄像头与雷达在时间上不同步的问题。当摄像头与雷达的工作时间不同步时，往往会导致点云数据和图像数据的匹配性差，点云数据和图像数据难以融合。例如，在某些工作时间不同步的情况下，在摄像头完成图像拍
摄一段时间之后，雷达才开始发射光波，导致图像数据中包括的目标物体与所述光波接触到的目标物体不同，从而导致图像数据和点云数据难以融合。因此，现有技术的方案中，存在点云数据和图像数据的匹配性较差，点云数据与图像数据难以融合。
162.而在本技术实施例提供的方案中，在获取时钟脉冲信号之后，根据向雷达和摄像头传输触发信号的时间差，分别向所述雷达与摄像头传输触发信号，以使所述雷达与所述摄像头同时接收到触发信号，从而能够提高雷达的点云数据与摄像头的图像数据在时间上的同步性，解决了现有技术中存在的图像数据和点云数据难以融合的问题。
163.在目标物体的识别过程中，雷达往往需要进行多次扫描。这种情况下，在本技术实施例的方案中，所述触发信号可周期性传输，其中，所述触发信号的传输周期不小于所述雷达的扫描时间窗口，所述雷达的扫描时间窗口为所述雷达完成一次周期性扫描的时长，以便所述雷达能够在完成一次完整的扫描之后，再进行下一次扫描。
164.在一种可行的方案中，所述触发信号的传输周期与所述雷达的扫描时间窗口的时长相等，这种情况下，所述雷达每次在完成一次扫描之后，就根据接收到的新的触发信号进入下一次扫描，从而提高了时间的利用率，进一步提高了目标物体识别的实时性。
165.相应的，当所述触发信号周期性传输时，摄像头会周期性接收到所述触发信号，从而能够周期性的拍摄图像。
166.另外，执行本技术实施例提供的目标物体识别方法的装置往往在接收到时钟发生器发出的时钟脉冲信号之后，再向雷达与摄像头发射触发信号，因此，可通过对时钟发生器的设置，使所述时钟发生器周期性发射时钟脉冲信号，并通过调整所述时钟发生器发射所述时钟脉冲信号的周期，可实现对所述触发信号的传输周期的调整。
167.另外，在本技术实施例提供的目标物体识别方法中，在雷达根据所述触发信号进行扫描的过程中，确定高阶特征和融合数据，因此，确定所述图像数据的高阶特征的开始时间在所述扫描时间窗口内，以及确定所述融合数据的开始时间也在所述扫描时间窗口内。
168.进一步的，在本技术实施例中，为了进一步提高目标物体的识别效率，确定所述图像数据的高阶特征的第一时间窗口和确定所述融合数据的第二时间窗口位于所述雷达的扫描时间窗口内。也就是说，确定所述图像数据的高阶特征的结束时间在所述扫描时间窗口内，以及确定所述融合数据的结束时间也在所述扫描时间窗口内。
169.这种情况下，在雷达完成扫描时，就可以获取到所述高阶特征和融合数据，从而在雷达扫描之后，无需再确定所述高阶特征和融合数据，进一步提高了目标物体识别的效率，提高了目标物体识别的实时性。
170.另外，由于在所述扫描时间窗口内，雷达陆续确定点云数据内的各个点数据，因此，确定所述融合数据的第二时间窗口的结束时间通常与所述扫描时间窗口的结束时间相同。
171.在目标物体的识别过程中，雷达往往需要在一个时间扫描窗口内，依次发射多束光波，而摄像头进行一次拍摄所需的时间较少，也就是说，摄像头拍摄一次图像的时间相较于雷达完成一次扫描的时间更为短暂。这种情况下，参见图5所示的工作流程示意图，在本技术实施例中还包括以下步骤：
172.步骤s21、根据所述雷达的扫描时间窗口、确定所述图像数据的高阶特征的第一时间窗口和确定所述融合数据的第二时间窗口，确定所述摄像头进行拍摄的第三时间窗口。
173.其中，所述第三时间窗口的开始时间与所述扫描时间窗口的开始时间相同，并且，所述第三时间窗口的结束时间不晚于所述第一时间窗口和第二时间窗口的开始时间。
174.在本技术实施例中，所述第三时间窗口为所述摄像头进行拍摄的时间窗口，所述第三时间窗口的开始时间与所述扫描时间窗口的开始时间相同，即雷达的扫描与摄像头的拍摄同时开始，从而能够提高点云数据与图像数据在时间上的同步性。
175.另外，设定所述第一时间窗口和第二时间窗口的开始时间中，较早的开始时间为目标开始时间，所述第三时间窗口的结束时间不晚于所述第一时间窗口和第二时间窗口的开始时间，指的是所述第三时间窗口的结束时间与所述目标开始时间相同，或者，所述第三时间窗口的结束时间早于所述目标开始时间。
176.在本技术实施例中，摄像头先进行拍摄，获取图像数据，然后再确定所述图像数据的高阶特征和确定所述融合数据，因此，所述第三时间窗口的结束时间不晚于所述第一时间窗口和第二时间窗口的开始时间。
177.在本技术实施例中，所述图像数据的高阶特征、所述雷达的点云数据与所述图像数据的融合数据可用于进行目标物体的识别，为了保障能够获取到所述高阶特征和所述融合数据，可通过步骤s21，确定所述第三时间窗口的起始时间，从而能够在确定所述图像数据的高阶特征和确定所述融合数据之前，完成图像数据的获取，避免没有足够时间确定所述高阶特征和融合数据的问题出现。
178.步骤s22、计算所述摄像头在根据所述触发信号完成拍摄之后，所述第三时间窗口的第一剩余时间。
179.在本技术实施例中，所述第三时间窗口可能支持摄像头进行一次或多次拍摄。为了有效利用所述第三时间窗口，可计算所述摄像头在根据所述触发信号完成拍摄之后，所述第三时间窗口的第一剩余时间。
180.其中，在计算所述第一剩余时间时，可将所述第三时间窗口，减去所述摄像头已经进行拍摄的次数和每次拍摄所需的时间的乘积。如果在所述第三时间窗口内，所述摄像头已经进行多次拍摄，为了提高确定所述第一剩余时间的准确定，所述每次拍摄所需的时间可为多次拍摄的时长的平均值。
181.这种情况下，可通过以下方式计算所述第一剩余时间：
182.首先，可通过以下公式计算摄像头已经进行的n次拍摄的平均时间：
[0183][0184]
其中，n为正整数，t
n
为在所述第三时间窗口内进行第n次拍摄的时间，∑
n
t
n
为进行n次拍摄的总时间，为所述n次拍摄的平均时间。
[0185]
然后，根据以下公式计算所述第一剩余时间：
[0186][0187]
其中，t
r
为所述第一剩余时间，t3为所述第三时间窗口的时长。
[0188]
步骤s23、确定所述第一剩余时间是否不小于所述摄像头完成一次拍摄所需的时间，若是，执行步骤s24的操作。
[0189]
步骤s24、当所述第一剩余时间不小于所述摄像头完成一次拍摄所需的时间时，再
次向所述摄像头传输触发信号，并返回执行步骤s23的操作，即重新计算所述第一剩余时间。
[0190]
当所述第一剩余时间不小于所述摄像头完成一次拍摄所需的时间时，则表明所述第一剩余时间支持所述摄像机进行再次拍摄，这种情况下，可再次向所述摄像头传输触发信号，以便所述摄像头在获取到所述触发信号之后，再次进行拍摄。
[0191]
另外，当所述第一剩余时间小于所述摄像头完成一次拍摄所需的时间时，则暂时中止向所述摄像头传输触发信号，直到再次接收到时钟发生器传输的时钟脉冲信号。
[0192]
通过步骤s21至步骤s24的操作，能够根据第三时间窗口的时长，以及摄像头完成一次拍摄所需的时间，确定是否需要多次触发摄像头进行拍摄，从而能够有效利用第三时间窗口。
[0193]
进一步的，当所述第三时间窗口支持所述摄像头进行多次拍摄时，通过这一实施例，能够多次触发摄像头，使所述摄像头拍摄多帧图像，从而能够通过所述多帧图像进行目标物体的识别，进一步提高目标物体识别的准确性。
[0194]
另外，当所述第三时间窗口支持所述摄像头拍摄一次时，通过这一方案，可只向摄像头传输一次触发信号，避免影响高阶特征和融合数据的获取。
[0195]
进一步的，为了提高目标物体识别的效率，参见图6所示的工作流程示意图，本技术的实施例中还可以包括以下步骤：
[0196]
步骤s31、当向所述摄像头传输触发信号的次数不小于两次时，选择所述图像数据中清晰的图像数据。
[0197]
其中，每次向所述摄像头传输一次触发信号，则所述摄像头拍摄一帧图像。如果向所述摄像头传输触发信号的次数不小于两次，则所述摄像头拍摄多帧图像。这种情况下，通过步骤s31，可从所述摄像头拍摄的多帧图像中选择较清晰的图像数据。
[0198]
具体的，可对第三时间窗口内采集的多帧图像数据进行清晰度评价。通过清晰度评价所得到的分数，能够反映每张图片的清晰程度，然后再基于所述分数，筛选出清晰的图像数据，以过滤掉模糊的图像数据。
[0199]
这一方案中，所述清晰度评价可采用多种评价方法，本技术实施例对此不作限定，在一个示例中，所述清晰度评价可采用tenengrad梯度法等。
[0200]
步骤s32、通过对所述清晰的图像数据进行滤波处理，去除所述清晰的图像数据中的噪点。
[0201]
通过去除所述清晰的图像数据中的噪点，能够进一步提高图像数据的质量。
[0202]
另外，在本技术实施例中，可采用多种滤波方法，示例性的，可采用中值滤波法或双边滤波法等，本技术实施例对此不作限定。
[0203]
步骤s33、当去除噪点后的图像数据包括两帧以上时，对所述去除噪点后的图像数据进行合成处理。
[0204]
通过将多帧图像合成为一帧图像，能够进一步消除图像中模糊的部分，提高图像数据的清晰度。
[0205]
在车辆行驶过程中，有可能会出现车身抖动，或者，车辆有时行驶在阴雨天气或夜晚等光线条件较差的环境下，这都会降低摄像头拍摄时的成像质量，影响图像数据的清晰度。在本技术实施例中，通过步骤s31至步骤s33的操作，能够改善图像数据的成像质量，提
高图像数据的清晰度。
[0206]
这种情况下，在本技术实施例中，所述确定所述摄像头的图像数据的高阶特征，包括：
[0207]
确定合成处理后的图像数据的高阶特征。
[0208]
也就是说，在本技术实施例所提供的确定图像数据的高阶特征的操作中，确定的是合成处理后的图像数据的高阶特征。由于所述合成处理后的图像数据的清晰度较高，成像质量较好，因此，能够提高确定所述高阶特征的准确性，进一步的，有助于提高目标物体识别的准确性。
[0209]
另外，由于在步骤s31至步骤s33的步骤中，选择了清晰的图像数据，以及对多帧图像数据进行了合并处理，因此，所述合成处理后的图像数据不仅清晰度较高，而且合成处理减少了图像数据的数量，这种情况下，确定合成处理后的图像数据的高阶特征，还能够减少确定高阶特征时的计算量。
[0210]
进一步的，在确定所述合成处理后的图像数据之后，也可通过所述合成处理后的图像数据确定融合数据。
[0211]
其中，本技术实施例提供的步骤s31至步骤s33的操作，可称为对图像数据的处理。这种情况下，在本技术实施例中，还设置有图像数据处理的第四时间窗口。所述第四时间窗口的开始时间可与所述第三时间窗口的结束时间相同，或者所述第四时间窗口的开始时间晚于所述第三时间窗口的结束时间；另外，所述第四时间窗口的结束时间可与所述第一时间窗口的开始时间相同，或者所述第四时间窗口的结束时间早于所述第一时间窗口的开始时间；另外，所述第四时间窗口的时长为t4，并且在图7(a)中，所述第四时间窗口的开始时间可与所述第三时间窗口的结束时间相同，以及所述第四时间窗口的结束时间可与所述第一时间窗口的开始时间相同。
[0212]
为了明确本技术实施例提供的各个时间窗口，本技术实施例还提供了图7(a)，在图7(a)所示的示例中，第一时间窗口和第二时间窗口位于所述雷达的扫描时间窗口内。
[0213]
在图7(a)中，包括雷达的扫描时间窗口、确定图像数据的高阶特征的第一时间窗口、确定融合数据的第二时间窗口和摄像头进行拍摄的第三时间窗口。进一步的，图7(a)中还包括进行图像数据处理的第四时间窗口。
[0214]
其中，所述雷达的扫描时间窗口的时长为t0。所述第三时间窗口的时长为t3，并且，所述第三时间窗口的开始时间与所述雷达的扫描时间窗口的开始时间相同。所述第一时间窗口的时长为t1，并且所述第一时间窗口位于所述扫描时间窗口之内。所述第二时间窗口的时长为t2，并且所述第二时间窗口位于所述扫描时间窗口之内，所述第二时间窗口的结束时间与所述扫描时间窗口的结束时间相同。
[0215]
在图7(a)所示的示例中，所述高阶特征的确定或所述融合数据的确定所需时间较少，从而能够使所述第三时间窗口支持所述摄像头进行多次拍摄。这种情况下，在所述第三时间窗口内，所述摄像头拍摄多帧图像。
[0216]
另外，通过图7(a)，可以看出，在所述扫描时间窗口内，摄像头进行多帧图像的拍摄，并在摄像头完成图像拍摄之后，确定图像数据的高阶特征，以及确定融合数据。
[0217]
在获取所述摄像头的图像数据之后，在第四时间窗口内，对图像数据进行处理，并在第一时间窗口内，获取处理后的图像数据的高阶特征。
[0218]
另外，在图7(a)中，第三时间窗口支持摄像头拍摄多帧图像。有些情况下，所述高阶特征的确定或所述融合数据的确定所需时间较多，相应的，所述第三时间窗口的时长较短，只支持所述摄像头进行一次拍摄。当所述第三时间窗口只支持摄像头进行一次拍摄时，本技术实施例中各个时间窗口如图7(b)所示。
[0219]
在图7(b)中，在所述第三时间窗口内，所述摄像头拍摄一帧图像，并在完成拍摄之后，在所述第一时间窗口内，确定相应的高阶特征，以及在第二时间窗口内确定融合数据。
[0220]
在步骤s12中，公开了确定摄像头的图像数据的高阶特征的操作。其中，所述图像数据的高阶特征通常表征图像数据中包括的轮廓、曲面和形状等纹理信息，有助于识别图像数据中包括的目标物体的类型。
[0221]
在本技术实施例中，所述确定所述摄像头的图像数据的高阶特征，包括以下步骤：
[0222]
确定所述图像数据的数据矩阵，所述数据矩阵包括所述图像数据的宽度、高度和颜色通道的数量；
[0223]
通过对所述数据矩阵进行n次计算处理，确定所述图像数据的高阶特征，n为正整数，所述计算处理包括卷积运算与池化运算。
[0224]
其中，所述计算处理包括卷积运算与池化运算，当n为1时，在本技术实施例中，对所述数据矩阵进行一次卷积运算与池化运算；当n为不小于2的正整数时，在本技术实施例中，对所述数据矩阵进行多层卷积运算与池化运算。
[0225]
另外，可通过神经网络模型确定图像数据的高阶特征，即通过所述神经网络模型进行卷积运算与池化运算。这种情况下，将所述图像数据的数据矩阵输入至所述神经网络模型，所述神经网络模型通过卷积运算与池化运算，确定所述图像数据的高阶特征。
[0226]
所述神经网络模型可为多种类型，示例性的，所述神经网络模型可为vgg16，resnet等模型，本技术实施例对此不做限定。
[0227]
为了明确本技术确定所述图像数据的高阶特征的方法，本技术公开一个示例。在该示例中，设定所述图像数据的宽度为w
in
，所述图像数据的高度为h
in
，当所述图像数据的颜色通道为rgb颜色通道时，所述颜色通道的数量为3，则所述图像数据的数据矩阵为[w
in
，h
in
，3]。
[0228]
在确定所述图像数据的数据矩阵之后，对所述图像数据进行卷积运算，设定卷积核的数量为c
i
，卷积运算后的图像宽度为w
i
，高度为h
i
，则卷积运算的结果为[w
i
，h
i
，c
i
]。
[0229]
然后，再对卷积运算的结果进行池化运算，设定池化核的数量为c
j
，池化后的图像宽度为w
j
，高度为h
j
，则池化运算的结果为[w
j
，h
j
，c
j
]。
[0230]
当n为不小于2的正整数时，可再次进行卷积运算和池化运算。在经过多层卷积运算和池化运算之后，所确定的高阶特征可表示为[w
out
，h
out
，c
out
]，其中，c
out
为高阶特征通道数，w
out
为该高阶特征中对应的图像数据的宽度，h
out
为该高阶特征中对应的图像数据的高度。
[0231]
这种情况下，进行卷积运算与池化运算的神经网络模型可如图8所示。在该神经网络模型中，包括多个计算处理层，每个计算处理层包括一个卷积层与一个池化层。所述图像数据在输入至所述神经网络模型之后，所述神经网络模型确定该图像数据的数据矩阵，并通过多个计算处理层依次进行卷积运算与池化运算，从而确定高阶特征。
[0232]
在步骤s13中，公开了确定所述图像数据的高阶特征、所述雷达的点云数据与所述
图像数据的融合数据的操作。其中，参见图9所示的工作流程示意图，所述通过对所述图像数据的高阶特征、所述雷达的点云数据与所述图像数据进行融合处理，获取融合数据，包括以下步骤：
[0233]
步骤s41、将所述点云数据的极坐标转换为所述点云数据的笛卡尔坐标。
[0234]
在本技术实施例中，雷达确定的点云数据通常通过极坐标系表示。设定所述点云数据中第i个点数据的极坐标为(α
i
,β
i
,d
i
)，该点数据对应的光波到达目标物体的某一位置，其中α
i
为该位置的水平偏转角度，β
i
为该位置的垂直偏转角度，d
i
为该位置距离极坐标系的原点的距离。并且，该点数据在极坐标系的坐标可如图10所示。
[0235]
可通过以下公式将所述点云数据的极坐标转换为所述点云数据的笛卡尔坐标：
[0236][0237]
其中，(x
i
，y
i
，z
i
)为所述点云数据中第i个点数据的极坐标转换后的笛卡尔坐标。
[0238]
步骤s42、根据所述摄像头的参数，将所述点云数据的笛卡尔坐标转换为图像坐标系中的图像坐标。
[0239]
其中，所述摄像头的参数通常包括所述摄像头在水平方向上的有效焦距，以及所述摄像头在垂直方向上的有效焦距。
[0240]
在一个示例中，图像坐标系的原点为图像左上角的像素点，图像坐标系在水平方向的坐标轴为u轴，方向为从左到右，垂直方向的坐标轴为v轴，方向为竖直向下，则该图像坐标系可如图11所示。
[0241]
这种情况下，设定所述点云数据中第i个点数据在图像坐标系中的图像坐标为(u
i
，v
i
)，则可确定以下公式：
[0242][0243]
其中，f
u
为相机水平方向上的有效焦距，f
v
为相机垂直方向上的有效焦距，u0，v0为像平面的中心点坐标。r为旋转矩阵，t为平移矢量，m为转换矩阵。
[0244]
进一步，由上述公式，可得到以下公式：
[0245][0246]
预先获取具有映射关系的图像坐标系中的图像坐标和点云数据的笛卡尔坐标，并将具有映射关系的图像坐标和笛卡尔坐标代入上述公式，即可确定m
11
，m
12
……
m
34
的具体数值，进而确定转换矩阵m。
[0247]
在确定转换矩阵m之后，将转换矩阵m代入公式(4)，即可确定所述点云数据中第i个点数据在图像坐标系中的图像坐标(u
i
，v
i
)。
[0248]
另外，在确定转换矩阵m之后，还可通过上述方法，确定所述点云数据中其他点数据在图像坐标系中的图像坐标。
[0249]
步骤s43、根据所述点云数据的图像坐标，以及所述图像数据中各个区域的坐标，确定所述点云数据与所述图像数据中各个区域的映射关系。
[0250]
在本技术实施例中，可将图像数据划分为多个区域，在确定所述点云数据在图像坐标系中的图像坐标后，当所述点云数据中某一点数据的图像坐标与图像数据中某一区域的图像坐标最接近时，则确定该点数据与该区域具备映射关系，从而能够确定所述点云数据与所述图像数据中各个区域的映射关系。
[0251]
在一种可行的区域划分方式中，可根据像素对所述图像数据进行划分，这种情况下，图像数据中不同像素划分为不同的区域。相应的，可根据所述点云数据的图像坐标与各个像素的图像坐标，确定点云数据与像素的映射关系。
[0252]
另外，当每一个区域包括多个像素时，该区域的图像坐标可为所述多个像素的图像坐标的平均值。
[0253]
其中，确定所述点云数据与所述图像数据中各个区域的映射关系的过程中，可称为对图像数据和点云数据进行融合处理，示意图可如图12所示。
[0254]
在图12的第一行中，包括图像数据与点云数据。其中，所述图像数据中每一个正方形表示一个像素，而正方形的颜色深浅程度表示该像素的颜色的亮暗程度。点云数据中的每一个点表示一个点数据，点数据表示雷达探测到的目标物体上的一个位置与该雷达的距离。
[0255]
在图12的第二行中，表示对图像数据与点云数据进行融合。本次融合过程中，根据像素对图像区域进行划分，一个像素代表一个区域。在融合过程中，根据点云数据的图像坐标，以及图像数据中各个区域的坐标，确定所述点云数据与所述图像数据中各个区域的映射关系。
[0256]
融合结果可如图12中的第三行所示。其中，图12中的第三行中，每一个点可表征雷达探测到的目标物体上的一个位置与该雷达的距离，并且，该点的颜色可表征该位置在图像数据中的颜色信息。
[0257]
步骤s44、根据所述映射关系以及所述图像数据的高阶特征，确定所述融合数据。
[0258]
所述融合数据能够指示图像数据中各个区域的空间信息、颜色信息和高阶特征。在所述融合数据中，通过点云数据与图像数据中各个区域的映射关系。其中，通过各个区域对应的点云数据，即可确定所述各个区域的空间位置信息，从而识别目标物体的空间位置信息。进一步的，在所述融合数据中还包括图像数据的高阶特征，结合所述颜色信息和所述高阶特征，可识别目标物体的类型。
[0259]
当所述图像数据的颜色通道为rgb颜色通道时，所述区域的颜色信息可为该区域在rgb颜色通道的数值。
[0260]
在一种可行的实现方式中，可通过“区域的颜色通道 该区域对应的点数据的笛卡尔坐标”的结构，表征点云数据与所述图像数据中各个区域的映射关系。其中，当所述图像数据的颜色通道为rgb颜色通道时，该映射关系可表示为“rgbxyz”结构，该结构中的rgb即为图像数据中某一区域的rgb颜色通道信息，xyz即为该区域对应的点数据的笛卡尔坐标。
[0261]
这种情况下，在一个示例中，所述融合数据的形式可如下表所示：
[0262]
帧头颜色通道 笛卡尔坐标高阶特征
[0263]
在该示例中，通过“颜色通道 笛卡尔坐标”这一字段，可表征图像数据中某一区域的颜色通道信息，以及该区域对应的点数据的笛卡尔坐标；“高阶特征”这一字段，可用于加载相应的高阶特征。
[0264]
另外，在根据融合数据进行目标识别的过程中，需要确定高阶特征与点云数据的映射关系时，在帧头中可以包括所述转换矩阵m。
[0265]
或者，所述映射关系还可以表示为其他结构，例如，所述映射关系可表示为颜色通道 极坐标的结构等，本技术实施例对此不做限定。
[0266]
当然，所述融合数据还可以为其他形式，本技术实施例对此不做限定。
[0267]
另外，融合数据所包括的高阶特征，可通过下表表示：
[0268]
行序号列序号通道序号高阶特征值
[0269]
其中，所述高阶特征为二阶或二阶以上的特征，例如可为图像数据的颜色、纹理、形状等多种类型的特征。相应的，所述高阶特征包含多个高阶通道，不同高阶通道用于指示所述高阶特征中的不同的特征，并且预先可为不同的高阶通道分配相应的通道序号，以区分不同的高阶通道。
[0270]
这种情况下，所述行序号和列序号可用于指示提取了高阶特征的像素点的位置。所述通道序号用于指示该像素点的各个高阶通道对应的序号。相应的，所述高阶特征值为该像素点对应的各个高阶通道的高阶特征值。通过上表，即可确定各个行序号和列序号对应的提取了高阶特征的像素点，在各个通道序号下对应的高阶特征值。
[0271]
当然，所述高阶特征也可为其他形式，本技术实施例对此不做限定。
[0272]
下述为本技术装置实施例，可以用于执行本技术方法实施例。对于本技术装置实施例中未披露的细节，请参照本技术方法实施例。
[0273]
与上述方法实施例相对应的，本技术实施例公开一种目标物体识别装置。参见图13所示的结构示意图，所述目标物体识别装置包括：处理单元310与收发单元320。
[0274]
收发单元，用于分别向雷达与摄像头传输触发信号，所述触发信号用于触发所述雷达和所述摄像头；
[0275]
处理单元，用于在所述雷达根据所述触发信号进行扫描的过程中，确定所述摄像头的图像数据的高阶特征。
[0276]
其中，所述雷达包括发射器与接收器，在本技术实施例中，所述收发单元向雷达传输触发信号通常指的是，所述收发单元分别向所述雷达的发射器与接收器发射触发信号。
[0277]
在本技术实施例提供的目标物体识别装置中，分别向雷达与摄像头传输触发信号，通过所述触发信号触发所述雷达与摄像头的工作。并且，在雷达根据所述触发信号进行扫描的过程中，就确定所述摄像头的图像数据的高阶特征。
[0278]
与现有技术相比，本技术实施例提供的方案能够在雷达的扫描过程中，确定所述图像数据的高阶特征，所述图像数据的高阶特征用于进行目标识别，从而能够减少在雷达完成扫描后，提取图像数据的高阶特征的计算量，提高目标物体识别的效率，减少目标物体识别过程中的延时，提高目标物体识别的实时性。
[0279]
进一步的，在本技术实施例中，所述处理单元，还用于在所述雷达根据所述触发信号进行扫描的过程中，通过对所述图像数据的高阶特征、所述雷达的点云数据与所述图像
数据进行融合处理，获取融合数据，所述融合数据用于指示所述图像数据中各个区域的空间信息、颜色信息和高阶特征。
[0280]
通过本技术实施例提供的方案，在雷达扫描的过程中，即可进行图像数据与点云数据的融合，从而能够减少在雷达完成扫描后，对点云数据与图像数据进行融合的计算量，提高目标物体识别的效率，减少目标物体识别过程中的延时，提高目标物体识别的实时性。
[0281]
进一步的，在融合过程中，还融合了高阶特征，便于处理器根据所述高阶特征识别目标物体，提高了目标物体识别的准确性。
[0282]
进一步的，在本技术实施例中，所述收发单元具体用于同时向所述雷达与摄像头传输触发信号；
[0283]
或者，
[0284]
所述处理单元，还用于根据与所述雷达，以及与所述摄像头的距离，确定向所述雷达和所述摄像头传输触发信号的时间差；
[0285]
所述收发单元具体用于，在获取时钟脉冲信号之后，根据所述时间差分别向所述雷达与摄像头传输触发信号，以使所述雷达与所述摄像头同时接收到触发信号。
[0286]
在本技术实施例提供的方案中，在获取时钟脉冲信号之后，根据向雷达和摄像头传输触发信号的时间差，分别向所述雷达与摄像头传输触发信号，以使所述雷达与所述摄像头同时接收到触发信号，从而能够提高雷达的点云数据与摄像头的图像数据在时间上的同步性，解决了现有技术中存在的图像数据和点云数据难以融合的问题。
[0287]
进一步的，在本技术实施例中，所述触发信号周期性传输，所述触发信号的传输周期不小于所述雷达的扫描时间窗口，所述雷达的扫描时间窗口为所述雷达完成一次周期性扫描的时长。
[0288]
进一步的，在本技术实施例中，确定所述图像数据的高阶特征的第一时间窗口和确定所述融合数据的第二时间窗口位于所述雷达的扫描时间窗口内。
[0289]
进一步的，在本技术实施例中，所述处理单元还用于：
[0290]
根据所述雷达的扫描时间窗口、所述第一时间窗口和确定所述第二时间窗口，确定所述摄像头进行拍摄的第三时间窗口；
[0291]
所述第三时间窗口的开始时间与所述扫描时间窗口的开始时间相同，所述第三时间窗口的结束时间不晚于所述第一时间窗口和第二时间窗口的开始时间；
[0292]
计算所述摄像头在根据所述触发信号完成拍摄之后，所述第三时间窗口的第一剩余时间；
[0293]
所述收发单元还用于，当所述第一剩余时间不小于所述摄像头完成一次拍摄所需的时间时，再次向所述摄像头传输触发信号。
[0294]
进一步的，在本技术实施例中，所述处理单元还用于：
[0295]
当向所述摄像头传输触发信号的次数不小于两次时，选择所述图像数据中清晰的图像数据；
[0296]
通过对所述清晰的图像数据进行滤波处理，去除所述清晰的图像数据中的噪点；
[0297]
当去除噪点后的图像数据包括两帧以上时，对所述去除噪点后的图像数据进行合成处理；
[0298]
所述处理单元具体用于，确定合成处理后的图像数据的高阶特征。
[0299]
进一步的，在本技术实施例中，所述处理单元具体用于：
[0300]
确定所述图像数据的数据矩阵，所述数据矩阵包括所述图像数据的宽度、高度和颜色通道的数量；
[0301]
通过对所述数据矩阵进行n次计算处理，确定所述图像数据的高阶特征，n为正整数，所述计算处理包括卷积运算与池化运算。
[0302]
进一步的，在本技术实施例中，所述处理单元具体用于：
[0303]
将所述点云数据的极坐标转换为所述点云数据的笛卡尔坐标；
[0304]
根据所述摄像头的参数，将所述点云数据的笛卡尔坐标转换为图像坐标系中的图像坐标；
[0305]
根据所述点云数据的图像坐标，以及所述图像数据中各个区域的坐标，确定所述点云数据与所述图像数据中各个区域的映射关系；
[0306]
根据所述映射关系以及所述图像数据的高阶特征，确定所述融合数据。
[0307]
相应的，与上述的目标物体识别方法相对应的，本技术实施例还提供一种终端装置。参见图14所示的结构示意图，所述终端装置包括：处理器1101和存储器，其中，所述存储器存储在所述处理器上运行的程序；所述处理器执行所述程序时，实现图3至图6以及图9对应的实施例中的全部或部分步骤。
[0308]
进一步的，该终端装置还可以包括：收发器1102和总线1103，所述存储器包括随机存取存储器1104和只读存储器1105。
[0309]
其中，处理器通过总线分别耦接收发器、随机存取存储器以及只读存储器。其中，当需要运行该终端装置时，通过固化在只读存储器中的基本输入输出系统或者嵌入式系统中的bootloader引导系统进行启动，引导该装置进入正常运行状态。在该装置进入正常运行状态后，在随机存取存储器中运行应用程序和操作系统，从而使所述终端装置执行图3至图6以及图9对应的实施例中的全部或部分步骤。
[0310]
本发明实施例的装置可对应于上述13所对应的实施例中的目标物体识别装置，并且，该装置中的处理器等可以实现13所对应的实施例中的装置所具有的功能和/或所实施的各种步骤和方法，为了简洁，在此不再赘述。
[0311]
其中，参见图15所示的架构示意图，在本技术实施例中，所述终端装置100可分别与摄像头200和雷达相连接，其中，所述雷达包括发射器301和接收器302。并且，所述终端装置100还与时钟发生器400相连接。
[0312]
这种情况下，时钟发生器400向所述终端装置100传输时钟脉冲信号。在接收到所述时钟脉冲信号之后，所述终端装置可分别向摄像头200、雷达的发射器和雷达的接收器传输触发信号。在接收到所述触发信号之后，所述摄像头开始拍摄图像，获取图像数据，并且，所述雷达开始进行扫描。
[0313]
其中，当需要所述终端装置100周期性传输触发信号时，可通过调整所述时钟发生器400的时钟脉冲信号的发射周期，使所述时钟发生器400周期性向所述终端装置100传输时钟脉冲信号。
[0314]
所述摄像头200在获取图像数据之后，可向所述终端装置100传输所述图像数据。并且，所述雷达在扫描过程中，可向所述终端装置100传输点云数据中的各个点数据。
[0315]
所述终端装置100在雷达扫描的过程中，确定所述图像数据的高阶特征，以及确定
图像数据、高阶特征和点云数据的融合数据。并且，所述终端装置100还可根据所述图像数据的高阶特征，以及图像数据、高阶特征和点云数据的融合数据，实现目标物体的识别。
[0316]
另外，参见图16所述的架构示意图，在另外一种可行的实现方式中，所述终端装置100还与上位机500相连接。
[0317]
这种情况下，所述终端装置100在确定所述高阶特征，以及所述融合数据之后，还可将所述高阶特征和/或所述融合数据上传至所述上位机500，以便所述上位机500进行目标物体的识别。
[0318]
或者，在另外一种可行的实现方式中，本技术实施例公开的终端装置设置在摄像头中，并且，所述摄像头与雷达相连接。
[0319]
这种情况下，摄像头在完成拍摄之后，所述终端装置获取图像数据，并在雷达扫描的过程中，确定所述图像数据的高阶特征。并且，所述雷达在扫描过程中，可向所述终端装置传输点云数据中的各个点数据，在雷达扫描的过程中，所述终端装置确定图像数据、高阶特征和点云数据的融合数据。
[0320]
所述终端装置可根据确定的高阶特征和融合数据，进行目标物体的识别，即确定目标物体的类型与空间位置。另外，当所述终端装置与上位机相连接时，所述终端装置还可以将所述高阶特征和/或所述融合数据上传至所述上位机，以便所述上位机进行目标物体的识别。
[0321]
或者，在另外一种可行的实现方式中，本技术实施例公开的终端装置设置在雷达中，并且，所述雷达与摄像头相连接。
[0322]
这种情况下，所述雷达在扫描过程中，依次确定点云数据中的各个点数据，并且，所述摄像头在获取图像数据之后，可向所述终端装置传输所述图像数据。所述终端装置在雷达扫描的过程中，确定所述图像数据的高阶特征，以及确定图像数据、高阶特征和点云数据的融合数据。
[0323]
并且，所述终端装置还可根据所述图像数据的高阶特征和所述融合数据，实现目标物体的识别。
[0324]
另外，当所述终端装置与上位机相连接时，所述终端装置还可以将所述高阶特征和/或所述融合数据上传至所述上位机，以便所述上位机进行目标物体的识别。
[0325]
相应的，与上述的目标物体识别方法相对应的，本技术实施例提供一种目标物体识别系统。参见图15所示的示意图，所述系统包括：终端装置100、摄像头200、雷达和时钟发生器400。
[0326]
另外，所述雷达包括发射器301和接收器302。所述雷达可为多种类型，示例性的，所述雷达可为激光雷达或毫米波雷达或超声波雷达等多种类型的雷达中的至少一个，本技术实施例对此不做限定。
[0327]
其中，所述终端装置100分别与所述摄像头200、雷达和时钟发生器400相连接。
[0328]
所述时钟发生器400可生成时钟脉冲信号，并将该时钟脉冲信号传输至所述终端装置100，所述终端装置100在接收到所述时钟脉冲信号之后，生成相应的触发信号，并分别向所述雷达和摄像头传输所述触发信号，所述触发信号用于触发所述雷达和所述摄像头。
[0329]
具体的，所述终端装置100分别向所述雷达的发射器、接收器以及摄像头传输所述触发信号，以使所述雷达的发射器、接收器以及摄像头在接收到所述触发信号之后，开始工
作。其中，所述雷达在接收到所述触发信号之后，开始进行扫描，并在扫描过程中，向所述终端装置上传点云数据；所述摄像头在接收到所述触发信号之后，开始进行图像拍摄，并向所述终端装置上传图像数据。
[0330]
当所述时钟发生器400周期性生成时钟脉冲信号时，所述时钟发生器400生成时钟脉冲信号的周期时长可大于或者等于所述雷达的扫描时间窗口的时长。其中，当所述时钟发生器400生成时钟脉冲信号的周期时长等于所述雷达的扫描时间窗口的时长时，则所述雷达完成一次扫描之后，就会接收到新的触发信号，并进入下一次扫描。
[0331]
所述终端装置100在所述雷达的扫描过程中，获取图像数据的高阶特征，进一步的，还可以获取对所述图像数据的高阶特征、所述雷达的点云数据与所述图像数据进行融合处理，获取融合数据。
[0332]
进一步的，在获取所述融合数据之后，所述终端装置100可通过所述融合数据，识别目标物体，即确定目标物体的类型与空间位置。
[0333]
另外，参见图16所示的示意图，在本技术实施例公开的系统中，还包括上位机500。其中，所述上位机500用于接收所述终端装置100传输的融合数据，并根据所述融合数据识别目标物体。
[0334]
也就是说，在本技术实施例中，所述系统中还可以包括与所述终端装置100相连接的上位机500，这种情况下，在获取所述融合数据之后，所述终端装置100向所述上位机500传输所述融合数据。所述上位机500在接收到所述融合数据之后，根据所述融合数据识别目标物体。
[0335]
相应的，与上述的目标物体识别方法相对应的，本技术实施例提供一种终端装置，参见图17所示的示意图，该终端装置包括：处理器600和接口电路700；
[0336]
所述接口电路700，用于接收代码指令并传输至所述处理器；
[0337]
所述处理器600用于运行所述代码指令以执行如图3至图6以及图9对应的实施例所提供的目标物体识别方法。
[0338]
其中，所述通信装置可以包括一个芯片，也可以包括多个芯片组成的芯片模组。或者，所述通信装置还可以为其他形式，本技术对此不作限定。
[0339]
具体实现中，本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质包括指令。其中，设置在任意设备中计算机可读介质其在计算机上运行时，可实施包括图3至图6以及图9对应的实施例中的全部或部分步骤。所述计算机可读介质的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-only memory，简称：rom)或随机存储记忆体(英文：random access memory，简称：ram)等。
[0340]
另外，本技术另一实施例还提供一种包含指令的计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备可实施包括图3至图6以及图9对应的实施例中的全部或部分步骤。
[0341]
本领域技术任何还可以了解到本技术实施例列出的各种说明性逻辑块(illustrative logical block)和步骤(step)可以通过电子硬件、电脑软件，或两者的结合进行实现。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本技术实施例保护的范围。
[0342]
本技术实施例中所描述的各种说明性的逻辑单元和电路可以通过通用处理器，数字信号处理器，专用集成电路(asic)，现场可编程门阵列(fpga)或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、处理器、微处理器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
[0343]
本技术实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件单元、或者这两者的结合。软件单元可以存储于ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动磁盘、cd-rom或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于asic中，asic可以设置于ue中。可选地，处理器和存储媒介也可以设置于ue中的不同的部件中。
[0344]
应理解，在本技术的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0345]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
[0346]
本说明书的各个部分均采用递进的方式进行描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点介绍的都是与其他实施例不同之处。尤其，对于装置和系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例部分的说明即可。
[0347]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0348]
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存
储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
[0349]
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于
……
实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
[0350]
以上所述的本发明实施方式并不构成对本发明保护范围的限定。