物体信息提取方法、装置、机器人及计算机可读存储介质与流程

1.本发明涉及机器人技术领域，尤其涉及一种物体信息提取方法、装置、机器人及计算机可读存储介质。


背景技术：

2.环境结构化指的是从杂乱的环境中，提取出各种物体信息(如物体模型、物体点云等)的一项技术，是机器人在感知环境之后，定位之前必不可少的一个流程。在相关技术中，机器人采用直接从环境设计图纸中获取物体信息的方式，或者通过逆向工程的方式，基于计算机辅助设计(cad，computer aided design)绘制物体模型，从而获取物体信息。该物体信息的获取方式需要在已有环境模型的前提下实现，机器人无法对环境中的物体信息进行直接获取，并且传统的cad方法需要手动绘制，效率较低，且无法保证物体信息的获取精度。


技术实现要素：

3.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明提出一种物体信息提取方法，有效的解决了无法准确提取物体信息的问题。
4.本发明第一方面实施例提出了一种物体信息提取方法，该方法包括：获取目标环境对应的环境点云数据，以及环境点云数据对应的物体语义信息，目标环境中包括至少一个待提取物体；基于环境点云数据进行三维重建，得到目标环境对应的多个三角面片；根据物体语义信息对三角面片进行聚类，从聚类后的三角面片中提取待提取物体对应的物体信息。
5.根据本发明实施例的物体信息提取方法，首先，获取目标环境对应的环境点云数据，以及环境点云数据对应的物体语义信息，目标环境中包括至少一个待提取物体，然后，基于环境点云数据进行三维重建，得到目标环境对应的多个三角面片，最后，根据物体语义信息对三角面片进行聚类，从聚类后的三角面片中提取待提取物体对应的物体信息。由此，该方法基于环境点云数据三维重建得到的多个三角面片，通过环境点云数据对应的物体语义信息对三角面片进行聚类，从聚类后的三角面片中提取待提取物体对应的物体信息，有效的解决了无法提取物体信息的问题，提高了物体信息提取的准确性。
6.另外，根据本发明上述实施例的物体信息提取方法，还可以具有如下的附加技术特征：
7.根据本发明的一个实施例，根据物体语义信息对三角面片进行聚类，从聚类后的三角面片中提取待提取物体对应的物体信息，包括：从物体语义信息中获取物体类别信息；根据物体类别信息对三角面片进行聚类，得到多个物体类别各自对应的面片集合；对多个面片集合分别进行连通性聚类处理，得到待提取物体对应的物体信息。
8.根据本发明的一个实施例，对多个面片集合分别进行连通性聚类处理，得到待提取物体对应的物体信息，包括：以三角面片为节点、具有共有边的节点之间的连线为边，构建面片集合各自对应的无向图；对无向图进行图搜索，得到面片集合中连通的三角面片；基
于连通的三角面片提取得到待提取物体对应的物体信息。
9.根据本发明的一个实施例，在对无向图进行图搜索，得到面片集合中连通的三角面片之后，该物体信息提取方法还包括：对连通的三角面片和未连通的三角面片进行距离聚类；根据距离聚类后的三角面片提取得到待提取物体对应的物体信息。
10.根据本发明的一个实施例，在基于环境点云数据进行三维重建，得到目标环境对应的多个三角面片之前，该物体信息提取方法还包括：根据物体语义信息对环境点云数据进行点云提取；当提取得到物体点云数据时，将除物体点云数据以外的环境点云数据标记为待重建点云数据；基于待重建点云数据进行三维重建，得到多个三角面片。
11.根据本发明的一个实施例，基于环境点云数据进行三维重建，得到目标环境对应的多个三角面片，包括：对环境点云数据进行体素划分，得到多个体素；确定等值面，以及等值面与体素相交的边交点；根据体素的顶点与等值面的相对位置，将边交点进行连接，得到多个三角面片。
12.根据本发明的一个实施例，在获取目标环境对应的环境点云数据之后，该物体信息提取方法还包括：对环境点云数据进行体素划分，得到多个体素；获取体素对应的符号距离；根据符号距离对环境点云数据进行融合，得到表面点云；对表面点云进行三维重建，得到多个三角面片。
13.为达到上述目的，本发明第二方面实施例提出了一种物体信息提取装置，该装置包括：数据获取模块，用于获取目标环境对应的环境点云数据和环境点云数据对应的物体语义信息，其中，目标环境中包括至少一个待提取物体；重建模块，用于对环境点云数据进行三维重建，得到多个三角面片；识别模块，用于根据物体语义信息对三角面片进行聚类，从聚类后的三角面片中提取待提取物体对应的物体信息。
14.根据本发明实施例的物体信息提取装置，通过数据获取模块获取目标环境对应的环境点云数据和环境点云数据对应的物体语义信息，其中，目标环境中包括至少一个待提取物体，通过重建模块对环境点云数据进行三维重建，得到多个三角面片，识别模块根据物体语义信息对三角面片进行聚类，从聚类后的三角面片中提取待提取物体对应的物体信息。由此，该装置基于环境点云数据三维重建得到的多个三角面片，通过环境点云数据对应的物体语义信息对三角面片进行聚类，从聚类后的三角面片中提取待提取物体对应的物体信息，有效的解决了无法提取物体信息的问题，提高了物体信息提取的准确性。
15.为达到上述目的，本发明第三方面实施例提出了一种机器人，包括：存储器、处理器及存储在存储器上并可在处理器上运行的物体信息提取程序，处理器执行该物体信息提取程序时，实现上述的物体信息提取方法。
16.根据本发明实施例的机器人，基于上述的物体信息提取方法，有效的解决了无法提取物体信息的问题，提高了物体信息提取的准确性。
17.为达到上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有物体信息提取程序，该物体信息提取程序被处理器执行时实现上述的物体信息提取方法。
18.根据本发明实施例的计算机可读存储介质，基于上述的物体信息提取方法，有效的解决了无法提取物体信息的问题，提高了物体信息提取的准确性。
19.本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变
得明显，或通过本发明的实践了解到。
附图说明
20.图1为根据本发明一个实施例的多足机器人的硬件结构示意图；
21.图2为根据本发明一个实施例的多足机器人的立体示意图；
22.图3为根据本发明实施例的物体信息提取方法的流程图；
23.图4为根据本发明一个实施例的等值面获取示意图；
24.图5为根据本发明一个实施例的三角面片的建模、聚类示意图；
25.图6为根据本发明一个具体实施例的物体信息提取方法的流程图；
26.图7为根据本发明实施例的物体信息提取装置的方框示意图；
27.图8为根据本发明实施例的机器人的方框示意图。
具体实施方式
28.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。应当理解的是，下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
29.在后续的描述中，使用用于表示部件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
30.请参阅图1，图1为本发明其中一个实施方式的多足机器人100的硬件结构示意图。在图1所示的实施方式中，多足机器人100包括机械单元101、通讯单元102、传感单元103、接口单元104、存储单元105、控制模块110、电源111。多足机器人100的各种部件可以以任何方式连接，包括有线或无线连接等。本领域技术人员可以理解，图1中示出的多足机器人100的具体结构并不构成对多足机器人100的限定，多足机器人100可以包括比图示更多或更少的部件，某些部件也并不属于多足机器人100的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略，或者组合某些部件。
31.下面结合图1对多足机器人100的各个部件进行具体的介绍：
32.机械单元101为多足机器人100的硬件。如图1所示，机械单元101可包括驱动板1011、电机1012、机械结构1013，如图2所示，机械结构1013可包括机身主体1014、可伸展的腿部1015、足部1016，在其他实施方式中，机械结构1013还可包括可伸展的机械臂(图未示)、可转动的头部结构1017、可摇动的尾巴结构1018、载物结构1019、鞍座结构1020、摄像头结构1021等。需要说明的是，机械单元101的各个部件模块可以为一个也可以为多个，可根据具体情况设置，比如腿部1015可为4个，每个腿部1015可配置3个电机1012，对应的电机1012为12个。
33.通讯单元102可用于信号的接收和发送，还可以通过与网络和其他设备通信，比如，接收遥控器或其他多足机器人100发送的按照特定步态以特定速度值向特定方向移动的指令信息后，传输给控制模块110处理。通讯单元102包括如wifi模块、4g模块、5g模块、蓝牙模块、红外模块等。
34.传感单元103用于获取多足机器人100周围环境的信息数据以及监控多足机器人100内部各部件的参数数据，并发送给控制模块110。传感单元103包括多种传感器，如获取周围环境信息的传感器：激光雷达(用于远程物体检测、距离确定和/或速度值确定)、毫米波雷达(用于短程物体检测、距离确定和/或速度值确定)、摄像头、红外摄像头、全球导航卫星系统(gnss，global navigation satellite system)等。如监控多足机器人100内部各部件的传感器：惯性测量单元(imu，inertial measurement unit)(用于测量速度值、加速度值和角速度值的值)，足底传感器(用于监测足底着力点位置、足底姿态、触地力大小和方向)、温度传感器(用于检测部件温度)。至于多足机器人100还可配置的载荷传感器、触摸传感器、电机角度传感器、扭矩传感器等其他传感器，在此不再赘述。
35.接口单元104可以用于接收来自外部装置的输入(例如，数据信息、电力等)并且将接收到的输入传输到多足机器人100内的一个或多个部件，或者可以用于向外部装置输出(例如，数据信息、电力等)。接口单元104可包括电源端口、数据端口(如usb端口)、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(i/o)端口、视频i/o端口等。
36.存储单元105用于存储软件程序以及各种数据。存储单元105可主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统程序、运动控制程序、应用程序(比如文本编辑器)等；数据存储区可存储多足机器人100在使用中所生成的数据(比如传感单元103获取的各种传感数据，日志文件数据)等。此外，存储单元105可以包括高速随机存取存储器，还可以包括非易失性存储器，例如磁盘存储器、闪存器、或其他易失性固态存储器。
37.显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器(liquid crystal display，lcd)、有机发光二极管(organic light-emitting diode,oled)等形式来配置显示面板1061。
38.输入单元107可用于接收输入的数字或字符信息。具体地，输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户的触摸操作(比如用户使用手掌、手指或适合的附件在触控面板1071上或在触控面板1071附近的操作)，并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置1073和触摸控制器1074两个部分。其中，触摸检测装置1073检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器1074；触摸控制器1074从触摸检测装置1073上接收触摸信息，并将它转换成触点坐标，再送给控制模块110，并能接收控制模块110发来的命令并加以执行。除了触控面板1071，输入单元107还可以包括其他输入设备1072。具体地，其他输入设备1072可以包括但不限于遥控操作手柄等中的一种或多种，具体此处不做限定。
39.进一步的，触控面板1071可覆盖显示面板1061，当触控面板1071检测到在其上或附近的触摸操作后，传送给控制模块110以确定触摸事件的类型，随后控制模块110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中，触控面板1071与显示面板1061是作为两个独立的部件来分别实现输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现输入和输出功能，具体此处不做限定。
40.控制模块110是多足机器人100的控制中心，利用各种接口和线路连接整个多足机器人100的各个部件，通过运行或执行存储在存储单元105内的软件程序，以及调用存储在存储单元105内的数据，从而对多足机器人100进行整体控制。
41.电源111用于给各个部件供电，电源111可包括电池和电源控制板，电源控制板用
于控制电池充电、放电、以及功耗管理等功能。在图1所示的实施方式中，电源111电连接控制模块110，在其它的实施方式中，电源111还可以分别与传感单元103(比如摄像头、雷达、音箱等)、电机1012电性连接。需要说明的是，各个部件可以各自连接到不同的电源111，或者由相同的电源111供电。
42.在上述实施方式的基础上，具体地，在一些实施方式中，可以通过终端设备来与多足机器人100进行通信连接，在终端设备与多足机器人100进行通信时，可以通过终端设备来向多足机器人100发送指令信息，多足机器人100可通过通讯单元102来接收指令信息，并可在接收到指令信息的情况下，将指令信息传输至控制模块110，使得控制模块110可根据指令信息来处理得到目标速度值。终端设备包括但不限于：具备图像拍摄功能的手机、平板电脑、服务器、个人计算机、可穿戴智能设备、其它电器设备。
43.指令信息可以根据预设条件来确定。在一个实施方式中，多足机器人100可以包括传感单元103，传感单元103可根据多足机器人100所在的当前环境可生成指令信息。控制模块110可根据指令信息来判断多足机器人100的当前速度值是否满足对应的预设条件。若满足，则会保持多足机器人100的当前速度值和当前步态移动；若不满足，则会根据对应的预设条件来确定目标速度值和相应的目标步态，从而可控制多足机器人100以目标速度值和相应的目标步态移动。环境传感器可以包括温度传感器、气压传感器、视觉传感器、声音传感器。指令信息可以包括温度信息、气压信息、图像信息、声音信息。环境传感器与控制模块110之间的通信方式可以为有线通信，也可以为无线通信。无线通信的方式包括但不限于：无线网络、移动通信网络(3g、4g、5g等)、蓝牙、红外。
44.以上对本技术提供的多足机器人的硬件结构和机械结构进行说明，下面参考附图描述本发明实施例提出的物体信息提取方法、物体信息提取装置、机器人和计算机可读存储介质。
45.请参阅图3，图3为根据本发明实施例的物体信息提取方法的流程图。该物体信息提取方法可包括以下步骤：
46.s301，获取目标环境对应的环境点云数据，以及环境点云数据对应的物体语义信息，目标环境中包括至少一个待提取物体。
47.上述目标环境为机器人所需感知的周围环境，机器人对周围环境内的各物体模型进行提取，周围环境内存在的物体即为待提取物体。机器人可通过安装的激光雷达、rgb-d相机等设备对周围环境扫描得到环境点云数据，环境点云数据包括：横坐标值、纵坐标值、竖坐标值。若采用激光雷达对环境点云数据进行获取，环境点云数据还可包括雷达回波功率值。可以理解的是，环境点云数据包括的横坐标、纵坐标和竖坐标是在机器人坐标系下的坐标值，上述机器人坐标系可以以机器人行进方向为横轴，以机器人中心为原点，以垂直于机器人行进方向，且与地面平行的线作为纵轴，以与地面垂直的线作为竖轴的坐标系。上述目标环境的环境点云为多个数据点的集合，该物体语义信息可以为物体类别，每个数据点所对应的环境点云数据的物体类别并不相同，基于深度学习，对数据点进行分类，确定环境点云数据对应的物体语义信息。
48.具体地，以通过rgb-d相机获取数据点云数据为例，环境点云数据为rgb-d相机坐标系下的坐标值。首先，机器人通过rgb-d相机对待提取物体所处的目标环境进行拍照，获取目标环境的彩色图像和深度图像，根据深度图像确定目标环境的深度信息，然后基于
rgb-d相机内参恢复出目标环境的环境点云数据，并基于神经网络从深度信息和彩色图像中获取环境点云数据对应的物体语义信息。其中，物体语义信息为物体的属性信息，可包括：物体的外包围轮廓、物体的体积、物体的面积等。
49.需要说明的是，rgb-d相机可通过在rgb普通摄像头的功能上增加了一个深度测量来实现，从而获取物体的深度图像，确定目标环境的深度信息。该深度信息的获取方法包括但不仅限于采用深度点云的获取技术，具体可根据实际情况进行设定。当通过深度点云的获取技术获取深度信息时，rgb-d相机可通过单一或者多种融合的传感器获取深度信息，例如，可采用rgb双目的测距方式，通过计算双目视差获取深度信息，又或者可直接通过激光测距仪、tof(time of flight，飞行时间法)传感器等获得深度信息，具体可根据实际情况进行应用。另外，上述深度信息获取过程，包括但不仅限于使用神经网络、深度学习、强化学习等一种或者多种方法。
50.此外，上述通过彩色图像和深度信息获取物体语义信息的方式，包括但不仅限于使用神经网络、深度学习、强化学习等一种或多种方法识别物体的一种或者多种信息，如物体的体积、面积、完整或部分的表面轮廓，甚至不同物体间的空间关系信息，如物体间相交的边界线等。
51.s302，基于环境点云数据进行三维重建，得到目标环境对应的多个三角面片。
52.其中，三维重建是指对三维物体建立适合计算机表示和处理的数学模型，三角面片是计算机图形学中用于各种不规律物体建模的一种数据结构，在多边形网格的的面片中，三角面片是被分割的最小单元，也就是说，三维重建获取的数学模型通过三角面片对其实际的连续表面进行近似表示。由此，本技术根据上述环境点云对应的坐标数据按照预设的三维建模规则进行三维重建，建立与目标环境对应的数学模型，获取与数据模型相应的多个三角面片。需要说明的是，上述三角面片的获取方式可根据实际情况进行应用，例如，可通过marching cubes(等值面提取)算法，提取等值面，以三角面片作为等值面的逼近表示，以确定目标环境对应的多个三角面片。
53.在本发明的一个实施例中，基于环境点云数据进行三维重建，得到目标环境对应的多个三角面片，包括：对环境点云数据进行体素划分，得到多个体素；确定等值面，以及等值面与体素相交的边交点；根据体素的顶点与等值面的相对位置，将边交点进行连接，得到多个三角面片。
54.具体地，对上述根据深度信息和彩色图像获取的环境点云数据进行体素划分，将环境点云数据划分为空间中一个一个如图4所示的小立方体即体素，通过marching cubes算法逐个处理数据场中的体素，采用体素内部的平面即三角面片来近似表示等值面。
55.如图4所示，每个体素具有八个顶点，根据所求等值面的门限阈值对每个体素的八个顶点进行分类，判断顶点是位于等值面之内还是等值面之外。也就是说，将每个体素的顶点与等值面的门限阈值相比较，如果顶点的数据值大于等值面的门限阈值，则定义该顶点位于等值面之内，记为“ ”，如果顶点的数据小于等值面的门限阈值，则定义该顶点位于等值面之外，记为
“‑”
。由此，当一个体素的所有顶点均为“ ”或者都为
“‑”
时，则认为等值面与该体素不相交，当一个体素内存在“ ”和
“‑”
的顶点时，则认为等值面与该体素相交。
56.基于上述方式分离出与等值面相交的体素，通过三角面片将体素内大于等值面门限阈值的顶点和小于等值面门限阈值的顶点进行分离，并确定最终体素的三角剖分模式。
具体地，假定marching cubes算法的基本假设为函数沿体素的棱边数据场呈线性变化，根据该基本假设采用线性插值计算等值面与体素边界的交点，从而得到等值面与体素相交的边交点。最后，以上述相交确定的边交点作为三角面片的顶点，相连得到多个三角面片，以此作为等值面在该体素内的逼近表示。由此，该方法根据体素每个顶点与等值面的相对位置，将等值面与体素棱边的边交点按一定方式连接形成三角形，得到多个三角面片，以此用于对等值面进行逼近表示。
57.s303，根据物体语义信息对三角面片进行聚类，从聚类后的三角面片中提取待提取物体对应的物体信息。
58.也就是说，根据确定的物体属性信息对上述获取的三角面片进行分类，将物体属性信息相同的三角面片聚集在一起，形成多个不同的类聚，然后将类聚后的三角面片结合物体语义信息对物体信息进行提取。其中，物体信息可以为物体点云、三角面片，或者是基于三角面片生成的物体模型，如几何模型等，此处不作限制。相对于相关技术中直接通过物体语义信息的位资转换到与环境点云数据相同的同个坐标系下，然后进行物体信息提取的方法，本技术有效避免了因为部分环境点云数据未被识别，导致物体信息提取不确定性增大的情况的发生，使获取的物体信息更加准确。该物体信息提取方法基于使用rgb-d相机等方法获取的环境点云数据，结合深度学习的物体语义信息，以及三维重建得到的三角面片，来对物体信息进行提取，有效解决了由深度不确定性引起的物体点云表面几何特征不明显导致无法提取物体的问题。
59.在本发明的一个实施例中，根据物体语义信息对三角面片进行聚类，从聚类后的三角面片中提取待提取物体对应的物体信息，可包括：从物体语义信息中获取物体类别信息；根据物体类别信息对三角面片进行聚类，得到多个物体类别各自对应的面片集合；对多个面片集合分别进行连通性聚类处理，得到待提取物体对应的物体信息。
60.也就是说，首先将三角面片根据物体类别信息进行分类，然后将同一类别内的三角面片进行聚类处理，得到多个类聚即面片集合，然后分别对每个类聚中的三角面片分别进行连通性聚类，进一步进行物体信息的提取。具体而言，在根据物体语义信息对上述环境点云数据确定的多个三角面片进行聚类之前，根据每个环境点云数据的物体语义信息对三角面片进行分类，进行不同物体分离，得到多个面片集合。然后对每个面片集合内的三角面片分别进行连通性聚类处理，并进一步从连通性聚类后的三角面片中提取物体信息，从而使提取的物体信息更加准确。
61.在本发明的一个实施例中，对多个面片集合分别进行连通性聚类处理，得到待提取物体对应的物体信息，包括：以三角面片为节点、具有共有边的节点之间的连线为边，构建面片集合各自对应的无向图；对无向图进行图搜索，得到面片集合中连通的三角面片；基于连通的三角面片提取得到待提取物体对应的物体信息。
62.具体地，在一个面片集合内，将所有的三角面片简化为节点，如果两个三角面片之间存在共有边，即两个三角面片之间具有连通性，则将两个节点通过连线相连，如果两个三角面片之间没有共有边，即两个三角面片之间不具有连通性，则不进行连线，以此类推，对面片集合内的所有三角面片通过共有边的方法进行连通性聚类，得到对应的若干无向图。然后，基于由节点和边构成的无向图进行物体信息的提取。需要说明的是，以三角面片作为节点，且通过边实现相连的三角面片，为连通的三角面片，认为为同一物体。以三角面片作
为节点，但未通过边相连的三角面片，为未连通的三角面片，认为为不同物体。连通的三角面片通过边连接构成一个无向图，本实施例基于无向图内连通的三角面片进行物体信息的提取，使获取的物体更准确。
63.以图5为例，假设某一面片集合由图(a)所示的九个三角面片组成，分别以1、2、3、4、5、6、7、8、9来表示。参照图(a)所示，三角面片1与三角面片2和三角面片8具有相同的顶点，且具有共有边，因此建模简化后，节点1分别与节点2和节点8相连，同理，三角面片2分别与面片1、面片4和面片7具有同一顶点和共有边，因此节点2不仅与节点1相连，还分别与节点4和节点7相连，依次类推，节点1、2、3、4、6、7、8和9完成连通，而三角面片5不与其他任何三角面片具有同一顶点和共有边，因此节点5孤立存在，由此，图(a)中的三角面片1-9通过建模简化为图(b)中的节点1-9，此时，节点1、2、3、4、6、7、8和9相连，节点5孤立存在，确定三角面片1、2、3、4、6、7、8和9为该面片集合中连通的三角面片，三角面片5为该面片集合中未连通的三角面片。然后，将连通的三角面片1、2、3、4、6、7、8和9进行连通聚类还原，得到图(c)所示的a区，未连通的三角面片5单独聚类还原得到图(c)所示的b区，最后基于聚类还原的a区对待提取物体对应的物体信息进行提取。
64.除上述仅基于三角面片的连通性进行物体信息提取的方法，在本发明的一个实施例中，在对无向图进行图搜索，得到面片集合中连通的三角面片之后，该物体信息提取方法还包括：对连通的三角面片和未连通的三角面片进行距离聚类；根据距离聚类后的三角面片提取得到待提取物体对应的物体信息。
65.也就是说，当判断未连通的三角面片与连通的三角面片距离较近时，可将未连通的三角面片加入到连通的三角面片中进行聚类还原，并以此进行物体信息的提取，进一步提高了物体信息获取准确度。例如，继续以图5为例，当判断上述三角面片5与其他三角面片中的至少一个距离小于预设距离阈值时，确定未连通的三角面片与连通的三角面片距离较近，将三角面片5与其他三角面片一起进行聚类还原。也就是说，可将三角面面片1-9同时聚类还原为c区，然后基于c区对物体信息进行提取。另外，针对面片集合中具有的多个未连通的三角面片的情况，也可对同一面片集合中多个未连通的三角面片之间的相对距离进行判断，当判断未连通的三角面片之间的距离较近时，可对其进行聚类还原。此外，还可以对面片集合中多个连通的三角面片之间的距离进行判断，并将距离较近的多个连通的三角面片进行聚类还原。由此，该物体信息提取方法可以通过预设距离阈值作为距离聚类的评判标准，在进行三角面片的连通性判断后，根基预设距离阈值对未连通的三角面片、连通的三角面片之间的相对距离作进一步判断，并将相对距离小于预设距离阈值的三角面片进行聚类还原。
66.需要说明的是，对三角面片的聚类方法除上述连通聚类、距离聚类外，还可以采用法向量聚类等方式，具体可根据实际情况进行设定。
67.另外，在本发明的一个实施例中，在基于环境点云数据进行三维重建，得到目标环境对应的多个三角面片之前，该物体信息提取方法还包括：根据物体语义信息对环境点云数据进行点云提取；当提取得到物体点云数据时，将除物体点云数据以外的环境点云数据标记为待重建点云数据；基于待重建点云数据进行三维重建，得到多个三角面片。
68.具体地，上述物体点云数据是指根据物体语义信息确定的单一物体所对应的点云数据，待重建点云数据为需要通过三维重建的环境点云数据。在根据物体的深度信息和彩
色图像获取到环境点云数据和物体语义信息之后，首先根据物体语义信息将可直接提取的物体信息进行点云提取，然后对直接根据物体语义信息无法提取到物体信息的环境点云数据通过三维建模，进行三角面片的确定，从而节省了大量的计算资源。假设环境点云数据中包含1000个数据点，那么先对该1000个数据点基于语义信息进行物体提取，若判断根据语义信息可以直接从900个数据点中提取到单一物体，则直接对该单一物体进行提取，此时，仅对剩余100个数据点进行三维重建。若基于语义信息无法从该1000个数据点中提取单一物体，则直接对该1000个数据点进行三维重建。
69.在本发明的一个实施例中，在获取目标环境对应的环境点云数据之后，该物体信息提取方法还包括：对环境点云数据进行体素划分，得到多个体素；获取体素对应的符号距离；根据符号距离对环境点云数据进行融合，得到表面点云；对表面点云进行三维重建，得到多个三角面片。
70.上述表面点云是指与物体表面对应的环境点云。也就是说，将获取的同一目标环境的多帧环境点云数据分别进行体素划分，并根据体素内的符号距离进行环境点云数据的融合，即将环境点云数据叠加到一个数据场中，基于融合后的环境点云数据来确定用于物体信息提取的表面点云，大大增大了表面点云的数据点密度，可得到更加光滑平整的物体表面，从而基于融合确定的表面点云得到物体的几何模型，进一步提高了物体信息的获取准确度。
71.具体而言，以rgb-d相机在1s内可以输出30帧彩色图像和深度图像为例，每帧彩色图像和深度图像均可以得到一帧彩色的点云图像，因此需要确定最终的点云图像，来用于物体信息的提取。该方法在根据深度图像确定的深度信息和彩色图像获取点云图像即环境点云数据之后，使用tsdf(truncated signed distance function，基于截断地带符号距离函数)算法对多帧确定的环境点云数据进行融合，具体操作如下：
72.由于每帧点云图像都是基于rgb-d相机坐标系确定的，而每帧点云图像对应的相机坐标系不同，因此需要先对相机位置进行估计。具体地，首先估计世界坐标系下的相机位置，然后在世界坐标系下定义一个立方体，并将立方体切割为多个小立方体即体素，针对每个小立方体，先确定世界坐标系下的第一坐标，再根据相机在世界坐标系下的位置和相机坐标系下的位置得到相机转换矩阵，根据相机转换矩阵和第一坐标得到小立方体在相机坐标系下的第二坐标，然后，根据第二坐标和相机内外参得到环境点云图像坐标系下的第三坐标，该坐标可体现处每个小立方体的深度信息。
73.当每个小立方体的深度信息确定后，根据深度信息和物体表面点云得到符号距离。具体地，每个体素中对该体素与其最近的物体表面的距离进行存储。若体素在物体表面的前面，则存储距离的符号为正值；若体素在物体表面的之后，则存储距离的符号为负值。通常认为物体表面是有厚度的，所以把距离值太大和距离值太小的都置为符号距离为1或是-1，这样就得到了截断之后的距离，也就是所谓的tsdf模型。在tsdf模型中，符号距离为0的地方为物体表面，获取符号距离为0的体素。以此方式，依次完成对30帧的环境点云数据处理，分别获得每帧环境点云数据中符号距离为0的体素，并将多帧中符号距离为0的体素进行融合，作为表面点云。由此，将多帧融合后确定的表面点云作为最终的点云图像，并对该表面点云进行三维重建，以确定多个三角面片，从而对待提取物体的物体信息进行提取。由此，该方法通过tsdf算法在处理物体的表面点云时，对物体表面两端的点进行正负值区
分，然后通过多帧融合得到表面点云，并基于表面点云进行物体信息提取，节省了大量的内存和算力等计算资源。
74.需要说明的是，除上述对多帧环境点云数据进行融合处理确定表面点云的方法外，也可对多个单帧环境点云数据进行融合处理，来确定表面点云，并以此进行三维重建，得到多个三角面片，用于物体信息的提取。另外，对于单帧环境点云数据，也可以根据单帧体素内的符号距离直接确定物体表面点云数据，即表面点云，即根据单帧确定的表面点云进行三维重建，得到多个三角面片。
75.另外需要说明的是，当根据深度信息和彩色图像无法获取到环境点云数据对应的语义信息时，可直接对该环境点云数据进行聚类，从环境点云数据中提取对应的物体信息。当三维重建没有得到三角面片时，也可对没有得到三角面片的环境点云数据进行聚类，从聚类后的环境点云数据中提取对应的物体信息。
76.在一个实施例中，如图6所示，该物体信息提取方法包括以下步骤：
77.s601，获取目标环境对应的深度信息和彩色图像。
78.s602，获取目标环境对应的环境点云数据和环境点云数据对应的物体语义信息。
79.s603，判断环境点云数据是否具有物体语义信息。若否，执行步骤s604；若是，执行步骤s605。
80.s604，对不具有物体语义信息的环境点云数据进行聚类，从环境点云数据中提取物体信息。
81.s605，判断基于物体语义信息是否识别出单一物体。若是，执行步骤s606；若否，执行步骤s607。
82.s606，根据物体语义信息对环境点云数据进行点云提取，得到物体点云数据。
83.s607，将除物体点云数据以外的环境点云数据标记为待重建点云数据，对待重建点云数据对三维重建。
84.s608，判断待重建点云数据是否通过三维重建得到多个三角面片。若否，执行步骤s609；若是，执行步骤s610。
85.s609，对待重建点云数据进行聚类，从对待重建点云数据中提取物体信息。
86.s610，从物体语义信息中获取物体类别信息。
87.s611，根据物体类别信息对三角面片进行聚类，得到多个物体类别各自对应的面片几何。
88.s612，以三角面片为节点、具有共有边的节点之间的连线为边，构建面片集合各自对应的无向图。
89.s613，对无向图进行图搜索，得到面片集合中连通的三角面片。
90.s614，基于连通的三角面片提取得到待提取物体对应的物体信息。
91.该物体信息提取方法与直接使物体表面点云的空间信息或者强度信息的方法相比，该方法识别方法结合了丰富的物体语义信息和三维重建来辅助物体提取，既可以使用物体语义信息结合传统点云几何空间的方法提取物体，又可将物体语义信息与三维重建后的三角面片结构结合在一起进行物体提取，提高了物体提取的准确性。
92.综上所述，根据本发明实施例的物体信息提取方法，首先，获取目标环境对应的环境点云数据，以及环境点云数据对应的物体语义信息，目标环境中包括至少一个待提取物
体，然后，基于环境点云数据进行三维重建，得到目标环境对应的多个三角面片，最后，根据物体语义信息对三角面片进行聚类，从聚类后的三角面片中提取待提取物体对应的物体信息。由此，该方法基于环境点云数据三维重建得到的多个三角面片，通过环境点云数据对应的物体语义信息对三角面片进行聚类，从聚类后的三角面片中提取待提取物体对应的物体信息，有效的解决了无法提取物体信息的问题，提高了物体信息提取的准确性。
93.对应上述实施例，本发明还提出了一种物体信息提取装置。
94.请参阅图7，图7为根据本发明实施例的物体信息提取装置的方框示意图，本发明实施例的物体信息提取装置可包括：数据获取模块701、重建模块702和识别模块703。
95.其中，数据获取模块701用于获取目标环境对应的环境点云数据和环境点云数据对应的物体语义信息，其中，目标环境中包括至少一个待提取物体。重建模块702用于对环境点云数据进行三维重建，得到多个三角面片。识别模块703用于根据物体语义信息对三角面片进行聚类，从聚类后的三角面片中提取待提取物体对应的物体信息。
96.根据本发明的一个实施例，识别模块703根据物体语义信息对三角面片进行聚类，从聚类后的三角面片中提取待提取物体对应的物体信息，具体用于：从物体语义信息中获取物体类别信息；根据物体类别信息对三角面片进行聚类，得到多个物体类别各自对应的面片集合；对多个面片集合分别进行连通性聚类处理，得到待提取物体对应的物体信息。
97.根据本发明的一个实施例，识别模块703对多个面片集合分别进行连通性聚类处理，得到待提取物体对应的物体信息，具体用于：以三角面片为节点、具有共有边的节点之间的连线为边，构建面片集合各自对应的无向图；对无向图进行图搜索，得到面片集合中连通的三角面片；基于连通的三角面片提取得到待提取物体对应的物体信息。
98.根据本发明的一个实施例，识别模块703在对无向图进行图搜索，得到面片集合中连通的三角面片之后，还用于：对连通的三角面片和未连通的三角面片进行距离聚类；根据距离聚类后的三角面片提取得到待提取物体对应的物体信息。
99.根据本发明的一个实施例，重建模块702在基于环境点云数据进行三维重建，得到目标环境对应的多个三角面片之前，还用于：根据物体语义信息对环境点云数据进行点云提取；当提取得到物体点云数据时，将除物体点云数据以外的环境点云数据标记为待重建点云数据；基于待重建点云数据进行三维重建，得到多个三角面片。
100.根据本发明的一个实施例，重建模块702基于环境点云数据进行三维重建，得到目标环境对应的多个三角面片，具体用于：对环境点云数据进行体素划分，得到多个体素；确定等值面，以及等值面与体素相交的边交点；根据体素的顶点与等值面的相对位置，将边交点进行连接，得到多个三角面片。
101.根据本发明的一个实施例，在获取目标环境对应的环境点云数据之后，重建模块702还用于：对环境点云数据进行体素划分，得到多个体素；获取体素对应的符号距离；根据符号距离对环境点云数据进行融合，得到表面点云；对表面点云进行三维重建，得到多个三角面片。
102.需要说明的是，本发明实施例的物体信息提取装置中未披露的细节，请参照本发明上述实施例的物体信息提取方法中所披露的细节，具体这里不再赘述。
103.综上，根据本发明实施例的物体信息提取装置，通过数据获取模块获取目标环境对应的环境点云数据和环境点云数据对应的物体语义信息，其中，目标环境中包括至少一
个待提取物体，通过重建模块对环境点云数据进行三维重建，得到多个三角面片，识别模块根据物体语义信息对三角面片进行聚类，从聚类后的三角面片中提取待提取物体对应的物体信息。由此，该装置基于环境点云数据三维重建得到的多个三角面片，通过环境点云数据对应的物体语义信息对三角面片进行聚类，从聚类后的三角面片中提取待提取物体对应的物体信息，有效的解决了无法提取物体信息的问题，提高了物体信息提取的准确性。
104.对应上述实施例，本发明还提出了一种机器人。
105.请参阅图8，图8为根据本发明实施例的机器人的方框示意图，本发明实施例的机器人800，包括：存储器810、处理器820及存储在存储器810上并可在处理器820上运行的物体信息提取程序，处理器820执行物体信息提取程序时，实现上述的物体信息提取方法。
106.根据本发明实施例的机器人，基于前述的物体信息提取方法，有效的解决了无法提取物体信息的问题，提高了物体信息提取的准确性。
107.对应上述实施例，本发明还提出了一种计算机可读存储介质。
108.本发明实施例的计算机可读存储介质，其上存储有物体信息提取程序，该物体信息提取程序被处理器执行时实现上述的物体信息提取方法。
109.根据本发明实施例的计算机可读存储介质，基于上述物体信息提取方法，有效的解决了无法提取物体信息的问题，提高了物体信息提取的准确性。
110.需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
111.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
112.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何
的一个或多个实施例或示例中以合适的方式结合。
113.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
114.在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
115.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。