标记优化、标记、轨迹规划方法、装置及系统与流程

1.本技术涉及图像自动标记优化技术领域，特别是涉及一种标记优化、标记、轨迹规划方法、装置及系统。


背景技术：

2.随着科技水平的提高，基于人工智能、图像处理等的图像的自动标记技术得到快速发展和广泛应用。
3.以人工智能为例，将2d或3d等初始图像输入预先经过训练的自动标记模型，可以输出目标物关联的关键特征的预测标记结果。
4.如图2a或2b所示，为一个实施例中标记系统的结构框图。以左、右两个图像传感器210、220(简称“双目”相机)为例，基于双目相机210、220分别采集得到目标物m的左图和右图，将左图和右图发送给终端110，终端110用于获取左图和右图，并将左图和右图输入已经训练好的自动标记网络模型，输出标注了2d预测标记的左标记图l1和右标记图l2(如图3a所示)，针对该左标记图l1和右标记图l2中的2d预测标记a1-a8，基于三角测量的方法进行投影，从而得到三维空间中的目标物m关联的3d关键点a1-a8的预测。
5.但是，应当看到的是，目前基于自动标记模型等输出的预测标记往往存在一定的误差，进而使得基于此生成的3d关键点等预测标记的关联信息(比如:3d关键点)也存在误差。


技术实现要素：

6.有鉴于此，本发明提供一种标记优化、标记、轨迹规划方法、装置及系统。
7.本发明第一方面提供一种标记优化方法，所述标记优化方法包括：获取预测标记；获取所述预测标记的候选标记和/或候选标记示意；基于至少所述候选标记和/或所述候选标记示意，求取优化标记和/或所述优化标记的关联信息。
8.在一个实施例中，所述基于至少所述候选标记，求取优化标记和/或所述优化标记的关联信息包括：获取第一标记优化模型；将所述预测标记和所述候选标记输入所述第一标记优化模型，输出所述优化标记和/或所述优化标记的关联信息。
9.在一个实施例中，所述候选标记示意为概率预测图；所述基于至少所述候选标记示意，求取优化标记和/或所述优化标记的关联信息包括：获取第二标记优化模型；将所述预测标记和所述概率预测图输入所述第二标记优化模型，输出所述优化标记和/或所述优化标记的关联信息。
10.在一个实施例中，所述候选标记示意为概率预测图；所述候选标记为所述预测标记的邻域内的候选标记；所述基于至少所述候选标记和所述候选标记示意，求取所述优化标记和/或所述优化标记的关联信息包括：获取第三标记优化模型；将所述预测标记、及所述候选标记和所述概率预测图输入所述第三标记优化模型，输出所述优化标记和/或所述优化标记的关联信息。
11.在一个实施例中，所述优化标记为符合几何约束信息的优化标记。
12.在一个实施例中，所述获取所述预测标记的候选标记之前包括：优化所述预测标记，使得所述预测标记满足几何约束信息。
13.在一个实施例中，所述优化预测标记，使得所述预测标记满足几何约束信息包括：基于所述预测标记，求取预测关键点的姿态；获取约束关键点的姿态；所述约束关键点为满足所述几何约束信息的关键点；求取所述约束关键点的姿态和所述预测关键点的姿态的最优变换关系；基于所述最优变换关系，将所述约束关键点投影在所述标记图上，得到满足所述几何约束信息的所述预测标记。
14.在一个实施例中，所述获取所述预测标记的候选标记之前包括：结合概率预测图，优化所述预测标记。
15.在一个实施例中，所述结合概率预测图，优化所述预测标记包括：获取所述候选标记的概率预测图；将所述预测标记转换到所述概率预测图中，以所述概率预测图中的最大概率为基准，优化所述预测标记。
16.在一个实施例中，所述获取所述预测标记的候选标记之前还包括：结合概率预测图，优化所述满足几何约束信息的所述预测标记。
17.在一个实施例中，结合概率预测图，优化所述满足几何约束信息的所述预测标记包括：获取所述候选标记的概率预测图；将所述满足所述几何约束信息的所述预测标记转换到所述概率预测图中，以所述概率预测图中的最大概率点为基准，优化所述预测标记。
18.在一个实施例中，所述以所述概率预测图中的最大概率为基准，优化所述预测标记包括：获取损失函数；所述损失函数为基于所述预测标记和所述最大概率点之间的误差构建的函数；以所述预测标记对应的预测关键点的姿态为初始姿态；执行迭代操作；所述迭代操作为通过不断更新所述初始姿态，优化所述损失函数的损失误差，直到满足预设条件；以满足所述预设条件时的所述预测标记为所述优化后的所述预测标记。
19.在一个实施例中，所述候选标记为所述预测标记的邻域内的候选标记；所述基于至少所述候选标记和/或所述候选标记示意，求取所述优化标记和/或所述优化标记的关联信息包括：执行迭代操作，所述迭代操作包括：选取所述候选标记中的n个候选标记，其中，设所述候选标记的数量为m，2≤n≤m；基于所述n个候选标记，确定目标候选关键点，基于所述候选关键点确定目标候选标记；优化所述目标候选标记，使得所述目标候选标记满足所述几何约束信息；求取至少所述目标候选标记在概率预测图中的投影与概率预测图中的最大概率点的优化后的损失误差；逐渐增大n值，以增大后的n值作为新的n值，返回所述执行迭代操作,直到n等于m；选取所述优化后的损失误差中的最小损失误差，对应得到所述优化标记和/或所述优化标记的关联信息。
20.在一个实施例中，所述候选标记为所述预测标记的邻域内的候选标记；所述基于至少所述候选标记和/或所述候选标记示意，求取所述优化标记和/或所述优化标记的关联信息包括：执行迭代操作，所述迭代操作包括：选取所述候选标记中的n个候选标记，其中，设所述候选标记的数量为m，2≤n≤m；基于所述n个候选标记，确定目标候选关键点，基于所述候选关键点确定目标候选标记；求取至少所述目标候选标记在概率预测图中的投影与概率预测图中的最大概率点的优化后的损失误差；逐渐增大n值，以增大后的n值作为新的n值，返回所述执行迭代操作,直到n等于m；选取所述优化后的损失误差中的最小损失误差，
对应得到所述优化标记和/或所述优化标记的关联信息。
21.在一个实施例中，所述优化的损失误差还包括所述预测标记在所述概率预测图中的投影与所述概率预测图中的所述最大概率点的优化后的损失误差。
22.在一个实施例中，所述预测标记为2d标记或3d标记；和/或所述候选标记示意为概率预测图；和/或所述候选标记为所述预测标记的邻域内的候选标记。
23.本发明第二发明提供一种标记方法，所述标记方法包括上面任一项所述的标记优化方法。
24.本发明第三方面提供一种轨迹规划方法，所述标记方法包括上面所述的标记方法。
25.本发明第四方面提供一种标记优化装置，所述标记优化装置包括：预测获取模块，用于获取标记图的预测标记；候选获取模块，用于获取所述预测标记的候选标记和/或候选标记示意；优化生成模块，用于基于至少所述候选标记和/或所述候选标记示意，求取优化标记和/或所述优化标记的关联信息。
26.本发明第五方面提供一种标记装置，所述标记装置包括上面所述的标记优化装置。
27.本发明第六方面提供一种轨迹规划装置，所述轨迹规划装置包括上面所述的标记优化装置。
28.本发明第七方面提供一种系统，所述系统包括执行器和控制装置；所述控制装置用于实现上面所述的轨迹规划方法；所述执行器，用于基于所述控制装置的控制，执行相应的动作。
29.本发明第八方面提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上面任一项所述的标记优化方法；上面所述的标记方法；和/或上面所述的轨迹规划方法。
30.本发明第九方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上面任一项所述的标记优化方法；上面所述的标记方法；和/或上面所述的轨迹规划方法。
31.通过基于至少候选标记和/或候选标记示意对预测标记进一步优化，得到优化标记和/或优化标记的关联信息，从而可以提高最终的标记和/或标记的关联信息的精度。
32.另外，通过基于至少候选标记和/或候选标记示意对预测标记进一步优化，可以提高最终标记的精度。
33.另外，通过基于至少候选标记和/或候选标记示意对预测标记进一步优化，可以提高后续轨迹规划的精度。
附图说明
34.图1a为一个实施例中标记优化系统的第一结构框图；图1b为一个实施例中计算机设备的第一结构框图；
35.图2a为一个实施例中标记系统的第一结构框图；图2b为一个实施例中标记系统的第二结构框图；图2c为一个实施例中轨迹规划系统的第一结构框图；
36.图3a为一个实施例中基于左、右标记图中预测标记生成目标物的预测关键点的第
一示意图；图3b为一个实施例中基于左、右标记图中的预测标记和候选标记点生成目标物的3d候选关键点的第二示意图；图3c为一个实施例中只包括预测标记的左、右标记图的第一示意图；
37.图4a为一个实施例中的概率预测图；图4b为一个实施例中加入几何约束信息的优化后的标记图；
38.图5为一个实施例中三维空间中包括预测关键点、中心关键点和约束关键点的示意图；
39.图6为一个实施例中标记优化方法的第一流程示意图；
40.图7为一个实施例中标记优化方法的第二流程示意图；
41.图8为一个实施例中标记优化方法的第三流程示意图；
42.图9为一个实施例中标记优化方法的第四流程示意图；
43.图10为一个实施例中标记优化方法的第五流程示意图；
44.图11为一个实施例中标记优化方法的第六流程示意图；
45.图12为一个实施例中标记优化方法的第七流程示意图；
46.图13为一个实施例中标记优化方法的第八流程示意图；
47.图14为一个实施例中标记优化方法的第九流程示意图；
48.图15为一个实施例中标记优化方法的第十流程示意图；
49.图16为一个实施例中标记优化方法的第十一流程示意图；
50.图17为一个实施例中标记优化方法的第十二流程示意图；
51.图18为一个实施例中标记优化方法的第十三流程示意图；
52.图19为一个实施例中标记优化方法的第十四流程示意图；
53.图20为一个实施例中标记优化方法的第十五流程示意图；
54.图21为一个实施例中标记优化方法的第十六流程示意图；
55.图22为一个实施例中优化预测标记，使得预测标记满足几何约束信息方法的第一流程示意图；
56.图23为一个实施例中以概率预测图中的最大概率点为基准优化预测标记方法的第一流程示意图；
57.图24为一个实施例中确定目标候选关键点的姿态方法的第一流程示意图；
58.图25为一个实施例中标记方法的第一流程示意图；
59.图26为一个实施例中轨迹规划方法的第一流程示意图；
60.图27为一个实施例中标记优化装置的第一结构框图；
61.图28为一个实施例中标记优化装置的第二结构框图；
62.图29为一个实施例中标记优化装置的第三结构框图；
63.图30为一个实施例中标记优化装置的第四结构框图。
具体实施方式
64.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
65.本发明实施例提供的标记优化、标记、轨迹规划方法、装置及系统，可以应用于基于图像自动标记优化技术领域，通过基于至少候选标记和/或候选标记示意对预测标记进一步优化，得到优化标记和/或优化标记的关联信息，从而可以提高最终的标记和/或标记的关联信息的精度。
66.本发明实施例提供的标记优化、标记方法可以应用于计算机终端(personal computer，pc)、工业控制计算机终端(industrial personal computer，ipc)、移动终端、服务器、包括终端110和服务器120的系统(如图1a所示)，并通过终端110和服务器120的交互实现、可编程逻辑控制器(programmable logic controller，plc)、现场可编程门阵列(field-programmable gate array，fpga)、数字信号处理器(digital signal processer，dsp)或微控制单元(microcontroller unit，mcu)等类似的控制装置中执行。控制装置根据预先固定的程序，结合人工输入的信息、参数或者外部的图像传感器等采集的数据等生成程序指令。有关控制装置的具体限定可以参见下面实施例中标记优化、标记方法的限定。
67.具体的，可以应用于如图1b所示的计算机设备中，该计算机设备可以是终端,也可以是服务器。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、nfc(近场通信)或其它技术实现。该计算机程序被处理器执行时以实现一种标记优化方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的安检、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等等。
68.其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network,内容分发网络)，以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音响、智能手表等，但并不局限于此。终端以及服务器可以通过有线或者无线通信方式进行直接或间接地连接，本技术在此不做限定。
69.如图6所示，在一个实施例中，提供一种标记优化方法，以该方法应用于图1a所示的系统中的计算机终端110和/或服务器120为例，该方法包括以下步骤：
70.步骤s110获取预测标记；
71.步骤s120获取预测标记的候选标记和/或候选标记示意；
72.步骤s130基于至少候选标记和/或候选标记示意，求取优化标记和/或优化标记的关联信息。
73.通过基于至少候选标记和/或候选标记示意对预测标记进一步优化，得到优化标记和/或优化标记的关联信息，从而可以提高最终的标记和/或标记的关联信息的精度。
74.为方便理解，下面对上述标记优化方法的各个步骤进行进一步详细描述。
75.步骤s110获取预测标记；
76.在一个实施例中，计算机终端可以访问存储地址对应的存储空间，从访问的存储
空间中提取在此之前自动生成的预测标记，或者获取通过服务器发送的预测标记。
77.具体的，上述预测标记可以但不限于是：在目标物的初始图像基础上标注了预测标记后的标记图(如图3a所示)、只包括预测标记的标记图(如图3c所示)、或预测标记在上述各标记图中的2d坐标或3d姿态信息等。标记图可以是2d图，也可是2.5d、3d(比如：点云图或深度图)或3d以上(统称“3d”)的图。标记的数量不限，可以是一个标记点或多个标记点。
78.其中，深度图可以是指将从相机到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。深度图经过坐标转换可以计算为点云图，有规则及必要信息的点云图也可以反算为深度图。
79.其中，点云图可以是指在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合。
80.示例性的，以基于人工智能的方法自动生成上述预测标记为例，该标记系统可以包括一组或多组双目相机。如图2a或2b所示，以其中一组双目相机为例进行说明，通过双目相机210、220采集目标物的左图和右图，将左图和右图发送给终端110，终端110获取左图和右图，直接将左图和右图输入已经训练好的标记模型，或者将左图和右图经过某些转换(比如：裁剪、边缘提取)后输入已经训练好的标记模型，经过模型输出标注了2d预测标记的左标记图l1和右标记图l2。如图3a所示，针对左标记图l1和右标记图l2中的2d标记a1-a8分别在左图和右图中的坐标信息，基于三角测量的方法进行投影，从而对应得到三维空间中的目标物m关联的3d关键点a1-a8在主相机坐标系下的姿态信息预测。除此之外，每组相机也可以只包括一个相机，则可以设定参考图像，将相机采集的图像与参考图像匹配，从而得到匹配后的预测标记在图像传感器坐标系下的三维空间的姿态信息。为方便理解，本具体实施例以双目相机为例进一步详细说明。
81.具体的，图像传感器除可以为相机外，也可以为摄像机、扫描仪或其他带有相关功能的设备(手机、电脑)等。
82.需要说明的是，姿态信息可以为针对目标物的预设坐标系的3d坐标；刚体在3维空间的运动可以用3d坐标(共6个自由度)描述，具体的，可以分为旋转和平移，各为3个自由度。刚体在3维空间的平移是普通的线性变换，可以使用一个3x1的向量描述平移位置；而旋转姿态常用的描述方式包括但不限于：旋转矩阵、旋转向量、四元数、欧拉角和李代数。
83.具体的，上述关键点可以为与目标物关联的一个或者多个离散的点和/或多个连续的点构成的线等，比如：关键点可以为包围目标物的最小包围盒(bounding box)的各个顶点；或者目标物上的某些关键部位的点和/或线等等，在一些实施例中，可以根据上述关键点在三维空间中的姿态，进一步求得目标物的姿态信息，或者基于目标物的姿态信息进行相应的轨迹规划等。
84.继续如图3a所示，示例性的，目标物m为一个长方体，则左标记图l1和右标记图l2中分别存在7个可见的预测标记点a1-a7(如图3c所示)或8个预测标记点(如图3a所示，分别包括7个可见的预测标记点a1-a7和1个不可见的预测标记点a8)；其中，可见的预测标记点是指在图像传感器视角下目标物的可见部分相关的预测标记点，不可见的预测标记点是在图像传感器视角下目标物的不可见部分相关的预测标记点。
85.步骤s120获取预测标记的候选标记和/或候选标记示意；
86.其中，候选标记可以但不限于是：标记图中预测标记的邻域内的标记(如图3c所
示)或整个标记图范围内除预测标记外至少部分标记。候选标记可以是随机生成的，也可以是根据某些预设规律生成；
87.候选标记示意可以是指代表候选标记的任意示意，如图4所示，在一个实施例中，候选标记示意可以为概率预测图，其中，概率预测图可以是指基于图中的每个像素预测各个像素点为标记的概率示意图；预测标记的概率预测图可以是指基于同一初始图像分别经过不同的标记预测方法分别得到的预测标记的概率预测图。
88.具体的，概率预测图除了可以为用颜色区分概率大小的预测图(如图4所示)外，还可以包括用箭头代表向量信息的向量概率预测图(省略附图)。
89.概率预测图可以基于现在已有或将来开发的任意方法生成，比如：基于人工智能的方法或图像处理的方法。在一个优选实施例中，概率预测图基于人工智能的方法得到，将初始图像输入预先经过训练的预测模型，输出概率预测图，相对于采用传统图像处理的方法，采用人工智能的方法可以提高概率预测图的生成速度，并提高各种情况下生成概率预测图的适应能力。
90.步骤s130基于至少候选标记和/或候选标记示意，求取优化标记和/或优化标记的关联信息。
91.其中，优化标记关联信息可以是指与优化标记相关的信息。如图3a所示，在一个实施例中，当优化标记为2d图像标记a1-a8，则优化标记关联信息可以为该2d标记对应目标物在三维空间的关键点a1-a8的姿态信息。
92.在一个实施例中，对于步骤s130候选标记示意可以为概率预测图，则步骤s130可以为基于至少概率预测图，求取优化标记和/或优化标记的关联信息。后面实施例中有对概率示意图和实现步骤s130的相关方法的进一步描述。
93.需要说明的是，步骤s130可以通过现在已有或将来开发的任意方法实现。
94.在一个实施例中，可以基于人工智能的方法实现，为方便理解，下面进行进一步详细说明。
95.如图7所示，在一个实施例中，步骤s130可以包括如下方法步骤：
96.步骤s231获取第一标记模型；
97.步骤s232将预测标记和候选标记输入第一标记优化模型，输出优化标记。
98.通过将预测标记和候选标记相结合，将预测标记周边可能为正确结果的标记纳入进来与预测标记一同进行考虑，可以提高标优化标记或优化标记的关联信息的精度；另外，相对于传统的图像处理方法，基于人工智能方法进行标记优化，速度更快，且针对多种情况下得到的预测标记的优化适应能力更强。
99.如图8所示，在一个实施例中，候选标记示意为概率预测图，则步骤s130基于至少概率预测图，求取优化标记和/或优化标记的关联信息可以包括如下方法步骤：
100.步骤s331获取第二标记优化模型；
101.步骤s232将预测标记和概率预测图输入第二标记优化模型，输出优化标记。
102.需要说明的是，通常每张概率预测图中只包括一个标记的最大概率预测点，因此当包括多个预测标记时，需要对应获取多张针对每个标记的概率预测图。有关概率预测图的进一步详细描述可以参见后面的实施例。
103.通过将预测标记和概率预测图相结合，而通常概率预测图中的最大概率点又是比
较接近真实标记结果的点，可以提高标优化标记或优化标记的关联信息的精度；另外，相对于传统的图像处理方法，基于人工智能方法进行标记优化，速度更快，且针对多种情况下得到的预测标记的优化适应能力更强。
104.如图9所示，在一个实施例中，候选标记示意为概率预测图；候选标记为预测标记邻域内的邻域候选标记；可以将预测标记、候选标记和概率预测图相结合对预测标记进行优化，则步骤s130基于至少概率预测图，求取优化标记和/或优化标记的关联信息可以包括如下方法步骤：
105.步骤s431获取第三标记优化模型；
106.步骤s432将预测标记、候选标记和概率预测图输入第三标记优化模型，输出优化标记。
107.通过将预测标记、候选标记和概率预测图相结合，通过候选标记将预测标记周边可能为正确结果的标记纳入进来与预测标记一同进行考虑，而通常概率预测图对标记的预测比较接近真实结果，将三者相结合可以进一步提高标优化标记或优化标记的关联信息的精度；另外，相对于传统的图像处理方法，基于人工智能方法进行标记优化，速度更快，且针对多种情况下得到的预测标记的优化适应能力更强。
108.需要说明的是，上述各个标记优化模型可以但不限于是：卷积神经网络(convolutional neural networks,cnn)，常见的cnn模型可以包括但不限于：lenet，alexnet，zfnet，vgg，googlenet，residual net，densenet，r-cnn，spp-net，fast-rcnn，faster-rcnn，yolo，ssd，bb8,yolo-6d，deep-6dpose，posecnn,hourglass,cpn以及其他现在已知或将来开发的网络模型结构。
109.标记优化模型的训练方法可以采用现在已有或将来开发的各种模型训练方法，比如：监督学习、半监督学习。以监督学习为例，可以将训练数据输入到具有初始参数的神经网络模型中，将模型的输出结果与预先标注的标准输出结果进行对比，根据差值不断更新模型的参数，直到满足预设条件。具体的，标记模型的数量可以为一个或者多个，比如：可以将双目相机分别采集的左、右图输入同一个标记优化模型，也可以将左、右图输入不同的标记优化模型。
110.如图4b所示，在一个实施例中，可以将预测标记与几何约束信息结合，从而对预测标记进行优化。进一步，在一个实施例中，可以通过训练使得各个标记优化模型输出的优化标记和/或优化标记的关联信息为符合几何约束信息的优化标记和/或优化标记的关联信息。
111.其中，几何约束信息是指目标物的几何边缘信息，如图3a所示，以立方体目标物m为例，几何约束信息是指目标物的8条边，通过填写几何约束信息，相应的各个点对之间需满足几何约束条件，从而可以提高标记结果的精度。
112.实例性的，如图4b所示，为上述各个标记优化模型输出的包括几何约束信息的优化标记。图4b增加边向量信息和对称点对的结果，以所有预测的标记点中的任意两个标记点为对称点对，两个对称点对之间的连线为边向量场，比如：当某两个对称点对之间的边向量场的距离明显大于标签距离时，则可以视为该对称点对的预测存在错误，因此模型最终将满足几何约束信息的优化标记输出。
113.通过引入几何约束信息，可以为标记的预测提供更多约束参考，进而提高优化标
记和/或优化标记的关联信息的精度。
114.继续如图6所示，在一个实施例中，以标记优化方法主要基于图像处理的方法实现为例，标记优化方法主要包括如下方法步骤。
115.步骤s110获取预测标记；
116.如图10所示，在一个实施例中，可以将预测标记与几何约束信息相结合对预测标记进行优化，则步骤s120获取候选标记之前还可以包括：
117.步骤s140优化预测标记，使得预测标记满足几何约束信息；
118.通过优化预测标记，使得优化后的预测标记满足几何约束信息，而真实标记结果本身是满足几何约束信息的，可以使得优化后的预测结果更接近真实标记结果，也使得基于此优化后的预测标记得到的各个候选标记更可能包括真实标记结果，从而提高最终优化标记或优化标记的关联信息的精度。
119.另外，由于预测标记更接近真实结果，也缩小了预测标记候选标记的选取范围，可以从预测标记的更小的邻域范围内选取候选标记，从而提高了整个优化过程的速度。
120.具体的，步骤s140可以采用现在已有或将来发开的各种方法。
121.如图22所示，在一个实施例中，步骤s140可以包括如下方法步骤：
122.步骤s141基于预测标记，求取预测关键点的姿态；
123.在一个实施例中，当预测标记为2d标记时，可以基于2d预测标记求取预测关键点的姿态；
124.在一个实施例中，当预测标记为3d标记，则可以直接将预测标记的姿态作为预测关键点的姿态。
125.步骤s142获取约束关键点的姿态；约束关键点为满足几何约束信息的关键点；
126.在一个实施例中，约束关键点的姿态可以根据已知的目标物的cad模型得到，在cad模型上选取关键点，根据cad模型就可以得到各个关键点在cad模型坐标系(也可以称作目标物坐标系)或其它坐标系下的姿态信息；除此之外，也可以在真实的目标物上预先画上关键点，进而得到关键点在目标坐标系下或其它坐标系下的姿态信息。
127.由于上述各个目标物坐标系下的关键点与cad模型或目标物相关，因此各个关键点之间受到目标物、cad模型自身，或目标物、cad模型的关联信息(比如：最小包括盒)的几何条件的约束，比如，当目标物为长方体时，关键点需要满足长方体自身的条件约束，比如，相邻的关键点需要平行、在一条直线上等等的几何条件的约束。
128.步骤s143求取约束关键点和预测关键点的变换关系；
129.具体的，将约束关键点的姿态信息和预测关键点的姿态信息经过现在已有或将来开发的各种方法进行匹配，比如：奇异值分解(singular value decomposition svd)法、solve pnp，从而可以得到二者之间最优的变换关系，即变换矩阵。
130.需要说明的是，在每次姿态变换的过程中，归属于同一个目标物的各个关键点都是整体进行变换，即各预测关键点或约束关键点在每次变换的过程中都是同时变换相同的姿态，因此最终匹配是针对所有的约束关键点和预测关键点差异最小时对应的变换矩阵。
131.步骤s144基于变换关系，将约束关键点投影在标记图上，得到满足几何约束信息的预测标记。
132.将目标物坐标系下的约束关键点通过变换矩阵，转换到相机坐标系下表达，然后
根据双目相机各自的标定结果，将转换后的cad模型点分别投影到左图和右图上,得到重投影后的满足几何约束信息的预测标记点，将满足几何约束信息的预测标记代替原来的预测标记，则该新预测标记为满足几何约束信息的标记。
133.通过求取与预测标记最接近的符合几何约束信息的标记，将满足几何约束信息的标记代替原来的预测标记，可以使得优化后的预测标记更接近真实标记结果。
134.如图11所示，在一个实施例中，可以将预测标记与概率预测图相结合对预测标记进行优化，则步骤s120获取候选标记之前还可以包括：
135.步骤s150结合概率预测图，优化预测标记；
136.通过结合概率预测图对预测标记进行优化，而通常概率预测图中的最大概率点又是比较接近真实标记结果的点，可以使得优化后的预测结果更接近真实标记结果，也使得基于此优化后的预测标记得到的各个候选标记更可能包括真实标记结果，从而提高最终优化标记或优化标记的关联信息的精度。
137.另外，由于预测标记更接近真实结果，可以从预测标记的邻域范围内选取候选标记，缩小候选标记的选取范围，从而提高了整个标记优化过程的速度。
138.具体的，步骤s150可以采用现在已有或将来发开的各种优化方法。
139.如图13所示，在一个施例中，步骤s150可以包括如下方法步骤：
140.步骤s151获取概率预测图；
141.步骤s152将预测标记转换到概率预测图中，以概率预测图中的最大概率点为基准，优化预测标记。
142.具体的，步骤s152可以采用现在已有或将来开放的任意方法实现。
143.如图23所示，在一个实施例中，步骤s152可以包括如下方法步骤：
144.s1521获取损失函数；损失函数为基于预测标记和最大概率点之间的误差构建的函数；
145.在一个实施例中，以预测标记为2d标记为例，当预测标记为3d点时，可以将预测标记投影在标记图上，从而得到2d预测标记，每个预测标记点和最大概率点之间损失函数可以用如下公式表示：loss＝|1-probability|^2，其中，probability为概率值，loss为误差值。
146.s1522以预测标记对应的预测关键点的姿态为初始姿态；
147.需要说明的是，当步骤s150之前包括步骤s140,则该初始姿态为基于上述步骤s143中的变换关系变换后的约束关键点的姿态。
148.另外，当预测标记为3d点时，则该预测标记的姿态即为预测关键点的姿态。
149.s1523执行迭代操作；所述迭代操作为通过不断更新初始姿态，优化损失函数的误差值，直到满足预设条件；
150.需要说明的是，由于各个关键点随目标物整体进行姿态调整，因此损失函数的误差值实际上是指所有标记图(比如：左图、右图)中的所有标记点的损失函数的误差值的和，当所有标记点的误差值的和满足预设条件时(比如，误差小于某个阈值或满足预设的迭代次数)，停止迭代。
151.s1524以满足预设条件时的预测标记为优化后的预测标记。
152.如图12所示，在一个实施例中，在步骤s120获取预测标记的候选标记之前同时包
括步骤s140和步骤s150。
153.通过加入几何约束信息，并基于概率预测图对预测标记进行优化，可以进一步使得优化后的预测结果更接近真实标记结果，也使得基于此优化后的预测标记得到的各个候选标记更可能包括真实标记结果，从而提高最终优化标记或优化标记的关联信息的精度。
154.另外，由于预测标记更接近真实结果，可以从预测标记的邻域范围内选取候选标记，缩小候选标记的选取范围，从而提高了整个标记优化过程的速度。
155.步骤s120获取预测标记的候选标记；
156.其中，候选标记可以但不限于是：标记图中预测标记的邻域内的标记(如图3c所示)或整个标记图范围内除预测标记外至少部分标记。候选标记可以是随机生成的，也可以是根据某些预设规律生成的。
157.如图3b所示，示例性的，以左标记图l1和右标记图l2中匹配的标记点对a1为例，设每个标记点对应图中一个像素单位，以点a1为中心周边8个像素为邻域范围，则预测点a1周围存在8个2d候选标记点。
158.步骤s130基于至少候选标记和/或候选标记示意，求取优化标记和/或优化标记的关联信息。
159.在一个实施例中，可以基于对每个候选标记，比如：在整个标记图中随机选取候选标记，在基于候选标记得到对应的候选关键点姿态，与cad模型对应的基准关键点(也即上面实施例提到的约束关键点)的姿态进行匹配，从而找到优化后的标记，但由于候选标记随机产生，这通常会浪费大量的时间。
160.在一个实施例中，上述步骤s130基于至少候选标记和/或优选标记示意，求取优化标记和/或优化标记的关联信息可以为基于至少邻域内的候选标记和概率预测图，求取优化标记和/或优化标记的关联信息。
161.具体的，如图14-17所示，在一个实施例中，以预测标记为2d标记为例，步骤s130可以包括如下方法步骤：
162.执行迭代操作，迭代操作包括：步骤s131选取候选标记中的n个候选标记，其中，设所述候选标记的数量为m，2≤n≤m；步骤s132基于n个候选标记，确定目标候选关键点；基于目标候选关键点确定目标候选标记；步骤s133求取至少目标候选标记在概率预测图中的投影与概率预测图中的最大概率点的优化后的损失误差；
163.在一个实施例中，对于步骤s133，优化后的损失误差的具体的求取方法可以参见步骤s152中所述的方法步骤，可以以目标候选标记作为步骤s152中的预测标记，目标候选关键点的姿态作为步骤s152中的初始姿态，通过迭代调整目标候选关键点的姿态，进而调整目标候选标记在概率预测图中的投影，优化损失函数的损失误差，直到满足预设条件(比如:预设迭代次数)，以满足预设条件时的损失误差作为优化后的损失误差。
164.通过以概率预测图中的最大概率点为基准，求取每次迭代得到的目标候选标记在概率预测图中的投影与概率预测图中的最大概率点的损失误差，从各损失误差中找出最小损失误差，则该最小的损失误差对应的目标候选标记为优化标记，或者将该损失误差对应的目标候选关键点作为优化关键点。
165.在一个实施例中，对于步骤s133,通过以概率预测图中的最大概率点为基准，求取每次迭代得到的各个目标候选标记在概率预测图中的投影与概率预测图中的最大概率点
的优化后的损失误差以及上面实施例步骤s152中所述得到的预测标记与概率预测图中的最大概率点的优化后的损失误差(该损失误差可以基于上述方法重新生成，或者当步骤s130之前包括步骤s152时，可以直接调取步骤s152中得到的优化后的损失误差)，从各优化后的损失误差中找出最小的损失误差，则该最小的损失误差对应的目标候选标记或预测标记则为优化标记，或者将该损失误差对应的目标关键点或预测关键点作为优化关键点。通过将基于预测标记的损失误差也考虑进来，这样在某些情况下，当最初的预测标记即为最优的优化标记结果时，可以避免出现最优标记结果漏掉的可能。
166.在一个优选实施例中，对于步骤s131，当标记优化方法包括步骤s150时，可以结合概率预测图将多个候选标记点根据预测概率由高到低进行排序。
167.如图24所示，在一个实施例中，以预测标记为2d标记为例，步骤s132可以包括如下方法步骤：
168.步骤s1321基于n个候选标记,求取k*n2个候选关键点；
169.如图3b所示，将左标记图的某个预测标记点对应的n个候选标记点和右标记图的对应的某个预测标记点对应的n个候选标记点两两组合，基于三角测量法投影到3d空间中可以得到n2个3d候选关键点，则左标记图和右标记图共可以得到k*n2个候选标记点，其中k为每张图片中的预测标记点的数量；
170.步骤s1322基于k*n2个候选关键点，确定目标候选关键点的姿态。
171.在一个实施例中，可以求取k*n2个候选关键点的中心关键点，以该中心关键点的姿态为目标候选关键点的姿态；基于各个目标候选关键点的姿态，基于相机的标定结果，可以得到各个目标候选关键点在标记图中的投影，也即得到左标记图和右标记图中的目标候选标记点。
172.步骤s1323，基于目标候选关键点的姿态，确定目标候选标记。
173.具体的，可以基于双目相机预先的标记结果，将三维空间中的目标候选关键点点投影到标记图中，从而在标记图中得到目标候选标记，从而可以得到该目标候选标记在标记图中的坐标。
174.步骤s134逐渐增大n值，以增大后的n值作为新的n值，返回所述执行迭代操作,直到n等于m；
175.在一个实施例中，步骤s134可以包括如下方法步骤：
176.步骤s1341,逐渐增大n,判断n是否等于m；若否，步骤s1342以增大后的n值作为新的n值，返回执行迭代操作的步骤；否是,执行步骤s135的步骤。
177.为方便了理解，下面举例进行进一步详细说明。
178.继续如图3b所示，示例性的，取n＝2,则基于左标记图中的2个候选标记点和右标记图中的2个候选标记点两两组合，可以得到n2＝4个候选关键点，以每个预测标记点对应的4个候选关键点求中心关键点(如图5所示，每个预测关键点周围可以包括中心关键点和后面实施例所述的约束关键点)，则该中心关键点的姿态即为该预测标记对应的目标候选关键点的姿态,由于图中存在8个预测标记点，则共得到8个目标候选关键点；再取n＝3,则每个预测标记点可以得到n2＝9个候选关键点，再求取9个候选关键点的中心关键点的姿态，以该中心关键点的姿态作为目标候选关键点的姿态；再取n＝4,n＝5
……
直到n＝8,最终可以得到8组目标候选关键点。
179.步骤s135选取优化后的损失误差中的最小损失误差，对应得到优化标记和/或优化标记的关联信息。
180.则最小损失误差对应的候选标记即为优化标记；而最小损失误差对应的候选关键点等即为优化标记的关联信息。
181.通过基于候选标记确定多组目标候选关键点，基于没组目标候选关键点确定目标候选标记，在此基础上，以概率预测图为参考基准，基于目标候选标记与概率预测图中的最大概率点之间构建的误差函数，求取损失误差，从多组至少目标候选标记对应的损失误差中筛选出最小的损失误差，以该损失误差对应的标记和/或标记的关联信息为优化标记和/或优化标记的关联信息。通过上述方法以概率预测图为参考基准，基于目标候选标记和概率预测图构建的损失函数的优化的方法求取优化标记和/或优化标记的关联信息，可以减少损失函数的解陷入局部最优的情况，而尽量得到全局最优的解，从而提高优化标记和/或优化标记的关联信息的精度。
182.如图14所示，在一个实施例中，步骤s130之前可以包括步骤s110和步骤s120；如图15所示，在一个实施例中，步骤s130之前可以包括步骤s110、步骤s140和步骤s120；如图16所示，在一个实施例中，步骤s130之前可以包括步骤s110、步骤s150和步骤s120；或如图14所示，在一个实施例中，步骤s130之前可以包括步骤s110、步骤s140、步骤s150和步骤s120。优选如图15、16或17所述的方法步骤，通过提高候选标记包括正确结果的可能性，进而提高了后续优化标记和/或优化标记的关联信息的精度。
183.如图18-21所示，在另一个实施例中，步骤s130可以包括如下方法步骤：
184.执行迭代操作，迭代操作包括：步骤s131选取候选标记中的n个候选标记，其中，设所述候选标记的数量为m，2≤n≤m；步骤s132基于n个候选标记，确定目标候选关键点；基于目标候选关键点确定目标候选标记；步骤s136优化目标候选关键点，使得目标候选标记满足几何约束信息；步骤s133求取至少目标候选关键点在概率预测图中的投影与概率预测图中的最大概率点的损失误差；
185.在一个实施例中，对于步骤s133,可以通过以概率预测图中的最大概率点为基准，求取每次迭代得到的各个目标候选标记在概率预测图中的投影与概率预测图中的最大概率点的优化后的损失误差，从各优化后的损失误差中找出最小损失误差。
186.在一个实施例中，对于步骤s133,可以通过以概率预测图中的最大概率点为基准，求取每次迭代得到的各个目标候选标记在概率预测图中的投影与概率预测图中的最大概率点的优化后的损失误差以及上面实施例所述的预测标记与概率预测图中的最大概率点的优化后的损失误差，从各优化后的损失误差中找出最小的损失误差。
187.步骤s134逐渐增大n值，以增大后的n值作为新的n值，返回所述执行迭代操作,直到n等于m；
188.步骤s135选取优化后的损失误差中的最小损失误差，对应得到所述优化标记和/或所述优化标记的关联信息。
189.通过优化目标候选关键点，使得目标候选关键点对应的目标候选标记满足几何约束信息，从而可以使得目标候选关键点更接近真实结果，在此基础上，以概率预测图为参考基准，基于目标候选标记和概率预测图构建的损失函数的优化的方法求取优化标记和/或优化标记的关联信息，可以减少损失函数的解陷入局部最优的情况，而尽量得到全局最优
的解，从而提高优化标记和/或优化标记的关联信息的精度。
190.如图18所示，在一个实施例中，步骤s130之前可以包括步骤s110和步骤s120；如图19所示，在一个实施例中，步骤s130之前可以包括步骤s110、步骤s140和步骤s120；如图20所示，在一个实施例中，步骤s130之前可以包括步骤s110、步骤s150和步骤s120；或如图21所示，在一个实施例中，步骤s130之前可以包括步骤s110、步骤s140、步骤s150和步骤s120。优选如图19、20或21所述的方法步骤，通过提高候选标记包括正确结果的可能性，进而提高了后续优化标记和/或优化标记的关联信息的精度。
191.有关本实施例的其它方法步骤的详细描述，参见上面的实施例，在此不再重复赘述。
192.如图25所示，在一个实施例中，还提供一种自动标记方法，以该方法应用于图2a或2b所示的系统中的终端110为例，该标记优化方法包括：
193.步骤s200基于初始图像生成预测标记；
194.基于初始图像生成预测标记可以基于图像处理的方法或者人工智能的方法；在一个优选实施例中，可以基于人工智能的方法。
195.步骤s100优化预测标记，以得到优化标记和/或优化标记的关联信息。
196.有关步骤s100的方法步骤参见上面的实施例标记优化方法的相关描述，在此不再重复赘述。
197.通过基于至少候选标记和/或候选标记示意对预测标记进一步优化，可以提高最终标记生成的精度。
198.如图26所示，在一个实施例中，还提供一种轨迹规划方法，以该方法应用于2c所示的系统中的终端为例，该方法包括：
199.步骤s200基于初始图像生成预测标记；
200.步骤s100优化预测标记，以得到优化标记和/或优化标记的关联信息；
201.步骤s300基于优化标记和/或优化标记的关联信息生成轨迹规划指令，以控制执行器执行相应的动作。
202.具体的，可以基于现在已有或将来开发的各种方法实现上述步骤s300。
203.比如：基于优化标记的3d关键点信息生成目标物的姿态，再基于目标物的姿态生成轨迹规划指令；或者也可以直接基于优化标记的3d关键点信息生成轨迹规划指令等。
204.通过基于至少候选标记和/或候选标记示意对预测标记进一步优化，可以提高后续的轨迹规划的精度。
205.有关轨迹规划方法中的其它相关描述参见上面的实施例，在此不再重复赘述。
206.应该理解的是，虽然图6-26的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图6-26的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
207.如图27所示，在一个实施例中，提供一种标记优化装置，该标记优化装置包括：
208.预测获取模块110，用于获取预测标记；
209.候选获取模块120，用于获取预测标记的候选标记和/或候选标记示意；
210.标记优化模块130，用于基于至少候选标记和/或候选标记示意，求取优化标记和/或优化标记的关联信息。
211.如图28或30所示，在一个实施例中，标记优化装置还包括：
212.几何优化模块140，用于优化预测标记点，使得预测标记点满足几何约束信息；
213.如图29或30所示，在一个实施例中，标记优化装置还包括：
214.概率优化模块150，用于基于概率预测图优化预测标记；
215.在一个实施例中，标记优化模块130包括：第一获取单元131，用于获取第一标记模型；第一输出单元132，用于将预测标记和候选标记输入第一标记优化模型，输出优化标记；或
216.第二获取单元231，用于获取第二标记优化模型；第二输出单元232，用于将预测标记和概率预测图输入第二标记优化模型，输出优化标记；或
217.第三获取单元331，用于获取第三标记优化模型；第三输出单元332，用于将预测标记、候选标记和概率预测图输入第三标记优化模型，输出优化标记；或
218.第一迭代单元431，用于执行迭代操作，迭代操作包括：选取候选标记中的n个候选标记，其中，设所述候选标记的数量为m，2≤n≤m；基于n个候选标记，确定目标候选关键点，基于目标候选关键点确定目标候选标记；求取至少目标候选标记在概率预测图中的投影与概率预测图中的最大概率点的优化后的损失误差；目标更新单元432，用于逐渐增大n值，以增大后的n值作为新的n值，返回所述执行迭代操作,直到n等于m；标记确定单元433，用于选取优化后的损失误差中的最小损失误差，对应得到优化标记和/或优化标记的关联信息；或
219.第二迭代单元531，用于执行迭代操作，迭代操作包括：选取候选标记中的n个候选标记，其中，设所述候选标记的数量为m，2≤n≤m；基于n个候选标记，确定目标候选关键点，基于目标候选关键点确定目标候选标记；优化目标候选关键点对应的目标候选标记，使得目标候选标记满足几何约束信息；求取至少目标候选标记在概率预测图中的投影与概率预测图中的最大概率点优化后的的损失误差；目标更新单元432，用于逐渐增大n值，以增大后的n值作为新的n值，返回所述执行迭代操作,直到n等于m；标记确定单元433，用于选取优化后的损失误差中的最小损失误差，对应得到优化标记和/或优化标记的关联信息。
220.在一个实施例中，几何优化模块140包括：
221.关键求取单元141，用于基于预测标记点，求取预测关键点的姿态；
222.约束获取单元142，用于获取约束关键点的姿态；
223.变换求取单元143，用于求取约束关键点和预测关键点的变换关系；
224.标记投影单元144，用于基于变换关系，将约束关键点投影在标记图上，得到符合几何约束信息的预测标记点。
225.在一个实施例中，概率优化模块150包括：
226.概率获取单元151，用于获取目标物的标记的概率预测图；
227.预测转换单元152，用于将预测标记转换到概率预测图中，以概率预测图中的最大概率点为基准，优化预测标记。
228.在一个实施例中，预测转换单元152包括：
229.损失获取部分1521，用于获取损失函数；损失函数为基于预测标记点和最大概率点之间的误差构建的函数；
230.姿态确定部分1522，用于以预测标记点对应的预测关键点的姿态为初始姿态；
231.迭代操作部分1523，用于执行迭代操作；所述迭代操作为通过不断更新初始姿态，优化损失函数的损失误差，直到满足预设条件；
232.标记确定部分1524，用于以满足预设条件时的预测标记为最终的优化后的预测标记。
233.在一个实施例中，目标确定单元433包括：
234.中心求取部分1331，用于求取相邻的候选关键点的中心关键点的姿态；
235.变换求取部分1332，用于求取约束关键点和中心关键点的变换关系；基于该变换关系，转换约束关键点的姿态；
236.目标选取部分1333，用于选取与约束关键点最邻近的候选关键点为目标候选关键点。
237.在一个实施例中，第二迭代单元531包括：
238.关键选取部分1321，用于基于n个候选标记,求取k*n2个候选关键点；
239.关键确定部分1322，用于基于k*n2个候选关键点，确定目标候选关键点的姿态。
240.目标确定部分1323，用于基于目标候选关键点的姿态，确定目标候选标记。
241.关于上述标记优化装置的具体限定可以参见上文中对于标记优化方法的限定，在此不再赘述。上述标记优化装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
242.在一个实施例中，提供一种标记优化装置，该装置包括：
243.标记生成模块200，用于基于初始图像生成预测标记；
244.标记优化装置100，用于优化预测标记。
245.有关标记优化装置，参见上面实施例所述，在此不再重复赘述。
246.在一个实施例中，提供一种轨迹规划装置，该装置包括：
247.标记生成模块200，用于基于初始图像生成预测标记；
248.标记优化模块100，用于优化预测标记，得到优化标记和/或优化标记关联的信息。
249.轨迹规划模块300，用于基于优化标记和/或优化标记关联的信息生成轨迹规划指令。
250.有关标记优化装置参见上面实施例所述，在此不再赘述。
251.如图2c所示，在一个实施例中，还提供一种系统，该系统包括:控制装置110和执行器400；控制装置110和执行器400之间通过有线或者无线的方式通信连接。
252.具体的，无线方式可以包括但不限于：3g/4g/5g、wifi、蓝牙、wimax、zigbee、uwb(ultra wideband),以及其它现在已知或将来开发的无线连接方式。
253.控制装置110，用于实现上面实施例所述轨迹规划方法。
254.具体的，该控制装置110与上面实施例中的用于实现标记优化方法、标记方法的控制装置可以相同，也可以不同。
255.执行器400，用于基于控制装置的控制执行相应的动作。
256.具体的，执行器可以为基于控制装置控制的各种自动化设备，比如：机械手(如图2c所示)、人形机器人。
257.有关轨迹规划方法的其它相关描述参见上面的实施例，在此不再重复赘述。
258.在一个实施例中，如图1b所示，提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述标记优化方法、标记方法和/或轨迹规划方法的步骤。
259.在一个实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述标记优化方法、标记方法和/或轨迹规划方法的步骤。
260.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
261.需要说明的是，上述方法、装置、系统等中提到的图像传感器、执行器等等，即可以是真实环境下的真实的物体，也可以是仿真平台下的虚拟的图像传感器、执行器，通过仿真环境以达到连接真实物体的效果。将依赖虚拟环境完成训练后的控制单元，移植到真实环境下，对真实的物体进行控制或者再训练，可以节省训练过程的资源和时间。
262.本领域技术人员可以理解，图1a、1b、2a-2c中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的系统、计算机设备等的限定，具体的系统、计算机设备等可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
263.以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
264.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
265.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
266.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
267.除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领
域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的属于只是为了描述具体的实施方式的目的，不是用于限制本发明。
268.本发明的权利要求书和说明书及上述附图中的术语“第一”、“第二”、“第三”、“s110”、“s120”“s130”等等(如果存在)是用来区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换或在某些情况下同时发生，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如：包括了一系列步骤或者模块的过程、方法、系统、产品或机器人不必限于清楚地列出的那些步骤或者模块，而是包括没有清楚地列出的或对于这些过程、方法、系统、产品或机器人固有的其它步骤或模块。
269.需要说明的是，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的结构和模块并不一定是本发明所必须的。
270.以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。