图像标注方法、装置、电子设备及计算机可读存储介质与流程

1.本技术涉及图像标注技术领域，特别是涉及一种图像标注方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.在自动驾驶、辅助驾驶、自动测绘等领域都会运用追踪算法，追踪算法通常具有对目标对象(如障碍物)的标注需求，从而在满足标注需求的条件下，达到对目标对象追踪的目的。
3.在目前方案中，追踪算法可以对鱼眼相机采集的画面中的目标对象进行追踪，为了达到追踪的目的，首先需要对目标对象进行伪3d框、2d框等形式的标注，一种实现方式是直接在鱼眼相机采集的画面中对目标对象进行标注。另一种实现方式是利用一些3d传感器(如激光雷达)对环境进行数据采集和建模，并对其中的目标对象进行标注。
4.但是，鱼眼相机采集的画面具有较大畸变，受到该畸变的影响，会使得对目标对象进行标注的精度下降，降低了标注质量。另外，采用3d传感器辅助标注又会增加成本，降低标注的经济性。


技术实现要素：

5.本技术提供一种图像标注方法、装置及计算机可读存储介质，可以解决现有技术中对目标对象进行标注的精度下降，标注的经济性较差的问题。
6.第一方面，本技术实施例提供了一种图像标注方法，包括：
7.获取由鱼眼相机采集的鱼眼图像；
8.通过旋转矩阵参数对所述鱼眼图像进行处理，得到目标图像，所述旋转矩阵参数包括所述鱼眼图像的第一成像模型与所述目标图像的第二成像模型之间的转换参数；
9.在所述目标图像中添加对目标对象的标注结果，所述标注结果包括所述目标对象在所述目标图像中的位置信息；
10.根据所述旋转矩阵参数，将所述目标图像中的标注结果映射至所述鱼眼图像中。
11.第二方面，本技术实施例提供了一种图像标注装置，包括：
12.存储器和处理器；
13.所述存储器用于，获取由鱼眼相机采集的鱼眼图像；
14.所述处理器用于：
15.通过旋转矩阵参数对所述鱼眼图像进行处理，得到目标图像，所述旋转矩阵参数包括所述鱼眼图像的第一成像模型与所述目标图像的第二成像模型之间的转换参数；
16.在所述目标图像中添加对目标对象的标注结果，所述标注结果包括所述目标对象在所述目标图像中的位置信息；
17.根据所述旋转矩阵参数，将所述目标图像中的标注结果映射至所述鱼眼图像中。
18.第三方面，本技术提供一种电子设备，包括处理器、存储器及存储在所述存储器上
并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述方面所述的方法。
19.第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质包括指令，当其在计算机上运行时，使得计算机执行上述方面所述的方法。
20.第五方面，本技术提供一种计算机程序产品，所述计算机程序产品包括指令，当其在计算机上运行时，使得计算机执行上述方面所述的方法。
21.在本技术实施例中，本技术通过鱼眼图像的第一成像模型与目标图像的第二成像模型之间的旋转矩阵参数，将具有画面畸变的鱼眼图像转换为无畸变或畸变较弱的目标图像，并对目标图像进行目标对象的标注，可以使得在标注过程中降低画面畸变带来的影响，提升标注质量，最后再通过旋转矩阵参数，将目标图像中的标注结果映射至鱼眼图像中，从而使得鱼眼图像中的目标对象同样具有高质量的标注结果，提升了标注效果。另外，整个标注过程可以不依赖于昂贵的3d传感器，降低了标注的成本，提升了经济性。
附图说明
22.图1是本技术实施例提供的一种图像标注方法的流程图；
23.图2是本技术实施例提供的一种鱼眼图像；
24.图3是本技术实施例提供的一种目标图像；
25.图4是本技术实施例提供的另一种目标图像；
26.图5是本技术实施例提供的另一种鱼眼图像；
27.图6是本技术实施例提供的一种图像标注方法的具体步骤流程图；
28.图7是本技术实施例提供的一种图像标注装置的框图。
具体实施方式
29.为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
30.在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
31.应当理解的是，本发明能够以不同形式实施，而不应当解释为局限于这里提出的实施例。相反地，提供这些实施例将使公开彻底和完全，并且将本发明的范围完全地传递给本领域技术人员。
32.在此使用的术语的目的仅在于描述具体实施例并且不作为本发明的限制。在此使用时，单数形式的“一”、“一个”和“所述/该”也意图包括复数形式，除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”，当在该说明书中使用时，确定所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或更多其它的特征、整数、步骤、操作、
元件、部件和/或组的存在或添加。在此使用时，术语“和/或”包括相关所列项目的任何及所有组合。
33.为了彻底理解本发明，将在下列的描述中提出详细的结构，以便阐释本发明提出的技术方案。本发明的可选实施例详细描述如下，然而除了这些详细描述外，本发明还可以具有其他实施方式。
34.下面结合附图，对本技术的图像标注方法和装置、系统进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
35.图1是本技术实施例提供的一种图像标注方法的流程图，如图1所示，该方法可以包括：
36.步骤101、获取由鱼眼相机采集的鱼眼图像。
37.在实际应用中，自动驾驶、测绘等场景都应用有追踪算法，追踪算法具有对场景中目标对象的感知和追踪的需求。追踪算法可以基于鱼眼相机采集的鱼眼图像实现，通过对鱼眼图像中目标对象的准确标注，达到感知目标对象的目的，并在后续追踪过程中保证较高的追踪精度。另外，在模型训练场景中，当存在用于识别目标对象的功能需求时，也具有对作为训练数据的鱼眼图像中的目标对象进行准确标注的需求，以使得提升训练数据的质量，提高对模型的训练效率。
38.具体的，由于鱼眼相机的镜头为多个表面是弧形结构的透镜组装而成，且在装配镜头时会产生一定的装配误差，因此在拍摄过程中会产生镜头畸变，镜头畸变实际上是光学透镜固有的透视失真的总称，也就是因为透视原因造成的失真，在拍摄广度越大的鱼眼相机中，这种畸变的严重程度更高。
39.参照图2和图3，图2为鱼眼相机拍摄的鱼眼图像，图3为同样场景下的一张无畸变的目标图像，可以看出相较于图3，图2的鱼眼图像的画面中存在较大畸变，特别是在鱼眼图像的四个顶角处产生了严重的畸变偏差，那么在对图2的鱼眼图像中的目标对象进行标注时，受到画面畸变的影响，会导致标注质量下降。
40.在该步骤中，鱼眼相机可以基于采集的原始图像数据和对应鱼眼相机的第一成像模型，生成鱼眼图像，具体的，由于鱼眼相机的镜头一般是由十几个不同的透镜组合而成的，在成像的过程中，入射光线经过不同程度的折射，投影到尺寸有限的成像平面上，使得鱼眼相机的镜头与普通相机的镜头相比起来拥有了更大的视野范围。第一成像模型可以近似为单位球面投影模型，基于这种特性，可以将鱼眼相机的成像过程分解成两步：第一步，三维空间点线性地投影到一个虚拟球面上，该球面的球心与相机坐标系的原点重合；第二步，虚拟球面上的点投影到图像平面上，这个过程是非线性的。第一成像模型即包含了这两步的投影映射关系。
41.步骤102、通过旋转矩阵参数对所述鱼眼图像进行处理，得到目标图像。
42.其中，旋转矩阵参数包括所述鱼眼图像的第一成像模型与所述目标图像的第二成像模型之间的转换参数。
43.在本技术实施例中，由于直接对鱼眼图像进行标注带来的标注质量下降是鱼眼图像中的画面畸变引起的，因此为了提高标注质量，需要对鱼眼图像中的画面畸变进行减弱乃至消除，本技术实施例可以基于旋转矩阵参数对鱼眼图像进行处理，得到无画面畸变或画面畸变较弱的目标图像，如，将图2的鱼眼图像变化为图3的目标图像。
44.具体的，目标图像中的画面畸变较弱，是因为目标图像对应的第二成像模型在成像过程中不受镜头等因素的影响或受到的影响较弱，如，一种实现方式中，第二成像模型可以为小孔成像模型，小孔成像模型中物体的空间坐标和图像坐标之间是线性的映射关系，其直接反映了三维空间中的三维点映射到成像平面(二维空间)的过程，根据小孔成像模型得到的目标图像中无画面畸变或画面畸变较弱。另外，第二成像模型也可以为其他类型的具有较弱画面畸变的成像模型，本技术实施例对此不作限定。
45.进一步的，为了将鱼眼图像进行处理得到目标图像，则需要将鱼眼图像中的像素点先映射至第一成像模型对应的第一相机坐标系，再将第一相机坐标系中的像素点映射至第二成像模型对应的第二相机坐标系，最后将第二相机坐标系中的像素点映射至成像平面，得到目标图像。
46.在上述过程中，将鱼眼图像中的像素点先映射至第一成像模型对应的第一相机坐标系和将第二相机坐标系中的像素点映射至成像平面的过程，可以根据第一成像模型和第二成像模型所包含的映射关系实现；而针对将第一相机坐标系中的像素点映射至第二成像模型对应的第二相机坐标系的过程，则需要通过第一成像模型与第二成像模型之间用于像素点转换的旋转矩阵参数来实现，即第二相机坐标系中的像素点的坐标与旋转矩阵参数的乘积，得到第一相机坐标系中该像素点的坐标，旋转矩阵参数代表了第二相机坐标系中的像素点与第一相机坐标系中对应像素点之间的转换关系。
47.需要说明的是，映射过程中鱼眼图像中像素点的坐标可能为浮点数值，因此，在采样生成目标图像时可以通过最近邻差值、双线性差值、双立方差值等差值计算方法，计算得到目标图像对应的像素值，从而生成目标图像。
48.步骤103、在所述目标图像中添加对目标对象的标注结果，所述标注结果包括所述目标对象在所述目标图像中的位置信息。
49.在该步骤中，在得到图3所示的目标图像后，若目标对象为汽车10，则可以在图3中对汽车10进行标注，得到如图4的标注结果，其中，汽车10的被准确标注了物体框20，该物体框20反映了汽车10在目标图像中的位置信息。由于该标注过程是在无畸变的目标图像中进行的，则标注结果受到第一成像模型的影响较弱，使得该标注结果具有较高的质量。
50.步骤104、根据所述旋转矩阵参数，将所述目标图像中的标注结果映射至所述鱼眼图像中。
51.在本技术实施例中，最终目的是为了实现在鱼眼图像中得到目标对象的高质量标注结果，因此，在得到目标图像中的标注结果后，可以利用旋转矩阵参数，将目标图像中的标注结果映射至鱼眼图像中，从而得到包含高质量的标注结果的鱼眼图像。
52.具体的，映射过程是将目标图像中的标注结果的坐标映射至鱼眼图像，即需要将目标图像中的标注结果对应的像素点的坐标先映射至第二成像模型对应的第二相机坐标系，再将第二相机坐标系中的标注结果对应的像素点映射至第一成像模型对应的第一相机坐标系，最后将第一相机坐标系中的标注结果对应的像素点映射至鱼眼图像，使得鱼眼图像具有标注结果。
53.在上述过程中，将目标图像中的标注结果对应的像素点的坐标先映射至第二成像模型对应的第二相机坐标系和将第一相机坐标系中的标注结果对应的像素点映射至鱼眼图像的过程，可以根据第一成像模型和第二成像模型所包含的映射关系实现；而针对将第
二相机坐标系中的标注结果对应的像素点映射至第一成像模型对应的第一相机坐标系的过程，则需要通过第一成像模型与第二成像模型之间用于像素点转换的旋转矩阵参数来实现。
54.例如，参照图4，在得到具有对汽车10的高质量标注框20的目标图像后，按照旋转矩阵参数，将目标图像中的标注结果映射至鱼眼图像中，可以得到如图5所示的鱼眼图像，其中，鱼眼图像中汽车10同样具有高质量的标注框30。
55.进而，在利用追踪算法对鱼眼图像中目标对象进行追踪时，能够根据反映目标对象位置信息的标注结果，实现对目标对象精准的追踪。另外，在利用鱼眼图像进行对目标对象的识别模型的训练时，具有高质量标注结果的鱼眼图像作为训练数据，可以提升训练效果和效率。
56.综上，本技术实施例提供的一种图像标注方法，通过鱼眼图像的第一成像模型与目标图像的第二成像模型之间的旋转矩阵参数，将具有画面畸变的鱼眼图像转换为无畸变或畸变较弱的目标图像，并对目标图像进行目标对象的标注，可以使得在标注过程中降低画面畸变带来的影响，提升标注质量，最后再通过旋转矩阵参数，将目标图像中的标注结果映射至鱼眼图像中，从而使得鱼眼图像中的目标对象同样具有高质量的标注结果，提升了标注效果。另外，整个标注过程可以不依赖于昂贵的3d传感器，降低了标注的成本，提升了经济性。
57.图6是本技术实施例提供的一种图像标注方法的具体流程图，该方法可以包括：
58.步骤201、获取由鱼眼相机采集的鱼眼图像。
59.具体的，步骤201具体可以参照上述步骤101，此处不再赘述。
60.步骤202、通过旋转矩阵参数对所述鱼眼图像进行处理，得到目标图像。
61.其中，旋转矩阵参数包括所述鱼眼图像的第一成像模型与所述目标图像的第二成像模型之间的转换参数。
62.具体的，步骤202具体可以参照上述步骤102，此处不再赘述。
63.步骤203、调整所述目标图像中所述目标对象的位置信息，使得所述目标对象的位置信息满足预设的标注条件。
64.在目标对象所处画面中的位置信息不佳时，会导致标注效率和质量下降，如，目标对象所处位置信息不能使其被完整展示、目标对象处于画面边缘位置信息等，在本技术实施例中，可以通过调整目标对象在目标图像中的位置信息，使得目标对象的位置信息满足优选的标注条件，进而在标注过程中提升标注质量和标注效率。
65.可选的，所述标注条件包括：所述目标对象在所述目标图像中完整展示、所述目标对象处于所述目标图像的中心位置信息。
66.具体的，在一种实现方式中，能够达到提升标注质量和标注效率的效果的标注条件，可以为使得目标对象在目标图像中完整展示、目标对象处于目标图像的中心位置信息，目标对象在目标图像中完整展示是标注的基本要求，若目标对象在目标图像中不能完整展示，会导致标注失败或标注质量极差。而将目标对象处于目标图像的中心位置信息，则可以提高目标对象的重要性和关注度，尽可能的降低目标对象处在边缘位置信息时带来的清晰度下降、内容缺失等问题发生的几率。
67.可选的，步骤203具体可以包括：
68.子步骤2031、通过调整所述旋转矩阵参数和所述第二成像模型对应的内参数，从而改变所述目标图像中所述目标对象的位置信息，使得所述目标对象的位置信息满足预设的标注条件。
69.可选的，在所述第二成像模型为小孔成像模型的情况下，所述第二成像模型对应的内参数包括：所述第二成像模型对应的光心位置和焦距。
70.在本技术实施例中，旋转矩阵参数可以描述相机的旋转，在成像时，通过将旋转矩阵参数与目标图像中的像素点相乘，可以实现对目标图像中像素点的仿射变换，仿射变换包括平移、旋转、缩放、剪切等。进而本技术实施例通过调整旋转矩阵参数，可以实现目标图像xyz三个坐标轴的旋转，实现最多三自由度的旋转，从而改变目标图像中目标对象的位置信息，如，将目标对象由画面边缘旋转移动至画面中心。
71.进一步的，在第二成像模型为小孔成像模型的情况下，第二成像模型对应的内参数是与第二成像模型对应的相机(虚拟的相机)自身特性相关的参数，如，光心位置和焦距，因此，在成像时，通过调整光心位置、焦距等，可以改变目标对象在画面中的远近程度，如将目标对象拉近放大或远离缩小。
72.需要说明的是，可以通过可视化界面实现对目标对象位置信息的调整，如，通过用户对可视化界面中目标对象的拖动操作，调整旋转矩阵参数，进而改变目标对象的位置信息，通过用户对可视化界面中目标对象的放大缩小操作，调整相应的内参数，进而改变目标对象的大小。
73.步骤204、在所述目标图像中添加对目标对象的标注结果，所述标注结果包括所述目标对象在所述目标图像中的位置信息。
74.具体的，步骤204具体可以参照上述步骤103，此处不再赘述。
75.可选的，标注结果包括：2d标注框、伪3d标注框。
76.在本技术实施例中，2d标注框是一种反映目标对象在二维平面中的位置信息的标注框，伪3d标注框则是一种反映目标对象的三维形象在二维平面中的位置信息投影的标注框。伪3d标注框可以提供目标对象更丰富的三维空间细节。
77.步骤205、根据由所述旋转矩阵参数、所述第一成像模型、所述第二成像模型建立的映射关系，将所述目标图像中的标注结果映射至所述鱼眼图像中。
78.可选的，所述第一成像模型包括第一内参数，所述第二成像模型包括第二内参数，所述映射关系包括：
79.基于所述第一内参数建立的所述鱼眼图像中第一像素点的坐标，与所述第一成像模型对应的相机坐标系中的第二像素点的坐标之间的对应关系，所述第二像素点与所述第一像素点对应；基于所述第二内参数建立的所述目标图像中第三像素点的坐标，与所述第二成像模型对应的相机坐标系中的第四像素点的坐标之间的对应关系，所述第四像素点与所述第三像素点对应；其中，所述第二像素点的坐标为所述第四像素点的坐标与所述旋转矩阵参数的乘积。
80.在本技术实施例中，将目标图像中的标注结果映射至鱼眼图像中的映射过程包括：将目标图像中的标注结果对应的像素点的坐标先映射至第二成像模型对应的第二相机坐标系，再将第二相机坐标系中的标注结果对应的像素点映射至第一成像模型对应的第一相机坐标系，最后将第一相机坐标系中的标注结果对应的像素点映射至鱼眼图像，使得鱼
眼图像具有标注结果。
81.具体的，假设旋转矩阵参数为r，第一成像模型为nheta(平场聚焦镜)投影模型，第二成像模型为小孔成像模型，第二成像模型生成的目标图像中第三像素点的坐标为(u1，v1)，第一成像模型生成的鱼眼图像中第一像素点的坐标为(u2，v2)，第二成像模型的第二内参数包括光心(c
x1
，c
y1
)，焦距为f1，第一成像模型的第一内参数包括光心(c
x2
，c
y2
)，焦距为f2；第二成像模型对应的相机坐标系中的第四像素点的坐标为p1＝(x1，y1，z1)
t
，且z1＝1，第一成像模型对应的相机坐标系中的第二像素点的坐标为p2＝(x2，y2，z2)
t
。
82.则根据上述定义可知具有如下映射关系：
83.//反映第三像素点的坐标与第四像素点的坐标之间的映射关系
84.//反映第三像素点的坐标与第四像素点的坐标之间的映射关系
85.z1＝1；
86.p2＝r
·
p1；//反映第四像素点的坐标与第二像素点的坐标之间的映射关系
87.进一步的，定义arc＝arctan2(n，z2)，则：
[0088][0089][0090]
因此，基于上述内容，可以得知本技术实施例根据旋转矩阵参数、第一成像模型、第二成像模型建立了包括：第二成像模型生成的目标图像中第三像素点的坐标(u1，v1)映射至第一成像模型生成的鱼眼图像中的第一像素点的坐标(u2，v2)的映射关系，根据这种映射关系，可以将目标图像中的标注结果映射至鱼眼图像中，从而得到包含高质量的标注结果的鱼眼图像。
[0091]
需要说明的是，根据由所述旋转矩阵参数、所述第一成像模型、所述第二成像模型建立的映射关系，还可以为根据旋转矩阵参数、所述第一成像模型、所述第二成像模型之间的映射关系所建立的像素点坐标之间的映射表，通过将目标图像的像素点的坐标进行查表，即可得到鱼眼图像中对应该像素点的坐标，同理，通过将鱼眼图像中的像素点的坐标进行查表，即可得到目标图像中对应的像素点的坐标。
[0092]
可选的，在步骤205之后，还可以包括：
[0093]
步骤206、根据预设的追踪算法和所述标注结果，计算所述目标物体的运动参数，所述运动参数包括：速度、位置信息坐标、移动方向、加速度中的一种或多种。
[0094]
在本技术实施例的一种应用场景中，可以利用预设的追踪算法和目标对象的标注结果，对鱼眼图像中目标对象进行追踪，具体的，可以根据鱼眼相机连续采集的鱼眼图像，
以及鱼眼图像中目标对象的标注结果，对目标对象的运动状况进行跟踪，具体为追踪目标对象的速度、位置信息坐标、移动方向、加速度等，当目标对象在鱼眼图像中具有高质量的标注结果时，根据追踪算法所确定的运动参数更加精确。
[0095]
可选的，在步骤205之后，还可以包括：
[0096]
步骤207、将具有所述标注结果的鱼眼图像作为训练数据。
[0097]
步骤208、通过所述训练数据对目标模型进行训练，得到所述目标模型的模型参数，所述目标模型用于识别所述标注结果对应的目标对象。
[0098]
在本技术实施例的另一种应用场景中，当存在用于识别目标对象的功能需求时，也具有对作为训练数据的鱼眼图像中的目标对象进行准确标注的需求，在利用鱼眼图像进行对用于识别目标对象的目标模型进行训练时，可以将具有高质量标注结果的鱼眼图像作为训练数据，从而通过对目标模型的训练，得到目标模型的模型参数，具有高质量标注结果的鱼眼图像作为训练数据时，可以提升训练效果和效率。
[0099]
综上，本技术实施例提供的一种图像标注方法，通过鱼眼图像的第一成像模型与目标图像的第二成像模型之间的旋转矩阵参数，将具有画面畸变的鱼眼图像转换为无畸变或畸变较弱的目标图像，并对目标图像进行目标对象的标注，可以使得在标注过程中降低画面畸变带来的影响，提升标注质量，最后再通过旋转矩阵参数，将目标图像中的标注结果映射至鱼眼图像中，从而使得鱼眼图像中的目标对象同样具有高质量的标注结果，提升了标注效果。另外，整个标注过程可以不依赖于昂贵的3d传感器，降低了标注的成本，提升了经济性。
[0100]
图7是本技术实施例提供的一种图像标注装置的框图，如图7所示，该图像标注装置300可以包括：存储器301和处理器302；
[0101]
所述存储器301用于，获取由鱼眼相机采集的鱼眼图像；
[0102]
所述处理器302用于：
[0103]
通过旋转矩阵参数对所述鱼眼图像进行处理，得到目标图像，所述旋转矩阵参数包括所述鱼眼图像的第一成像模型与所述目标图像的第二成像模型之间的转换参数；
[0104]
在所述目标图像中添加对目标对象的标注结果，所述标注结果包括所述目标对象在所述目标图像中的位置信息；
[0105]
根据所述旋转矩阵参数，将所述目标图像中的标注结果映射至所述鱼眼图像中。
[0106]
可选的，所述处理器302具体用于：
[0107]
调整所述目标图像中所述目标对象的位置信息，使得所述目标对象的位置信息满足预设的标注条件。
[0108]
可选的，所述处理器302具体用于：
[0109]
通过调整所述旋转矩阵参数和所述第二成像模型对应的内参数，从而改变所述目标图像中所述目标对象的位置信息，使得所述目标对象的位置信息满足预设的标注条件。
[0110]
可选的，在所述第二成像模型为小孔成像模型的情况下，所述第二成像模型对应的内参数包括：所述第二成像模型对应的光心位置和焦距。
[0111]
可选的，所述标注条件包括：
[0112]
所述目标对象在所述目标图像中完整展示、所述目标对象处于所述目标图像的中心位置信息。
[0113]
可选的，所述处理器302具体用于：
[0114]
根据由所述旋转矩阵参数、所述第一成像模型、所述第二成像模型建立的映射关系，将所述目标图像中的标注结果映射至所述鱼眼图像中。
[0115]
可选的，所述第一成像模型包括第一内参数，所述第二成像模型包括第二内参数，所述映射关系包括：
[0116]
基于所述第一内参数建立的所述鱼眼图像中第一像素点的坐标，与所述第一成像模型对应的相机坐标系中的第二像素点的坐标之间的对应关系，所述第二像素点与所述第一像素点对应；
[0117]
基于所述第二内参数建立的所述目标图像中第三像素点的坐标，与所述第二成像模型对应的相机坐标系中的第四像素点的坐标之间的对应关系，所述第四像素点与所述第三像素点对应；
[0118]
其中，所述第二像素点的坐标为所述第四像素点的坐标与所述旋转矩阵参数的乘积。
[0119]
可选的，所述处理器302还用于：
[0120]
根据预设的追踪算法和所述标注结果，计算所述目标物体的运动参数，所述运动参数包括：速度、位置信息坐标、移动方向、加速度中的一种或多种。
[0121]
可选的，所述处理器302还用于：
[0122]
将具有所述标注结果的鱼眼图像作为训练数据；
[0123]
通过所述训练数据对目标模型进行训练，得到所述目标模型的模型参数，所述目标模型用于识别所述标注结果对应的目标对象。
[0124]
可选的，所述标注结果包括：2d标注框、伪3d标注框。
[0125]
综上，本技术实施例提供的图像标注装置，通过鱼眼图像的第一成像模型与目标图像的第二成像模型之间的旋转矩阵参数，将具有画面畸变的鱼眼图像转换为无畸变或畸变较弱的目标图像，并对目标图像进行目标对象的标注，可以使得在标注过程中降低画面畸变带来的影响，提升标注质量，最后再通过旋转矩阵参数，将目标图像中的标注结果映射至鱼眼图像中，从而使得鱼眼图像中的目标对象同样具有高质量的标注结果，提升了标注效果。另外，整个标注过程可以不依赖于昂贵的3d传感器，降低了标注的成本，提升了经济性。
[0126]
本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图像标注方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等。
[0127]
存储器可以为外部控制终端与图像标注装置连接的接口。例如，外部控制终端可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的控制终端的端口、音频输入/输出(i/o)端口、视频i/o端口、耳机端口等等。存储器可以用于接收来自外部控制终端的输入(例如，数据信息、电力等等)并且将接收到的输入传输到图像标注装置内的一个或多个元件或者可以用于在图像标注装置和外部控制终端之间传输数据。
[0128]
例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0129]
处理器是控制终端的控制中心，利用各种接口和线路连接整个控制终端的各个部分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，执行控制终端的各种功能和处理数据，从而对控制终端进行整体监控。处理器可包括一个或多个处理单元；优选的，处理器可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。
[0130]
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0131]
本领域内的技术人员应明白，本技术的实施例可提供为方法、控制终端、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0132]
本技术是参照根据本技术的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的控制终端。
[0133]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令控制终端的制造品，该指令控制终端实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0134]
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0135]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0136]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
[0137]
以上对本技术进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。